Итак, если я хочу что — либо знать о поведении отдельной частицы, информация, которой я ищу, противостоит энтропии, но если я хочу знать все возможные варианты поведения любой частицы, тогда информация, которую я ищу, будет прямо пропорциональна энтропии; привнося в систему порядок и уменьшая в ней энтропию, я узнаю много в каком — то одном смысле, но много меньше в другом.

То же самое происходит и с передачей информации.

Постараемся это пояснить ссылкой на формулу, с помощью которой обычно выражается величина какой — либо информации:

I = N log h

где «h» представляет собой число элементов, из которых делается выбор, а N — количество вариантов выбора, которые можно сделать (в случае с двумя игральными костями h = 6, а N = 2; если же мы имеем шахматную доску, то h = 64, а N = все ходы, которые допускаются правилами шахматной игры).

Если же речь идет о системе с высокой энтропией (где могут осуществиться все комбинации), значения величин N и h оказываются очень большими и, следовательно, самой высокой оказывается и величина той информации о поведении одного или нескольких элементов системы, которую можно было бы передать. Однако очень трудно сообщить столько бинарных вариантов выбора, сколько необходимо для того, чтобы обособить выбранный элемент и определить его сочетания с другими элементами.

Каким образом можно легко сообщить ту или иную информацию? Это можно сделать, сокращая число задействованных элементов и вариантов выбора, вводя какой — либо код, систему правил, которая предусматривает наличие строго определенного числа элементов, исключает некоторые комбинации и допускает лишь оговоренные. В этом случае можно будет сообщить информацию через умеренное число бинарных вариантов выбора. Однако значения величин N и h в таком случае уменьшаются и, следовательно, уменьшается величина полученной информации.

Таким образом, чем больше информация, тем труднее как — то ее сообщить, и чем яснее какое — либо сообщение, тем меньше в нем информации.

Вот почему в своем классическом труде по теории информации¹² Шеннон и Уивер осмысляют информацию как величину, прямо пропорциональную энтропии. Другие исследователи тоже признают, что Шеннон, один из основателей этой теории, обращает внимание как раз на этот аспект информации¹³, но все они напоминают о том, что, если мы понимаем информацию именно в таком узко статистическом смысле, она не имеет никакого отношения к тому, истинно или ложно содержание сообщения (не имеет отношения к его «значению»). Мы лучше все это усвоим, если обратимся к некоторым высказываниям Уоррена Уивера, которые содержатся в его очерке, посвященном популяризации математического аспекта информации¹⁴: «В этой новой теории слово «информация» относится не столько к тому, что говорится, сколько к тому, что могло бы быть сказанным, то есть информация выступает как мера нашей свободы в выборе сообщения… Необходимо помнить, что в математической теории коммуникации наш интерес обращен не к значению отдельных сообщений, а к общей статистической природе источника информации…

Понятие «информации», изложенное в этой теории, на первый взгляд кажется странным и неудовлетворительным: неудовлетворительным потому, что не имеет никакого отношения к понятию «значения», а странным потому, что оно не только относится к какому — то отдельному сообщению, но, в первую очередь, учитывает статистический характер всей совокупности сообщений; оно странно еще и потому, что в таком статистическом контексте слова «информация» и «неопределенность» тесно связаны между собой».