Чтобы подсчитать количество информации, необходимо исходить из того, что максимальная вероятность совершения какого — то события равна 1, а минимальная 0. Следовательно, математическая вероятность совершения события колеблется между единицей и нулем. Когда мы подбрасываем монету, у нас одинаковая вероятность того, что выпадет «орел» или «решка», и, следовательно, вероятность «орла» равна 1/2. Если же мы берем игральную кость, то вероятность выпадения тройки равна 1/6. Вероятность того, что два независимых друг от друга события совершатся одновременно, зависит от вероятности совершения каждого из них, и, таким образом, вероятность того, например, что одна игральная кость выбросит единицу, а вторая шестерку, равна 1/36.

Отношение между рядом событий, которые могут осуществиться, и рядом вероятностей, связанных с этими событиями, выглядит как связь между арифметической и геометрической прогрессиями, та связь, которая выражается логарифмом, поскольку второй ряд будет заключаться в логарифме первого. Более понятным образом количество информации можно выразить так:

В случае с монетой (если мне говорят о том, что выпадет «орел») равенство будет таким:

1

log — = log 2

1/2

Следовательно, данное равенство (поскольку при полученном сообщении вероятность всегда будет равна единице, если допустить, что отсутствует фоновый шум, о котором мы еще поговорим) можно представить так:

Информ. = — log (вероятность, имеющаяся для получателя до получения сообщения).

В случае с монетой:

— log (1/2) = log 2.

Осуществляя бинарный выбор, теория информации использует двоичные основные логарифмы и называет единицу информации термином bit (или binit), представляющим собой сокращение двух слов binary digit (двоичный знак). Использование двоичного логарифма имеет следующее преимущество: поскольку log₂2 = 1, один bit информации говорит нам о том, какая из двух возможностей события осуществляется.

В качестве еще одного примера возьмем доску из 64 клеток, в одной из которых должна располагаться пешка. Если информатор сообщает мне, что она находится в клетке 48, тогда получаемую мною информацию можно измерить следующим образом: поскольку изначально мои возможности угадать эту клетку составляли 1/64, формула выглядит так: — log₂ (1/64) = log₂64 = 6. Таким образом, я получил информацию, которую можно сосчитать в 6 битах¹.

Таким образом, можно сказать, что количество информации, переданной в сообщении, является двоичным логарифмом определенного числа альтернатив, позволяющих недвусмысленно определить это сообщение².

Для того, чтобы измерить уменьшение или увеличение количества информации, специалисты обращаются к понятию, заимствованному из термодинамики и теперь уже вполне обоснованно вошедшему в терминологический багаж теории информации. Речь идет о понятии энтропии. Это понятие достаточно широко известно, потому что все о нем слышали, но в силу этого оно достаточно размыто, так как каждый понимает его по — своему и использует весьма свободно; поэтому будет неплохо, если мы вкратце его рассмотрим, ибо его происхождение из термодинамики оставило наслоения, не всегда обоснованные.

Согласно второму началу термодинамики, изложенному Р. Клаузиусом, если определенное количество работы может полностью трансформироваться в теплоту (о чем говорит первое начало термодинамики), то каждый раз, когда теплота трансформируется в работу, это происходит не столь полно и завершенно, как в первом случае. Для того, чтобы совершился переход определенного количества теплоты в работу, двигатель должен обеспечивать обмен теплотой между двумя телами различной температуры: источником теплоты и охладителем.