Имея выбор между «E» и «Q», лучше всего сделать ставку на «E». А больше всего информации мы получаем, когда наши ожидания не оправдываются. Энтропия Шеннона сглаживает эти статистические сдвиги и дает «справедливую» оценку количества информации.
Теперь кажется, что термин «энтропия» был выбран неудачно, потому что он совпадает с названием одной величины, которая давно используется в физике и обычно интерпретируется как «мера беспорядка». А ее противоположность, то есть порядок, обычно отождествляется со сложностью. В качестве контекста здесь выступает раздел физики под названием «термодинамика», изучающий некоторую упрощенную модель газа. В термодинамике молекулы газа представлены «твердыми сферами», похожими на крошечные бильярдные шары. Время от времени шары сталкиваются, и когда это происходит, они отскакивают друг от друга, как если бы удар был абсолютно упругим. Согласно Законам Термодинамики, система, состоящая из огромного числа таких сфер, подчиняется определенным статистическим закономерностям. В подобной системе есть два вида энергии: механическая и тепловая. Первый Закон состоит в том, что общая энергия системы всегда остается неизменной. Тепловая энергия может превращаться в механическую — примером может служить паровой двигатель; и наоборот, механическая энергия может переходить в тепло. Но сумма двух энергий остается постоянной. Второй Закон в более точной формулировке (которую мы вскоре поясним) выражает тот факт, что тепло не может быть передано от более холодного тела к более горячему. А Третий Закон утверждает, что температура газа не может опуститься ниже определенного значения — так называемого «абсолютного нуля», который примерно равен -273 градусам по Цельсию.
Среди них наибольшую сложность — как и интерес — представляет Второй Закон. Его более детальная формулировка использует величину, которая опять-таки называется «энтропией» и обычно ассоциируется с «беспорядком». Если, скажем, газ, находящийся в комнате, сосредоточен в одном из углов, то такое состояние будет более упорядоченным (то есть в нем будет меньше беспорядка!) по сравнению с газом, который равномерно заполняет всю комнату. Таким образом, энтропия равномерного распределения газа больше, чем энтропия газа, сконцентрированного в одном углу. Второй Закон в упомянутой формулировке утверждает, что с течением времени энтропия Вселенной может только возрастать. Другими словами, со временем Вселенная становится все менее упорядоченной, или менее сложной. Если верить этой интерпретации, мир живых существ с его высокоорганизованной сложностью будет неизбежно становиться все более простым, пока, наконец, Вселенная не исчерпает себя и превратится в тепленький разбавленный бульон.
Этот результат лег в основу одного из объяснений «стрелы времени», любопытного явления, которое проявляется в том, что мы можем с легкостью перемешать сырое яйцо, но не можем вернуть перемешанному яйцу исходный вид. Время движется только в сторону увеличения энтропии. То есть, когда мы смешиваем желток и белок, яйцо становится более беспорядочным, а его энтропия — в полном соответствии со Вторым Законом — возрастает. «Разделение на белок и желток» привело бы уменьшению беспорядка и снижению энтропии, что противоречит Второму Закону. Яйцо — это, конечно, не газ, однако термодинамические модели можно расширить на твердые тела и жидкости.
Здесь мы сталкиваемся с одним из крупных парадоксов физики, который уже около века вызывает заметное смятение в умах. Другая система физических законов, а именно ньютоновские законы движения, утверждает, что яйцо можно как перемешать, так и вернуть в исходное состояние, причем оба события с физической точки зрения равновозможны. Точнее, если развернуть во времени произвольную динамику, удовлетворяющую законам Ньютона, то результат также будет удовлетворять этим законам. |