Что такое информация и энтропия?

Как указывалось в § 1.3, главное в порядке – закономерность, предсказуемость физических явлений и процессов. Отсюда очевидно, что количественная оценка порядка должна быть связана с числами, позволяющими установить степень такой предсказуемости. В математике такие числа именуются вероятностью. Ясно, что чем больше вероятность того или иного события, тем больше порядка. И наоборот.

Однако непосредственной мерой порядка вероятность в том виде, в котором они введена в соответствующем разделе математики [8, 9, 10], быть не может. Дело в том, что она неточно учитывает динамику изменения порядка в процессах, в которых порядок не постоянен. Приведем такой простой пример. Студент, вернувшись после занятий домой, обнаруживает, что в его комнате беспорядок: не убрана постель. Он убирает постель и устанавливает порядок. Вернувшись на следующий день, обнаруживает вновь беспорядок в своей комнате. Однако на сей раз не только не убрана постель, но и не помыта посуда. Он затрачивает те же усилия, что и накануне, – убирает постель, но порядок не восстанавливает. Мы столкнулись с ситуацией, когда одно и то же изменение беспорядка привело к различному результату. Переводя на язык математики – язык количественных характеристик, – следует признать, что повышая вероятность какого-либо события на одну и ту же величину, мы получаем разный итоговый порядок в зависимости от исходной вероятности этого события. Следовательно, мера порядка I должна определяться не непосредственно, а через свое изменение Δ I :

(1.8)

где р – исходная вероятность указанного события.

Получается – мерой порядка является такая величина, изменение которой равно отношению изменения вероятности к исходной вероятности.

Из формулы (1.8) следует (после интегрирования):

I = lnp. (1.8,а)

Иногда удобства ради перед знаком натурального логарифма ставят пересчетный коэффициент:

I = a lnp. (1.8,б)

Ясно, что качественно появление такого коэффициента ничего не меняет, однако процесс расчета становится более удобным. Тем более, что его можно выбрать самым разнообразным [9] :

а=1; тогда единица измерения[нат];

а=1/ln2⇒[бит];

а=1/ln8⇒[байт];

а=2^-10/ln8=1/1024•ln8⇒[килобайт];

а=2^-20/ln8⇒[мегабайт];

а=2^-30/ln8⇒[гигабайт];

а=К_Б=1,38∙10^-23⇒[Дж/⁰К].

Коэффициент К_Б именуется постоянной Больцмана и чаще всего вводится в формулу (1.8,б) в термодинамике.

Величина I именуется информацией [14, 15, 16, 52].

Следует отметить, что поскольку вероятность 0<р≤1, то информация согласно (1.8,б) есть величина отрицательная. Её можно заменить на противоположную по знаку величину S:

S = -I = a ln = a lnР, (1.8,б)

где Р в теории вероятности именуется статистическим весом события (числом возможных вариантов его завершения).

Величина S именуется энтропией [1, 6, 8, 14, 16, 44].

Появление двух терминов, характеризующих по сути дела, одно и то же физическое понятие, носит чисто исторический характер. Иногда считают, что энтропия – это мера хаоса, а информация – мера порядка. При этом принимается в расчет, что с ростом энтропии порядок уменьшается, а хаос увеличивается, а рост информации приводит к прямо противоположному результату. Однако ясно, что подобное различие легко снимается простыми приёмами алгебры вещественных чисел.

Гораздо более существенным является отнесение термина “энтропия” только к одному разделу науки – термодинамике. Именно здесь этот термин и возник.

Дело в том, что термодинамика изучает процессы, которые весьма близки к идеальной (или предельной) модели хаоса. Такой моделью является множество одинаковых хаотически двигающихся шариков (корпускул). Эти шарики в рамках этой модели взаимодействуют друг с другом только путем упругого соударения. Такая модель именуется “идеальный газ” [44].

Казалось бы, вероятность обнаружить в идеальном газе какую-то конкретную частицу практически равна нулю – трудно придумать какую-нибудь величину, с помощью которой их можно различать друг от друга. Однако более тщательный анализ показывает, что это не так. Дело в том, что процентное содержание частиц, обладающих конкретной кинетической энергией, определяется строго детерминированной зависимостью – распределением Больцмана-Максвелла [44]. Таким образом, если бы удалось придумать прибор, улавливающий частицы в миллиардные доли секунды, и задать величину её кинетической энергии, как характерный признак, то число частиц, из которых этот прибор будет её выбирать, значительно меньше общего количества частиц в заданном объёме.

Главным параметром, позволяющим производить такой отбор, является температура. В модели “идеальный газ” под температурой подразумевается средняя кинетическая энергия хаотического движения корпускул. Чем выше температура, тем более равномерно распределяется между частицами кинетическая энергия и тем меньше вероятность обнаружения частицы по этому признаку.

На рис. 1.2 дано семейство зависимостей вероятности обнаружения частиц с определённой кинетической энергией от самой этой энергии, рассчитанное по формуле Больцмана – Максвелла [44].

Эта зависимость имеет максимум при величине кинетической энергии, соответствующей температуре. Причем, чем выше температура, тем меньше этот максимум. Следовательно, вероятность обнаружения частиц с заданной средней кинетической энергией обратно пропорциональна температуре. Принимая эту вероятность за основу характеристики порядка, можно записать

(1.9,а)

где Т - температура идеального газа, А – коэффициент пропорциональности.

Сопоставляя (1.9,а) с (1.8), получаем

(1.9,б)

w_к.п.д.