Количественная оценка информации

В асу тп информация (сообщения) передается в основном в закодированном виде. Для количественной оценки передаваемой кодированной информации введены понятия количества информации и энтропии. Считается, что если поступление некоторого сообщения имеет большую вероятность, то такое сообщение несет мало информации, и, наоборот, если сообщение неожиданно, то в нем содержится много информации. Но это так же субъективная оценка. У нас есть конкретная формула количества возможных сообщений (2.1). С увеличением m и n увеличивается и количество сообщений N. С увеличением основания m и числа разрядов n, очевидно, увеличивается степень новизны каждого сообщения и, следовательно, количество информации в каждом из сообщений. Р.Хартли предложил способ определения количества информации, приходящееся на одно сообщение, по логарифму числа возможных сообщений при данном способе кодирования:

. (2.3)

Здесь а – основание логарифма. Т.к. для кодирования в основном применяется двоичная система, то а чаще всего равно 2. Тогда при m = 2 и n = 1 получим единицу измерения количества информации.

– одна двоичная единица – 1 бит.

Если а не 2, а 10 ,то получаем десятичную единицу измерения информации. Формула (2.3) справедлива только в том случае, если вероятность появления отдельных символов в сообщении одинакова:

при m = 2: Р₀ = 0,5 и Р₁ = 0,5;

при m = 10: Р₀ = 0,1, Р₁ = 0,1, … Р₉ = 0,1.

При этом вероятность появления любого из сообщений

р = 1 / N (2.4)

и тогда

. (2.5)

Количество информации в сообщении зависит от вероятности появления сообщения (чем больше вероятность, тем меньше I, как и записали ранее). Если равновероятность не соблюдается, то требуется другой способ определения I.

Возьмем самый сложный случай сообщения, алфавит которого состоит: из m символов b₁ ,b₂,.......,b_m; вероятность появления этих символов в сообщении р₁, р₂,...,р_m; количество разрядов n. Поэтому каждый из символов b_i может появиться в сообщении несколько раз. Вероятность появления любого из сообщений равна произведению вероятностей появления каждого из символов:

.

Здесь l_i – число раз появления b_i -го сообщения, Σ l_i= n; P_i – вероятность появления символа b_i. При значительном числе разрядов n

P_i=l_i / n, l_i=nP_i

или

.

Теперь, используя формулу (2.5), получаем количество информации:

,

, (2.6)

формула шеннона.

Если снова предположить р₁= р ₂=....= р _m=1/m, то после подстановки в формулу (2.6) получим ту же формулу (2.3).

Количество информации, приходящееся на 1 разряд сообщения, называется энтропией:

, (2.7)

так же формула шеннона.

Энтропия характеризует степень неопределенности появления сообщений. Для того же самого сообщения, если р₁=1, а все остальные сообщения р = 0, то

.

Энтропия минимальна, т.е. никакой неопределенности. Все сообщения во всех разрядах имеют элемент b₁. Информации тоже никакой I = 0. Для того же сообщения, если р₁ = р ₂ =....= р _m = 1 / m, то

,

. (2.8)

Неопределенность максимальная, т.к. в каждом разряде может стоять любой из элементов b_i.

При m = 2 и а = 2 Н = 1 и пределы изменения Н:

0 ≤ Н ≤ log_a m. (2.9)

Понятия I и H в телемеханике некоторыми авторами используются для оценки появления целого сообщения, т.е. I = N, H = n log_a m, бит/сообщение.

В АСУ ТП понятия Н и I используются еще и для оценки упорядоченности технологического объекта и определения необходимого объема управления. Там формула энтропии записывается как

, (2.10)

где R – количество возможных результатов управления.

Если а = 2, то Н измеряется в битах. Если а = 10, то Н измеряется в десятичных единицах энтропии:

R_min = 1, R_max = ∞.

Очевидно, R всегда < ∞, и цель управления – получить R = 1. Если все результаты равновероятны, то вероятность появления каждого из них:

P = 1 / R,

значит

(2.11)

совпадает с формулой (2.5) для I в телемеханике.

В действительности результаты управления неравновероятны и энтропия Н_ТО должна определяться с учетом вероятности появления отдельных результатов P_i, т.е. определяется усредненная величина Н_ТО. В теории вероятности эта усредненная величина называется математическим ожиданием, она равна сумме произведений случайной величины (Н_i – энтропии отдельных результатов) на вероятность появления этой случайной величины (P_i):

, (2.12)

формула Шеннона, такая же, как формула (2.7) в телемеханике.

Повышение упорядоченности ТО, на которое направлено применение АСУ ТП, ведет к снижению количества возможных результатов управления, т.е. к снижению Н.

В телемеханике Н должно быть как можно больше, а в АСУ ТП – как можно меньше:

Н_кон < Н_нач,

где Н_нач – без АСУ ТП, Н_кон – с АСУ ТП.

Разность

Н_нач – Н_кон = I (2.13)

называется в автоматике необходимым объемом управления или информацией. Это также несколько отличается от определения информации в телемеханике. Если же распишем уравнение (2.13) подробнее, то получим:

или

.

Если R_кон = 1, то и Р_кон = 1, тогда

. (2.14)

Необходимый объем управления совпадает с формулой (2.5) для I в телемеханике. Та же единица измерения, но смысл немного другой.

Таким образом, для аппаратной реализации наиболее удобно представление количества информации в равномерном коде. При одинаковой или примерно одинаковой вероятности появления символов b₁ … b_m. I определяется в основном количеством разрядов – n, то есть по n можно сравнивать различные средства телемеханики. Так как вероятность появления символов b₁ … b_m все же неодинакова, то для оценки I в различных системах служит энтропия Н (бит/символ) – степень неопределенности появившегося сообщения.

В АСУ ТП Н должна быть как можно меньше, т.е. Н → 0. При нескольких результатах управления и неодинаковой вероятности результатов Н > 0 и определяется математическим ожиданием М энтропии:

.

Информация в АСУ ТП называется необходимым объемом управления и в пределе совпадает с формулой I для ТМ:

.

Поиск по сайту: