Понятие информации. Измерение информации.

Информация – это сведенья, которые можно хранить, передавать и преобразовывать. Это снятие неопределенности о каком-нибудь объекте.

Сообщение – это форма представления информации, удобная для передачи по линии связи.

Существует три основных направления при измерении информации:

· Структурное: учитывает дискретное строение информации. Подсчет информации осуществляется простым подсчетом информационных элементов комбинаторным методом: , где L – количество возможных сообщений, n – количество элементов сообщения, m – алфавит. Если имеем k источников сообщений, то количество возможных сообщений от всех источников . Чтобы сохранялось свойство аддитивности, используют логарифмическую меру Хартли . Если имеем несколько источников, то количество информации от всех источников .

· Статистическое: учитывает вероятность появления сообщений. Все значения измеряемой величины рассматриваются, как исходы опыта. Сумма вероятностей всех исходов . Формула Шеннона используется для измерения информации при этом подходе: , где - вероятность появления i-го символа.

· Семантическое: учитывает целесообразность, полезность и смысловую наполненность информации.

Спектр ССП

Стационарный в узком смысле, если его функция распределения плотности вероятности произвольного порядка n не меняется при любом сдвиге всей группы точек t_{1 ,} t₂ … t_n вдоль оси времени. То есть p_n(x₁,t₁; x₂,t₂; ...; x_n,t_n) = p_n(x₁, t₁ + τ; x₂, t₂ + τ; ...; x_n,t_n + τ). Вероятностные характеристики СВП в узком смысле не меняются в случае изменения расположения отсчетной точки на временной оси.

Стационарным в широком смысле называют процесс, математическое ожидание которого не зависит от времени, а корреляционная функция зависит только от разницы t₂ – t₁ = τ и не зависит от самых интервалов t₁ и t₂.

Энергетический спектр стационарного процесса может быть определен двумя путями:

- непосредственным наблюдением одной реализации и нахождением предела;

- нахождением преобразования Фурье от корреляционной функции.

Использование преобразования Фурье к случайным процессам невозможно по таким причинам:

1) Реализации случайного процесса не удовлетворяют условию абсолютной интегрируемости .

2) Для случайного процесса частотный спектр также является случайной функцией.

Можно обобщить гармонический анализ, усредняя спектральные разложения, полученные для отдельных реализаций: . Средняя мощность сигнала: . Также средняя мощность выражается через частотный спектр: . Функция под интегралом называется спектральной плотностью мощности . Найдем спектральную плотность совокупности реализаций (путем усреднения по ансамблю).

Учитывая, что , имеем преобразования Винера-Хинчина:

, . Спектральная плотность является прямым преобразованием Фурье от корреляционной функции.

Поиск по сайту: