Помощничек
Главная | Обратная связь


Археология
Архитектура
Астрономия
Аудит
Биология
Ботаника
Бухгалтерский учёт
Войное дело
Генетика
География
Геология
Дизайн
Искусство
История
Кино
Кулинария
Культура
Литература
Математика
Медицина
Металлургия
Мифология
Музыка
Психология
Религия
Спорт
Строительство
Техника
Транспорт
Туризм
Усадьба
Физика
Фотография
Химия
Экология
Электричество
Электроника
Энергетика

Понятие равновероятных событий. Понятие «Уменьшение неопределенности в два раза». Формула Шеннона для измерения количества информации



Философская сущность понятия «информация». Единицы измерения информации. Математическая, логическая и физическая сущность единицы информации.

 

Информация – это знания, сведения, которыми обладает человек, которые он получает из окружающей мира.

Информация – это содержание последовательностей символов (сигналов) из некоторого алфавита.

Для информации существуют свои единицы измерения информации. Если рассматривать сообщения информации как последовательность знаков, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.

 

Теория информации (математическая теория связи) — раздел прикладной математики, аксиоматически определяющий понятие информации[1], её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

 

В физике

Объекты материального мира находятся в состоянии непрерывного изменения, которое характеризуется обменом энергией объекта с окружающей средой. Изменение состояния одного объекта, всегда приводит к изменению состояния, некоторого другого объекта окружающей среды. Это явление, вне зависимости от того, как, какие именно состояния и каких именно объектов изменились, может рассматриваться, как передача сигнала от одного объекта, другому. Изменение состояния объекта при передаче ему сигнала, называется регистрацией сигнала.

Сигнал или последовательность сигналов образуют сообщение, которое может быть воспринято получателем в том или ином виде, а также в том или ином объёме. Информация в физике есть термин, качественно обобщающий понятия «сигнал» и «сообщение». Если сигналы и сообщения можно исчислять количественно, то можно сказать, что сигналы и сообщения являются единицами измерения объёма информации.

Одно и то же сообщение (сигнал) разными системами интерпретируется по-своему. Например, последовательно длинный и два коротких звуковых (а тем более в символьномкодировании

-..) сигнала в терминологии азбуки Морзе — это буква Д (или D), в терминологии БИОС от фирмы AWARD — неисправность видеокарты.

В математике

Основные статьи: Собственная информация, Взаимная информация

В математике теория информации (математическая теория связи) — раздел прикладной математики, определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Математика является больше чем научной дисциплиной. Она создает единый язык всей Науки.

Предметом исследований математики являются абстрактные объекты: число, функция, вектор, множество, и другие. При этом большинство из них вводится акcиоматически (аксиома), то есть без всякой связи с другими понятиями и без какого-либо определения.

Информация не входит в число предметов исследования математики. Тем не менее, слово «информация» употребляется в математических терминах — собственная информация ивзаимная информация

, относящихся к абстрактной (математической) части теории информации. Однако, в математической теории понятие «информация» связано с исключительно абстрактными объектами — случайными величинами, в то время как в современной теории информации это понятие рассматривается значительно шире — как свойство материальных объектов.

Связь между этими двумя одинаковыми терминами несомненна. Именно математический аппарат случайных чисел использовал автор теории информации Клод Шеннон. Сам он подразумевает под термином «информация» нечто фундаментальное (нередуцируемое). В теории Шеннона интуитивно полагается, что информация имеет содержание. Информация уменьшает общую неопределённость и информационную энтропию. Количество информации доступно измерению. Однако он предостерегает исследователей от механического переноса понятий из его теории в другие области науки.

«Поиск путей применения теории информации в других областях науки не сводится к тривиальному переносу терминов из одной области науки в другую. Этот поиск осуществляется в длительном процессе выдвижения новых гипотез и их экспериментальной проверке.»

К. Шеннон.

 

Понятие равновероятных событий. Понятие «Уменьшение неопределенности в два раза». Формула Шеннона для измерения количества информации.

 

Два события называются равновероятными (или равновозможными), если нет никаких объективных причин считать, что одно из них может наступить чаще, чем другое.
Так, например, появления герба или надписи при бросании монеты представляют собой равновероятные события.
Рассмотрим другой пример. Пусть бросают игральную кость. В силу симметрии кубика можно считать, что появление любой из цифр 1, 2, 3, 4, 5 или 6 одинаково возможно (равновероятно).
Неравновероятные события - это события, вероятность появления которых зависит от условий проведения эксперимента (зависимость прогноза погода от времени года).
Например, в сообщении о погоде в зависимости от сезона сведения о том, что будет - дождь или снег, могут иметь разную вероятность. Летом наиболее вероятно сообщение о дожде, зимой - о снеге, а в переходный период (в марте или ноябре) они могут оказаться равновероятными. Понятие "более вероятное событие" можно пояснить через родственные понятия: более ожидаемое, происходящее чаще в данных условиях.

Основоположник теории информации Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

Представьте, что вы зашли в магазин и попросили продать вам жевательную резинку. Продавщица, у которой, скажем, 16 сортов жевательной резинки, находится в состоянии неопределенности. Она не может выполнить вашу просьбу без получения дополнительной информации. Если вы уточнили, скажем, - «Orbit», и из 16 первоначальных вариантов продавщица рассматривает теперь только 8, вы уменьшили ее неопределенность в два раза (забегая вперед, скажем, чтоуменьшение неопределенности вдвое соответствует получению 1 бита информации). Если вы, не мудрствуя лукаво, просто указали пальцем на витрине, - «вот эту!», то неопределенность была снята полностью. Опять же, забегая вперед, скажем, что этим жестом в данном примере вы сообщили продавщице 4 бита информации.

Формула Шеннона:

I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),

где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

 

 




Поиск по сайту:

©2015-2020 studopedya.ru Все права принадлежат авторам размещенных материалов.