Содержательный подход при измерении информации

Измерение информации

Под информацией понимают некоторые сведения, уменьшающие существовавшую до их получения неопределенность.

За единицу измерения количества информации принят 1 бит. Он соответствует одному двоичному разряду (0 или 1).

Если после получения какого-то сообщения неопределенность знаний уменьшается в два раза, то это сообщение несет в себе 1 бит информации.

Более крупой единицей измерения количества информации является байт (1 байт = 8 бит).

Существуют и другие единицы измерения количества информации:

1 килобайт (Кб) = 2¹⁰ байт = 1024 байт.

1 мегабайт (Мб) = 2¹⁰ Кб = 2²⁰ байт.

1 гигабайт (Гб) = 2¹⁰ Мб = 2²⁰ Кб = 2³⁰ байт.

1 терабайт (Тб) = 2¹⁰ Гб = 2²⁰ Мб = 2³⁰ Кб = 2⁴⁰ байт.

Задача 1. Сколько бит содержится в 0,5 Кб?

0,5 Кб = 0,5×2¹⁰ байт = 0,5×2¹⁰×8 бит = 2¹² бит = 1024×4 бит = 4096 бит.

Задача 2.Определить, сколько файлов размером по 100 Кб каждый можно записать на дискете емкостью 1,44 Мб.

1,44 Мб = 1,44×2¹⁰ Кб.

100 100

Измерение информации в тексте

При измерении количества информации в тексте, записанном с помощью N-символьного алфавита, используют следующие формулы:

I = i × k;

i = log₂N;

N = 2ⁱ,

где I – количество информации в тексте; i – количество информации, которое несет один символ (в битах); k – количество символов в тексте; N – мощность алфавита.

Задача 1. Сообщение, записанное с помощью 64-символьного алфавита, занимает 3 страницы, на каждой странице по 240 символов. Найти количество информации в сообщении (в байтах).

i = log₂N = log₂64 = log₂2⁶ = 6×log₂2 = 6×1 = 6 (бит).

k = 3×240 = 720 (символов).

I = i×k = 6×720 = 4320 (бит).

4320 бит = 4320:8 байт = 540 байт.

Задача 2. Сообщение, содержащее 64 символа, несет 1/16 часть Кб. Найти мощность алфавита, с помощью которого записано сообщение.

64 64 16×64 2¹⁰

N = 2ⁱ = 2⁸ = 256.

Задача 3. Сообщение, записанное с помощью 128-символьного алфавита, занимает 20 страниц. Каждая страница содержит 24 строки. Все сообщение содержит 210 Кб информации. Найти количество символов в каждой строке.

Пусть х – количество символов в строке, тогда k = 20×24×x; х = k /480.

i = log₂N = log₂128 = log₂2⁷ = 7×log₂2 = 7×1 = 7 (бит).

I = 210 Кб = 210×2¹⁰×8 бит = 210×2¹³ бит.

k = I / i = 210×2¹³ / 7 = 30×2¹³ (символов).

х = 30×2¹³/480 = 2⁹ = 512 (символов).

Содержательный подход при измерении информации

Как отмечалось выше, если после получения какого-то сообщения неопределенность знаний уменьшается в два раза, то это сообщение несет в себе 1 бит информации, т.е. если событие имеет два исхода, то при наступлении каждого из них неопределенность знаний уменьшается в два раза. Количество информации в сообщении о том, что наступило одно из этих событий, равно 1 биту.

Таким образом, количество информации, полученное из сообщения о том, что наступило одно из N равновозможных событий, можно вычислить по формуле

х = log₂N,

где х – количество информации в сообщении (в битах); N – количество равновозможных (равновероятных) событий, только одно из которых наступило.

Задача 1. Бросают игральный кубик. Найти количество информации в сообщении о том, что выпало число 5.

N = 6.

х = log₂N = log₂6 » 2,58 бит.

Задача 2. В корзине лежат 8 шаров, все разного цвета. Найти количество информации в сообщении о том, что наугад вынули красный шар.

N = 8.

х = log₂N = log₂8 = 3 бита.

Задача 3. При угадывании целого числа в диапазоне от 1 до N был получен 1 байт информации. Найти N.

х = log₂N, отсюда N = 2^x.

x = 1 байт = 8 бит.

N = 2⁸ = 256.

Поиск по сайту: