Количество информации, по Шеннону

Пусть дан некоторый ансамбль сообщений, то есть перечень сообщений с указанием вероятности появления каждого из них. При этом суммарная вероятность всех сообщений должна быть равна единице. Говорят, что ансамбль представляет собой группу сообщений. В ансамбле не указывается конкретное число сообщений, так как оно не имеет особого значения. Указываются только порядковые номера сообщений.

Верхняя строка содержит номера поступающих сообщений, нижняя – вероятности их появления.

Количество информации, которое содержится в i-м сообщении равно

, то есть чем менее вероятно сообщение тем больше информации оно содержит. Таким образом, от частной ситуации равной вероятности сообщений, рассмотренной Хартли, Шеннон перешел к общему случаю.

Количество информации, которое содержит в среднем одно сообщение можно рассматривать как математическое ожидание

Полученное выражение называется энтропией источника:

Энтропия источника – среднее количество информации в одном сообщении. Не следует путать энтропию с количеством информации в одном конкретном сообщении I_i.

Если в источнике есть множество сообщений, точно знать о каждом из них необязательно. В этом заключается преимущество среднего значения количества информации. Усреднение позволило Шеннону оценить как редкие, так и частые сообщения.

Энтропия H_И характеризует источник сообщения. Аналогично можно получить и “энтропийную характеристику сигнала”.

Каждое сообщение передается n сигналами, каждый из которых может принимать K значений. Будем считать, что в сигнале, которым передается i-е сообщение, содержится элементарных сигналов со значением j. Тогда можно утверждать, что значение сигнала j встретится в канале связи с вероятностью

Символ j появится раз в i-м сообщении только в том случае, если появится само сообщение; так получается произведение .

По Хартли информационная емкость сигнала зависит от n и K:

где 1/K – вероятность появления любого сообщения из возможных.

Шеннон оценил среднее значение количества информации

где H_C – энтропия одного элементарного сигнала, который имеет K рабочих значений разной вероятности.

Для сравнения сведем в одну таблицу характеристики Шеннона и Хартли (Табл. 1).

Табл. 1. Характеристики сигнала и источника

	Характеристики источника	Характеристики сигнала
Хартли
Шеннон

Формулы Шеннона отображают общий случай, когда вероятности отдельных сообщений или вероятности появления всех значений элементарного сигнала не равны. Легко показать, что формулы Хартли получаются из формул Шеннона как частные случаи, когда все вероятности равны между собой.

Приведем свойства энтропии.

1. Энтропия – величина существенно положительная, так как логарифм от величины, меньшей единицы, есть величина отрицательная. Кроме того следует учесть “-” перед знаком суммы в формуле для определения энтропии. Следует также отметить, что информация источника, характеристикой которой является энтропия, полезна, то есть положительна.
2. Если хотя бы одна из вероятностей P равна единице, то H_И = 0, H_C = 0. В этом случае .
3. H_И или H_C имеют максимум при условии P₁ = P₂ =…= P_n для H_И и P₁ = P₂ =…= P_K для H_C. Таким образом, формулы Хартли отображают
   
   

Доказательство

– функции многих вероятностей. Вычислим частные производные

где – множитель Лагранжа:

При таком значении вероятности, одинаковом для всех сообщений, существует экстремум (максимум либо минимум). Из определения ансамбля

Вероятность

по условию не зависит от номера сообщения i, поэтому сумма вероятностей определяется выражением

Можно сказать, что вероятности равны, если об источнике ничего неизвестно. В этом случае энтропия источника максимальна. Имея об источнике какую либо априорную информацию, можно говорить об уменьшении энтропии.

---