Количественная мера информации, по Хартли

Необходимость измерения количества информации остро встала при появлении систем передачи информации (Рис.1) (к таким системам можно отнести, например, телеграфные).

Передающее устройство преобразует сообщение в сигнал. Приемное устройство преобразует сигнал в сообщение. В любой системе передачи обязательно существует преобразование сообщения в сигнал, которое должно быть взаимно однозначным. Для обеспечения однозначности используются дискретные сигналы из n элементарных (единичных) сигналов. Единичный сигнал занимает, как правило, одну временную позицию. Каждый элементарный сигнал может иметь K различных значений. Величина K зависит от способов модуляции.

Рис1. Структурная схема системы передачи информации

Если используются дискретные сигналы, характеризуемые длиной сообщения n и основанием системы счисления K (как правило, K = 2), то должно выполняться условие: , где M – число сообщений.

Можно прийти к заключению, что – количество информации. Это в принципе верно, но такая мера неудобна для практического использования, так как не удовлетворяет условию аддитивности.

Проиллюстрируем это утверждение примером. Пусть имеется два источника сигнала

Тогда

Но для

.

Нужно выбрать такую меру, которая была бы пропорциональна числу элементарных сигналов в сообщении, то есть приращение количества информации составляло бы dI=Kdn. Можно проделать следующие преобразования:

Последняя формула была выведена Хартли в 1928 г. и носит название формулы Хартли. Из формулы следует, что неопределенность в системе тем выше, чем больше M . Основание логарифма a можно выбрать произвольно. Наиболее часто встречаются следующие случаи:

Следует отдельно отметить первый случай; количество информации, равное одному биту, определяет простейшую ситуацию с двумя равновозможными исходами.

Формула Хартли получена при ограничениях.

1. Отсутствие смысловой ценности информации.
   
2. M возможных состояний равновероятны:
   
   P = 1/M – вероятность появления одного сообщения.
   
3. Между элементарными сигналами отсутствует корреляция, и все значения равновероятны. Утверждение об отсутствии корреляции следует из того, что для передачи сообщений используются все возможные сигналы. Равная вероятность всех K значений сигналов следует из формулы
   
   p=1/K – вероятность появления любого значения из K возможных.

Возникают ситуации, в которых отмеченные выше ограничения не действуют, по этому для них формула Хартли дает неверные результаты. Другое представление количества информации было найдено Клодом Шенноном примерно через 20 лет после опубликования формулы Хартли.