Количество информации. Формула Шеннона

Формула Хартли определяет количество необходимой информации для выявления определенного элемента множества при условии, что все элементы равновероятны. Однако может быть так, что какие-то элементы более вероятны (чаще встречаются), а какие-то меньше. Например, в русском языке буква «а» употребляется чаще, чем буква «ю».

В случае, когда вероятность элементов не одинакова, для определения количества информации, достаточной для выявления элемента, используют формулу Шеннона. Ее можно получить из формулы Хартли.

k = logN (формула Хартли)
1/N – вероятность каждого исхода, если все они равновероятны.
-1/N * log1/N – вклад в k (общую неопределенность, количество информации) одного исхода.

При неравновероятных исходах пусть вклад каждого обозначается буквой P с индексным номером: 1, 2, 3, 4 …. N.

Получаем формулу:

k = -P1logP1 – P2logP2 – P3logP3 – … – PNlogPN

Чем больше k, тем больше информации содержится в системе. Максимальное значение k имеет лишь тогда, когда все исходы равновероятны.