1. Формула Хартли
1.1. N = 2ⁱ
1.1.1. N - количество вариантов выбора
1.1.2. I - количество информации
1.2. 1928 г.
1.2.1. Ральф Хартли (1888-1979 гг.)
1.3. I = log₂N
1.3.1. I - это степень, в которую нужно возвести число 2, чтобы получить N
1.3.1.1. Например, при N = 10 по формуле I = log₂10 = 3.322 бита
2. Информация и вероятность
2.1. Принцип ожидаемости
2.1.1. Формулы работают только при условии, что все события одинаково ожидаемы
2.1.1.1. В жизни мы не можем заранее точно предсказать редкость тех или иных событий
2.2. Вероятность - p(от лат. probabilis, вероятный, возможный)
2.2.1. p принадлежит промежутку [0;1]
2.2.2. Три правила вероятности
2.2.2.1. Если p -> 0, то I -> ∞
2.2.2.2. Принцип аддитивности
2.2.2.2.1. Если m -> ∞, то I -> ∞
2.2.2.3. Если p -> 1, то I -> 0
2.2.3. Если нужное событие произошло m раз, то p = m/N
2.2.4. I = -log₂p = log₂(1/p)
3. Формула Шеннона
3.1. ΔH = Hₙ - Hₖ
3.1.1. Hₙ - начальная неопределенность
3.1.2. ΔH -> ∞, если m₁≈m₂≈...≈mₙ
3.1.2.1. Совпадает с I(по формуле Хартли)
3.1.3. Hₖ - конечная неопределенность
3.1.3.1. Hₖ = 0, если неопределенность полностью снимается
3.2. Была выведена в 1948 г.
3.2.1. Клод Шеннон(1916-2001 гг.)