Измерение информации

1. Алфавитный подход

1.1. вес символа, i

1.2. N=2 в степени i

1.3. мощность алфавита, N

1.4. количество информации,I

1.4.1. I=K*i

1.4.2. количество знаков в сообщении, K

2. Единицы измерения

2.1. бит

2.1.1. происхождение от слов "Binary digit"

2.1.2. минимальная единица

2.2. байт

2.2.1. = 8 бит

2.3. килобайт

2.3.1. 1 Кб

2.3.2. 1024 байт

2.4. мегабайт

2.4.1. 1 Мб

2.4.2. 1024 Кб

2.5. гигабайт

2.5.1. 1 Гб

2.5.2. 1024 Мб

2.6. терабайт

2.6.1. 1 Тб

2.6.2. 1024 Гб

2.7. другие

3. Вероятностный подход

3.1. количество информации - это мера уменьшения неопределенности знания

3.2. количество возможных событий N

3.3. количество информации I

3.3.1. формула Шеннона

3.3.1.1. разновероятностные события

3.3.1.1.1. I=- сумма произведения вероятности i-го события на логарифм i-го события по основанию 2. Сумма i от 1 до N