суть содержательного подхода

        Для того, чтобы измерить количество информации в каком-либо сообщении, необходимо понять, ЧТО важнее в данном собщении: его объем или его смысл. Это заставляет нас вспомнить различные определения информации. 

          В случае, когда нас  интересует содержание сообщения, и не важно, сколько в нем символов, мы будем измерять количество информации с точки зрения уменьшения неопределенности наших знаний о чем-то. Такой подход к измерению информации называется СОДЕРЖАТЕЛЬНЫМ.

На самом деле довольно  трудно количественно измерить качественные признаки информации, такие как новизна, актуальность, полезность и т.д. Мы будем пользоваться более формализованным подходом, предполагая, что человек осознает наполноту своих сведений и хочет получить ответы на проблемные вопросы.

          Прежде всего нужно выяснить сколько вариантов решения или развития событий имеется.

Например, если Вы знаете дом, в котором живет Ваш друг, но не знаете квартиру, то это количество вариантов равно количеству квартир в доме (40, 80, 100 и т.д.), а если вы не знаете квартиру, но знаете подъезд, то количество вариантов уменьшается и становится равным количеству квартир в подъезде.

          Попробуем вычислить объем информаци в сообщении спомощью содержательного подхода.

        Мы подбрасываем монету. Пока монета не упала, или мы на нее не посмотрели, имеет место неопределенность, состоящая из 2-х вариантов: монета упадет "орлом" или "решкой". После того, как мы посмотрели на монету, неопределенность снята. Она уменьшилась в 2 раза, из двух возможных вариантов произошел один.

      Количество информации, уменьшающее неопределенность знаний в 2 раза, равняется 1  биту.

Это по-прежнему минимальная единица измерения информации, на теперь бит может принимать и нецелые значения.

         Пример1: сколько информации Вы получили, когда из разговора с другом узнали, что из 4-х останавливающихся у Вашего дома автобусов до кинотеатра идет 1? Вариантов - 4, узнав номер маршрута, Вы уменьшили неопределенность Ваших знаний в 4 раза, значит получили 2 бита информации. 

      Пример2: Сколько вопросов надо задать, чтобы гарантировано угадать задуманое число в диапазоне от 1 до 100? Когда вы задаете вопросы, их надо формулировать так, чтобы каждый раз уменьшать неопределенность в два раза. Тогда     2ⁱ=100, 2⁷=128     необходимо задать не больше 7 вопросов. Например, таких:"это число меньше 51?"

ДАЛЕЕ