Измерение количества информации. Содержательный подход к измерению количества информации. Подход к измерению количества информации.

Подход к измерению количества информации в сообщении с учетом его смысла, 1 бит- единица измерения количества информации, вычисление количества информации в сообщеии методом половинного деления и по формуле Р.Хартли

Разные подходы к определению информации порождают разные способы её измерения. Вначале рассмотрим подход к измерению количества информации , который основан на том, что информацией для человека являются сведения, уменьшающие существующую до из получения неопределенности знания о каком-либо событии. Такой подход называется содержательный, поскольку при его использовании необходимо понять содержание , или  смысл, сообщения.

С точки зрения содержательного подхода сообщение об уже известном для человека событии не содержит информации. Например, сообщение учителя на уроке информатики: «Сейчас вы будете изучать информатику» не содержит информации для школьников, на каком уроке они находятся. Сообщение содержит информацию в том случае, когда из некоторых возможных, так как такое уменьшает неопределенность знания. Например, урок информатики  может проводиться как в обычном, так и в компьютерном кабинете. В этом случае сообщение «Урок информатики будет проведен в компьютерном кабинете» содержит информацию для учащихся , поскольку они получили новое знание о месте проведения урока информатики.

Для измерения количества информации необходимо ввести единицу измерения. Точно так же как для измерения массы был введен метр, для измерения массы был введен килограмм, для измерения времени была введена секунда, так и для измерения информации был введен бит. Поскольку с точки зрения содержательного подхода информация содержит сообщение , которое уменьшает неопределенность знания человека, то было решено: если  неопределенность знания уменьшится ровно в два раза, то такое сообщение содержит  1 бит информации.

1 бит – количество информации, содержащееся в сообщении, уменьшающем неопределенность знания в два раза.

Используя введенную единицу измерения количества информации – бит, определим количество информации, которое получает человек в различных сообщениях.

Пример 1. Вернемся к примеру о месте проведения урока информатики и вычислим количество информации в этом сообщении.

До получения сообщения учащихся  была неопределенность знания : урок информатики мог быть проведен либо в компьютерном кабинете ,либо в обычном кабинете. Причем оба события были равновозможными. После получения сообщения о наступлении только одного события из двух равновозможных , неопределенность знания учащихся о месте проведения урока информатики уменьшилась ровно в два раза. Поэтому можно утверждать , что сообщение « Урок информатики будет проведен в компьютерном кабинете» для учащихся , которые могут заниматься как в компьютерном ,  так и в обычном кабинете, содержит 1 бит информации. Причем сообщение «Урок информатики будет проведен в обычном кабинете» для этих учащихся также содержит 1 бит информации .

Ответ. Сообщение о месте проведения урока информатики для учащихся содержит 1 бит информации.

Сообщение о том, что произошло одно из двух равновозможных событий, содержит 1 бит информации.

Вычислить количество информации в сообщениях в случае, когда число  равновозможных событий  больше двух. Решим эти задачи за несколько шагов с использованием  метода половинного деления, который заключается в отбрасывании на каждом шаге решения ровно половины равновозможных вариантов и, следовательно, в уменьшении неопределенности знания в два раза. Для этого будем задавать вопросы, на которые можно будет ответить только «Да» или «Нет». Причем вопросы необходимо задать таким образом, чтобы каждый ответ «Да» или «Нет» уменьшал количество равновозможных вариантов ровно в два раза, а значит, содержит 1 бит информации.

Пример 2. Сколько информации содержит сообщение о том, что спортсмен занял на соревновании первое место из четырех возможных?

Сразу ответить на этот вопрос сложно, поскольку в задаче известно, что наступило одно событие  из четырех равновозможных, а не из двух, как это было в предыдущей задаче. Решим эту задачу методом половинного деления. Для этого будем так задавать вопросы о занятом спортсменом месте , чтобы каждый ответ «Да» или «Нет» уменьшал количество равновозможных вариантов ровно в два раза.

Шаг 1. Зададим первый вопрос: «Спортсмен занял место ниже третьего?» Ответ на эьот вопрос как «Да» или «Нет» уменьшал  количество вариантов ровно в два раза, поскольку из четырех мест останется только два: первое-второе или третье-четвертое. Ответ «Да» уменьшает количество равновозможных вариантов ровно в два раза.

Шаг 2. Зададим второй вопрос: «Спортсмен занял второе место?»Ответ «Да» или «Нет» на этот вопрос также уменьшит количество вариантов в два раза, поскольку из двух мест останется только одно- первое место или второе место. Ответ «Нет» на втором вопрос позволил утверждать, спортсмен занял первое место. Каждый  ответ уменьшил неопределенность знания  равно в два раза и, следовательно, содержал 1 бит информации. Всего было получено два таких ответа. Значит, получено 2 бита информации.

Равновозможные варианты	Место 1, Место 2, место 3, место 4
Шаг 1 (вопрос/ответ)	Место 1                    место 3 Место 2                    место 4	1 бит
Шаг 2 (вопрос/ ответ)	Место 1                    Место 2	1 бит
Результат		2 бит

   Ответ. Сообщение о занятом спортсменом месте на соревновании содержит 2 бит информации.

Сообщение о том, что произошло одно из четырех равновозможных событий, содержит 2 бита информации.

Пример 3. В компьютерном кабинете находятся 8 компьютеров , каждый из которых имеет порядковый  номер. Сколько информации содержит сообщение  о том, что необходимый учителю компакт-диск вставлен в пятый компьютер?

Решим задачу, как и предыдущую, методом половинного деления.
Шаг 1. Ответ «Нет» на первый вопрос: «Компакт-диск вставлен в компьютер с четным номером?» уменьшил количество вариантов  в два раза, так как из восьми компьютеров осталось только четыре – первый, третий, пятый и седьмой.

Шаг 2. Ответ «Да» на второй вопрос: «Компакт-диск вставлен в компьютер , порядковый номер которого больше трёх?» уменьшил количество вариантов в два раза, так как из четырех компьютеров осталось только два- пятый седьмой.

Шаг 3. Ответ «Нет» на третий вопрос «Компакт-диск вставлен в седьмой  компьютер?» уменьшил количество вариантов в  два  раза, так как из двух компьютеров остался только один - пятый. Каждый ответ уменьшил неопределенность знания ровно в два раза и, следовательно, содержал 1 бит информации. Всего было получено три таких ответа. Значит, получено 3 бита информации.