Информация: понятия виды получение измерение и проблема обучения
В.М. Казиев
Понятие информации (informatio — разъяснение, осведомление, изложение) является одним из основных, ключевых понятий не только в информатике (в информологии — области знаний, изучающей проявление информации, её представление, измерение и т.д.), но и в математике, в физике и др. Понятие “информация” — плохо формализуемое и структурируемое понятие. В силу его всеобщности, объёмности, расплывчатости оно часто понимается неточно и неполно не только обучаемыми. Как правило, это понятие в курсе информатики не определяется, принимается как исходное базовое понятие, неопределяемый терм.
Информация трактуется по разному, например, как
любая сущность, которая вызывает изменения в некоторой информационно-логической (инфологической — состоящей из данных, знаний, абстракций и т.д.) модели системы (математика, системный анализ);
сообщения, полученные системой от внешнего мира в процессе адаптивного управления, приспособления (теория управления, кибернетика);
отрицание энтропии, отражение меры хаоса в системе (термодинамика);
связи, устраняющие неопределённость в системе (теория информации);
вероятность выбора в системе (теория вероятностей);
отражение разнообразия в системе (физиология, биокибернетика);
отражение материи, атрибут сознания, “интеллекта” системы (философия).
В соответствии с парадигмой фундаментальности информатики как образовательной и научной дисциплины, её исключительной роли в усилении междисциплинарных связей, познании системно-информационной картины мира, необходимо введение в это фундаментальное, первичное понятие информатики на достаточно научном, строго-понятийном и в то же время доступном, содержательном уровне, например, с помощью содержательных примеров и задач. Эта проблема связана с трудностями методологического и методического плана. Данная статья (адаптированные к школе выдержки из рукописи авторского учебника “Информатика” для студентов, второе переработанное и дополненное издание [9]) ставит своей целью облегчение этой трудной, но обязательно нуждающейся в рассмотрении задачи.
1. Понятие информации, виды информации
Информация — это некоторая последовательность (налицо упорядоченность) сведений, знаний, которые актуализируемы (получаемы, передаваемы, преобразуемы, сжимаемы или регистрируемы) с помощью некоторых знаков (символьного, образного, жестового, звукового, сенсомоторного типа). Это приращение, развитие, актуализация знаний, возникающее в процессе целеполагающей интеллектуальной деятельности человека. Никакая информация, никакое знание не появляется сразу — этому предшествует этап накопления, осмысления, систематизации опытных данных, взглядов. Знание — продукт такого процесса. Мышление — необходимый атрибут такого процесса.
Информация может существовать в пассивной (не актуализированной) и активной (актуализированной) форме.
Пример. Информация актуализируется сообщениями, при этом формы облачения информации в сообщения различны, например, для живых существ — сигналы, жесты, для технических устройств — сигналы. Информация передаваемая от одного человека другому, может передаваться символами (письмо), жестами (сигнальщик на боевом корабле), звуками (диктор), геометрическими фигурами (чертёжник), художественными образами (балерина). Информация передающаяся животными может быть передана звуками (лай, вой, писк), ситуационным поведением (образами). Информация в технических устройствах, автоматах может быть передана электрическими, магнитными, световыми импульсами, как это происходит в ЭВМ.
Информация по отношению к окружающей среде (или к использующей ее среде) бывает трех типов входная, выходная и внутренняя.
Входная информация (по отношению к окружающей среде) — информация, которую система воспринимает от окружающей среды.
Выходная информация (по отношению к окружающей среде) — информация, которую система выдает в окружающую среду.
Внутренняя, внутрисистемная информация (по отношению к системе) — информация, которая хранится, перерабатывается, используется только внутри системы т.е. актуализируемая лишь только подсистемами системы. Это несколько идеализированное (особенно с точки зрения физики открытых систем) понятие.
Пример. Человек воспринимает, обрабатывает входную информацию, например, данные о погоде на улице, формирует выходную реакцию — ту или иную форму одежды. При этом используется внутренняя информация, например, это генетически заложенная (или приобретённая) физиологическая информация о реакции, например, о морозостойкости» человека.
Пример. Генетически заложенная в молекулах ДНК информация и приобретённая информация (в памяти) влияют на поведение, на адаптацию человека в окружающей среде. В машинах первого поколения внутренняя структура определялась тысячами ламп, причем каждая из них отдельно была невысокой надежности, т.е. вся система была ненадежной в работе. Это влияло на входную информацию, например, такие ЭВМ не были способны на работу в многозадачном режиме, в режиме реального времени (обработки сообщений по мере получения входных данных).
Информация по отношению к конечному результату проблемы бывает
исходная (на начало актуализации этой информации);
промежуточная (от начала до завершения актуализации информации);
результирующая (после завершения её актуализации).
Пример. При решении системы линейных алгебраических уравнений информация от методах решения, среде реализации, входных данных (источники, точность и т.д.), размерности системы и т.д. является исходной информацией; информация о совместности системы уравнений, численных значениях корня и т.д. — результирующая; информация о текущих состояниях коэффициентов уравнений реализации схемы Гаусса — промежуточная.
Информация по изменчивости при её актуализации бывает
постоянная (не изменяемая никогда при её актуализации);
переменная (изменяемая при актуализации);
смешанная — условно — постоянная (или условно-переменная).
Пример. В известной физической задаче определения дальности полёта снаряда артиллерийского орудия, информация об угле наклона орудия может быть переменной, информация о начальной скорости вылета снаряда — постоянной, а информация о координатах цели — условно-постоянной.
Возможна также классификация информации и по другим признакам
по стадии использования (первичная, вторичная);
по полноте (избыточная, достаточная, недостаточная);
по отношению к цели системы (синтаксическая, семантическая, прагматическая);
по отношению к элементам системы (статическая, динамическая);
по отношению к структуре системы (структурная, относительная);
по отношению к управлению системой (управляющая, советующая, преобразующая, смешанная);
по отношению к территории, территориально (федеральная, региональная, местная, относящая к юридическому лицу, относящаяся к физическому лицу, смешанная);
по доступу (открытая или общедоступная, закрытая или конфиденциальная, смешанная);
по предметной области, по характеру использования (статистическая, коммерческая, нормативная, справочная, научная, учебная, методическая и т.д., смешанная) и другие.
Информация в философском аспекте бывает, в основном мировоззренческая; эстетическая; религиозная; научная; бытовая; техническая; экономическая; технологическая.
Все это (с человеком) составляет ноосферу общества — более высокое состояние биосферы, возникшее в результате эволюции, структурирования, упорядочивания и гармонизации связей в природе и обществе под воздействием целеполагающей деятельности человечества. Это понятие введено впервые В. И. Вернадским в качестве отражения эволюции общества и природы т.е. системы, в рамках которой потенциально может быть реализовано гармоническое, устойчивое развитие (эволюция) систем “Общество” и “Природа”, а также постепенное слияние, интеграция и гармонизация наук о природе, познании и об обществе. Без этого невозможно построение информационного общества.
Основные свойства информации (и сообщений)
полнота (содержание всего необходимого для понимания информации);
актуальность (необходимость) и значимость (сведений, знаний);
ясность (выразительность сообщений на языке интерпретатора);
адекватность, точность, корректность (актуализации знаний);
интерпретируемость и понятность (интерпретатору информации);
достоверность (отображаемых сообщениями информации);
информативность, значимость (сообщений, отображающих информацию);
массовость (применимость ко всем проявлениям);
кодируемость и экономичность (кодирования, актуализации сообщений);
сжимаемость и компактность (сообщений);
защищённость и помехоустойчивость (актуализации информации);
доступность (интерпретатору);
ценность (значимость при достаточном уровне потребителя).
Пример. Рекламный щит — простой красочный кусок дерева (железа), но информация заложенная в сообщениях на этом щите должна обладать всеми вышеперечисленными свойствами и только тогда этот щит будет ассоциироваться у интерпретатора (человека) с рекламируемым товаром (услугами) и актуализировать информацию. При этом вся форма представления рекламы должна строиться с учетом понятности интерпретатору, быть информативной. Пока символы не организованы определенным образом, не используются для некоторой определённой цели, они не отражают информацию.
Информация может оказаться и вредной, влияющей негативно на сознание, например, воспитывающей восприятие мира от безразличного или же некритического — до негативного, «обозлённого», неадекватного. Информационный поток — достаточно сильный раздражитель.
Пример. Негативной информацией — раздражителем может быть информация о крахе коммерческого банка, о резком росте (спаде) валютного курса, об изменении налоговой политики и др.
Информация не существует без других типов ресурсов — энергии, вещества, организации, как и они не могут существовать без информации. Любые взаимодействия систем (подсистем) — взаимодействия всегда материально-энерго-информационные. Выявление (структурирование, упорядочивание, установление отношений), формализация (описание формальными средствами, языками), изучение (разработка моделей, методов, алгоритмов), применение (разработка и актуализация технологий) этих взаимодействий и составляет основную задачу информатики — как науки, как человеческой деятельности.
2. Методы получения, использования информации
Методы получения и использования информации можно разделить на три группы, условно разграничиваемые и часто перекрываемые друг другом.
Эмпирические методы или методы получения эмпирической информации (эмпирических данных).
Теоретические методы или методы получения теоретической информации (построения теорий).
Эмпирико — теоретические методы (смешанные, полуэмпирические) или методы получения эмпирико-теоретической информации.
Охарактеризуем кратко эмпирические методы.
Наблюдение — сбор первичной информации о системе (в системе).
Сравнение — установление общего и различного в системе (системах).
Измерение — нахождение эмпирических законов, фактов для системы.
Эксперимент — целенаправленное преобразование системы (систем).
Кроме этих классических форм их реализации в последнее время используются и такие формы как опрос, интервью, тестирование и др.
Охарактеризуем кратко эмпирико — теоретические методы.
Абстрагирование — установление общих свойств объекта (объектов), замещение системы ее моделью.
Анализ — разъединение системы на подсистемы с целью выявления их взаимосвязей.
Синтез — соединение подсистем в систему с целью выявления их взаимосвязей.
Индукция — получение знания о системе по знаниям о подсистемах.
Дедукция — получение знания о подсистемах по знаниям о системе.
Эвристики, использование эвристических процедур — получение знания о системе по знаниям о подсистемах и наблюдениям, опыту.
Моделирование, использование приборов — получение знания об объекте с помощью модели и/или приборов.
Исторический метод — нахождение знаний о системе путем использования его предыстории.
Логический метод — метод нахождения знаний о системе путём воспроизведения его подсистем, связей или элементов в мышлении, в сознании.
Макетирование — получение информации по макету системы, т.е. с помощью представления подсистем в упрощенном виде, сохраняющем информацию, необходимую для понимания взаимодействия и связей этих подсистем.
Актуализация — получение информации с помощью активизации, инициализации её, т.е. переводом из статического (неактуального) состояния в динамическое (актуальное) состояние; при этом все необходимые связи и отношения (открытой) системы с внешней средой должны быть сохранены.
Визуализация — получение информации с помощью визуального представления состояний актуализированной системы; визуализация предполагает возможность выполнения операции типа “передвинуть”, “повернуть”, “укрупнить”, “уменьшить”, “удалить”, “добавить” и т.д. (как по отношению к отдельным элементам, так и к подсистемам системы).
В последнее время часто используются и такие формы как мониторинг (система наблюдений и анализа состояний системы), деловые игры и ситуации, экспертные оценки (экспертное оценивание), имитация (имитационная процедура, эксперимент) и др.
Охарактеризуем кратко теоретические методы.
Восхождение от абстрактного к конкретному — получение знаний о системе на основе знаний о его проявлениях в сознании, в мышлении.
Идеализация — получение знаний о системе или о ее подсистемах путём мысленного конструирования, представления в мышлении систем и/или подсистем, не существующих в действительности.
Формализация — получение знаний о системе с помощью знаков или же формул, т.е. языков искусственного происхождения, например, языка математики (или математическое, формальное описание, представление).
Аксиоматизация — получение знаний о системе или процессе с помощью некоторых, специально для этого сформулированных аксиом и правил вывода из этой системы аксиом.
Виртуализация — получение знаний о системе созданием особой среды, обстановки, ситуации, которую реально, без этой среды невозможно реализовать и получить соответствующие знания.
Все эти методы получения информации обычно применяются многоуровневым комплексным образом и можно предложить схему
3. Измерение сообщений и информации
Если отвлечься от конкретного смыслового содержания информации и рассматривать сообщения информации как последовательности знаков, сигналов, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.
Выше было отмечено, что информация может пониматься и интерпретироваться по разному. Вследствие этого имеются различные подходы к определению методов измерения информации, меры количества информации. Раздел информатики (теории информации) изучающий методы измерения информации называется информметрией.
Количество информации — числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности, определённости, выбору (вероятности) состояний отображаемой системы.
Если рассматривается система, которая может принимать одно из n возможных состояний, то актуальна задача оценки такого выбора, исхода. Такой оценкой может стать мера информации (или события). Мера — это некоторая непрерывная действительная неотрицательная функция, определённая на множестве событий и являющаяся аддитивной т.е. мера конечного объединения событий (множеств) равна сумме мер каждого события.
1. Мера Р. Хартли. Пусть имеется N состояний системы S или N опытов с различными, равновозможными последовательными состояниями системы. Если каждое состояние системы закодировать, например, двоичными кодами определённой длины d, то эту длину необходимо выбрать так, чтобы число всех различных комбинаций было бы не меньше, чем N. Наименьшее число, при котором это возможно или мера разнообразия множества состояний системы задаётся формулой Р. Хартли H=k logа N, где k — коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а — основание системы меры.
Если измерение ведётся в экспоненциальной системе, то k=1, H=lnN (нат); если измерение — в двоичной системе, то k=1/ln2, H=log2N (бит); если измерение — в десятичной системе, то k=1/ln10, H=lgN (дит).
Пример. Чтобы узнать положение точки в системе из двух клеток т.е. получить некоторую информацию, необходимо задать 1 вопрос («Левая или правая клетка?»). Узнав положение точки, мы увеличиваем суммарную информацию о системе на 1 бит (I=log2 2). Для системы из четырех клеток необходимо задать 2 аналогичных вопроса, а информация равна 2 битам (I=log24). Если система имеет n различных состояний, то максимальное количество информации равно I=log2 n.
Справедливо утверждение Хартли если во множестве X={x1, x2, …, xn} выделить произвольный элемент xiО X, то для того, чтобы найти его, необходимо получить не менее loga n (единиц) информации.
По Хартли, для того, чтобы мера информации имела практическую ценность — она должна быть такова, чтобы отражала количество информации пропорционально числу выборов.
Пример. Имеются 192 монеты из которых одна фальшивая. Определим сколько взвешиваний нужно произвести, чтобы определить ее. Если положить на весы равное количество монет, то получим 2 возможности (мы сейчас отвлекаемся от того, что в случае фальшивой монеты таких состояний будет два — состояния независимы) а) левая чашка ниже; б) правая чашка ниже. Таким образом, каждое взвешивание дает количество информации I=log22=1 и, следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где k удовлетворяет условию log22kі log2192. Отсюда, kі 7 или, k=7. Следовательно, нам необходимо сделать не менее 7 взвешиваний (достаточно семи).
Пример. ДНК человека можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК или нуклеотид. Определим сколько информации (в битах) содержит ДНК, если в нем содержится примерно 1,5ґ 1023 нуклеотидов. На один нуклеотид приходится log2(4)=2 (бит) информации. Следовательно, структуры ДНК в организме человека позволяет хранить 3ґ 1023 бит информации. Это вся информация, куда входит и избыточная. Реально используемой, — структурированной в памяти человека информации, — гораздо меньше. В этой связи, заметим, что человек за среднюю продолжительность жизни использует около 5 — 6 % нейронов (нервных клеток мозга — “ячеек ОЗУ человека”). Генетический код — чрезвычайно сложная и упорядоченная система записи информации. Информация заложенная в генетическом коде (по учению Дарвина) накапливалась многие тысячелетия. Хромосомные структуры — своеобразный шифровальный код и при клеточном делении создаются копии шифра, каждая хромосома — удваивается, в каждой клетке имеется шифровальный код, при этом каждый человек получает, как правило, свой набор хромосом (код) от матери и от отца. Шифровальный код разворачивает процесс эволюции человека. Вся жизнь, как отмечал Э. Шредингер, “упорядоченное и закономерное поведение материи, основанное … на существовании упорядоченности, которая поддерживается всё время”.
Формула Хартли отвлечена от семантических и качественных, индивидуальных свойств рассматриваемой системы (качества информации, содержащейся в системе, в проявлениях системы с помощью рассматриваемых N состояний системы). Это основная положительная сторона этой формулы. Но имеется и основная отрицательная сторона формула не учитывает различимость и различность рассматриваемых N состояний системы.
Уменьшение (увеличение) Н может свидетельствовать об уменьшении (увеличении) разнообразия состояний N системы.
Обратное, как это следует из формулы Хартли (основание логарифма берётся больше 1!), — также верно.
Мера К. Шеннона. Формула Шеннона дает оценку информации независимо, отвлеченно от ее смысла
n I = — е pi log2 pi . i=1
где n — число состояний системы; рi — вероятность (или относительная частота) перехода системы в i-ое состояние, причем сумма всех pi равна 1.
Если все состояния равновероятны (т.е. рi=1/n), то I=log2n.
К. Шенноном доказана теорема о единственности меры количества информации. Для случая равномерного закона распределения плотности вероятности мера Шеннона совпадает с мерой Хартли. Справедливость и достаточная универсальность формул Хартли и Шеннона подтверждается и данными нейропсихологии.
Пример. Время t реакции испытуемого на выбор предмета из имеющихся N предметов линейно зависит от log2N t=200+180log2N (мс). По аналогичному закону изменяется и время передачи информации в живом организме. В частности, один из опытов по определению психофизиологических реакций человека состоял в том, что перед испытуемым большое количество раз зажигалась одна из n лампочек, которую он должен указать. Оказалось, что среднее время, необходимое для правильного ответа испытуемого, пропорционально не числу n лампочек, а именно величине I определяемой по формуле Шеннона, где pi — вероятность зажечь лампочку номер i. .
Легко видеть, что в общем случае
n I = — е pi log2 pi Ј log2n. i=1Если выбор i — го варианта предопределен заранее (выбора, собственно говоря, нет, pi=1), то I=0.
Сообщение о наступлении события с меньшей вероятностью несёт в себе больше информации, чем сообщение о наступлении события с большей вероятностью. Сообщение о наступлении достоверно наступающего события несёт в себе нулевую информацию (и это вполне ясно, — событие всё равно произойдёт когда-либо).
Пример. Если положение точки в системе известно, в частности, она — в k-ой клетке, т.е. все рi=0, кроме рk=1, то тогда I=log21=0 и мы здесь новой информации не получаем.
Пример. Выясним, сколько бит информации несет каждое двузначное число со всеми значащими цифрами (отвлекаясь при этом от его конкретного числового значения). Так как таких чисел может быть всего 90 (10 — 99), то информации будет количество I=log290 или приблизительно I=6.5. Так как в таких числах значащая первая цифра имеет 9 значений (1- 9), а вторая — 10 значений (0-9), то I=log290=log29+log210. Приблизительное значение log210 равно 3.32. Итак, сообщение в одну десятичную единицу несет в себе в 3.32 больше информации, чем в одну двоичную единицу (чем log22=1), а вторая цифра в, например, числе аа несёт в себе больше информации, чем первая (если цифры разряда а неизвестны; если же эти цифры а известны, то выбора нет — информация равна нулю).
Если в формуле Шеннона обозначить fi = —n log2 pi , то получим, что I можно понимать как среднеарифметическое величин fi .
Отсюда, fi можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной pi вероятности появления этого символа в сообщении, передающем информацию.
Пусть сообщение состоит из n различных символов, mi — количество символов номер i=1, 2, …. n в этом сообщении, а N — длина сообщения в символах. Тогда вероятность появления i-го символа в сообщении равна pi=mi/N. Число всех различных сообщений длины n будет равно
n
p=N! / Х mi! .
i=1
Информация в одном таком сообщении равна
n
I=log2 p=ln p / ln 2 = ln ( N! / Х mi!)/ln 2 .
i=1
Используя формулу Стирлинга (достаточно точна, например, при N>100) — N!» (N/e)N , а точнее, её следствие — ln N! » N(ln N — 1) получаем (в битах)
n n
I » (N ln N — е mi ln mi ) / ln 2=— (N / ln 2) е pi ln pi .
i=1 i=1
Пример. Пусть рассматривается алфавит из двух символов русского языка — “к” и “а”. Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p1=0.028, p2=0.062. Возьмем произвольное слово p длины N из k букв “к” и m (k+m=N) букв “а” над этим алфавитом. Число всех таких возможных слов, как это следует из комбинаторики, равно n=N!/(k! m!). Оценим количество информации в таком слове I=log2 n=ln n / ln2=log2e [ln N! — ln k! — ln m!]. Воспользовавшись следствием приведённой выше формулой Стирлинга получаем оценку количества информации (в битах) на 1 символ любого слова
I1=I/N» (log2e/N)[(k+m)( ln N —1) — k(ln k—1) — m(ln m —1)]=
=(log2e/N)[k ln(N/k) — m ln(N/m)]=
=— log2e[(k/N) ln(k/N) + (m/N) ln(m/N)]Ј
Ј —log2e [p1 ln p1+p2 ln p2]=—log2e[0.028 ln0.028+0.062 ln0.062]» 0.235.
Пример. В сообщении 4 буквы “a”, 2 буквы “б”, 1 буква “и”, 6 букв “р”. Определим количество информации в одном таком (из всех возможных) сообщений. Число N различных возможных сообщений длиной в 13 букв будет равно величине N=13!/(4!ґ 2!ґ 1!ґ 6!)=180180. Количество информации I в одном сообщении будет равно величине I=log2(N)=log2180180» 17.5 (бит).
Если k- коэффициент Больцмана, известный в физике как k=1.38ґ 10-16 эрг/град, то выражение
n S = —k е pi ln pi i=1в термодинамике известно как этропия или мера хаоса, беспорядка в системе. Сравнивая выражения I и S видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о/в системе).
Нулевой энтропии соответствует максимальная информация. Основное соотношение между энтропией и информацией
I+S(log2e)/k=const
или в дифференциальной форме
dI/dt= —((log2e)/k)dS/dt.
Основными положительными сторонами формулы Шеннона является её отвлечённость от семантических и качественных, индивидуальных свойств системы, а также то, что в отличие от формулы Хартли она учитывает различность, разновероятность состояний — формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу удобной для практических вычислений. Основные отрицательные стороны формулы Шеннона она не различает состояния (с одинаковой вероятностью достижения, например), не может оценивать состояния сложных и открытых систем и применима лишь для замкнутых систем, отвлекаясь от смысла информации.
Увеличение (уменьшение) меры Шеннона свидетельствует об уменьшении (увеличении) энтропии (организованности) системы. При этом энтропия может являться мерой дезорганизации систем от полного хаоса (S=Smax) и полной информационной неопределённости (I=Imin) до полного порядка (S=Smin) и полной информационной определённости (I=Imax) в системе.
Пример. Чем ближе движущийся объект к нам, тем полнее информация обрабатываемая нашими органами чувств, тем чётче и более структурирован (упорядочен) объект. Чем больше информации мы имеем о компьютерной технике, тем меньше психологический барьер перед ним (согласно основному соотношению между энтропией и информацией).
3. Термодинамическая мера. Информационно-термодинамический подход связывает величину энтропии системы с недостатком информации о её внутренней структуре (не восполняемым принципиально, а не нерегистрируемым). При этом число состояний определяет, по существу, степень неполноты наших сведений о системе.
Пусть дана термодинамическая система (процесс) S, а Н0, Н1 — термодинамические энтропии системы S в начальном (равновесном) и конечном состояниях термодинамического процесса, соответственно. Тогда термодинамическая мера информации (негэнтропия) определяется формулой
Н(Н0,Н1)=Н0 — Н1.
Эта формула универсальна для любых термодинамических систем. Уменьшение Н(Н0,Н1) свидетельствует о приближении термодинамической системы S к состоянии статического равновесия (при данных доступных ей ресурсах), а увеличение — об удалении.
Поставим некоторый вопрос о состоянии некоторой термодинамической системы. Пусть до начала процесса можно дать p1 равновероятных ответов на этот вопрос (ни один из которых не является предпочтительным другому), а после окончания процесса — p2 ответов. Изменение информации при этом
D I = k ln(p1 / p2) = k (ln p1 — ln p2 ).
Если p1 > p2 (D I >0) — прирост информации, т.е. сведения о системе стали более определёнными, а при p1
Величина D I может быть интерпретирована как количество информации, необходимой для перехода от одного уровня организации системы к другой (при D I>0 — более высокой, а при D I>0 — более низкой организации).
Термодинамическая мера (энтропия) применима к системам, находящимся в тепловом равновесии. Для систем, далёких от теплового равновесия, например, живых биосистем, мера — энтропия — менее подходящая.
4. Энергоинформационная (квантово-механическая) мера. Энергия (ресурс) и информация (структура) — две фундаментальные характеристики систем реального мира, связывающие их вещественные, пространственные, временные характеристики. Если А — множество «энергетического происхождения», а В — множество «информационного происхождения», то можно определить энергоинформационную меру (системы A« B) как отношение, связь между этими множествами вида f A® B. Она должна отражать механизм взаимосвязей физико-информационных и вещественно-энергетических структур и процессов в системе. Сейчас актуально говорить о биоэнергоинформационных мерах, отражающих механизм взаимосвязей биофизикоинформационных и вещественно-энергетических процессов в системе, в ноосфере.
Пример. Процесс деления клеток сопровождается излучением квантов энергии с частотами приблизительно до N=1.5ґ 1015 гц. Этот спектр можно воспринимать как спектр функционирования словарного запаса клетки — как биоинформационной системы. С помощью этого спектра можно закодировать до 1015 различных биохимических реакций, что примерно в 107 раз больше количества реакций реально протекающих в клетке (их примерно 108), т.е. словарный запас клетки избыточен для эффективного распознавания, классификации, регулировании этих реакций в клетке. Количество информации на 1 квант энергии I=log21015» 50 бит. При делении клеток, количество энергии, расходуемой на передачу 50 бит информации равна энергии кванта (h — постоянная Планка, n — частота излучения) E=hn =6.62ґ 10—27(эрг/cек)ґ 0.5ґ 1015(сек—1)=3.3ґ 10—12 (эрг). При этом, на 1 Вт мощности «передатчика» или на m =107 эрг/сек. может быть передано количество квантов n=m /E=107 (эрг/сек)/(3.3ґ 10—12 (эрг))» 3.3ґ 1018 (квант). Общая скорость передачи информации на 1 Вт затрачиваемой клеткой мощности определяется по числу различных состояний клетки N и числу квантов (излучений) m V=n log2N=3.3ґ 1018ґ 50» 1.6ґ 1020 (бит/сек).
4. Понятие о связи информации и самоорганизации
Любая открытая информационная система эволюционирует так, что начиная с состояния наибольшей энтропии (неопределённости) стремится спиралеобразно к новым связям и отношениям, к организованности и порядку в системе в процессе взаимоотношений со средой и перестройки структуры с целью уменьшения энтропии.
Пример. На телевизионной игре “Что? Где? Когда?” обсуждение вопроса часто начинается хаотично, спонтанно, независимо и в конце обсуждения может организоваться в единодушное принятие правильного решения.
Самоорганизация может наблюдаться и в неживых системах.
Пример. Эволюция ЭВМ — пример самоорганизации от 1-го поколения ЭВМ (40-50-ые годы 19 века) с ненадёжными электронными лампами и быстродействием порядка 104 операций в сек. до 1-го поколения оптических вычислительных нейроподобных структур (конец 90-ых годов) с голографической памятью, с логикой на потоках фотонов, быстродействием порядка 1012 операций в сек. и высокой надёжностью.
Сформулируем основные аксиомы теории информационных динамических процессов (информационной синергетики).
Аксиома 1. Развитие системы определяется некоторой целью и информационными ресурсами системы.
Аксиома 2. При стремлении к цели система воспринимает входную информацию, которая используется и для изменения внутренней структуры самой системы, внутрисистемной информации.
Аксиома 3. Изменение внутрисистемной информации происходит таким образом, чтобы уменьшалась энтропия (мера беспорядка) в системе.
Аксиома 4. Любое изменение внутрисистемной информации оказывает воздействие на выходную информацию системы (на окружающую среду).
Аксиома 5. Процесс актуализации информации структурирует окружающий нас мир. Все, что не познано в данный момент времени, образует “хаос”, который заставляет актуализировать новую информацию, новые формы представления и описания знаний, приводит к появлению новых ветвей знания; этот хаос развивает при этом и исследователя.
Информация — это знание, которое используется для развития, совершенствования системы и её взаимодействий с окружающей средой.
Информация сама развивается вслед за развитием системы. Новые формы, принципы, подсистемы, взаимосвязи и отношения вызывают изменения в информации, ее содержании, формах получения, переработки, передачи и использования. Благодаря потокам информации система осуществляет целесообразное взаимодействие с окружающей средой, т.е. управляет или управляема. Своевременная и оперативная информация может позволить стабилизировать систему, адаптироваться, восстанавливаться при нарушениях структуры и/или подсистем. От степени информированности системы, от взаимодействия системы и среды зависит развитие и устойчивость системы.
Наблюдаемая математизация и математическая информатизация разделов современной науки показывает, что их эффективность зависит как от сложности и возможности описания её законов и принципов адекватными математическими и логико-информационными моделями, так и от используемого математического аппарата, выбранных мер информации, интеллектуальной деятельности, знаний, конструктивных методов и алгоритмов их измерения, оценивания информационных ресурсов.
Кроме указанных выше подходов к определению меры информации, есть и множество других (меры Винера, Колмогорова, Шрейдера и др.), но основными методами (в образовательной информатике) являются указанные. Рекомендуются для чтения [1-11] (приведены в хронологическом порядке).
5. Задачи для самостоятельного решения
В заключение предложим некоторые задачи для закрепления материала и усиления интереса при обучении рассмотренной выше проблеме.
Задача 1. ДНК человека можно представить себе как некоторое слово в четырехбуквенном алфавите Х={A, B, C, D}, где буквой помечается звено цепи ДНК (нуклеотид). Среднее число их равное примерно 1.5ґ 1023 нуклеотид. Считая, что ядро каждой из примерно 1013 клеток человеческого тела является хранителем генетической информации, оценить объем информации в них (в теле человека).
Задача 2. Ресурсы человеческого мозга рассчитаны на переработку информации в 16 бит в сек. Какое количество информации перерабатывает человек за свою жизнь, если предположить что переработка информации идёт непрерывно в течении средней продолжительности жизни, которую принять равной 70 лет (заметим, что и во время сна человек перерабатывает информацию, более того, сон — продукт такой переработки информации).
Задача 3. Некоторая система может находиться в четырёх состояниях в первом — с вероятностью 0.1, во втором и третьем — с вероятностью 0.5, в четвёртом — с вероятностью 0.4. Чему равно количество информации (или неопределённость выбора) в системе? Если система может находиться только в состоянии номер 2, то чему оно равно?
Задача 4. Система может принимать 128 различных равновероятных состояний. если состояние системы неизвестно, то каково количество информации в системе (неопределённость выбора)? Если известно, что система находится в состоянии номер 8, то чему равно количество информации?
Задача 5. Определить количество информации (в битах) в каждой букве русского алфавита, отождествив вероятность появления этой буквы в словах с частотой по частотному словарю русского языка приведённому ниже. Найти какое количество информации определяется двухбуквенными сочетаниями (всем алфавитом)? Оценить количество информации в каждом слове из букв “а”, “б”, “с” над алфавитом русского языка. Частотный словарь русского языка имеет вид
Буква Частота Буква Частота Буква Частота
о 0.090 к 0.028 ь, ъ, б 0.014
е, е 0.072 м 0.026 ч 0.013
а, и 0.062 д 0.025 й 0.012
т, н 0.053 п 0.023 х 0.009
с 0.045 у 0.021 ж, ю, ш 0.006
р 0.040 я 0.018 ц, щ, э 0.003
в 0.035 ы, з 0.016 ф 0.002
Задача 6. Увеличиться или уменьшиться количество информации о(в) системе “Сосуд с водой” до и после замораживания воды. Как изменится энтропия этой системы. Ответ обоснуйте.
Задача 7. Передатчик генерирует независимо друг от друга последовательности букв из двух букв “а”, одной буквы “б”, трёх букв “в”. Сколько таких всевозможных различных слов может генерировать передатчик? Какое количество информации несёт в себе каждое такое слово?
Задача 8. Проделайте (достаточно грубый) эксперимент по определению вашего числа Страуда (числа мысленных различений в сек) напарник показывает или называет двадцать букв в определённой (случайной для Вас) последовательности, а Вы воспроизводите их максимально в этой же последовательности; число правильно воспроизведённых букв и есть Ваше число Страуда. Проверьте подчиняются ли эти числа (для нескольких испытуемых) закону типа Хартли.
Задача 9. Оцените грубо быстродействие (гипотетического) компьютера построенного на биочипах (молекулярном способе запоминания информации, например, с помощью выращенных специально молекул, способных окрашиваться в два устойчивых цвета — 0 и 1), если количество таких чипов считается заданным.
Задача 10. На стандартной клавиатуре компьютера имеется 46 клавиш (без управляющих, цифровых и функциональных). Каждая клавиша имеет два регистра и два значения (латинского алфавита и кириллицы). Оцените примерно объём информации, который позволяет вводить этот набор.
Список литературы
Бриллюэн Л. Наука и теория информации. М. Физматгиз, 1960. — 392 с.
Шеннон К. Работы по теории информации и кибернетике. М. ИЛ, 1963 — 830 с.
Мазур М. Качественная теория информации. М. Мир, 1974. — 240 с.
Стратонович Р.Л. Теория информации. М. Сов. радио, 1975. — 424 с.
Колмогоров А.Н. Теория информации и теория алгоритмов.М Наука,1987.-303 с.
Дмитриев В.Н. Прикладная теория информации. М Высшая школа,1989. — 320 с.
Хакен Г. Информация и самоорганизация. М. Мир, 1991. — 240 с.
Информатика. Энциклопедический словарь для начинающих. Под ред. Поспелова Д.А., М. Педагогика-Пресс, 1994, — 352 с.
Казиев В.М. Информатика (в 3-х частях), Нальчик, 1997. — 324 с.
Ловцев Д.А. Информационная теория эргасистем. М. ВАРВСН, 1998. — 124 с.
Райхерт Т.Н., Хеннер Е.К. Место теории информации в подготовке учителя информатики. ИНФО, N2, 1999, с. 32 — 38.
«