CC BY
307
Международный электронный научный журнал ISSN 2307-2334 (Онлайн)
Адрес статьи: pnojournal.wordpress.com/archive17/17-01/ Дата публикации: 1.03.2017 № 1 (25). С. 20-23. УДК 001
В. Л. Лотоцкий
Энтропия и негэнтропия
В статье раскрывается отношение понятий и сущностей энтропии и негэнтропии. Статья раскрывает полисемические трактовки понятия энтропия, которые порой описывают разные качества: объект признак процесс. Это свидетельствует об отсутствии систематизации теории в этой области. Раскрывается содержание понятия информационная энтропия. Показано различие между разными единицами измерения информации. Показано принципиальное отличие негэнтропии от энтропии. Дается пример показывающий различие между информацией, уменьшающей неопределенность, и информацией, передающей содержательность.
Ключевые слова: философия информации, энтропия, негэнтропия, информация Хартли, собственная информация, взаимная информация, содержательность, неопределенность, распределение случайной величины, негауссовость
Perspectives of Science & Education. 2017. 1 (25)
International Scientific Electronic Journal ISSN 2307-2334 (Online)
Available: psejournal.wordpress.com/archive17/17-01/ Accepted: 1 January 2017 Published: 1 March 2017 No. 1 (25). pp. 20-23.
V. L. Lototsky
Entropy and negentropy
The article reveals the contents of concepts and entities "entropy" and "negative entropy." The article reveals polisemicheskie interpretation of the concept of "entropy", which sometimes describe different quality: the object of a sign process. Polisemicheskie interpretation of the concept of "entropy" indicates a lack of systematization of the theory in this field. The article reveals the contents of the concept of information entropy. This article describes the difference between the different units of measurement of information. The article reveals the fundamental difference between the negative entropy of entropy. The article gives an example showing the difference between the information that reduces uncertainty, and information transmitting rich content.
Keywords: information, information philosophy, entropy, negentropy, information Hartley, private information, mutual information, information uncertainty, information richness, the distribution of the random variable, negausovost
Введение
рименительно к наукам об информации энтропия является показателем неопределённости, разнообразия, хаоса, равновесия в системе [1]. Негэнтропию ошибочно интерпретируют как энтропию с отрицательным знаком. Это не так. Формально негэнтропия измеряется в тех же единицах как энтропия (например, в битах), но направление её действия и качество противоположное энтропии [2]. Её увеличение вызывает уменьшение энтропии. Одна-
ко, эти величины изменяются в системе по самостоятельным закономерностям и их абсолютные значения мало зависят друг от друга. Негэнтропия является мерой порядка, упорядоченности, внутренней структуры, связанной информации. В области описания энтропии и особенно негэнтропии существует много различных толкований, которые не дают раскрытие сущности, а звучат как лозунги. Например, существуют работы (экономико-математический словарь), в которых утверждается, что понятие энтропии изобрел К.Э. Шеннон (1948), хотя всем, особенно физикам, известно, что это понятие ввел Виллярд Гибс в 1873
году. Это является одним из признаков неразберихи в этой области. Данная работа направлена на попытку систематизировать понятия в этой области.
Полисемические трактовки понятия энтропия
Энтропия чаще всего интерпретируется как мера неопределённости некоторой системы, например, опыта или испытаний, который может иметь разные исходы, а значит, и разное количество информации [1, 3]. Другой интерпретацией этого понятия является информационная емкость системы или сообщения [1]. Для информационной энтропии существует ряд узких и широких понятий. Пример узкого понятия: информационная энтропиия - неопределённость появления какого-либо символа алфавита. Пример широкого понятия: информационная энтропиия — мера неопределённости или мера непредсказуемости информационной ситуации [4]. В широком бытовом смысле энтропия означает меру неупорядоченности системы; чем меньше элементы системы подчинены какому-либо порядку, тем выше энтропия.
Энтропия в узком физическом смысле — это термин, означающий функцию состояния термодинамической системы, определяющую меру необратимого рассеивания энергии. В этом же смысле энтропия — это мера неопределенности какого-либо события, имеющая разные расходы и количество информации. Можно трансформировать данное определение в информационную область, где оно будет звучать так. Энтропия в информационном смысле — это термин, означающий функцию состояния информационной системы или информационной ситуации, определяющую меру необратимого рассеивания информации. Близким понятием в этом случае является понятие диссипации информации или рассеяние информации [5].
В психологии и в когнитивной теории связывают это понятие с неопределенностью ситуации. То есть чем выше неопределенность последствий действия в любой ситуации, тем больше будет количество информации, содержащейся в ней, и тем больше будет энтропия [6].
На основе рассмотренных определений можно сделать некоторые выводы. В информационной области энтропию целесообразно связывать не с системой, с информационной ситуацией, в которой находится объект исследования или система. Система по определению систематизирована и упорядочена [7]. Большинство систем обладают свойством системности и структурированности [8]. Информационная ситуация [9] более вариабельна открыта и непредсказуема в сравнении системой.
Можно говорить о противоречивости описания энтропии. Есть понятие субстанциональный объект или сущность. Есть понятие атрибутивный
объект или свойство. Есть понятие процессуальный объект или процесс. Все эти объекты различны. Но при описании энтропии ее характеризуют именно как три разных по качеству объекта: мера, функция (субстанциональный объект); неопределенность, неупорядоченность (атрибутивный объект); рассеяние, диссипация (процессуальный объект). Это дает основание полагать, что теория информации на основе подхода К.Э. Шеннона и понятие энтропии до настоящего времени окончательно не систематизированы и пока нет достаточно логичной теории в этой области.
_Энтропия и информация
Одна из принципиальных ошибок при обсуждении вопроса информации и информационной энтропии - это сведение разных видов информации к одному понятию. При внимательном изучении информации, связанной с понятием энтропия выясняются разные виды информации, о которых в большинстве работ не упоминается. Первоначально Хартли определял количество информации, содержащееся в сообщении длины п при наличии алфавита т -символов. В 1928 Р. Хартли ввел логарифмическую меру информации [10] Н=п ^2(т), (1)
которая называется хартлиевским количеством информации или мерой Хартли. Величина т - число возможных состояний или число различимых символов в алфавите. Поскольку никакой семантики в такой модели не было, то с течением времени стало ясно, что эта мера (1) определяет информационную емкость сообщения [11], а не семантику информации. Н. Винер сразу назвал теорию К.Э. Шеннона ограниченной и статистической теорией информации.
С этой информацией связаны понятия «собственная информация» ^еЖ^огтайоп), взаимная информация и др. Собственная информация трактуется как статистическая функция дискретной случайной величины. Собственная информация сама является случайной величиной и ееследует отличать от её среднего значения—ин-формационной энтропии.
Единицы измерения информации зависят от основания логарифма. Если основание логарифма является 2, то единицей измерения информации является бит. Если используется натуральный логарифм, то единицей измерения информации является нат. Если основание логарифма является 10, то единицей измерения информации является хартли. Для примера рассмотрим количество информации для ситуации о падении монеты «гербом». Вероятность события равна 11. В этом случае собственная информация такого события.
В «попугаях», то есть в битах, количество информации всегда больше. Собственную информацию можно трактовать как меру не предсказуемости события - чем меньше вероятность события , тем больше его собственная информация. Опять
Perspectives of Science & Education. 2017. 1 (25)
же это мера емкости, а не семантики.
Взаимная информация - статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой. Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как 1(Х^)=Н(Х)-Н(Х^)=Н(Х)+Н^)-Н(Х^)
Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей. Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины
Данный перечень подчеркивает наличие разных видов информации и разных мер их оценки. Но главное в трактовке информации по К.Э. Шеннону это применение термина статистическая функция для определения количества информации. Следовательно, для обозначения чего-то другого данная теория может быть неприемлема.
_Негэнтропия
С ростом неопределённости системы или с ее деградацией увеличивается энтропия и вероятность принятия неправильного решения. С ростом неопределённости системы расширяются размеры пространства информационного поиска. При прогрессивном развитии в системе увеличивается нгеэнтропия. Рост негэнтропии означает рост упорядоченности. Однако дальше этого утверждения большинство работ не идет. О негэнтропии написано не меньше, особенно гуманитариями, но расчетных формул и описания ее сущности практически нет. Большинство статей сводятся к мысли, что «негэторопия - хорошо, энтропия - плохо». Приведем одну из немногочисленных трактовок сущности негэнтропии. Негэнтропия J(px) определяется как разница между случайным Гауссовским распределением S ^х) и распределением в реальной ситуации S(px. [12].
J(px) =S ^х)- ^рх)
Функция S ^х) есть дифференциальная энтропия гауссовой плотности с тем же средним и дисперсией, как рх.. Функция S(px) есть дифференциальная энтропия распределения величины рх с тем же средним и дисперсией, как рх. С этих позиций метод оценки J(px) зависит от метода измерения негауссовости. Это поясняется легко, распределение Гаусса характеризует распределение случайной величины, то есть хаос. Все что от него отличается, есть негэнтропия. Эта точка зрения тоже не бесспорна, так как существуют распределения случайных величин иные. Но сам идея выделения из хаоса и случайности «нечто» на основе различия с распределением случайной
величины безусловно логична.
В молекулярной биологии и термодинамике негэнтропия J состояния определяется [13] как разница между максимальной энтропией Smax и энтропией этого состояния S.
J =Smax- S
Можно привести пример заблуждения. «Информационная негэнтропия - мера информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения» [1, 14]. Это полностью совпадает с точкой зрения Шеннона на энтропию и информацию.
Можно согласиться с В.М. Лачиновым и А.О. Поляковым [14] в том, что не количественная информационная наука началась с момента написания Норбертом Винером книги под заимствованным у Платона и Ампера названием «Кибернетика». Формально многими основной тезис книги воспринимается по названию - процессы «управления и связи в животном и машинах». Однако, главное по Винеру [14] не модель управления или обратная связь, а отрицательная энтропия в информационном, неколичественном смысле.
Противоречие авторов [14]состоит в том, что отмечая правильный подход Винера, они трактую негэнтропию и информацию по Шеннону. По Шеннону и его сторонникам информация это статистическая мера снятия неопределенности, равная разности энтропий этих состояний.
По Винеру «Информация - это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспосабливания к нему наших чувств» [15, глава 1].
Отношение информации по Винеру и Шеннону связано с оппозиционным анализом [16]. Знание (содержание) и неопределенность (не знание) относятся к разным категориям и не образуют однозначную оппозицию. Рассмотрим пример, аналогичный в [17]. Рассмотрим гипотетический круг, разделенный на 360 секторов. В одном из секторов, допустим в 357, находится объект А. В начальном состоянии человек находится в состоянии неопределенности и обращается с вопросом к К.Э. Шеннону и Н Винеру: «Где находится объект А?».
К.Э. Шеннон в соответствии с теорией снятия неопределенности будет отвечать : «Объект А не находится в секторе 1». «Объект А не находится в секторе 2» и так далее. Для снятия неопределенности он сделает 359 сообщений, не назвав сектор 357. После этого методом исключения человек определит, что объект находится в секторе 357. Каждое из 359 сообщения Шеннна содержит полезную информацию, которая снимает неопределенность и приближает человека к правильному ответу.
Н. Винер даст только один ответ: «Объект А находится в секторе 357». По Винеру только такое сообщение является содержательным и именно
такое сообщение содержит информацию.
Таким образом, снятие неопределенности для N состояний ведет к N-1 сообщениям, снимающим неопределенность. Эти N-1 сообщений равнозначны одному содержательному сообщению. Это имеет отношение и энтропии и негэнтропии. Сообщения и информация, получаемая с помощью энтропийного подхода, устраняют неопределенность.
Сообщения и информация, получаемая с помощью негэнтропийного подхода, передает содержательность. Из приведенного примера следует, что в N равновероятных состояниях одно содержательное сообщение равнозначно состояний N-1 сообщениям, снимающим неопределенность. Но это еще не все. С точки зрения прагматики неполное количество сообщений, снимающих неопределенность, хотя и содержит полезную информацию, но практической ценности не представляет, поскольку не дает возможность принятия обоснованного решения.
Содержательное сообщение в приведенном примере - это пример применения негэнтропии. Сообщения, снимающие неопределенность это пример применения энтропии. Это разные виды информации, имеющие разные качества и при -равнивать их нельзя. Этот пример подчеркивает различие между негэнтропией и энтропией в качественном и количественном смысле.
l. 2.
3.
4.
5.
6. 7. S.
9.
10.
11. l2. 13.
14.
15.
16.
l7. lS.
Информация об авторе Лотоцкий Владимир Леонтьевич
(Россия, Москва) Профессор, д.т.н., Профессор кафедры информатики и информационных систем Института информационных технологий Московский технологический университет E-mail: [email protected]
_Заключение
Анализ показывает, что применительно к современному развитию наук и устоявшемуся понятию «информационный подход» [18], энтропию надо соотносить не с системой, а с информационной ситуацией. Это требует развития теории энтропии применительно к взаимосвязи информационной ситуации и количества информации, определяемой через энтропию. Слабым местом энтропийного подхода является не учет информации, которую задают связи между символами в сообщении. Символы рассматриваются как единственные носители информации, которую определяют по частоте появления символа в языке. Анализ показывает, что применительно к современному развитию наук энтропийный подход оценивает не количество информации, а информационную емкость сообщения, безотносительно к смысловой нагрузке сообщения. Необходимо разграничит содержательную информацию и информацию снимающую неопределенность, так как качественно и количественно они не эквивалентны. Негэнтропия является мерой порядка, упорядоченности, но это не значит, что ее можно рассматривать как энтропию с обратным знаком. Между негэнтропией и энтропий такая же разница как между содержательной информацией по Н. Винеру и информацией снимающей неопределенность по К.Э. Шеннону.
ЛИТЕРАТУРА
Information about the author
Lototsky, Vladimir Leontievich
(Russia, Moscow) Professor, Ph. D., Professor, Department of computer science and information systems Institute of information technology Moscow technological University E-mail: [email protected]
https://ru.wikipedia.org/wiki/Энтропия дата доступа 30.01.2017.
Лийв Э. Х. Инфодинамика. Обобщенная энтропия и негэнтропия. - Таллинн, 199S. - 200 с. Мартин Н., Ингленд Дж.Математическая теория энтропии.—М.: Мир, 19SS.— 350с.
Цветков В.Я. Информационная неопределенность и определенность в науках об информации // Информационные технологии. - 2015. - №1. -с.3-7.
Цветков В.Я. Рассеяние в информационных процессах // Международный журнал прикладных и фундаментальных исследований. - 2016. - №5. (часть1) - с.141-142.
http://psychology_dictionary.academic.ru/9583/ЭHТРОПИЯ. дата доступа 30.01.2017. Кудж С. А. Системный подход // Славянский форум. - 2014. - 1(5). - с.252 -257.
Кудж С.А.Многоаспектность рассмотрения сложных систем// Перспективы науки и образования- 2014. - №1. - с38-43. TsvetkovV.Ya. Information Situation and Information Position as a Management Tool // European researcher. Series A. 2012, Vol. (36), 12-1, p.2166- 2170.
Hartley, R.V.L.,"Transmission of Information", Bell System Technical Journal, July 192S, pp.535-563. http://www.medical-enc.ru/zrenie/logarifmicheskaya-mera-informatsionnoy-emkosti.shtmlдата доступа 20.01.2017. Measures of Non-Gaussianity. http://fourier.eng.hmc.edu/e161/lectures/ica/node4.html. дата доступа 20.01.2017. Didier G. Leibovici and Christian Beckmann, An introduction to Multiway Methods for Multi-Subject fMRI experiment, FMRIB Technical Report 2001, Oxford Centre for Functional Magnetic Resonance Imaging of the Brain (FMRIB), Department of Clinical Neurology, University of Oxford, John Radcliffe Hospital, Headley Way, Headington, Oxford, UK.
В.М. Лачинов, А.О. Поляков. Информодинамика или путь к Открытому миру. -СПб.: Изд-во СПбГТУ, 1999. - 432 с. Норберт Винер. Человек управляющий. Человеческое использование человеческих существ. Кибернетика и общество.
- ОТб.: Питер, 2001.
Сигов А. С., Цветков В.Я. Неявное знание: оппозиционный логический анализ и типологизация // Вестник Российской
Академии Наук, 2015, том S5, № 9, - OS00-S04. DOI: 10.7S6S/S0S695S73150S0319.
Иванников А.Д., Тихонов А.Н., Цветков В. Я. Основы теории информации - М.: МаксПресс, 2007. - 356с.
Дешко И.П. Информационный подход в моделировании // Образовательные ресурсы и технологии. - 2016. - №5 (17).
- с.21-26.
