Возможности применения выражения Шеннона при определении количества информации Текст научной статьи по специальности «Компьютерные и информационные науки»

ТЕХНИЧЕСКИЕ НАУКИ

УДК 621.390; 519.722

ВОЗМОЖНОСТИ ПРИМЕНЕНИЯ ВЫРАЖЕНИЯ ШЕННОНА ПРИ ОПРЕДЕЛЕНИИ КОЛИЧЕСТВА ИНФОРМАЦИИ1

А. С. Дулесов, Д. Ю. Карандеев, Н. Н. Кондрат

Хакасский государственный университет им. Н. Ф. Катанова

Рассмотрены возможности применения классической информационно-энтропийной меры Шеннона в определении количества информации. Рекомендуется при соблюдении ряда выделенных условий использовать модифицированное математическое выражение Шеннона, в котором собственная информация о состояниях элемента выражается в виде интервалов времени. Полученные выражения можно использовать в существующих методах расчёта энтропии.

Ключевые слова: количество информации, мера неопределённости информации, структурная надёжность систем, собственная информация.

Введение. В теории информации нашло своё применение выражение К. Шеннона, при помощи которого можно определить количество информации или количество информационной энтропии. Что касается количества информации, то оно отражает меру уже известной аналитику информации об объекте. С другой стороны, количество информационной энтропии соотносится с мерой неопределённости или непредсказуемости информации в случае появления какого-либо события. Здесь с некоторой долей уверенности или вероятности можно судить о наличии информации, поэтому энтропия более интересна аналитику с точки зрения анализа, последующей выработки и принятия решений в процессе управления объектом.

В качестве одного из подходов к анализу можно назвать рассмотрение содержания структуры системы и её изменчивости под воздействием внешних и внутренних факторов. При этом не исключены возможности в применении методов определения количества энтропии, содержащейся в структуре системы. Сама структура, включающая в себя множество элементов, состояний и связей, будет весьма сложной, что накладывает свой отпечаток на определение искомых показателей. Кроме этого, имеется множество определений информации, обусловленных спорными моментами в понимании вопроса, что такое информация. Поэтому, прежде чем приступить к определению количества энтропии, следует выделить ряд условий, в рамках которых можно приступить к решению данной задачи.

Предложим к рассмотрению один из подходов к определению энтропии, в основе которого лежит классическое выражение К. Шеннона.

Условия решения задачи. Среди задач рассмотрим ту, которая касается вопросов обеспечения надёжного функционирования системы, то есть, имея количество энтропии, можно судить о том, каким уровнем надёжности располагает рассматриваемая система.

Если вопрос касается надёжности системы, то следует оговориться, о какой надёжности идёт речь, функциональной или структурной. Для функциональной надёжности характерны требования, удовлетворяющие выполнению функции в течение заданного времени, тогда как для структурной - сохранение надёжности при заданной структуре и известных значениях надёжности всех входящих в неё элементов. Следовательно, структура системы с позиции анализа надёжности играет немаловажную роль. Например, если произойдёт разрыв связи в структуре, то он окажет влияние на надёжность снабжения ресурсами как самой системы, так и объектов, которые она снабжает.

Если далее речь пойдёт о структурной надёжности, то следует рассмотреть вероятные состояния системы и её элементов. Элемент системы может находиться во множестве состояний, учёт которых резко осложнит решение поставленной задачи определения энтропии. Поэтому целесообразно рассматривать ограниченное число вариантов состояний, полагая при этом, что элемент на данный момент находится в каком-либо одном из состояний. В теории надёжности часто берут во внимание лишь два состояния, которые являются противоположными по смыслу: работоспособное состояние и неработоспособное состояние. Но даже наличие всего двух состояний т=2 не исключает трудностей в поиске решения, поскольку для системы количество состояний будет определяться как тп, где п - количество элементов в системе. Постановка условия об учёте только двух состояний не только уменьшает количество рассматриваемых состояний, но и даёт возможность использовать логарифмическую меру с основанием 2 для определения количества информации в битах.

Выделенные и качественно различающиеся между собой два состояния должны быть определяющими факторами для расчёта энтропии с её разделением на составляющие: энтропия работоспособного состояния и энтропия неработоспособного состояния [1]. Их сопоставление позволяет судить о структурной надёжности системы. Ещё одним немаловажным условием является то, какие по своему содержанию будут применены исходные показатели для определения количества информации, так как этим фактором определяется понятийный характер представления информации об объекте в количественном виде.

1 Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта № 15-08-01473а.

5

Принимая во внимание упомянутые условия, рассматривая структурное содержание системы на основе меры неопределённости информации, можно определить количество энтропии, присущее рассматриваемой структуре системы. Полученные значения (в битах) позволят судить о том, насколько информативна система, можно ли считать тот или иной вариант структуры надёжным с позиции сложности / простоты, резервирования элементов и т. п.

Определение количества энтропии. В основе вычислений (как было отмечено ранее) лежит подход К. Шеннона, который дал такое определение информации: это результат выбора из возможных альтернатив. Дальнейшее развитие теории информации позволило трактовать применение формулы К. Шеннона как возможность определения энтропии неопределённости информации.

С позиции описания условий рассматриваемой задачи формула К. Шеннона для определения суммарной энтропии системы имеет вид:

п п

Н !=Х Pi 1оё2 Pi + Х 4 1о§2 4, (1)

I=1 I=1

где pi и - вероятности работоспособного и неработоспособного состояний элемента /; п - количество элементов в системе. Основание логарифма, равное 2, свидетельствует о рассмотрении двух состояний системы.

Поскольку имеется структура системы с числом элементов, равным п, следует указать вероятности для (1), которые на практике чаще всего определяются через наличие и обработку статистических данных. В таком случае речь идёт об определении статистической энтропии. Имеется ряд методов с применением статистической энтропии; см., например, работы [2-5]. Однако эти методы не всегда удобны для определения энтропии. Объясняется это следующими причинами: собственная или частная информация (к, = 1о§2 р, + 1о§2 4) для двух состояний при р, = = 0,5 даёт нам два бита информации, показывая, что элемент может находиться в двух состояниях. В данном случае элемент нас интересует лишь с точки зрения его собственного состояния (в рабочем состоянии или нерабочем), тем самым мы ограничиваем себя информацией, количество которой не превысит двух бит. Если требуется иметь больше информации о состоянии элемента, то следует отказаться от учёта вероятностей при логарифме.

Рассмотрим возможность получения собственной информации в количестве, превышающем 2 бита. Для этого возьмём структуру системы для анализа её структурной надёжности. При этом имеем в виду, что элемент системы может находиться в одном из двух состояний. Состояния рассмотрим на часовом временном интервале. Собрав статистику о частоте отказов и времени восстановления элемента системы за 5-10 лет, можно получить среднее число часов работоспособного состояния элемента в течение года - Мр, час. Дополнительно количество часов неработоспособного состояния элемента в течение года можно определить по выражению: М4 = Т -Мр, час, где Т - количество часов в году.

Имея Мр и М4, ответим на вопрос, насколько актуальна задача применения данных показателей в мере Шеннона (1). Ответ на поставленный вопрос представлен в [6] с учётом того, что в [7] не исключается возможность применения в (1) иных показателей, нежели вероятности.

Тем самым мера Шеннона определения суммарной энтропии системы будет иметь вид:

п п п

НЕ = х Н, = Х Р.^Мр, + X чМ2Мф, (2)

1=1 =1 =1

где (при условии р,+д,=1), р, и - вероятности, связанные с предположением о том, что будет получена собственная информация к, о нахождении элемента , в работоспособном и неработоспособном состояниях.

Собственная информация о состоянии элемента:

к, = ^ Мр, + ^ Мф. (3)

Приняв на временном интервале М=Мр+М4=0,5+0,5=1 час и подставив значения в (3), получим информацию о состояниях элемента I, равную 2 битам. Если рассмотреть равновероятное (р1=4,=0.5) появление собственной информации на интервале времени в 1 час, то по (2) получим Н=1 бит. Это минимальное количество информации, которое будем иметь при условии того, что в качестве единичного элемента выбран 1 час на рассматриваемом временном интервале Т.

Применение (2) и (3) позволяет отойти от традиционной основы теории информации, ориентированной на представление информации, неразрывно связанной с управлением и снятием неопределённости при выборе одной из множества альтернатив.

Выражение (2) и условие о представлении собственной информации через среднее количество часов работоспособного и неработоспособного состояний позволяет применить ряд методов определения количества энтропии. Среди них можно предложить методы эквивалентных преобразований структуры системы [4; 8] и метод полного перебора состояний [5].

Заключение. Рассмотрены возможности перехода от классической информационно-энтропийной меры Шеннона к выражению, в котором представление собственной информации о состояниях элемента определяется в виде интервалов времени. Полученные выражения при соблюдении ряда выделенных условий позволяют без каких-либо затруднений использовать существующие методы, относящиеся к расчёту энтропии.

Библиографический список

1. Дулесов, А. С. Показатель разграничения уровня надёжности технической системы по качественному признаку: энтропийный подход /

А. С. Дулесов, Н. В. Дулесова, Д. Ю. Карандеев // Фундаментальные исследования. - 2016. - № 2 (ч. 3). - С. 477-481.

2. Дулесов, А. С. Мера неопределённости информации и её свойства применительно к оценке случайного поведения технического объекта / А. С. Дулесов, Н. Н. Кондрат // Научное обозрение. - 2014. - № 7. - С. 258-264.

3. Дулесов, А. С. Количество информации при наложении и пересечении элементарных событий / А. С. Дулесов, Н. Н. Кондрат // Научное обозрение. - 2014. - № 12. - С. 146-150.

4. Дулесов, А. С., Эквивалентирование количества информационной энтропии в структуре технической системы / А. С. Дулесов, Н. Н. Кондрат // Фундаментальные исследования. - 2015. - № 6 (ч. 1). - С. 14-19.

5. Дулесов, А. С. Определение количества информационной энтропии в структуре технической системы методом перебора состояний / А. С. Дулесов, Н. Н. Кондрат // Фундаментальные исследования. - 2015. - № 7 (ч. 4). - С. 745-748.

6. Вяткин, В. Б. Синергетическая теория информации. Синергетический подход к определению количества информации / В. Б. Вяткин // Научный журнал КубГАУ. - 2008. - № 44 (10) (Часть 1). - С. 1-24.

7. Колмогоров, А. Н. Три подхода к определению понятия «количество информации» / А. Н. Колмогоров // Проблемы передачи информации. - 1965. - Т. 1. №1 - С. 3-11.

8. Дулесов, А. С. «Дерево информации» и его построение на основе последовательности случайных событий / А. С. Дулесов, Н. Н. Кондрат, М. А. Прутовых // Вестник Хакасского государственного университета им. Н. Ф. Катанова. - 2013. - № 4. - С. 8-11.

© Дулесов А. С., Карандеев Д. Ю., Кондрат Н. Н., 2016

УДК 621.390

КАК ОПРЕДЕЛИТЬ КОЛИЧЕСТВО ИНФОРМАЦИИ ДЛЯ ПРОСТЕЙШЕЙ СТРУКТУРЫ СИСТЕМЫ1

А. С. Дулесов, Д. Ю. Карандеев, Н. Н. Кондрат

Хакасский государственный университет им. Н. Ф. Катанова

Представлен метод определения количества информации, содержащегося в простейшей структуре технической системы. Метод применим для систем, в которых вероятностные состояния элементов рассматриваются как независимые и противоположные. Дан пример расчёта и анализ полученных результатов.

Ключевые слова: количество информации, мера неопределённости информации, информационная энтропия, структурная надёжность систем.

Введение. В теории информации рассматривается информационная энтропия как мера неопределённости или непредсказуемости информации в случае появления какого-либо события. Если рассматривать систему, например, техническую, то в процессе её эксплуатации она меняет своё содержание, её структура изменяется, свидетельствуя об изменении информации. Количество этой информации можно определить через её меру, для этого нужна хотя бы структура системы. Сложность самой структуры, обусловленная количеством её элементов и топологией, накладывает свой отпечаток на определение искомых показателей. Если обратиться к вопросам обеспечения надёжного функционирования системы, то структура здесь играет немаловажную роль. Если произойдёт с некоторой долей вероятности разрыв связей в структуре, он окажет влияние на надёжность снабжения ресурсами самой системы и тех объектов, которые она снабжает. Поскольку появление разрывов в структуре относят к случайным процессам, то мы имеем дело с неопределённостью информации. Что даёт нам неопределённость как величина, которую можно рассчитать? Она может быть выражена в количественной форме как мера информации, с помощью которой можно решать задачи выбора наиболее информативной структуры из рассматриваемых альтернатив. Задачу выбора или «запомненного выбора» нельзя считать простейшей, поскольку речь здесь идёт о применимости вероятностно-статистической методологии учёта факторов неопределённости при наблюдении поведения системы. Здесь факторы рассматриваются как случайные, порождающие неопределённость и учитываются через вероятностные показатели. Поэтому приходится опираться на статистические характеристики.

Рассматривая структурное содержание системы на основе меры неопределённости информации, приходится, опираясь на теорию вероятностей, строить (например, согласно [1, 2]) статистический ансамбль. Если ансамбль данных готов, то далее, используя ряд математических выражений и опираясь на заданный алгоритм, можно определить количество информации, присущее рассматриваемой структуре системы. Полученные значения (в битах) позволяют судить о том, насколько информативна система, можно ли считать тот или иной вариант структуры надёжным с позиции сложности / простоты, резервирования элементов и т. п.

Методы определения количества информации. В основе вычислений лежит подход К. Шеннона, который дал определение: информация - результат выбора из возможных альтернатив. Он также предложил формулу для её определения. Последующее развитие теории информации позволило трактовать применение формулы Шеннона как возможность определения энтропии неопределённости информации.

Далее предложим метод эквивалентных преобразований структуры системы с целью определения количества информации. Разработке данного метода предшествовал ряд работ, среди которых следует выделить [3-7].

Суть метода заключается в следующем. Необходимо оценить уровень связности элементов системы, то есть насколько жёстко связаны элементы в её структуре. Пусть имеется, например, структура технической системы (участок трубопроводной, электрической, компьютерной сети). К задачам, в решении которых связность элементов имеет существенное значение, можно отнести те, которые обусловлены наличием свойств структурной надёжности системы. Следовательно, предстоит решить задачу оценки структурной надёжности системы через полученное количество информации в битах.

1 Работа выполнена при финансовой поддержке РФФИ в рамках научного проекта № 15-08-01473а

7