Векторный энтропийный мониторинг и управление гауссовскими стохастическими системами Текст научной статьи по специальности «Математика»

УДК 519.87:519.722:519.213.1 DOI: 10.18101/2304-5728-2018-1-19-33

ВЕКТОРНЫЙ ЭНТРОПИЙНЫЙ МОНИТОРИНГ И УПРАВЛЕНИЕ ГАУССОВСКИМИ СТОХАСТИЧЕСКИМИ СИСТЕМАМИ1

© Тырсин Александр Николаевич

доктор технических наук, заведующий кафедрой прикладной математики, Уральский федеральный университет им. Первого президента России Б. Н. Ельцина

Россия, 620002, г. Екатеринбург, ул. Мира, 19 E-mail: [email protected]

© Геворгян Гарник Гургенович

аспирант,

Уральский федеральный университет им. Первого президента России Б. Н. Ельцина

Россия, 620002, г. Екатеринбург, ул. Мира, 19 E-mail: [email protected]

Изложен векторный подход реализации энтропийного мониторинга и управления. Он состоит в представлении дифференциальной энтропии многомерной стохастической системы как двумерного вектора, компонентами которого являются энтропии хаотичности и самоорганизации. Состояние системы оценивается одновременно по этим двум компонентам. Векторное управление позволяет обеспечить эффективное изменение энтропии как двумерного вектора, компонентами которого являются энтропии хаотичности и самоорганизации. Для важного случая гауссовских стохастических систем сформулирована оптимизационная задача на условный экстремум. Данная задача может быть решена методами штрафных функций. Показано, что в ряде случаев векторное энтропийное управление имеет преимущества по сравнению со скалярным управлением. Приведены примеры энтропийного мониторинга и управления для реальных стохастических систем.

Ключевые слова: дифференциальная энтропия; модель; многомерная случайная величина; гауссовская стохастическая система; ковариационная матрица; мониторинг; управление; вектор; хаотичность; самоорганизация.

Введение

Многие реальные системы можно классифицировать как сложные многомерные стохастические системы. Особенностью таких систем явля-

1 Работа выполнена при финансовой поддержке гранта РФФИ, проект № 17-01-00315а

ется наличие множества элементов, которые сложным образом связаны между собой. В этой ситуации многомерную стохастическую систему часто моделируют в виде случайного вектора.

Одно из перспективных направлений моделирования сложных стохастических систем основано на использовании энтропии. Известно, что энтропия является фундаментальным свойством любых систем с неоднозначным, или вероятностным, поведением [1]. Понятие энтропии является гибким и допускает четкую интерпретацию в терминах того раздела науки, где оно применяется. Оно часто используется для описания структурной организации и дезорганизации, степени разрушения связей между элементами системы, и вообще, для описания степени деградации различных систем [2-7].

Представим сложную стохастическую систему в виде многомерной непрерывной случайной величины У = (Гь У2, ..., Ут). Каждый элемент У, вектора У является одномерной случайной величиной, которая характеризует функционирование соответствующего элемента исследуемой системы. Элементы могут быть как взаимозависимыми, так и независимыми друг от друга.

В [8] была введена дифференциальная энтропия случайного вектора У с плотностью вероятности ру(х1,...,хт), равная

+О0 +00

Н(\) = -^...^ру(х1,х2,...,хт)\пру(х)с1х1с1х2...с1хт .

— СО —СО

Величина Н(\). являясь числом, не может являться адекватной моделью многомерной системы. В [9] доказано, что дифференциальная энтропия (далее — энтропия) Я(У) равна

т т л т

Я(У) = Я(У)к+Я(У)й=^1па71+^кг+-^1п(1-4/7172 (1)

г=1 г=1 ^ к=2

где кг = Н(У{ / а, ) — энтропийный показатель типа закона распределения случайной величины Гг; ¡-¡^ | — индексы детерминации регрессионных зависимостей.

т т т

Первые два слагаемых Я(У),, = ^Я(У() = ^ 1пст, к, представ/ 1 / 1 / 1 ляют собой энтропию случайного вектора со взаимно независимыми компонентами и названы энтропией хаотичности, а третье

| т

Я(У)я = —) — энтропией самоорганизации, которая

^ к=2

характеризует тесноту совместной корреляционной связи между компонентами Yi.

Для многомерной гауссовской случайной величины У имеем [10]

Н(\)у = +га1пТ2тгё, Я(У)Й = 1п(|К|)/2 , (2)

¿=1

где И — корреляционная матрица случайного вектора У.

Поскольку реальная стохастическая система является открытой, то ее энтропия может как возрастать, так и уменьшаться. Системы с различными значениями энтропий хаотичности Я(У)с и самоорганизации Н(\)ц могут иметь одинаковые значения энтропии Я(У). Это затрудняет интерпретацию энтропии как характеристики функционирования системы, а значит, во многих случаях делает энтропийную модель (1) недостаточно адекватной. Поэтому необходимо рассматривать энтропию (1) в векторной форме как

Ь(¥) = (А^) = (#(¥)„; #(¥)д). (3)

Целью статьи является рассмотрение на примере гауссовских систем подхода к мониторингу и управлению многомерными стохастическими системами, основанного на использовании векторной формы дифференциальной энтропии.

1. Мониторинг систем на основе векторной формы энтропии

Согласно (1) параметрами энтропийной модели являются:

1) средние квадратические отклонения сткомпонент Гг;

2) энтропийные показатели кг законов распределений, / = 1.2..... т:

3) индексы детерминации Яу /гг ¡( 1 регрессионных зависимостей между компонентами случайного вектора У, к = 2, 3,..., т .

Диагностическая модель должна объяснять изменения, происходящие в исследуемом объектов процессе функционирования, в динамике. Рассмотрим с этих позиций энтропию (1).

Пусть стохастическая система представима в виде случайного вектора У. Тогда на основе модели (1) можно осуществлять мониторинг состояния стохастической системы путем анализа изменения ее энтропии. Это можно сделать следующим образом. Будем считать, что два случайных вектора У(1) =(71(1),72(1)5...57^1)) и У(2) = (Г/^Г^2,...^) соответствуют предыдущему и текущему периодам функционирования системы. Считаем, что дисперсии всех компонент случайного вектора конечны.

Для диагностирования состояния многомерной стохастической системы будем придерживаться следующих этапов [9]:

1) определение поведения системы (стабильная/нестабильная), поиск зависимостей поведения системы от времени, критических значений;

2) обнаружение характера изменения в системе («хаотичность» или «самоорганизация») в критических периодах;

3) на основании обнаруженной причины проведение анализа: какой элемент системы оказался причиной изменения ее состояния;

4) формулирование вывода о влиянии изменения в системе с учетом выявленных критических моментов и причин их появления.

Случай 1. Рассмотрим вначале случай, когда распределения всех соответствующих компонент У'/1'1. У'/2'1 (/ = 1. 2..... т) описываются однотипными законами распределения с некоторыми параметрами положения и масштаба. Это означает, что V/ к^1-1 = кр. Тогда разность энтропий АН (У) = Н(У(2}) -Н(У(Г}) определяется как

™ 2) 1 ™ 1-^(2)/7(2) „(2) АЯ(У) = У1п^^ + -У1п- 4 1 41

' п 1 1 _ й>2

¿=1 ¿=2 1 Лг(1)/г0) ут

т. е. энтропия может меняться только из-за изменения рассеяния (дисперсий) компонент случайного вектора или за счет изменения тесноты корреляционной связи между этими компонентами.

Вклад любой 1-й компоненты в изменение энтропии хаотичности

2)

Поскольку ^ > > ...> Ягя,Т1, предельный индекс де-

терминации Яу у | наиболее достоверно описывает зависимость компоненты Ут от остальных (т - 1) компонент. Поэтому оценивать вклад произвольной 1-й компоненты в изменение энтропии самоорганизации целесообразно через предельные значения индексов детерминации

1 Яу(2),у(2) у(2)г(2) у(2)

АЯ(У)Й, = -1п 7> /7' , 1 = 1,2,..., т.

2 1 Я (1) (1) (!) (!) (1)

11 ' 11 ■11-111+1-1т

Случай 2. Рассмотрим общий случай, когда распределения хотя бы одной пары компонент У'/2'1 не описываются однотипными законами распределений. Тогда разность энтропий АЯ(У) = Я(У(2))-Я(У(1)) равна

2

(2) ,„(2) у(2)

т С гт> т 1 ™ 1 - Л о-, г

¿=1 С7.0) ¿=1 ^¿=2 Я т т щ

-1- -"г /11 ■ А-1

А-1

Поскольку в этом случае к^2-1 - кг(1) ^ 0 , появляется третий фактор изменения энтропии из-за изменения типа распределения.

Таким образом, случай сохранения типов законов распределений компонент случайного вектора проще реализуем и не требует определения энтропийных показателей компонент. Но нарушение этого условия может привести к значительным ошибкам в оценивании динамики энтропии, а значит, и к снижению достоверности диагноза о состоянии системы.

В [11] указано на необходимость корректной интерпретации нужного направления изменения энтропии. Однако это было предложено для энтропии системы в целом и не всегда может быть реализуемо в конкретных приложениях. Поэтому внесем коррективы в данное условие. Потребуем для исследуемой системы интерпретируемость направлений изменения энтропий хаотичности и самоорганизации.

Отслеживая изменение АН (У) энтропии в целом и ее составляющих, можно сделать выводы о состоянии исследуемой стохастической системы и обнаружить зарождающиеся тенденции изменения состояния. Анализ изменения каждой из компонент случайного вектора У позволит выявить те из них, которые оказали наибольшее влияние на изменение энтропии АН (У), а значит, и на изменение состояния многомерной стохастической системы.

2. Векторный энтропийный мониторинг устойчивого развития

мегаполисов

Устойчивое развитие города как системы согласно предлагаемому энтропийному подходу состоит в одновременном росте разнообразия, возможностей для всех элементов этой системы и наличии тесной взаимосвязи между этими элементами. Это проявляется в том, что с развитием города его энтропия хаотичности должна постепенно увеличиваться, а энтропия самоорганизации — уменьшаться.

Пример 1. На примере анализа основных показателей, характеризующих состояние мегаполиса, рассмотрим возможности практического использования векторной формы (3) энтропийной модели для исследования устойчивости развития мегаполисов. Сравнительный энтропийный анализ динамики развития Москвы, Санкт-Петербурга и Екатеринбурга в 19922015 гг.

Анализ проведем по данным Росстата [12]. Из множества социально-экономических показателей городов сформирована система из 12 признаков, характеризующих все основные стороны инфраструктуры города:

I) естественный прирост на 1000 человек населения; 2) доля работающего

населения в организациях, %; 3) среднемесячная номинальная начислен-

ная заработная плата, тыс. руб.; 4) доля пенсионеров, состоящих на учете

в органах социальной защиты населения, %; 5) общая площадь жилых

помещений, приходящаяся в среднем на одного городского жителя (на

конец года), м2; 6) численность воспитанников в дошкольных образова-

тельных организациях, тыс. чел.; 7) численность врачей на 1000 населе-

ния, чел.; 8) число зарегистрированных преступлений, на тыс. чел.;

9) объем промышленной продукции, тыс. руб. на чел.; 10) объем работ,

выполненных по договорам строительного подряда, тыс. руб. на чел.;

II) оборот розничной торговли, тыс. руб. на чел.; 12) инвестиции в основной капитал, млн руб.

Формирование системы показателей выполнялось по следующем правилам. Рассматривалась парная корреляция между всеми имеющимися в

[12] показателями городов. Оказалось, что ряд показателей очень сильно взаимно коррелирован. Из таких групп показателей оставляли по одному показателю. Приоритет отдавался тому показателю, который более содержательно характеризовал город как систему.

Учет инфляции проведен путем пересчета в цены 2015 г. на основе индексов потребительских цен, разная численность населения городов учтена переходом к относительным показателям на одного жителя. Малость выборок позволяет использовать представление системы в виде гауссов-ского случайного вектора. Оценки выполнялись по периодам в 13 лет. Этот период оказался оптимальным в смысле статистического сглаживания, с одной стороны, и учета динамики изменения энтропии — с другой. Энтропия оценивалась в векторной форме (3).

Поскольку выборка оказалась достаточно малой, отклонения эмпирических распределений рассматриваемых признаков от нормального распределения практически нельзя установить. Поэтому при вычислении эн-тропий хаотичности и самоорганизации воспользуемся формулами (2).

На рис. 1-3 приведены графики изменения энтропий хаотичности и самоорганизации в Екатеринбурге, Москве и Санкт-Петербурге. На рис. 4 показана динамика энтропии (1) для всех трех мегаполисов.

>1 я -11 -I

12 -

13 -

-14 -

-15

-16

-17

18 -32

Рис. 1. Динамика энтропий хаотичности и самоорганизации в

Екатеринбурге

(1999-2012)

33 34 35 36 37 38 39 Й V

47 48 49 50 51 52 А V

Рис. 2. Динамика энтропий хаотичности и самоорганизации в Москве

34 35 36 37 38 39 40 41 А V

Рис. 3. Динамика энтропий хаотичности и самоорганизации в Санкт-

Петербурге

Н 40

30 -

35

20 -

15 -I-1-1-1-1-1-1-1-1-1-1-I

1992- 1993 1994 1995 1996- 1997- 1998- 1999 2000 2001 20022005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015

Рис. 4. Динамика энтропии: 1 — в Екатеринбурге, 2 — в Москве, 3 — в Санкт-Петербурге

Анализ графиков на рис. 1-4 позволяет сделать следующие выводы.

1. Изначально Москва находилась на более высокой стадии развития, поскольку имела большее многообразие функционирования инфраструктур (наибольшее значение Н(\)у) и одновременно демонстрировала более высокий уровень взаимодействия между инфраструктурами (минимальное значение Н(У)я). Санкт-Петербург занимал вторую позицию как по степени разнообразия функционирования инфраструктур, так и по взаимодействию между ними. Екатеринбург в течение анализируемого периода показал наилучшую динамику развития и практически сравнялся с Санкт-Петербургом по уровням энтропий хаотичности и самоорганизации. Москва как многомерная стохастическая система не показала разви-

2. На графиках явно видны характерные зоны нестабильности, соответствующие мировому финансовому кризису 2008-2009 гг., периоду снижения темпов роста валового внутреннего продукта с 2012 г. и периоду санкций с 2014 г.

3. Общая энтропия по всем трем мегаполисам в рассматриваемом периоде практически не изменилась. Это свидетельствует о необходимости рассмотрения энтропии системы, не в скалярной, а в векторной форме.

3. Векторное управление гауссовской стохастической системой

Векторное управление заключается в переводе вектора энтропии системы из состояния Ь(¥") = (И\1: И)\) в состояние Ь(У*) = {1\.; Ъ*к), соответствующее эффективному функционированию стохастической системы. Задача векторного энтропийного управления гауссовской стохастической системой состоит в том, чтобы направить энтропию из некоторой началь-

ной точки {Иг :Ин) = (Н(\ ),,:Н(\ )и) с ковариационной матрицей Еп в конечную точку (/?*,; /?* ) при минимальном изменении ковариационной матрицы (рис. 5). Задача имеет вид:

у

Н(У)у=А,

' Я(¥)й = В, (4)

С". < С,,С;;., а.. = с;,, с,, > О V 1 <i,j<m,

Е>0.

V • В = hn •

где а у = с,у V1 < 7,7 < т , А =,

Последнее ограничение в (10) означает положительную определенность матрицы £. Отметим, что критерий эффективности в (4) может быть и иным, в зависимости от особенностей конкретной системы

Рис. 5. Иллюстрация векторного энтропийного управления

Ограничения задачи нелинейного программирования (4) неудобны для ее алгоритмической реализации. Поэтому преобразуем их:

1 ( \ H(Y)V = ) = А. Inf (2тг,Г j = 2А .

7=1

п

, 2А-т

ан--

'=! (2тг У

\

■ = 0;

(

#(¥)д=± In

п

= 5, In

V i ±7=1

П

= 2 В.

V i ±7=1

■Ы-е2В = 0.

П>»

В результате задача (4) примет вид

ГП1П,

П

2А-т

>=1°гг "(2л)"

= 0,

Ш-е2В = 0,

(5)

!=1

п

°1<апа^ау =а]г,°гг > 0 V 1 < 7, / < Я1,

Е>0.

Найдем производные ограничений задачи (5). Для первого ограниче-

ния

Пт е

5ст„

0, г*}

. к^-г

Рассмотрим второе ограничение £2 =

1

гг-

Найдем частные производные функции g2 (£).

1

ГГ

1 1*г=1

■И-е2В = 0.

'и

П'

к*г

кк

V °гг °гг

* = 3

гг

1 и=\

•(А.+АА, ¡Ф]

'кк

п,

Чк V

Л---\ц

СУ,-,-

* = ]■

Задачу (5) будем решать с помощью метода штрафных функций [13]. При этом минимумы вспомогательных функций можно находить численными методами поиска безусловного экстремума любого порядка.

Рассмотрим подробно частный случай двумерной гауссовской стохастической системы У = (Гь Г2) с ковариационной матрицей £ = {ст(,}2 2. Тогда энтропия вектора У согласно (2) равна

Я(¥)=Я(¥)К +Я(¥)Й =Ы(2тге)2апа22]+^1п

В результате задача (4) примет вид

1=1 ]=1

1--

12

1ШП,

^1п[(2тге)2спс22]

(6)

Пример 2. Пусть ¥° имеет ковариационную матрицу Е0 = для нее Я(У°) = 2,93, Н(У°)у = 3,515 , Я(У°)Д =-0,585 .

Г1,87 1,63^1 1,63 2,08

Изменим ковариационную матрицу на =

'1,87 1,63^1 ч1,63 2,58

, для которой

Н{\1) = 3,22, Н{\1)у= 3,62, Н(у\=- 0,39. Оценим изменение

ковариационной матрицы: А = (2,58 - 2,08)2 = 0,52 = 0,25 .

Теперь перейдем из исходного состояния к^) = (3,515; - 0,585) в

состояние {¡1у',И*к) = {3,62;-0,39) с помощью оптимизационной задачи (6). В результате решения задачи (12) получили новую ковариационную матрицу

(2,09 1,608^1

Е =

ч1,608 2,28,

Оценим изменение ковариационной матрицы:

= (2,09 - 1,87)2 + (1,608 -1,63)2 + (2,28 - 2,08)2 = 0,089 .

Пример 3. Было исследовано 17 угледобывающих предприятий [9]. По системе первичных показателей с помощью факторного анализа сформировано два обобщенных фактора (главных компонент), объясняющих 88% всей вариации исходных признаков: У\ — фактор, характеризующий организацию безопасного производства; У2 — фактор, отражающий профессионализм персонала.

Все предприятия были разделены на две группы: 1) предприятия с низким уровнем травматизма (коэффициент частоты травмирования от 5,8 до 16,5 случаев на 1000 человек); 2) предприятия с высоким уровнем травматизма (коэффициент частоты травмирования от 21,7 до 49,7 случаев на 1000 человек. Результаты расчета по группам предприятий:

Н(\т) = Н(\т)у +Н(\т)я =2,4166-0,3111 = 2,1055,

Н(\(1)) = Н(\(1))У + Я(\(1>)к =3,7360-0,6989 = 3,0371. Получили, что у предприятий второй группы энтропия выше, чем в

первой. Для энтропии самоорганизации Н(\" >)к <Н(\" ))1!. нестабильность работы во 2-й группе в некоторой степени компенсируется за счет более активного вмешательства руководства («административного ресурса»).

Сравним на данном примере векторное энтропийное управление со скалярным (целевая функция - энтропия системы), описанным в [9].

Для первой группы шахт с низким уровнем травматизма имеем: Г 0,0671 0,4466^1

Е« =

ч0,4466 6,4138

, (/2«;/2«) = (2,417;-0,311), Я(¥(1)) = 2,106.

Для второй группы шахт с высоким уровнем травматизма: Г0,3253 2,1302 ^

, (Л®; к^) = (3,736; - 0,699), Я(¥(2)) = 3,037 .

ч 2,1302 18,5289у

1Я =

Решив задачу (6) в виде

¿=1 ]=г

—1п[(27ге)2спс22]=

2 2

• ГП1П,

2 ^ а11а22 ) СТ12 =СТ21,СТ„ >0,/=1, 2,

(7)

~ "К ;

получим

( 0,0232 0,4466 ^

Е =

ч 0,4466 18,5285

, /2*) = (2,4166;- 0,3111), #(¥*) = 2,1055.

Изменение ковариационной матрицы составило б(Е ) = 2,926. Далее, решая задачу минимизации

Н{\)Л\п[{2пе)тр\-¿¿(ау-а^)2 <2,926,

1=1 ]=г

ГП1П,

(8)

СТ12 =СТ21,СТ„ >0,/=1, 2,

получим

£ =

0,1651 1,7439 ^ ч1,7439 18,4891

, С; /£) = (3,396; -2,778), Я(¥**) = 0,618.

Видим, что решения задач (7) и (8) существенно различаются. Решение (14) задачи (7) дает результат, позволяющий с минимальными измене-

ниями элементов коварнацноннои матрицы z. у осуществить энтропийное управление. Решение задачи (8) не соответствует приемлемым величинам энтропий хаотичности и самоорганизации. Действительно, энтропия хаотичности H{Y**)V = 3,396 оказалась слишком завышенной, энтропия самоорганизации H(Y**)R =-2,778 — слишком заниженной по сравнению с требуемыми значениями.

Заключение

1. Описана модель мониторинга стохастических систем на основе векторной формы энтропии.

2. На примере исследования устойчивого развития крупных городов показано, что векторное представление энтропии позволяет отразить основные тенденции развития многомерных стохастических систем.

3. Сформулирована задача векторного энтропийного управления. Приведен пример решения задачи энтропийного управления для двумерного случайного вектора.

4. Показано, что векторное энтропийное управление во многих случаях оказывается эффективнее скалярного управления.

Литература

1. Прангишвили И. В. Энтропийные и другие системные закономерности: Вопросы управления сложными системами. М.: Наука, 2003. 428 с.

2. Вильсон А. Дж. Энтропийные методы моделирования сложных систем: пер. с англ. М.: Наука. ФИЗМАТЛИТ, 1978. 248 с.

3. Скоробогатов С. М. Катастрофы и живучесть железобетонных сооружений (классификация и элементы теории). Екатеринбург: УрГУПС, 2009. 512 с.

4. Приц А. К. Принцип стационарных состояний открытых систем и динамика популяций. Калиниград: Калининградский государственный университет, 1974. 124 с.

5. Хакен Г. Информация и самоорганизация: Макроскопический подход к сложным системам: пер. с англ. М.: Мир, 1991. 240 с.

6. Хазен А. М. Введение меры информации в аксиоматическую базу механики. 2-е изд. М.: Рауб, 1998. 168 с.

7. Попков Ю. С. Математическая демоэкономика: Макросистемный подход. М.: ЛЕНАНД, 2013. 560 с.

8. Shannon С. Е. А Mathematical Theory of Communication // The Bell System Technical Journal, 1948. Vol. 27, № 3. P. 379-423, № 4, P. 623-656.

9. Тырсин А. H. Энтропийное моделирование многомерных стохастических систем. Воронеж: Научная книга, 2016. 156 с.

10. Тырсин А. Н., Соколова И. С. Энтропийно-вероятностное моделирование гауссовских стохастических систем // Математическое моделирование. 2012. Т. 24, № 1. С. 88-103.

11. Климонтович Ю. Л. Введение в физику открытых систем. М.: Янус-К, 2002. 284 с.

12. Регионы России. Основные социально-экономические показатели городов / Федеральная служба государственной статистики, Росстат [эл. pec.]. URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/ statistics/publications/catalog/ (дата обращения 15.02.2018).

13. Пантелеев А. В., Летова Т. А. Методы оптимизации в примерах и задачах. 3-е изд. М.: Высшая школа, 2008. 544 с.

VECTOR ENTROPY MONITORING AND CONTROL OF GAUSSIAN STOCHASTIC SYSTEMS

Aleksandr N. Tyrsin

Dr. Sci. (Engineering), Head of Department of Applied Mathematics,

Ural Federal University named after the First President of Russia B. N. Yeltsin

19 Mira St., Ekaterinburg 620002, Russia

Garnik G. Gevorgyan

Research Assistant, Department of Applied Mathematics

Ural Federal University named after the First President of Russia B. N. Yeltsin

19 Mira St., Ekaterinburg 620002, Russia

The article deals with the vector approach of entropy monitoring and control. It is the representation of differential entropy of a multidimensional stochastic system as a two-dimensional vector, the components of which are the entropies of randomness and self-organization. The system state is evaluated simultaneously with these two components. Vector control enables efficient entropy change as a two-dimensional vector, the components of which are the entropies of randomness and self-organization. We have formulated an optimization extremum problem for the important case of Gaussian stochastic systems. This problem can be solved by penalty function methods. It is shown that in a number of cases vector entropy control has advantages in comparison with scalar control. We give the examples of entropy monitoring and control for real stochastic systems.

Keywords: differential entropy; model; multidimensional random variable; Gaussian stochastic system; covariance matrix; monitoring; control; randomness; self-organization.

References

1. Prangishvili I. V. Entropiinye i drugie sistemnye zakono-mernosti: Vo-prosy upravleniya slozhnymi sistemami [Entropic and Other System Regularities: Problems of Complex Systems Management]. Moscow: Nauka Publ., 2003.428 p.

2. Wilson A. J. Entropiinye metody modelirovaniya slozhnykh sistem [Entropy Methods of Modeling Complex Systems]. Moscow: Nauka Publ., 1978. (Russian translation).

3. Skorobogatov S. M. Katastrofy i zhivuchest' zhelezobetonnykh sooruz-

henii (klassifikatsiya i elementy teorii) [Catastrophes and Survivability of Reinforced Concrete Structures (classification and the theory elements). Ekaterinburg: Ural State University of Railway Transport Publ., 2009. 512 p.

4. Prits A. K. Printsip statsionarnykh sostoyanii otkrytykh sistem i dinamika populyatsii [Principle of Steady States of Open Systems and the Dynamics of Population], Kalinigrad: Kaliningrad State University Publ., 1974. 124 p.

5. Haken H. Information and Self-Organization: A Macroscopic Approach to Complex Systems. Springer-Verlag, 1988.

6. Khazen A. M. Vvedenie mery informatsii v aksiomaticheskuyu bazu mek-haniki [Introduction of Information Measure in the Axiomatic Basis of Mechanics], 2nd ed. Moscow: Raub Publ., 1998. 168 p.

7. Popkov Yu. S. Matematicheskaya demoekonomika: Makrosistemnyi podkhod [Mathematical Demoeconomy: Macrosystem Approach], Moscow: Lenand, 2013. 560 p.

8. Shannon C. E. A Mathematical Theory of Communication. The Bell System Technical Journal. 1948. V. 27. No. 3. Pp. 379-423; No. 4. Pp. 623-656.

9. Tyrsin A. N. Entropiinoe modelirovanie mnogomernykh stokha-sticheskikh system [Entropy Modeling of Multidimensional Stochastic Systems]. Voronezh: Nauchnaya kniga Publ., 2016. 156 p.

10. Tyrsin A. N., Sokolova I. S. Entropiino-veroyatnostnoe modelirovanie gaussovskikh stokhasticheskikh sistem [Entropy Probabilistic Modeling of Gaussian Stochastic Systems]. Matematicheskoe modelirovanie —Mathematical Modeling. 2012. V. 24. No. 1. Pp. 88-103.

11. Klimontovich Yu. L. Vvedenie v fiziku otkrytykh system [Introduction to Open Systems Physics]. Moscow: Yanus-K Publ., 2002. 284 p.

12. Regiony Rossii. Osnovnye sotsial'no-ekonomicheskie pokazateli goro-dov [Regions of Russia. Key Socio-Economic Indicators of Cities]. Feder-al'naya sluzhba gosudarstvennoi statistiki, Rosstat —Federal Service of State Statistics, Rosstat. Available at: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/publicati ons/catalog/ (accessed 15.02.2018)

13. Panteleev A. V., Letova T. A. Metody optimizatsii vprimerakh i zada-chakh [Methods of Optimization in Examples and Problems]. 3nd ed. Moscow: Vysshaya shkola Publ., 2008. 544 p.