CC BY
114
Научный журнал КубГАУ, №103(09), 2014 года
1
УДК 004.8
СЕТЕЦЕНТРИЧЕСКАЯ СИСТЕМА УПРАВЛЕНИЯ НА БАЗЕ НЕЙРО -НЕЧЕТКОЙ ТОПОЛОГИИ1
Шумков Евгений Александрович
к. т. н.
Кубанский Государственный Технологический Университет, Краснодар, Россия
Видовский Леонид Адольфович д.т.н., профессор
Кубанский Государственный Технологический Университет, Краснодар, Россия
В статье рассмотрен подход к построению сетецентрической системы управления на базе нейро - нечеткой топологии «Внутренний учитель», использующей принцип обучения с подкреплением
UDC 004.8
CENTRIC MANAGEMENT SYSTEM BASED ON NEURO - FUZZY TOPOLOGY
Shumkov Eugeny Alexandrovich Cand.Tech.Sci.
Kuban State Technological University, Krasnodar, Russia
Vidovsky Leonid Adolfovich Dr.Sci.Tech., professor
Kuban State Technological University, Krasnodar, Russia
The article describes the network-centric approach to a building control system based on the "inner teacher" neuro - fuzzy topology, which uses the principles of reinforcement learning
Ключевые слова: СЕТЕЦЕНТРИЧЕСКАЯ Keywords: MANAGING MAINTENANCE CREWS,
СИСТЕМА УПРАВЛЕНИЯ, НЕЙРО - НЕЧЕТКАЯ ITIL, Q-LEARNING, REINFORCEMENT СИСТЕМА, НЕЙРОННАЯ СЕТЬ, ОБУЧЕНИЕ С LEARNING
ПОДКРЕПЛЕНИЕМ
В настоящее время ведущие армии мира, в том числе и российская, для управления вооруженными силами внедряют сетецентрические системы управления. В отечественной науке под «сетецентризмом» обычно понимается «управление на основе единого информационнокоммуникационного пространства». Вообще, данный термин пришел из информационных технологий, подразумевая организацию взаимодействия в компьютерной сети несмотря на использование разных операционных систем [4].
Согласно [6] концепция сетецентрической системы рассматривает представление любого вооруженного формирования в виде компьютерной сети, объединяющей сенсорные элементы сбора информации,
интеллектуальные элементы анализа ситуации и принятия решений, а
1 Исследование выполнено при финансовой поддержке РГНФ в рамках научно-исследовательского проекта РГНФ («Управление эффективностью пространственно распределённых промышленных предприятий с учётом фактора надёжности на примере нефтегазодобывающего комплекса»), проект № 14-02-00334а).
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
2
также моторные компоненты непосредственно воздействующие на объекты противника.
Следует отметить, что сетецентрический подход используется не только в военном деле, но и во многих других, например, в управлении МСЧ [4]
Существует несколько подходов к построению сетецентрических систем. Выделим следующий, в котором, сетецентрическая система должна обладать тремя взаимосвязанными типовыми подсистемами [4]:
- информационной системы, содержащей активные и пассивные технические средства и действия и обеспечивающие сбор достоверной информации о текущем состоянии объекта (-ов) управления и окружающей среды;
- активных технических средств, обеспечивающих реализацию команд от информационной системы;
-- информационно-управляющих средств, реализующих анализ и управления первыми двумя подсистемами.
То есть, мы видим, что такая система реализует распределенную систему с удаленным центром управления.
Одна из основных проблем математического и алгоритмического описания сетецентрических систем в том, что динамика показателей моделируется в непрерывном времени, а динамика действий - в дискретном. Другой особенностью рассматриваемых систем является то, что они характеризуются большим количеством компонентов и причинноследственных связей [2]. Внешняя среда в реальных задачах обычно характеризуется как стохастическая.
Отметим, что сетецентрический подход - это не только информатизация процесса, но и возможность прогноза ситуации и принятия опережающих действий.
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
3
Одним из наиболее перспективных подходов для реализации сетецентирических систем управления является создание информационных систем на базе мультиагентных технологий [2].
В работах по сетецентрическим системам обычно опускают тот факт, что в реальной обстановке обычно пропадает связь с управляемыми объектами. При этом необходимо, чтобы агенты (объекты управления) выполняли поставленную задачу, то есть агенты должны обладать элементами искусственного интеллекта. При построении подобных систем обычно используются нейронные сети, экспертные системы, нечеткая логика, обучение с подкреплением и т.д., а также различные комбинации указанных методов. Покажем, как можно реализовать сетецентрическую систему с элементами искусственного интеллекта на уровнях командного центра и агентов на базе обучения с подкреплением с использованием нейронных сетей. Для реализации выберем нейросетевую топологию «Внутренний учитель» [3, 7]. В данной топологии реализован принцип политики самообучения (SMP - self-modified policies).
Рассмотрим случай, когда необходимо управлять n агентами (n > 1). Использование топологии «Внутренний учитель» в случае управления одним агентом см. [5,7]. Тогда существует два способа построения топологии:
• централизованная;
• распределенная.
Если выбрать централизованную систему, то предлагается использование одного коэффициента эффективности, который отслеживает работу системы целиком (рис 1). На рисунках далее приняты следующие обозначения: ОНС - обучающая нейросеть, УНС -
управляющая нейросеть, СС - управляемый агент, БНП - база нечетких правил. Обобщенный вид формулы коэффициента эффективности:
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
4
A
Ei
где A - безразмерный показатель полезной деятельности, произведенной системой, E - безразмерный показатель затраченных ресурсов.
Теперь необходимо распределить коэффициент эффективности по агентам, то есть мы делаем предположение, что коэффициент эффективности разбивается следующим образом (если известны коэффициенты влияния g):
ЛГ = г1Л +g2i2 +.... + гПЛ Или для каждого агента:
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
5
1 = j,
где 1 - коэффициент эффективности j - го агента в момент времени
i.
Вообще говоря, в сетецентрической системе управления может быть неизвестно (или частично известно) влияние одного агента на общий коэффициент эффективности системы. Для преодоления этого барьера удобно использовать нечеткую логику. Для этого в систему вводится база нечетких правил. Например, пусть лингвистической переменной будет степень влияния j - го агента, которая оценивается по шкале слабая, средняя, высокая2 (рис. 2). Термами будут лингвистические оценки слабая, средняя, высокая, которые составляют терм - множество.
2 Шкала разбита на три части в целях простоты изложения. Понятно, что в реальном случае она разбивается более подробно.
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
6
Для каждого агента строим функции принадлежности, например как показано на рисунке 2. Таким образом, при одном коэффициенте эффективности мы имеем различные значения степени влияния агента на общий коэффициент эффективности системы.
Базу нечетких правил необходимо сделать следующим образом - в случае если при неоднократном применении правил, коэффициент эффективности системы не увеличился (уменьшился) и он меньше заданного, необходимо сделать корректировку лингвистической функции, а именно изменять параметры a, d, l (показаны на рисунке 2). Таким образом, закладывается принцип самообучения системы на трех уровнях -уровень определения степени влияния агента (на уровне вычисления коэффициента эффективности), затем на уровне определения направления изменения адаптационных параметров (выходы нейросетей учителя) и, наконец, на уровне выбора набора правил самообучения в нейросетях решателей. Уровень распределения коэффициента эффективности централизованной СУ с применением базы нечетких правил показан рисунок 3. После распределения коэффициента эффективности по агентам алгоритм работы для каждого блока ОНС - УНС - СС (обучение, дообучение) такой же, как и для одного агента.
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
7
Рисунок 3. СУ с нечеткой логикой
В случае распределенной системы, для каждого агента используется свой коэффициент эффективности (рисунок 4), т. е.:
1 = —,
! Ei
где 1j - коэффициент эффективности j степени свободы управляемого объекта в i момент времени управления.
Данный вариант построения СУ можно применять в случае, если известно влияние агента на систему (в общем случае влияние не известно), или в непосредственном управлении используются не все агенты, а только те, степень влияния, которых априори известна.
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
8
Рисунок 4. Распределенная СУ
В случае распределенной СУ, обучение (дообучение) для каждого агента проходит независимо, используя алгоритм, изложенный для одного агента [7]
Литература
1. J. Schmidhuber. Reinforcement learning with self-modifying policies. In S.Thrun and L.Pratt, Learning to learn, pages. 293-309, Kluwer, 1997.
2. Иващенко А.В. и др. Мультиагентные технологии для разработки сетецентрических систем управления // С. 11-22.
3. Ключко В.И., Шумков Е.А., Карнизьян Р.О. Нечеткий контроллер с
правилами самомодификации // Политематический сетевой электронный научный журнал КубГАУ [Электронный ресурс]. №9. 2013. Режим доступа:
http://ej.kubagro.ru/get.asp?id=3340&t=1
4. Рязанов В.А. Сетецентрический подход в управлении силами пожарной охраны // Пожары и ЧС. 2010. №3. С. 61-69.
5. Стасевич В. П., Шумков Е. А., Ключко В. И., Воротников С. А. Адаптивные системы на основе самообучающихся нейросетей. Научный журнал «Труды КубГТУ».
http://ej.kubagro.ru/2014/09/pdf/05.pdf
Научный журнал КубГАУ, №103(09), 2014 года
9
- Краснодар: КубГТУ, 2002. - T.XVI. -Сер. Совершенствование образовательных технологий. -Вып.2.
6. Шеремет И.А. Компьютеризация как путь к победе в вооруженной борьбе // Независимое военное обозрение. - 2005. - №42 (451)
7. Шумков Е.А. Система поддержки принятия решений предприятия на основе нейросетевых технологий. Дисс. канд. техн. наук. Краснодар: КубГТУ. 2004. 158 с.
8. // Экстремальная робототехника. Материалы XIII Научно-технической конференции. Под ред. доктора технических наук Е.И. Юревича. В.П. Стасевич, С. А. Воротников. «Адаптивная самообучаемая система управления мобильным роботом в недетерминированной среде». Санкт-Петербург, изд-ва СПбГТУ, 2003. с.45-48.
References
1. J. Schmidhuber. Reinforcement learning with self-modifying policies. In S.Thrun and L.Pratt, Learning to learn, pages. 293-309, Kluwer, 1997.
2. Ivashhenko A.V. i dr. Mul'tiagentnye tehnologii dlja razrabotki setecentricheskih sistem upravlenija // S. 11-22.
3. Kljuchko V.I., Shumkov E.A., Karniz'jan R.O. Nechetkij kontroller s pravilami samomodifikacii // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal KubGAU [Jelektronnyj resurs]. №9. 2013. Rezhim dostupa: http://ej.kubagro.ru/get.asp?id=3340&t=1
4. Rjazanov V.A. Setecentricheskij podhod v upravlenii silami pozharnoj ohrany // Pozhary i ChS. 2010. №3. S. 61-69.
5. Stasevich V. P., Shumkov E. A., Kljuchko V. I., Vorotnikov S. A. Adaptivnye sistemy na osnove samoobuchajushhihsja nejrosetej. Nauchnyj zhurnal «Trudy KubGTU». -Krasnodar: KubGTU, 2002. - T.XVI. -Ser. Sovershenstvovanie obrazovatel'nyh tehnologij. -Vyp2.
6. Sheremet I.A. Komp'juterizacija kak put' k pobede v vooruzhennoj bor'be // Nezavisimoe voennoe obozrenie. - 2005. - №42 (451)
7. Shumkov E.A. Sistema podderzhki prinjatija reshenij predprijatija na osnove nejrosetevyh tehnologij. Diss. kand. tehn. nauk. Krasnodar: KubGTU. 2004. 158 s.
8. // Jekstremal'naja robototehnika. Materialy XIII Nauchno-tehnicheskoj konferencii. Pod red. doktora tehnicheskih nauk E.I. Jurevicha. V.P. Stasevich, S.A. Vorotnikov. «Adaptivnaja samoobuchaemaja sistema upravlenija mobil'nym robotom v nedeterminirovannoj srede». Sankt-Peterburg, izd-va SPbGTU, 2003. s.45-48.
http://ej.kubagro.ru/2014/09/pdf/05.pdf
