CC BY
22
Доклады БГУИР
Doklady BGUIR
2018, № 8 (118) 2018, No. 8 (118)
УДК 681.3;007.003;007.008;65.0
ПРИМЕНЕНИЕ ИНТЕЛЛЕКТУАЛЬНЫХ ТЕХНОЛОГИЙ ПРИ ОПТИМИЗАЦИИ СТРУКТУРЫ УПРАВЛЯЕМЫХ ТЕХНОЛОГИЧЕСКИХ СИСТЕМ
В С. СМОРОДИН, В.А. ПРОХОРЕНКО
Гомельский государственный университет имени Франциска Скорины, Республика Беларусь
Поступила в редакцию 28 февраля 2018
Аннотация. Определяется направление исследований управляемых технологических систем на основе построения моделей искусственных нейронных сетей для обеспечения функционирования интеллектуальных систем поддержки принятия решений в режиме реального времени.
Ключевые слова: искусственная нейронная сеть, интеллектуальные системы, конечное множество математических моделей.
Abstract. A research direction in the field of controllable technological systems based on construction of artificial neural network models for functioning of intellectual real-time decision support systems is proposed.
Keywords: artificial neural network, intelligent systems, finite set of mathematical models.
Doklady BGUIR. 2018, Vol. 118, ]Чо. 8, pp. 30-35 Application of intellectual technologies for optimization of the structure of controlled technological systems V.S. Smorodin, V.A. Prokhorenko
Введение
За последнее время накоплен значительный опыт построения математических моделей, которые представляют большой практический интерес в их приложениях для интеллектуальных систем поддержки принятия решений. Существующая при этом тенденция к применению общесистемных принципов анализа моделей наталкивается на известные трудности, которые обусловлены целым комплексом различных причин, связанных с многообразием методов и средств их исследования [1]. Подобная тенденция в случае недостаточной эффективности известных аналитических методов анализа моделей привела к разработке новых методов и средств имитационного моделирования сложных процессов, включая производственные, доступных специалистам различных областей знаний и характеризующихся единым математическим подходом [2]. Такой подход дает основания для разработки необходимого программного инструментария, дающего возможность исследователям применять новые методы и методики для анализа систем различной степени сложности [3].
В настоящей работе определяется новое направление исследований управляемых технологических систем на основе построения моделей искусственных нейронных сетей (ИНС) с целью управления технологическим циклом производства в режиме реального времени с использованием системы искусственного интеллекта, которое в простейшем случае можно проиллюстрировать на примере приведенных ниже задач.
Общая постановка задачи
В качестве математической модели объекта исследования будем рассматривать ИНС, определенную на траекториях следующей системы уравнений:
У = Р, F(5) = F(WXт), (1)
где в качестве весовых коэффициентов используется вектор Ж = W2, ..., wn), вектор входных сигналов определяет X = (хь х2, ..., хп), взвешенная сумма 5 определяется выражением
п
Б = Х w¡x¡, а функция активации Р является оператором нелинейного преобразования
г=1
взвешенной суммы Б. В качестве оператора нелинейного преобразования будем рассматривать сигмоидную функцию активации вида
У = Т"^, (2)
1" е
где коэффициент с, отличный от нуля, определяет ширину функции по оси абсцисс, а также гиперболический тангенс
У = ^ с5, (3)
где коэффициент с, отличный от нуля, выполняет ту же роль. Следует отметить, что в силу монотонности и дифференцируемости функции вида (2) и (3) являются наиболее часто используемыми [4, 5].
Как известно, в многослойных ИНС нейроны располагаются по слоям. Сети, в которых сигналы передаются последовательно от предыдущего слоя к следующему, называют сетями прямого распространения. Выделяют также класс рекуррентных сетей на базе персептрона с наличием в них обратных связей между слоями нейронов [5].
Построение рекуррентной нейронной сети для задачи управления
Рекуррентная сеть на базе многослойного персептрона представляет собой архитектуру, которая характеризуется наличием связей между слоями в форме элементов запаздывания. Это позволяет сети накапливать память о своих предыдущих состояниях и воспроизводить последовательности реакций. Рекуррентные нейронные сети обладают специальной структурой, которая позволяет им запоминать последовательности данных. В рассматриваемой нейронной сети в качестве функции активации нейронов используется гиперболический тангенс с параметром с, равным 1.
Архитектура рассматриваемой нейронной сети представлена на рис. 1.
Входной Входные 9 век10р
данные
Нейронная сеть состоит из трех слоев, в которых содержится 4, 10 и 4 нейронов соответственно. Нейроны второго слоя связаны с входным слоем через элементы единичной задержки, их выходы запоминаются сетью. Каждый из нейронов входного слоя связан со всеми элементами вектора текущих входных данных, а также со всеми элементами единичной задержки. В качестве входных данных нейронной сети использовано контекстное окно размерностью 3*3, куда помещается окрестность клетки поля управления. Входной вектор сети формируется из элементов контекстного окна, а также элементов выходного вектора второго слоя на предыдущем шаге.
Перед применением нейронной сети случайным образом выбирается одна из закрытых клеток поля до тех пор, пока не будет сделано попадание. После попадания нейронная сеть принимает и обрабатывает данные из контекстного окна вокруг выбранной клетки.
Элементы выходного вектора определяют выбор следующего хода в пределах текущего контекстного окна. Нейронная сеть используется для выбора ходов до тех пор, пока не будет идентифицирован текущий объект либо пока не наступит ситуация, когда все возможные управления в текущем контекстном окне уже были совершены. Тогда ее память очищается и снова реализуется поиск нового управления по закрытым клеткам случайным образом.
Примеры входных данных показаны на рис. 2, где 0 означает, что объект не доступен для управления, 1 - объект идентифицирован, -1 - объект вне зоны управления.
0 0 0
0 1 -1
0 0 0
0 -1 0
0 1 1
0 1 -1
0 0 0
-1 1 -1
-1 -1 0
Рис. 2. Примеры входных данных сети из контекстного окна
Обучение нейронной сети и его результаты. Процесс обучения нейронной сети заключается в поиске таких значений настраиваемых параметров сети (весовых коэффициентов связей между нейронами и уровней активации нейронов), чтобы она осуществляла правильное отображение. Обучение можно рассматривать как нелинейную оптимизационную задачу минимизации некоторой функции ошибки, заданной на обучающем множестве, относительно всех настраиваемых параметров сети.
Приложение управления, например, боевыми действиями подразумевает использование стратегии выбора ходов с учетом предыдущих выборов и динамически изменяющихся в процессе имитации входных данных. Рекуррентные нейронные сети позволяют осуществлять выбор ходов в соответствии со стратегией благодаря своей способности накапливать информацию, запоминать и воспроизводить последовательности сигналов.
В качестве обучающего множества использовались последовательности из одного, двух и трех ходов в различных возможных ситуациях, сгенерированные автоматически. Для формирования обучающего множества было использовано 84 последовательности.
Алгоритм обучения нейронной сети реализован по методу сопряженных градиентов. Данный метод позволил достичь быстрой и монотонной сходимости без зацикливания в точках локального минимума. Производные вычислялись с помощью обратного распространения ошибки. Коррекции настраиваемых параметров осуществлялись после предъявления в произвольном порядке всех последовательностей из обучающего множества. В качестве функции ошибки была использована среднеквадратичная ошибка по обучающему множеству.
После обучения нейронная сеть продемонстрировала способность успешно функционировать в рамках рассмотренного подхода к решению задачи, правильно выбирать управления и последовательности действий с учетом предыдущих выборов.
Накопление информации о наблюдаемом процессе управления позволяет выработать и реализовать правильную стратегию принятия решений, что дает возможность говорить о правомерности применения рекуррентных архитектур в более сложных и хуже формализуемых задачах с динамически изменяющимися условиями.
Использование нейронных сетей в задаче поиска оптимальной траектории. Нейросетевое моделирование контроллера применяется в тех случаях, когда существует качественный контроллер управляемой системы. Нейронная сеть выступает в роли аппроксиматора его функции и обучается таким образом, чтобы моделировать его воздействия на управляющую систему. Использование полученного таким образом контроллера в некоторых ситуациях может быть более целесообразным, чем использование оригинального (например, в силу общих свойств нейронных сетей, которые включают в себя способность к обобщению и обработке зашумленных данных, отказоустойчивость в силу параллельной
архитектуры). В данной работе исследована возможность использования управления на основе моделей нейронных сетей для задачи поиска оптимальной траектории. В качестве примера рассмотрена задача поиска управляемым объектом выхода из лабиринта. Нейронная сеть в данном случае использована в качестве контроллера управляемого объекта, определяющего процесс управления на каждом шаге.
Формализация задачи и архитектура нейронной сети. Для рассматриваемой задачи предполагается, что в лабиринте нет замкнутых маршрутов. В таком случае контроллер для управляемого объекта, проходящего лабиринт, можно реализовать алгоритмически.
Схемы нейронных сетей приведены на рис. 3. В рассматриваемых нейронных сетях в качестве функции активации нейронов используется гиперболический тангенс. На данном рисунке слева - многослойный персептрон, справа - рекуррентная сеть на базе многослойного персептрона. В качестве входных данных контроллера выступает вектор, описывающий соседние с текущей позицией клетки, а также вектор, показывающий текущее направление движения. Клетке с препятствием соответствует координата с единицей, свободной клетке -координата с нулем. Результатом работы контроллера является вектор из четырех элементов, максимальная координата которого определяет направление следующего движения объекта.
Входные
ы
13
5
Рис. 3. Схемы нейронных сетей
При решении данной задачи было рассмотрено три типа контроллеров на основе нейронных сетей: контроллер на основе многослойного персептрона; контроллер на основе рекуррентной нейросети на базе многослойного персептрона; аддитивный контроллер, комбинирующий сигналы двух предыдущих.
Многослойный персептрон состоит из трех полносвязных слоев. В первом слое 5 нейронов, во втором - 10 нейронов, в третьем - 4 нейрона. Рекуррентная нейросеть также имеет три полносвязных слоя, в которых содержится 5, 5 и 4 нейронов, при этом второй скрытый слой имеет обратные связи с первым слоем через элементы единичной задержки.
Обучение нейронных сетей и основные результаты. Обе нейронные сети обучались с использованием метода сопряженных градиентов. Данный метод позволил достичь быстрой и монотонной сходимости без зацикливания в точках локального минимума. Производные вычислялись с помощью обратного распространения ошибки. Коррекции настраиваемых параметров осуществлялись после предъявления в произвольном порядке всех пар или последовательностей из обучающего множества. Обучающее множество представляет собой пары входных и требуемых выходных векторов в случае многослойного персептрона и последовательности пар векторов в случае рекуррентной нейросети. В качестве минимизируемой ошибки использовалась среднеквадратичная ошибка по обучающему множеству. Обучающие множества сгенерированы путем применения существующего контроллера к различным ситуациям, возникающим при решении задачи. Для обучения рекуррентной нейронной сети использованы последовательности выборов из одного, двух, трех и четырех ходов. Всего в процессе обучения использовано 100 сгенерированных
последовательностей. Для тестирования обученных нейросетей использовано множество из 25 примеров.
Многослойный персептрон не имеет внутреннего состояния и в рамках рассматриваемой формализации задачи не учитывает входные и выходные данные в предыдущие моменты времени. По этой причине контроллер на основе нейронной сети такого типа может быть успешно применен в рассматриваемой задаче в ограниченном наборе ситуаций. Решение задачи было найдено в 28 % использованных для тестирования примерах.
Рекуррентная нейронная сеть после соответствующего обучения продемонстрировала способность воспроизводить действия алгоритмического контроллера в большинстве случаев. Это позволяет найти путь с помощью контроллера на основе рекуррентной нейронной сети в большинстве (84 %) примеров. На рис. 4 представлены примеры нахождения оптимальной траектории с использованием нейроконтроллеров.
О
1
О
х-
п
I
Рис. 4. Примеры нахождения оптимальной траектории с использованием нейроконтроллеров
При использовании аддитивного контроллера, выходные сигналы обеих нейросетей суммировались. На рассматриваемом множестве примеров, использованном для тестирования, применение такого контроллера позволило незначительно улучшить результат (88 %) по сравнению с использованием рекуррентной нейросети.
Обсуждение результатов. В рамках данной работы были выполнены:
- формализация поставленных задач, разработка действующих программных моделей нейронных сетей, реализация алгоритмов их обучения;
- подготовка обучающих множеств для нейронных сетей и их обучение для последующего использования в качестве контроллера.
Проведенные эксперименты показали, что рекуррентные нейронные сети могут достаточно успешно применяться в ряде задач в качестве контроллеров, в то время как применение многослойного персептрона показало себя малоэффективным в подобных конкретных постановках задач. Построенные модели рекуррентных нейронных сетей продемонстрировали высокую эффективность при принятии решений с учетом предыдущих состояний системы. Способность рекуррентных нейронных сетей запоминать и воспроизводить последовательности сигналов дает возможность успешно осуществлять стратегию выбора управлений, что позволяет использовать данный подход при оптимизации структуры объекта исследований и в других случаях.
Реализованный программный код для рекуррентных нейронных сетей, приведенных в настоящей работе, может быть использован для решения ряда задач, требующих принятия управляющих решений с учетом предыдущих выборов, после их обучения на соответствующем множестве данных из рассматриваемой предметной области.
Заключение
В настоящей работе предложен подход к унификации методов исследования в области проектного моделирования сложных технологических систем и систем управления технологическим циклом производства на основе гибкого математического аппарата моделирования, средствами реализации которого являются ИНС. При этом использование последних в качестве основы для разработки моделей систем управления обеспечивает определение оптимальных параметров управления для интеллектуальных систем поддержки принятия решений. Новизна данного подхода состоит в возможности создания нейросетевых
алгоритмов для построения интегральной графовой структуры управляющей системы, содержащей конкретные схемы резервирования контура управления в зависимости от вероятностных параметров ее функционирования, в условиях неопределенности и риска.
Список литературы
1. Максимей И.В. Методы и средства имитационного моделирования технологических процессов производства. Гомель: ГГУ им. Ф. Скорины, 2007. 369 с.
2. Максимей, И.В., Смородин В.С., Демиденко О.М. Разработка имитационных моделей сложных технических систем. Гомель: ГГУ им. Ф. Скорины, 2014. 298 с.
3. Максимей И.В., Демиденко О.М., Смородин В.С. Проблемы теории и практики моделирования сложных систем. Гомель: ГГУ им. Ф. Скорины, 2015. 263 с.
4. Ахтеров А.В., Кирильченко А.А Основы теоретической робототехники. Искусственные нейронные сети. Обзор // Препринты ИПМ им. М.В. Келдыша. 2008. № 2. 20 с.
5. Оссовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 345 с.
References
1. Maksimej I.V. Metody i sredstva imitacionnogo modelirovanija tehnologicheskih processov proizvodstva. Gomel': GGU im. F. Skoriny, 2007. 369 s. (in Russ.)
2. Maksimej, I.V., Smorodin V.S., Demidenko O.M. Razrabotka imitacionnyh modelej slozhnyh tehnicheskih sistem. Gomel': GGU im. F. Skoriny, 2014. 298 s. (in Russ.)
3. Maksimej I.V., Demidenko O.M., Smorodin V.S. Problemy teorii i praktiki modelirovanija slozhnyh sistem. Gomel': GGU im. F. Skoriny, 2015. 263 s. (in Russ.)
4. Ahterov A.V., Kiril'chenko A.A Osnovy teoreticheskoj robototehniki. Iskusstvennye nejronnye seti. Obzor // Preprinty IPM im. M.V. Keldysha. 2008. № 2. 20 s. (in Russ.)
6. Ossovskij S. Nejronnye seti dlja obrabotki informacii. M.: Finansy i statistika, 2002. 345 s. (in Russ.)
Сведения об авторах
Смородин В.С., д.т.н., профессор, заведующий кафедрой математических проблем управления и информатики Гомельского государственного университета им. Ф. Скорины.
Прохоренко В.А., ассистент кафедры математических проблем управления и информатики Гомельского государственного университета им. Ф. Скорины.
Information about the authors
Smorodin V.S., D.Sci, professor, head of the department of mathematical problems of control and informatics of Gomel state university named after F. Skorina.
Prokhorenko V.A., assistant of the department of mathematical problems of control and informatics of Gomel state university named after F. Skorina.
Адрес для корреспонденции
246019, Республика Беларусь, г. Гомель, ул. Советская, 104, Гомельский государственный университет им. Ф. Скорины тел. +375-29-329-27-99; e-mail: [email protected] Смородин Виктор Сергеевич
Address for correspondence
246019, Republic of Belarus, Gomel, Sovetskaya str., 104, Gomel state university named after F. Skorina tel. +375-29-329-27-99; e-mail: [email protected] Smorodin Victor Sergeevich
