CC BY
130
УДК 513.711.7 ББК 22.181 В 58
Власенко А.В.
Кандидат технических наук, доцент кафедры компьютерных технологий и информационной безопасности института информационных технологий и безопасности, начальник управления аспирантуры и докторантуры Кубанского государственного технологического университета, Краснодар, e-mail: [email protected]
Тимченко М.В.
Аспирант кафедры информационных систем и программирования института компьютерных систем и информационной безопасности Кубанского государственного технологического университета, Краснодар, e-mail: [email protected]
Дзьобан П.И.
Аспирант института информационных технологий и безопасности Кубанского государственного технологического университета, Краснодар, e-mail: [email protected]
Создание нейросетевой модели по методу «нейросетевой аппроксиматор» с применением структурированных знаний
(Рецензирована)
Аннотация. По методу нейросетевого аппроксиматора с применением структурированных знаний разработана нейросетевая модель. Указаны особенности и достоинства метода, в котором существует прямая трансляция всех баз знаний в экспертных системах. Рассмотрены современные градиентные алгоритмы, реализованные на принципе обратного распространения ошибки, позволяющие уменьшить время обучения. Эти алгоритмы обладают одним существенным недостатком - выбором первичной точки для оптимизации. В большинстве случаев применения многослойных нейронных сетей проблеме выбора первичной точки оптимизации не уделяется необходимого внимания. Поэтому все веса приводятся с присвоенным случайным значением. Рассмотрено создание структуры нейронной сети на базе деревьев решений, включающие расчет первичных значений весов связей как основную часть процесса разработки нейронной сети. Продемонстрировано, каким образом полученные положительные значения весов связей необученной нейронной сети ускоряют процесс обучения сети.
Ключевые слова: нейронная сеть, нейрон, модель, архитектура, алгебраическая формула, линейная функция, функция активации, информационный массив.
Vlasenko А.У.
Candidate of Technical Sciences, Associate Professor of Computer Technologies and Information Security Department, Institute of Information Technologies and Security, Head of Department of Postgraduate and Doctoral Studies, Kuban State University of Technology, Krasnodar, e-mail: [email protected]
Timchenko M.V.
Post-graduate student of Information Systems and Programming Department of the Institute of Computer Systems and Information Security, Kuban State University of Technology, Krasnodar, e-mail: [email protected]
Dzoban P.I.
Post-graduate student of Institute of Information Technologies and Security, Kuban State University of Technology, Krasnodar, e-mail: [email protected]
Creation of neural network model by a method of the "neural network approximator" using the structured knowledge
Abstract. A neural network model was developed by using a method of the neural network approximator with application of the structured knowledge. Features and advantages of a method in which there is a live broadcast of all knowledge bases in expert systems are specified. The modern gradient algorithms implemented by the principle of the return distribution of a mistake to reduce training time are studied. All these algorithms possess one essential shortcoming, namely: the choice of primary point for optimization. In most cases of application of multilayer neural networks, a problem of the choice of primary point of optimization is not paid necessary attention. Therefore, the appropriated accidental value is given to all weights. The publication considers the creation of structure of a neural network on the basis of trees of decisions, including calculation ofprimary values of scales of bonds as the main part ofprocess of development of the neural network. It is shown how the obtained positive values of scales of bonds of an untrained neural network accelerate the process of network training.
Keywords: neural network, neuron, model, architecture, algebraic formula, linear function, activation function, information array.
Достаточно эффективный способ построения нейронной сети на основе известных структурированных знаний под названием KBANN - Knowledge Based Artificial Neural Networks - разработан Дж. Тоуэллом [1-5]. Концепция этого метода состоит в генерации топологии нейронной сети на основе известных структурированных знаний.
Начальной информацией для построения нейросети может выступать множество конъюнктивных правил. Выбран формат правил «если ..., то ...», наиболее подходящий к моделируемой задаче. Первая причина данного выбора - множество правил быстро преобразовывается в дерево решений. Созданное дерево решений преобразуется в нейронную сеть - «пер-септрон» [6-12]. Вторая причина в том, что входные и выходные переменные проходят процедуру «шкал» [13-18]. При этом значения шкал сравниваются с подходящими входными и выходными нейронами, распределяя по уровням вложенности промежуточные узлы дерева решений. Естественно, количество этих уровней определяет множество скрытых слоев в сети. Всем узлам дерева решений, не являющимся входом или выходом, приравнивается в соответствие скрытый нейрон. В конечном результате получается необходимая архитектура типа «персептрон» [1-5].
Важным достижением данного метода будет являться процедура инициализации значений весов связей необученной нейросети и силе связей начального дерева решений. Благодаря методу KBANN весам межнейронных связей, равным положительному параметру, входящему в правила, дается определенное значение D1, а отрицательным весам приравнивается значение D2 (D2<D1) [1-5]. Всем весам связей, не присутствующим в дереве решений, дается число D3 (D3<<D1). Сигмовидная функция активации используется для скрытых и выходных нейронов. Созданная нейронная сеть будет обучаться на основе градиентных методов [6-12].
Из достоинств этого метода можно выделить следующее:
а) способность модели, после обучения которой при преобразовании выхода учитывается ранее неопределенное влияние входов модели с помощью введения связей типа «каждый с каждым»;
б) существенно сократить время обучения сети позволяет установка первичных значений весов связей.
Повышение точности данного метода является задачей многих ученых. Разработано большое количество алгоритмов, позволяющих добавлять нейроны в скрытые слои сети KBANN, однако все они требуют более высокого рассмотрения и минимизации сроков обучения [1-5].
Главная область использования этого метода - это задачи классификации высокой размерности. Извлечение новых информационных массивов из обученной нейронной сети осуществляется при помощи локальных методов [13-18].
Особенностью и достоинством этого метода является то, что существует прямая трансляция всех баз знаний в экспертных системах. Благодаря этому нейронную сеть можно быстро преобразовывать в модернизированную нейросетевую модель [6-12]. Главным ограничением становится условие существования формализованной структурированной базы правил, которое присуще не только методу KBANN, но и многим другим [1-5]. Данное условие нередко бывает неосуществимым в недостаточно формализованных задачах, для которых более эффективно использование нейросетевого моделирования. Эти методы не дают возможность интегрировать в нейронную сеть знания, заданные в форме отдельных правил или выражениях чувствительности переменных [8, 10-12].
Современные градиентные алгоритмы, реализованные на принципе обратного распространения ошибки, стараются уменьшить время обучения. Конечно, все эти алгоритмы обладают одним существенным недостатком - выбором первичной точки для оптимизации [13-18].
На основании обзора литературы можно сделать вывод, что в большинстве случаев применения многослойных нейронных сетей проблеме выбора первичной точки оптимизации не уделяется необходимое внимание [6-12]. Объяснить это можно тем, что задача обучения нейронной сети имеет разные варианты решений, рассматриваемых в различных комплектах значений весов. Потому все веса вводятся с присвоенным случайным значением [13-
18]. Благодаря этому при создании структуры нейронной сети на базе деревьев решений по рассмотренному выше методу KBANN расчет первичных значений весов связей осуществляется на 20% быстрее, что позволяет использовать основную часть процесса разработки нейронной сети. Полученные положительные значения весов связей необученной нейронной сети ускоряют процесс обучения сети KBANN [1-5].
При проектировании функции нескольких аргументов y=fX), где Х - многомерный вектор, с применением однослойной нейросети требуется обратить внимание на начальные данные при создании простой нейроструктуры [13-18]. Каждую нейросеть, имеющую слоистую архитектуру с отсутствующими латеральными связями, можно декомпозировать на множество связанных однослойных сетей [6-12]. Отдельно однослойные сети не применяются, потому что имеют серьезные ограничения, из-за которых они не могут моделировать линейно неразделимые задачи [13-18].
Нейросетевое моделирование непрерывных функций от непрерывных аргументов зависит от начальных данных и ошибок при вводе информации в шкалу области допустимых значений (или в область более вероятных значений). Число позиций шкалы зависимой переменной находится с помощью создания структуры нейросети благодаря нужной точности выходного значения [6-12].
Интервал шкалы yt зависимой переменной y определен рамками управляющего условия -то есть моделируемого параметра. Данному интервалу равно условие ye[yt; yt+1], где t - порядковый номер интервала и среднее значение функции на интервалеyt [13-18]. Наибольшее значение функции активации t-го нейрона выходного слоя получается из условия, в котором нейросеть создаст выходное значение, равное значению шкалы yt, представленное выражением:
Vt = A(sett -Q), (1)
где Q - порог функции активации;
sett - сумма взвешенных значений активаций нейронов предыдущего слоя; A - функция активации нейрона.
Значение sett рассчитаем как сумму взвешенных выходов нейронов предыдущего слоя:
sett = tWi V (2)
i=1
где Wti - вес связи между нейроном с номером r и нейроном предыдущего слоя с номером i; Vt - значение активации нейрона предыдущего слоя с номером i; к - количество нейронов в предыдущем слое.
Наиболее часто встречающаяся функция активации - сигмоидная [13-18]. Эта функция владеет селективной чувствительностью к сигналам различной интенсивности, что отвечает биологическим данным о нервной клетке [6-12]. Выражение будет иметь вид:
V =-1--(3)
4 1 + e-(sett-Q) ' У J
Наибольшее значение данной функции равно 1. При условии, что подобным значением Vt—обладает выражение порога функции активации,
¿W • V >Q. (4)
i
В процессе обучения вес любой связи приближается к фактической величине значимости связи. Обученная нейросеть по полному значению весов связей находит значимость всех связей, а по среднему значению связей входного нейрона - значимость данного нейрона [612]. Далее декомпозируя выходные нейроны на сумматор и нелинейную функцию активации, введем следующие параметры: S - количество входных нейронов в сети, R - количество входных переменных в моделируемой функции [13-18]. В процессе «шкал» при направлении на вход нейросети непрерывных значений входных переменных каждое значение всех переменных получается отдельным двоичным вектором. Внедрив на вход нейросети полный век-
тор входных переменных, увидим, что активации S-R входных нейронов будут равны «0» [13-18]. Естественно, эти нейроны не оказывают большое влияние на величину выхода сумматора net выходного нейрона и веса связей между этими нейронами и выходным нейроном и имеют разнообразное значение. Показания активаций остальных входных нейронов, определенным интервалам данного входного вектора, будут максимальны, то есть Vt=1. Их связи формируют значение выхода сумматора. Рисунок 1 показывает пример распределения значимости весов связей для нейросети, моделирующей функциональную зависимость двух переменных. Жирными линиями выделены связи, показывающие распространение входного сигнала - дискретное значение переменных Xj и Xi для одной из записей обучающего множества [13-18]. Пунктирными линиями выделены связи, значения весов которых не влияют на формирование сигналов выходов. Вследствие этой особенности работы нейросети при моделировании непрерывных зависимостей выражение
sett =£w-f -S . (5)
i= 1
можно упростить.
Y
Рис. 1. Схема распространения входного сигнала в однослойной нейросети
Тогда условие активации выходного нейрона будет иметь вид:
¿^"5 . (6)
г=1
Для получения тождественного равенства в формуле (6) заменим величину О на О', где О'>О. Получено условие равенства некоторого входного вектора нейросети активности одного из выходных нейронов:
¿К 5 >П'. (7)
г=1
В формуле (1) применяется функция активации «А», в которой нелинейное отображение функции выхода сумматора реализуется благодаря схожести значения $еи конкретного интервала шкалы значений выхода функции. Тогда относительно смысла функции «А» можно сказать, что она является функцией принадлежности значения выхода сумматора конкретному интервалу или средним значением функции на этом интервале, принадлежащем выходному нейрону. Формула (2) определяет вес связи у входного и выходного нейрона для семантически связанных нейронов и показывает силу влияния активации входного нейрона на значение выхода сумматора выходного нейрона [13-18]. Мощь воздействия активации нейрона на нужный интервал дискретности аргумента моделируемой зависимости представим в виде:
h WR~S Mh -
ZW
(8)
В связи нейрона присутствует информация. При ее более подробном рассмотрении следует обратить внимание на зависимость переменной и выходного нейрона. Вес связи /-го входного нейрона, равного I интервалу значений ] данной переменной в рамках заданного интервала, отражает мощь воздействия переменной на значение выхода сумматора выходного нейрона, который равен интервалу значений моделируемой функции ¥ [13-15, 17, 18]. На рисунке 2 отражена однослойная нейронная сеть с 2Б функциональной зависимостью.
t=i
Рис. 2. Схема отображения нейросетью функциональной зависимости вида Г=¥(ХХ')
Веса связей показывают сравнительную границу воздействия активации входных нейронов, равных фиксированным интервалам переменных входных, на показание выхода сумматора выходного нейрона, который равен нужному интервалу значений функции. Формула (2) показывает ограничение для значений весов сопряженных нейронов, демонстрирующих семантику влияния переменных моделируемой нейросетью функции [6-12].
Полученная нейросеть отражает постоянную функциональную зависимость. Демонстрирует это множество равносильных линейных функций, если каждую дифференцируемую функцию нескольких переменных на области возможных или значительных показателей (рабочей области) разобрать на комплекс линейных участков. Ошибка линеаризации находится точностью аппроксимации и регулируется количеством интервалов линейности [6-12]. Интервалы всех аргументов, равные выбранному участку линейности и соответствующей линейной функции, можно прировнять к интервалам шкал дискретизации первичных аргументов в нейросетевой модели.
Зоны пространства аргументов, показывающие любую линейную функцию из комплекса, описываются уравнением линейной множественной регрессии [13-18]:
к
У = Уо • Х/ Ь (9)
г=1
где аг - коэффициенты регрессии; К - количество аргументов функции.
Частные коэффициенты эластичности и бета-коэффициентов помогают сравнивать не-
зависимые переменные по степени их влияния на зависимую переменную, то есть сравнива-
ют их между собой по величине данного влияния.
Чтобы определить степень влияния независимой переменной на значение непрерывной на интервале функции вида у=ДХ), где Х - вектор независимых переменных, будем применять коэффициент эластичности Е^ [13-18]:
дхг у
где хг и у - средние значения переменной и функции на выбранных интервалах; г - индекс
Efal=^, (10)
переменной.
Коэффициент эластичности характеризует:
- относительное изменение зависимой переменной при изменении аргумента на 1%;
- силу влияния независимых переменных на значение функции на области допустимых значений.
Выводы
Формула (3) может применяться для однослойной нейросети. Многослойные нейронные сети отличаются от однослойных присутствием слоев со скрытыми нейронами. Поэтому использование данной формулы для многослойных нейросетей зависит от присутствия промежуточных переменных, являющихся зависимыми от входных переменных модели и одновременно независимыми переменными для выходов. В результате нейронная сеть становится логически прозрачной и просто декомпозируется на множество однослойных нейросетей [612]. Созданная формула применяется для формирования нужных условий при расчете первичных значений весов связей многослойной нейронной сети.
На продуктивность метода «нейросетевого аппроксиматора», основанного на полученной алгебраической формуле, могут влиять различные факторы. В данной работе предложен улучшенный метод разработки структуры нейросети, новизна которого основана на приближенной линейной формуле [6-12]. Также рассмотрено применение нейросетевого моделирования функциональной зависимости показателя для любого процесса, имеющего много входных и внутренних переменных параметров. Эту методику можно применять в классе методов создания нейросетей на основе знаний [13-18].
Применение метода «нейросетевой аппроксиматор» с помощью известных структурированных знаний создает возможность получить:
а) оптимальную модель процесса, разработанную для создания модулируемых экспериментов, в которой имеются пропуски и искажения;
б) прозрачную нейросетевую структуру, а также выявить все скрытые закономерности в процессе модуляции;
в) необходимые знания о структуре и мощности связей параметров имитационного процесса при разработке нейромодели.
При помощи имитационного процесса с применением данного метода нужно выполнить следующие правила:
1) создание математической модели в формате линейного многочлена;
2) правильность набора выводов измерений параметров процесса, выведенных в виде таблиц значений переменных и равнозначных значений функции;
3) необходимо использование эксперта в данной предметной области задачи. Экспертные знания позволят улучшить точность и объемность созданной модели базы знаний.
Главная задача при использовании метода «нейросетевого аппроксиматора» с помощью известных структурированных знаний заключается в преобразовании структуры нейросети, основанной на базе данных с применением приближенной формулы, и вводимых весов связей детерминированными полученными значениями в систему адекватных знаний [6-12]. Вследствие чего вводимые веса по созданному методу и переобученная нейронная сеть получают возможность воспроизводить функциональную зависимость, показанную начальной математической формулой. Естественно, начальное обучение разработанной нейросетевой структуры на основе таблиц настоящих данных модернизирует начальную модель для равенства с этими данными.
Примечания:
1. Handbook on Neural Information Processing / M. Bianchini, M. Maggini, L.C. Jain (eds.). Springer, 2013. P. 34-89.
2. Artificial Neural Networks - Application / C.-L. Hui (ed.). In Tech, 2011. P. 37-58.
3. Artificial Neural Networks. Methods and Applications in Bio-/Neuroinformatics / P. Koprinkova-Hristova, V. Mladenov, N.K. Kasabov (eds.). Springer, 2015. P. 13-19.
4. Steimer A., Maass W., Douglas R. Belief Propagation in Networks of Spiking Neurons // Neural Computation. 2009. 21. P. 2502-2523.
5. Preference Elicitation via Theory Refinement / P. Haddawy, Vu Ha, A. Restificar, B. Geisler, J. Miyamoto // Journal of Machine Learning Research. 2003. P. 317-337.
6. Архитектуры систем поддержки принятия решений / В.И. Ключко, А.В. Власенко, Е.А. Шумков, Р.О. Карнизьян // Политематический сетевой электронный научный журнал КубГАУ. 2013. № 2. С. 12-38.
7. Барский А.Б. Логические нейронные сети: учеб. пособие. М.: ИНТУИТ: БИНОМ: Лаборатория знаний, 2007. С. 11-27.
8. Тарков М.С. Нейрокомпьютерные системы: учеб. пособие. Сер. Основы информационных технологий. М.: Бином, 2010. С. 23-43.
9. Злобин В., Ручкин В. Нейросети и нейрокомпьютеры: учеб. пособие. СПб.: BHV, 2011. С. 2-9.
10. Волков М.Б. Моделирование на основе нейронных сетей. Этапы и примеры // Иннов: электрон. науч. журнал. 2015. С. 33-34.
11. Васенков Д.В. Методы обучения искусственных нейронных сетей // Компьютерные инструменты в образовании. 2007. № 1. С. 20-29.
12. Постарнак Д. В. Критический анализ моделей нейронных сетей // Вестник Тюменского государственного университета. 2012. № 4. С. 12-33.
13. Бурякова Е.С. Разработка и принятие управленческих решений, постановка задач, делегирование полномочий. М.: MBS, 2010. С. 45-60.
14. Волкова В.Н., Емельянов А.А. Теория систем и системный анализ в управлении организациями // Финансы и статистика. 2006. С. 13-32.
15. Лычкина Н.Н. Имитационные модели в процедурах и системах поддержки принятия стратегических решений на предприятиях // Бизнес-информатика. 2007. № 1. С. 17-69.
16. Терелянский П.В. Системы поддержки принятия решений. Опыт проектирования: монография. Волгоград: ВолгГТУ, 2009. С. 23-79.
17. Бирюков А.Н. Процессы управления информационными технологиями: учеб. пособие. М.: ИН-ТУИТ, 2012. С. 34-70.
18. Давыдова Т.Ю., Шелобаев С.И., Арсеньев Ю.Н. Информационные системы и технологии. Экономика. Управление. Бизнес: учеб. пособие. М.: Юнити-Дана, 2012. С. 17-29.
References:
1. Handbook on Neural Information Processing / M. Bianchini, M. Maggini, L.C. Jain (eds.). Springer, 2013. P. 34-89.
2. Artificial Neural Networks - Application / C.-L. Hui (ed.). In Tech, 2011. P. 37-58.
3. Artificial Neural Networks. Methods and Applications in Bio-/Neuroinformatics / P. Koprinkova-Hristova, V. Mladenov, N.K. Kasabov (eds.). Springer, 2015. P. 13-19.
4. Steimer A., Maass W., Douglas R. Belief Propagation in Networks of Spiking Neurons // Neural Computation. 2009. 21. P. 2502-2523.
5. Preference Elicitation via Theory Refinement / P. Haddawy, Vu Ha, A. Restificar, B. Geisler, J. Miyamoto // Journal of Machine Learning Research. 2003. P. 317-337.
6. Architectures of decision support systems / V.I. Klyuchko, A.V. Vlasenko, E.A. Shumkov, R.O. Karnizyan // Polythematic Network Electronic Scientific Journal of KubSAU. 2013. No. 2. P. 12-38.
7. Barskiy A.B. Logic neural network: a manual. M.: INTUIT: BINOM: Laboratory of knowledge, 2007. P. 11-27.
8. Tarkov M.S. Neurocomputing systems: a manual. Ser. Fundamentals of Information Technologies. M.: Binom, 2010. P. 23-43.
9. Zlobin V., Ruchkin V. Neural networks and neurocomputers: a manual. SPb.: BHV, 2011. P. 2-9.
10. Volkov M.B. Modeling based on neural network. Stages and examples // Innov: Electronic Scientific Journal. 2015. P. 33-34.
11. Vasenkov D.V. Methods of teaching of artificial neural networks // Computer Tools in Education. 2007. No. 1. P. 20-29.
12. Postarnak D.V. Critical analysis of neural network models // Bulletin of Tyumen State University. No. 4. 2012. P. 12-33.
13. Buryakova E.S. Development and managerial decision making, setting goals and delegation of authority. M.: MBS, 2010. P. 45-60.
14. Volkova V.N., Emelyanov A.A. Theory of systems and system analysis in management of organizations // Finance and Statistics. 2006. P. 13-32.
15. Lychkina N.N. Simulation models in the procedures and systems of support of strategic decision-making at enterprises // Business Informatics. 2007. No. 1. P. 17-69.
16. Terelyanskiy P.V. Systems of decision-making support. Experience of projecting: a monograph. Volgograd: VolgSTU, 2009. P. 23-79.
17. Biryukov A.N. Processes of control of information technologies: a manual. M.: INTUIT, 2012. P. 34-70.
18. Davydova T.Yu., Shelobaev S.I., Arsenyev Yu.N. Information systems and technologies. Economy. Management. Business: a manual. M.: Unity-Dana, 2012. P. 17-29.
