7. Курейчик В.В., Курейчик В.М., Родзин С.И. Концепция эволюционных вычислений, инспирированных природными системами // Известия ЮФУ. Технические науки. - 2009.
- № 4 (93). - С. 16-25.
S. Гладков Л.А., Гладкова Н.В. Новые подходы к построению систем анализа и извлечения знаний на основе гибридных методов // Известия ЮФУ. Технические науки. - 2010.
- № 7 (10S). - С. 146-154.
9. Кравченко Ю.А. Концептуальные основы рефлексивно-адаптивного подхода к построению интеллектуальных информационных систем // Известия ЮФУ. Технические науки.
- 2011. - № 7 (120). - С. 167-171.
10. Кравченко Ю.А. Метод создания математических моделей принятия решений в многоагентных подсистемах // Известия ЮФУ. Технические науки. - 2011. - № 7 (120).
- С. 141-145.
11. Кажаров А.А., Курейчик В.М. Использование роевого интеллекта в решении NP- трудных задач // Известия ЮФУ. Технические науки. - 2011. - № 7 (120). - С. 30-37.
12. Бова В.В., Курейчик В.В. Интегрированная подсистема гибридного и комбинированного поиска в задачах проектирования и управления // Известия ЮФУ. Технические науки.
- 2010. - № 12 (113). - С. 37-43.
13. Бова В.В. Модели предметных знаний на основе системно-когнитивного анализа // Известия ЮФУ. Технические науки. - 2011. - № 7 (120). - С. 146-153.
14. Марков В. В. Методика извлечения и оценки знаний на основе нечеткой модели эксперта // Известия ЮФУ. Технические науки. - 2011. - № 7 (120). - С. 137-141.
15. Марков В.В., Пуголовкина О.В. Применение репертуарных решеток для формирования индивидуальных траекторий обучения // Известия ЮФУ. Технические науки. - 2011.
- № 7 (120). - С. 250-255.
Статью рекомендовал к опубликованию д.т.н., профессор Н.И. Витиска.
Кравченко Юрий Алексеевич - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: [email protected]; 34792S, г. Таганрог, пер. Некрасовский, 44, ГСП 17А; тел.: SS634371651; кафедра систем автоматизированного проектирования; доцент.
Kravchenko Yury Alekseevich - Federal State-Owned Autonomous Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; GSP 17A, 44, Nekrasovskiy, Taganrog, 34792S, Russia; phone: +7S634371651; the department of computer aided design; associate professor.
УДК 002.53:004.89
В.В. Бова
ИЗВЛЕЧЕНИЕ НЕЯВНЫХ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ*
В работе изложены возможности интеллектуальных информационных технологий, основанных на искусственных нейронных сетях. Определены особенности построения ней-росетевых моделей, формирующихся на основе методов эволюционных вычислений, выделены основные направления развития нейросетевых технологий при решении сложных интеллектуальных задач: Рассмотрена возможность применения генетических алгоритмов для оптимизации параметров нейронной сети в задачах извлечения знаний. Предложен подход к выбору значимых входных параметров нейросети и механизмов кодирования потенциальных решений, который может быть реализован с использованием генетических алгоритмов. Представлены алгоритмы, повышающие эффективность обучения нейросети для извлечения неявных знаний из опытных данных.
Интеллектуальные технологии; искусственные нейронные сети; нейросетевые модели; генетические алгоритмы; эволюционные вычисления.
* Работа выполнена при частичной поддержке РФФИ (проект № 10-07-00538).
V.V. Bova
IMPLICIT KNOWLEDGE EXTRACTION BASED ON NEURAL NETWORK
ALGORITHMS
The paper presents the possibility of intelligent information technologies based on artificial neural networks. The features of the construction of neural network models, is based on evolutionary computation techniques, and the main directions of development of neural network technology in dealing with complex intellectual tasks: The possibility of using genetic algorithms to optimize the parameters of neural network in data mining tasks. An approach to the selection of significant input parameters of neural network and encoding mechanisms of potential solutions that can be implemented by using genetic algorithms. The algorithms that increase the efficiency of the neural network learning to extract implicit knowledge from experimental data.
Intelligent technology; artificial neural networks; neural networks models; genetic algorithms; evolutionary calculations.
Введение. В настоящее время активно ведутся исследования в области создания методов, моделей и технологий, которые используются для решения сложных, трудно формализуемых, интеллектуальных задач характерными особенностями которых являются: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результата.
Такая ситуация характерна для: сложных технических систем; систем планирования; социальных систем большой размерности; систем принятия решений и т.п.
Особенно важным в этих исследованиях представляется изучение и использование на практике новых подходов и методов интеллектуального анализа данных и извлечения знаний для задач поиска и выбора решений с помощью технологий искусственных нейронных сетей (ИНС), эволюционного моделирования и генетических алгоритмов [1].
Повышение эффективности реализации в ИНС механизмов обучения, самообучения и адаптации к особенностям проблемной среды определяют актуальность построения нейросетевых моделей, формирующихся на основе использования методов вычислительного интеллекта, к которым относятся [2]:
♦ нейрокомпьютинг - обучение, адаптация, классификация, системное моделирование и идентификация;
♦ генетические вычисления - синтез, настройка и оптимизация с помощью систематизированного случайного поиска и эволюции.
Эти методы не конкурируют друг с другом, а создают эффект взаимного усиления (гибридные системы), где решаются задачи искусственного интеллекта на основе нейронных сетей и эволюционных (генетических) вычислений [3].
Нейросети являются адаптивными самообучающимися системами, извлекающими на примерах информацию из реальных процессов, а преобразование, выполняемое сетью, определяется настройкой значений весовых коэффициентов с целью оптимизации заданного критерия качества функционирования сети и топологией межнейронных соединений.
В статье описаны алгоритмы, повышающие эффективность обучения нейросети для извлечения неявных знаний из опытных данных, что обеспечивает объективность результатов и повышает их надежность и достоверность.
1. Извлечение правил из нейронных сетей. Извлечение правил из нейронных сетей подразумевает их предварительное обучение. Поскольку эта процедура требует много времени для больших баз данных, то естественна та критика, которой подвергается использование нейротехнологии для извлечения знаний. Другим поводом для такой критики является трудность инкорпорации в нейронные сети
некоторых имеющихся априорных знаний [4]. Тем не менее, главным является артикуляция правил на основе анализа структуры нейронной сети. Если эта задача решается, то низкая ошибка классификации и робастность нейронных сетей дают им преимущества перед другими методами извлечения неявных знаний.
ИНС с генетической настройкой параметров (гибридные системы) демонстрируют взаимное усиление достоинств и нивелирование недостатков отдельных методов интеллектуального извлечения неявных знаний [5]:
♦ представление знаний в нейронных сетях в виде матриц весов не позволяет объяснить результаты проведенного распознавания или прогнозирования, тогда как в гибридных системах на базе неявных знаний результаты воспринимаются как ответы на вопросы "почему?";
♦ нейронные сети обучаются с помощью универсального алгоритма, т. е. трудоемкое извлечение знаний заменяется сбором достаточной по объему обучающей выборки;
♦ задачи извлечения знаний включают в себя сложные процессы формализации понятий, определение функций принадлежности, формирование правил вывода.
Все представленные ранее методы обучения нейронных сетей являются локальными [2, 3]. Они ведут к одному из локальных минимумов целевой функции, лежащему в окрестности точки начала обучения. Только в ситуации, когда значение глобального минимума известно, удается оценить, находится ли найденный локальный минимум в достаточной близости от искомого решения. Если локальное решение признается неудовлетворительным, следует повторить процесс обучения при других начальных значениях весов и с другими управляющими параметрами. Можно либо проигнорировать полученное решение и начать обучение при новых (как правило, случайных) значениях весов, либо изменить случайным образом найденное локальное решение (встряхивание весов) и продолжить обучение сети.
При случайном приращении весов переход в новую точку связан с определенной вероятностью того, что возобновление процесса обучения выведет поиск из "сферы притяжения" локального минимума. При решении реальных задач в общем случае даже приблизительная оценка глобального минимума оказывается неизвестной. По этой причине возникает необходимость применения методов глобальной оптимизации, основанных на нейронных сетях и генетических алгоритмах (ГА), использование которых расширяет класс решаемых трудно формализуемых задач [6].
2. Генетический алгоритм как способ обучения ИНС. Проблема формирования ИНС для конкретной решаемой задачи, характеризуется отсутствием формальных методов выбора типа ИНС, адекватной решаемому классу задач, недостаточной обоснованностью выбора методов оптимизации в процедуре обучения ИНС, что приводит к большим ошибкам прогноза и времени обучения.
Для построения алгоритма обучения ИНС предлагается способ обучения на основе ГА [7]. На эффективность ГА, в смысле повышения скорости сходимости алгоритма и процента нахождения глобального или близкого к нему решения, влияют методы кодирования потенциальных решений и выбранные параметры популяции, к которым относятся размер популяции, механизм построения начальной популяции, вид функции качества F, типы генетических операторов - мутации, кроссинговера, селекции и отбора хромосом. Для минимизации ошибки Eo каждому варианту вектора весовых коэффициентов Ч(фенотипу) ставится в соответствие некоторая хромосома H (генотип), полученная в результате использования метода числового кодирования [8].
Хромосома представляет собой вектор действительных чисел, кодирующих весовые коэффициенты связей нейронов входного слоя с нейронами одного или нескольких скрытых слоев, а также связи между нейронами скрытых слоев и нейронами выходного слоя. Таким образом, каждой г-й реализации, 1=1,...к вектора весовых коэффициентов Ч( ф11, ф12,... фкп) на уровне генотипа соответствует хромосома Н1=(к11, к12,..., к11), начальная популяция формируется из к таких хромосом методом равномерного распределения весов.
Задача обучения сводится к нахождению варианта Ч соответствующего заданной Е0, которая принимается за фитнесс-функцию F в ГА. Для определения Е0 каждый г-й вектор весовых коэффициентов Ч закодированный в хромосоме Нг, обучается на "своей" нейронной сети ИНС1. Тогда ошибка г-й нейронной сети Е0{ может быть вычислена по результатам ее обучения: Ет=ИНС1(Ч), где ИНС1 -нейронная сеть для обучения вектора Ч. Обучение каждой ИНС заключается в применении генетических операторов к хромосоме Нг, а обучающая выборка служит для вычисления ошибки обучения Е0г нейронной сети ИНС1 применительно к фенотипу. При завершении работы ГА определяется лучшая по всем популяциям хромосома Н, соответствующая искомому варианту Ч.
Способы кодирования решений, позволяют как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Известные генетические операторы на основе биологических аналогов [7, 8]: кроссинго-вера (рекомбинация), хромосомной мутации (Робертсоновские транслокации), селекции ("дальнее" и "ближнее" родство), отбора ("мягкая" схема) применены для решения задачи минимизации ошибки обучения ИНС на представительном наборе тестовых функций (экстремум которых известен).
Такой подход позволяет определить оптимальное сочетание генетических операторов для функций, отличающихся размерностью и числом экстремумов. Схема многопопуляционного алгоритма позволяет одновременно создавать N начальных популяций Р]0^0,...^,которые развиваются независимо друг от друга до определенного момента (начало периода взаимодействия). После популяции обмениваются хромосомами (мигрантами), затем снова развиваются независимо. Представленный многопопуляционный ГА отличается от известных [6-8] решением задач определения момента начала взаимодействий и способами обмена хромосомами между популяциями.
Первая задача решается следующим образом. Вводится условие наступления события 1^. если сумма отклонений Fmax в текущем поколении и Fmax за последние с поколений не превосходит некоторого заданного положительного числа 8, то развитие популяции не приводит к появлению лучших решений и наступает период взаимодействия. Параметр 8 является одним из вспомогательных параметров ГА и задается пользователем перед началом его инициализации.
Для решения второй задачи после наступления момента ^ происходит ранжирование всех хромосом по функции F (по возрастанию). Из каждой популяции удаляется и*г худших хромосом (и - процент исключения; 0<и<1; г - количество хромосом в популяции), и на их место включается и*г лучших хромосом из другой популяции. Выбор обменных хромосом из каждой популяции осуществляется с вероятностью [6]:
р(нЬ
Р (1)
Условие останова многопопуляционного ГА - сумма разностей фитнесс-функций разных популяций, участвующих в обмене, за с последних популяций меньше 8. Для двух одновременно развивающихся популяций условие останова записывается следующим образом:
Т |Ртах_Ртах| < г
---------1---л---- <0. (2)
(с*тах
тах))
Повышение эффективности обучения приносит объединение алгоритмов глобальной оптимизации с детерминированными методами локальной оптимизации. На первом этапе обучения сети применяется выбранный алгоритм глобальной оптимизации, а после достижгния целевой функцией определенного уровня включается детерминированная оптимизация с использованием какого-либо локального алгоритма.
3. Алгоритм извлечения классифицирующих правил. Главными требованиями, предъявляемыми к методам извлечения знаний, являются эффективность и масштабируемость. Работа с очень большими базами данных требует эффективности алгоритмов, а неточность и, зачастую, неполнота данных порождают дополнительные проблемы для извлечения знаний [9]. Для повышения эффективности извлечения знаний нейросетевая модель основывается на объединении алгоритма предварительной обработки данных (обучения), основанного на одном из подходов к глобальной оптимизации и нейросетевой кластеризации классифицирующих правил - для выбора окончательного решения. Такое объединение позволяет добиться более высокой точности работы нейросетевой модели, повысить скорость получения результатов, а также упростить построение обучающего множества [10].
Алгоритм извлечения классифицирующих правил включает три этапа [11]:
1. Обучение нейронной сети.
2. Прореживание (pruning) нейронной сети. Обученная нейронная сеть содержит все возможные связи между входными нейронами и нейронами скрытого слоя, а также между последними и выходными нейронами. Прореживание заключается в удалении излишних связей и нейронов, не приводящем к увеличению ошибки классификации сетью.
3. Извлечение правил. На этом этапе из прореженной нейронной сети извлекаются правила, имеющие форму, если
( a1 <8> q1) и ( a2 <8> q2 ) и ... и ( an <8> qn), то c, где qj - константы, <8> - оператор отношения (=>,<,<,>). Эти правила достаточно очевидны при проверке и легко применяются к большим базам данных.
Прореживание связей приводит к получению относительно компактной сети. Но и для нее выделение классификационных правил представляет проблему. Если нейрон имеет d входов, то число различных бинарных векторов, которые он может обработать составляет 2d, а это большая величина даже при малом d. Далее, состояния нейрона скрытого слоя являются непрерывными, что также является препятствием для извлечения правил. Для его устранения все значения, которые принимают нейроны скрытого слоя кластеризуются и заменяются значениями, определяющими центры кластеров. После такой дискретизации активностей промежуточных нейронов производится проверка точности классификации объектов сетью. Если она остается приемлемой, то подготовка к извлечению правил заканчивается.
Приведем формальное описание алгоритма дискретизации значений активности нейронов скрытого слоя.
Выбирается значение параметра єє(0,1), управляющего числом кластеров активности нейрона скрытого слоя. Пусть h1 - активность этого нейрона при предъявлении сети первого вектора обучающего набора. Положим число кластеров Nclust=1, положение кластера Aclust(1)h1,count(1)=1,sum(1)=h1. Для всех векторов обучающего набора k=1,...,K определяется активность нейрона скрытого слоя h, если существует индекс j такой что |h- Admt(j)\ = min \h- Admt(j)\, je{1,—, Ndiat } и |h- Aclust(j)\ < Є то count(j): = count(j)+1, sum(Ndmt):= sum(Ndmt)+h, иначе
Nclust= Nclust+1, Aclust(Nclust)=h, count(Nclust)=, sum(Nclust)=h.
Заменить Aclust на среднее значение активаций нейрона, объединенных в один и тот же кластер: Admt(j)= sum(j)/count(j), j=1,..., Ndmt.
Проверить точность классификации объектов сетью при замене истинных значений активации нейрона скрытого слоя на Adust (j). Если точность классификации оказалась ниже заданного значения, то уменьшить значение еи вернуться к шагу 1.
Заключение. В статье рассматривается эффективный подход к выбору значимых входных параметров нейросети и механизмов кодирования потенциальных решений, который может быть реализован с использованием ГА. В связи с этим, в общей схеме нейросетевого моделирования задается только исходная организация и список переменных, а также критерии качества, формализующие цель оптимизации, и правила, по которым модель может изменяться (самоорганизовываться или эволюционировать).
На основании проведенной работы автором делается вывод, что для обучения ИНС перспективным является использование эволюционных алгоритмов, поскольку их применение позволяет сократить время обучения и достичь более глубокого минимума ошибки обучения ИНС.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Курейчик В.М. Особенности построения систем поддержки принятия решений // Известия ЮФУ. Технические науки. 2012. - № 7 (132). - С. 92-98.
2. Комарцова Л.Г., Кадников Д.С., Ковалев И.В. Особенности построения гибридных интеллектуальных систем обработки информации // Журнал «Информационные технологии». - 2010. - № 5. - С. 2-10.
3. Бова В.В., Дуккардт А.Н. Применение искусственных нейронных сетей для коллективного решения интеллектуальных задач // Известия ЮФУ. Технические науки. - 2012.
- № 7 (132). - С. 131-138.
4. Бова В.В., Курейчик В.В., Нужнов Е.В. Проблемы представления знаний в интегрированных системах поддержки управленческих решений // Известия ЮФУ. Технические науки. - 2010. - № 7 (108). - С. 107-113.
5. Осовский С. Нейронные сети для обработки информации / пер. с польск. - М.: Финансы и статистика, 2002. - 344 с.
6. Воеводин Ю.Ю., Комарцова Л.Г. Применение генетического алгоритма для оптимизации параметров нейронной сети в задачах классификации // «Информатика: проблемы, методология, технологии». - М.: Из-во МГТУ им Баумана, 2005. - С. 42-46.
7. Курейчик В.М. Проблемы, обзор и параллельные генетические алгоритмы: состояние // Известия РАН. Теория и системы управления. - 2010. - № 4. - С. 72-82.
8. Дуккардт А.Н., Лебедев Б.К. Комплексный гибридный генетический алгоритм // Известия ЮФУ. Технические науки. - 2008. - № 4 (81). - С. 26-32.
9. Курейчик В.В., Курейчик Вл.Вл. Архитектура гибридного поиска при проектировании // Известия ЮФУ. Технические науки. 2012. - № 7 (132). - С. 22-27.
10. Кравченко Ю.А. Применение метода анализа иерархий в алгоритме принятия решений с учетом ряда параметров адаптации // Известия ЮФУ. Технические науки. 2012. - № 7 (132). - С. 247-253.
11. Ляхов А.Л., Алешин С.П. Искусственная нейронная сеть как измерительный инструмент адекватности модели с адаптивным классом точности // 4-я МНПК «Математическое и имитационное моделирование систем»: Тезисы докладов. - Киев: ИПММС НАН Украины, 2009. - С. 116-119.
Статью рекомендовал к опубликованию д.т.н., профессор Ю.А. Гатчин.
Бова Виктория Викторовна - Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Южный федеральный университет»; e-mail: [email protected]; 347928, г. Таганрог, Некрасовский, 44, ГСП 17А; тел.: 88634371651; кафедра систем автоматизированного проектирования; старший преподаватель.
Bova Victoria Victorovna - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; GSP 17A, 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +78634371651; the department of computer aided design; senior teacher.