CC BY
51
предположениях, в организации абдуктивного вывода. Предложены алгоритм AAA, использующий ATMS, и алгоритм AAA\M\H, использующий эвристический метод выбора начального порядка в исходных дизъюнктах. Предложен алгоритм ImpAA, использующий первичные импли-каты. Проведено сравнение этих алгоритмов. Это сравнение показало, что на машине Core 2 Duo 2.20 GHz для решения задачи составления расписаний при 50 энергохранилищах алгоритм AAA\M\H по сравнению с алгоритмом AAA\M во времени дает выигрыш 1,28 и 1,34 по числу вершин. Алгоритм же AAA\M по сравнению с алгоритмом ImpAA дает четырехкратный выигрыш по времени и по числу вершин. Таким образом, алгоритм AAA\M\H работает эффективнее, чем алгоритм AAA\M, который, в свою очередь, эффективнее, чем алгоритм ImpAA.
Литература
1. Cox P.T. and Pietrzykowski T. General diagnosis by abductive inference // Proc. IEEE Sympos. Logic Programming. San Francisco. 1987. P. 183-189.
2. Hobbs J., StickelM.E., Appelt D. et al. Interpretation as abduction // Artificial Intelligence. 1993. 63(1 -2). P. 69-142.
3. Doyle J. A Truth Maintenance System // Artificial Intelligence. 1979. V.12. P. 231-272.
4. McAllester D. An Outlook on Truth Maintenance. Cambridge: MIT. 1980. P. 44.
5. McAllester D. Truth Maintenance // Proc. AAAI-90. Boston. 1990. P. 1109-1116.
6. de Kleer J. An Assumption-based TMS // Artificial Intelligence. 1986. V. 28. P. 127-162.
7. de Kleer J. Extending the ATMS // Artificial Intelligence. 1986. V.28. P. 163-196.
8. Reiter R., de Kleer J. Foundations of Assumption-based Truth Maintenance Systems // Proc. AAAI-87, Washington. 1987. P. 183-189.
9. de Kleer J. Problem Solving with the ATMS // Artificial Intelligence. 1986. V. 28. P. 197-224.
10. Castro J. L., Zurita J. M. A Generic ATMS // International Journal of Approximate Reasoning. 1996. V. 14. P. 259-280.
11. Вагин В. Н., Головина Е. Ю., Загорянская А. А. и др. Достоверный и правдоподобный вывод в интеллектуальных системах / Под ред. Вагина В.Н. и Поспелова Д. А. -М.: ФИЗМАТЛИТ, 2008. - 712 с.
12. Hwee Tou Ng, Mooney R. J. An Efficient First-Order Horn-Clause Abduction System Based on the ATMS // Proc. AAAI-91. Anaheim C. A. 1991. P. 494-499.
13. Marquis P. Consequence finding algorithms // Handbook for Defeasible Reasoning and Uncertain Management Systems, eds. D. M. Gabbay and P. Smets. 2000. V. 5. P. 41-145.
14. Вагин В. Н., Хотимчук К. Ю. Нахождение минимальных абдуктивных объяснений с помощью первичных импликат // Тр. 11й национальной конференции по искусственному интеллекту с международным участием (КИИ-2008. г. Дубна, Россия). 2008. Т. 2. P. 345-355.
15. Kowalski R., Kuhner D. Linear resolution with selection function // Artificial Intelligence. 1971. V. 2. P. 227-260.
16. Denecker M., Kakas A. Abduction in Logic Programming // Computational Logic: Logic Programming and Beyond, Essays in Honour of Kowalski R.A., P. I, London, UK: Springer-Verlag. 2002. V. 2407. P. 402-437.
УДК: 004.85
ИССЛЕДОВАНИЕ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ ОБУЧЕНИЯ В ИНТЕЛЛЕКТУАЛЬНЫХ ЭВОЛЮЦИОННЫХ СИСТЕМАХ
Л. Г. Комарцова, д. т. н., профессор кафедра Компьютерные системы и сети ЭИУ-2КФ Тел: (906) 642 8003, e-mail: [email protected] Ю. Н. Лавренков, студент Тел: (910) 608 0184, e-mail: [email protected] МГТУ им. Н.Э. Баумана (Калужский филиал) http://bmstu.kaluga.ru
The paper describes the problems of dynamic intelligent systems for support of decisions, which allows to solve the problems of a prediction and planning of actions in mode of real time more effectively. New evolving and genetic algorithms for learning on the basis of neural network of multi- level perceptron and ART-1 are proposed.
В докладе рассматриваются проблемы создания динамических интеллектуальных систем поддержки принятия решений, что позволит более эффективно выполнять задачи, связанные с распознаванием, предсказанием, планированием действий и т.д. в режиме реального времени. Предложены новые нейро-сетевые алгоритмы обучения на основе нечеткой сети ART-1 и многослойного персептрона.
Ключевые слова: нейронная сеть (НС), алгоритм обучения, эволюционные и генетические алгоритмы обучения НС, обучение в реальном времени и пакетное обучение, многослойный персептрон.
Key words: neural network (NN), learning algorithm, evolving and genetic algorithms for learning of NN, on-line and off-line learning, multi - level perceptron.
Развитие систем искусственного интеллекта (СИИ) в настоящее время связано с созданием новых методов и моделей, направленных на решение сложных проблем таких, как предсказание, планирование, распознавание образов и т. д. в различных прикладных областях [1]. Многие из публикаций по этим проблемам, несмотря на появление работ по созданию интеллектуальных систем реального времени [2], основываются на предположении неизменности во времени предъявляемых СИИ данных, статичности внешней среды. Хотя эти предположения в некоторых случаях являются допустимыми, используемые в СИИ статические методы не могут быть использованы при моделировании динамических процессов, а также при исследовании процессов, взаимодействующих с другими процессами, когда это взаимодействие априорно неизвестно. Другими словами, статические модели не могут быть применены к моделированию процессов, которые изменяются во времени, развиваются и эволюционируют. На основе анализа особенностей, которыми должна обладать эволюционная система, предложена многоуровневая и многомодульная открытая архитектура интеллектуальной эволюционной системы, основу которой составляет нейросетевая база знаний [3]. Эта система может функционировать в двух режимах: on-line и off-line.
Обучение с учителем предназначено для организации пассивного («медленного») обучения в режиме off-line в отсутствии входной информации на входе системы. Накопленные в памяти примеры могут использоваться для обучения других нейросетевых модулей для поддержки «равновесия» с внешней средой. Основная нейросетевая модель в этом случае - многослойная нейронная сеть (МНС) с прямым распространением сигналов. Процедура обучения МНС может быть улучшена с помощью генетических алгоритмов (ГА) оптимизации, исследованных авторами [3, 4]. Дальнейшее повышение эффективности использования ГА для обучения и адаптации нейросетевых модулей в составе эволюционной системы связывается с разработкой комбинированных алгоритмов. С этой целью предлагается алгоритм оптимизации, основанный на комбинации генетического алгоритма и алгоритма имитации отжига [5].
Модификация комбинированного алгоритма заключается в изменении операторов генной мутации, операторов отбора и селекции, введенных авторами в [5]. Применение операторов случайной мутации в ГА фактически означает формирование новых генов, что, в конечном итоге, приводит к расширению области поиска и повышению вероятности нахождения оптимального решения. Однако случайные мутации с равной вероятностью могут привести как к увеличению значений функции фитнесса, так и к ее уменьшению. Таким образом, целесообразно динамически управлять вероятностью случайной мутации в процессе работы ГА: на начальном этапе поиска значение вероятности должно быть достаточно высоким (0,05..0,1), а на конечном - стремиться к нулю. Аналогичные рассуждения можно провести и в отношении операторов селекции и отбора.
Многие реально существующие информационные системы работают в реальном времени и используют для обучения данные только из входного потока (поток данных, передаваемый по сети Internet, телеметрическая информация о состоянии объектов и т.д.), которые не снабжены метками класса, к которым их можно отнести. Поэтому в нейросетевых моделях, производящих обработку динамичных данных, используют обучение без учителя в режиме on-line. В качестве основной нейросетевой модели, которую предполагается использовать в эволюционной системе для быстрого обучения в режиме on-line, является нейронная сеть адаптивного резонанса ART (Adaptive Resonance Theoryт network).
В классическом алгоритме построения сети адаптивного резонанса параметр сходства р фиксируется перед началом функционирования сети и в дальнейшем остается неизменным. При этом начальное значение р задается пользователем сети. Поскольку от параметра сходства в конечном итоге зависит качество функционирования всей сети, выбор правильного значения р имеет решающее значение для работы сети АРТ. Когда сеть АРТ работает в динамичной среде, на ее входы может подаваться множество различных векторов, значения которых трудно прогнозировать заранее. В этом случае р выбирает эксперт на основе своего опыта, поскольку из-за недостатка знаний о входных векторах невозможно прогнозировать величину параметра сходства, которая бы обеспечивала адекватное функционирование сети АРТ. В подобной ситуации желательно на первом этапе работы сети установить параметр р достаточно близким к 1, чтобы сеть могла создать достаточное число классов, а в дальнейшем уменьшить р, чтобы предотвратить чрезмерный рост сети.
При работе в динамичной среде невозможно проводить предварительное обучение НС, т.е. обучение отдельно от среды, в которой сеть будет функционировать. Поэтому АРТ-сеть должна работать в режиме on-line с момента запуска.
Авторы считают, что в данной работе новыми являются следующие положения и результаты:
- новым является использование алгоритма имитации отжига в ГА для целенаправленного отбора хромосом в новую популяцию в соответствии с приращением функции фитнесса в каждом поколении;
- новой является реализованная возможность автоматического выбора параметра р в алгоритме обучения ART-1 на основе механизма нечеткого вывода c учетом специфики внешней среды. В рассматриваемом алгоритме fuzzy ART-1[5] методы нечеткой логики используются для управления параметром сходства р, при этом нечеткость вводится на уровне задания приращений параметра сходства в зависимости от ситуации, возникающей в ART-1 при кластеризации.
Проведенное экспериментальное исследование алгоритма ART-1 с нечетким управлением параметром сходства подтвердили целесообразность его применения в тех случаях, когда желательно максимально автоматизировать процедуру обучения НС. Кроме того, подбирая соответствующие значения параметра сходства, можно существенно повысить помехоустойчивость сети, что является особенно важным для интеллектуальных систем, работающих в режиме on-line.
Выполненные эксперименты показали высокую эффективность нейросетевого классификатора на основе модифицированного комбинированного алгоритма:
1)этот классификатор быстрее обучается даже по сравнению с комбинированным алгоритмом на основе ГА и имитации отжига, при этом для обучения требует меньшей обучающей выборки (ошибка классификации уменьшается на 0,1 % при увеличении размера обучающей выборки с 200 до 500), что является особенно важным для построения эволюционных систем;
2)число ошибок классификации при той же обучающей выборке ниже, чем в других классификаторах.
Литература
1. Ларичев О. И., Финн В. К. и др. Теория и методы создания интеллектуальных компьютерных систем. // Информационные технологии и вычислительные системы. 1998. №1.
2. Еремеев А . П. Концепции времени и их применение в интеллектуальных системах // Научная сессия МИФИ-2004: Сб.науч трудов «Интел. системы и технологии». - М.:МИФИ, 2004.
3. Комарцова Л. Г. Организация нейросевых баз знаний в интеллектуальных системах поддержки принятия решений // Сб. тр. II Межд. практ. семинара.- М.: Физматлит, 2003.
4. Комарцова Л. Г. Исследование алгоритмов обучения многослойного персептрона // Нейрокомпьютеры. Разработка и применение. -М.: Радиотехника, 2002. №12.
5. Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. -М.: Из-во МГТУ им. Н.Э. Баумана, 2004.
