CC BY
139
■о
я
Методологические основы исследования нейронных сетей*
В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях. Актуальность исследований в этом направлении подтверждается массой различных применений нейронных сетей. Это и автоматизация процессов распознавания образов, и адаптивное управление, и аппроксимация функционалов, а также прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью нейронных сетей можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту. В то время как на западе применение нейронных сетей уже достаточно обширно, у нас, в Российской Федерации, это еще в некоторой степени экзотика - российские фирмы, использующие нейросети в практических целях, можно пересчитать по пальцам.
Широкий круг задач, решаемых при помощи нейронных сетей, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные их варианты, функционирующие по различным алгоритмам.
Исторически сложились три основных направления в моделировании систем искусственного интеллекта.
В рамках первого подхода объектом исследований являются структура и механизмы работы мозга человека, а конечная цель заключается в раскрытии тайн мышления. Необходимыми этапами исследований в этом направлении являются построение моделей на основе психофизиологических данных, проведение экспериментов с ними, выдвижение новых гипотез относительно механизмов интеллектуальной деятельности, совершенствование моделей и т. д.
Второй подход в качестве объекта исследования рассматривает искусственный интеллект. Здесь речь идет о моделировании интеллектуальной дея-тельностиспомощьювычислительныхмашин. Целью работ в этом направлении является создание алгоритмического и программного обеспечения вычислительных машин, позволяющего решать интеллектуальные задачи не хуже человека.
Наконец, третий подход ориентирован на создание смешанных человеко-машинных, или, как еще говорят, интерактивных интеллектуальных систем, на симбиоз возможностей естественного и искусственного интеллекта. Важнейшими проблемами в этих исследованиях являются оптимальное распределение функций между естественным и искусственным интеллектом и организация диалога между человеком и машиной.
Разумно сочетая такие подходы (например, в виде линейной комбинации с экспериментально подбираемыми коэффициентами или более сложным образом), можно для оценки очередного хода машины получить некоторый числовой показатель эффективности - оценочную функцию. Тогда компьютер, сравнив между собой показатели эффективности очередных ходов, выберет ход, соответствующий наибольшему показателю. Подобная автоматизация выбора очередного хода не обязательно обеспечивает оптимальный выбор, но все же это какой-то выбор, и на его основе машина может продолжать игру, совершенствуя свою стратегию (образ действия) в процессе обучения на прошлом опыте. Формально обучение состоит в подстройке параметров (коэффициентов) оценочной функции на основе анализа проведенных ходов и игр с учетом их исхода.
Нейронные сети являются нелинейными динамическими системами с коллективными свойствами. Для исследования таких сложных моделей нужна большая вычислительная мощность. Соответственно, интерес к искусственным
^ ВиноГРАДоВА Екатерина Юрьевна
Кандидат экономических наук, доцент кафедры статистики, эконометрики и информатики, начальник отдела автоматизации
Уральский государственный экономический университет 620144, РФ, г. екатеринбург, ул. 8 Марта/народной воли, 62/45 Тел.: (343) 221-17-47 E-mail: [email protected]
Ключевые слова
интеллектуальные информационные технологии
информационные системы управление предприятиями
Аннотация
В статье описываются методологические основы создания интеллектуальной информационной системы для реализации поддержки принятия решений руководством хозяйствующих субъектов. Также в рамках статьи проведена систематизация современных научных представлений об интеллектуальных информационных технологиях в контексте выделения предметного поля их применения.
* Работа выполнена при финансовой поддержке Российского гуманитарного научного фонда (грант № 09-03-83306а/У).
JEL classification
L86
Methodological Basis for Studying Neural Networks
с
INTELLIGENT INFORMATION TECHNOLOGIES INFORMATION SYSTEMS ADMINISTRATION OF ENTERPRISES
Summary
The article describes the methodological basis for the creation of an intelligent information system designed to provide support for entities' administration in decision-making process. The author systematizes modern scientific understanding of intelligent information technologies in terms of the field of their application.
JEL classification
L86
нейронным сетям обусловлен не только новым математическим подходом, но и существенным прогрессом вычислительной техники.
В традиционных вычислительных системах:
• необходимо точное описание алгоритма (ориентация на обработку символов);
• данные должны быть точными. Аппаратура легко повреждается. Разрушение основных элементов памяти делает машину неисправной;
• каждый обрабатываемый объект явно указан в памяти;
• трудно построить хороший алгоритм восприятия образов и ассоциативной выборки (неясно, например, как мы распознаем рукописные символы, конкретного написания которых раньше не видели).
В нейронной сети:
• способ обработки больше похож на обработку сигналов, вместо программы - набор весов нейронов, вместо программирования - обучение нейронов (настройка весов);
• нейронная сеть устойчива к шумам, искажения данных (в том числе выход из строя отдельных нейронов) не влияют существенно на результат;
• обрабатываемые объекты представлены весами нейронов неявно. В результате сеть может работать с объекта-
ми, которые ей ранее не встречались, и обобщать результаты обучения.
В отличие от традиционных средств обработки информации, программирование нейронных сетей осуществляется неявно в процессе обучения. Обучение строится следующим образом: существует так называемый задачник, т.е. набор примеров с заданными ответами, эти примеры предъявляются системе, нейроны получают условия примера и преобразуют их. Далее нейроны несколько раз обмениваются преобразованными сигналами и, наконец, выдают ответ в виде набора сигналов. Отклонение от правильного ответа штрафуется. Обучение заключается в минимизации штрафа как неявной функции связей [3; 13].
На рис. 1 приведены систематизированные архитектуры нейронных сетей.
Для решения конкретных задач необходимо подготовить данные для нейронной сети. На практике именно предобработка данных может стать наиболее трудоемким элементом нейросетевого анализа. Причем использование и проектирование основных принципов и приемов предобработки данных не менее, а может быть даже более важно, чем разработка собственно нейросетевых алгоритмов. Сам процесс решения прикладных задач, в том числе и подготовка данных, целиком ложится на плечи разработчика.
Известные алгоритмы обучения
парадигма обучающее правило Архитектура Алгоритм обучения задача
с учителем коррекция ошибки однослойный и многослойный перцептрон алгоритмы обучения перцептрона. обратное распространение Adaline и Madaline Классификация образов. Аппроксимация функций. предсказание, управление
Больцман рекуррентная Алгоритм обучения Больцмана Классификация образов
хебб многослойная прямого распространения линейный дискрими-нантный анализ Анализ данных. Классификация образов
соревнование соревнование векторное квантование категоризация внутри класса. Сжатие данных
сеть ART ARTMap Классификация образов
Без учителя коррекция ошибки многослойная прямого распространения проекция саммона Категоризация внутри класса. Анализ данных
хебб прямого распространения или соревнование анализ главных компонентов Анализ данных. сжатие данных
сеть хопфилда обучение ассоциативной памяти Ассоциативная память
соревнование соревнование векторное квантование Категоризация. сжатие данных
soM кохонена S0M кохонена Категоризация. Анализ данных
сети Art АИТ1, АИТ2 Категоризация
смешанная коррекция ошибки и соревнование сеть RBF Алгоритм обучения Классификация образов. Аппроксимация функций. предсказание, управление
Технологическая цепочка представления знаний выглядит следующим образом:
• кодирование входов-выходов -нейросети могут работать только с числами;
• нормировка данных - результаты нейроанализа не должны зависеть от выбора единиц измерения;
• предобработка данных - удаление очевидных регулярностей из данных облегчает нейросети выявление нетривиальных закономерностей;
• обучение нескольких нейросетей с различной архитектурой - результат обучения зависит как от размеров сети, так и от ее начальной конфигурации;
• отбор оптимальных сетей - тех, которые дадут наименьшую ошибку предсказания на неизвестных пока данных;
• оценка значимости предсказаний - оценка ошибки предсказаний не
менее важна, чем само предсказанное значение.
В таблице представлены различные алгоритмы обучения и связанные с ними архитектуры сетей. В последней колонке перечислены задачи, для которых может быть применен конкретный алгоритм. Каждый алгоритм обучения ориентирован на сеть определенной архитектуры и предназначен для ограниченного класса задач.
Основной задачей искусственного интеллекта является разработка парадигм или алгоритмов, обеспечивающих компьютерное решение когнитивных задач, свойственных человеческому мозгу [9]. Следует заметить, что это определение искусственного интеллекта не является единственно возможным.
Системы искусственного интеллекта должны обеспечивать решение следующих трех задач: накопление знаний,
применение накопленных знаний для решения проблемы и извлечение знаний из опыта. Системы искусственного интеллекта реализуют три ключевые функции: представление, рассуждение и обучение [11] (схематично это отображено на рис. 2).
1. Представление. Одной из отличительных черт систем искусственного интеллекта является использование символьного языка для представления общих знаний о предметной области и конкретных знаний о способах решения задачи. Символы обычно формулируются в уже известных терминах. Это делает символьное представление относительно простым и понятным человеку. Более того, понятность символьных систем искусственного интеллекта делает их пригодными для человеко-машинного общения.
Термин «знания», используемый создателями систем искусственного интеллекта, является всего лишь еще одним названием данных. Знания могут иметь процедурный и декларативный характер. В декларативном представлении знания - это статический набор фактов. При этом существует относительно малый объем процедур, используемых для манипуляций этими фактами. Характерной особенностью декларативного представления является то, что в глазах человека оно имеет смысл само по себе, независимо от использования в системах искусственного интеллекта. В процедурном представлении знания внедрены в процедуры, функционирующие независимо от смысла самих знаний. В большинстве предметных областей требуются одновременно оба типа представления знаний.
2. Рассуждения. Под рассуждениями обычно понимается способность решать задачи. Для того чтобы систему можно было назвать разумной, она должна удовлетворять следующим условиям:
• описывать и решать широкий спектр задач;
• понимать явную и неявную информацию;
• иметь механизм управления, определяющий операции, выполняемые для решения отдельных задач.
Решение задач можно рассматривать как некоторую задачу поиска. В процессе поиска используются правила, данные и управляющие воздействия. Правила действуют на области данных, а управляющие воздействия определяются для правил. Для примера рассмотрим известную «задачу коммивояжера». В ней требуется
с
Рис. 2. Ключевые функции систем искусственного интеллекта
Среда Элемент
> обучения
I
найти кратчайший маршрут из одного города в другой. При этом все города, расположенные по маршруту, необходимо посетить только один раз. В этой задаче множество данных состоит из всех возможных маршрутов и их стоимостей, представленных в форме взвешенного графа. Правила определяют пути движения из одного города в другой, а модуль управления решает, когда и какие правила применять.
Во многих практических задачах доступный набор знаний является неполным или неточным. В таких ситуациях используются вероятностные рассуждения, позволяющие системам искусственного интеллекта работать в условиях неопределенности [1; 2; 4-12].
3. Обучение. В простейшей модели машинного обучения, представленной на рис. 3, информацию для обучаемого элемента предоставляет сама среда. Обучаемый элемент использует полу-
ченную информацию для модернизации базы знаний, знания из которой функциональный элемент затем использует для выполнения поставленной задачи. Информация, поступающая из внешней среды, является несовершенной, поэтому обучаемый элемент заранее не знает, как заполнить пробелы или игнорировать несущественные детали. Машина действует наугад, после чего получает сигнал обратной связи от функционального элемента. Механизм обратной связи позволяет системе проверять рабочие гипотезы и пересматривать их по мере необходимости.
Машинное обучение может включать два совершенно разных способа обработки информации: индуктивный и дедуктивный. При индуктивной обработке информации общие шаблоны и правила создаются на основании практического опыта и потоков данных. При дедуктивной обработке информации для опреде-
ления конкретных фактов используются общие правила. Обучение на основе подобия представляет собой индуктивный процесс, а доказательство теорем - дедуктивный, поскольку оно опирается на известные аксиомы и уже доказанные теоремы. В обучении на основе объяснения используется как индукция, так и дедукция.
Возникающие при обучении сложности и накопленный при этом опыт привели к созданию различных методов и алгоритмов пополнения баз знаний. В частности, если в данной предметной области работают опытные профессионалы, проще получить их обобщенный опыт, чем пытаться дублировать экспериментальный путь, который они прошли в процессе его накопления. Эта идея и положена в основу экспертных систем.
В заключение следует отметить, что в статье уточнены теоретико-методологические основы исследования в области интеллектуальных информационных систем на базе нейронных технологий и обобщены методологические основы исследования нейронных сетей в качестве особой формы интеллектуальных информационных технологий. Внедрение, применение и развитие нейросетевых технологий для управления работой конкретного промышленного предприятия способно привести к повышению производительности всего предприятия и сокращению сроков самоокупаемости средств, потраченных на развитие информационных технологий поддержки принятия управленческих и плановых решений.
Рис. 3. Простейшая модель машинного обучения
Источники
1. Барский А.Б. Нейронные сети: распознавание, управление, принятие решений. М.: Финансы и статистика, 2004.
2. Бэстенс Д.Э., Ван Ден Берг В.М., Вуд Д. Нейронные сети и финансовые рынки. Принятие решений в торговых операциях. М.: ТВП, 1997.
3. Виноградова Е.Ю. Управление внедрением информационной системы планирования на предприятии // Современные проблемы прикладной информатики: сб. науч. тр. Междунар. науч.-практ. конф. (27-28 мая 2008 г.) / отв. ред. И.А. Брусакова, Е.Н. Панова. СПб.: Изд-во Политехн. ун-та, 2008.
4. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинфор-матика. Новосибирск: Наука. Сиб. предприятие РАН, 1998.
5. Ежов А.А., Шумовский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: Финансы и статистика, 2004.
6. Кобелев Н.Б. Основы имитационного моделирования сложных экономических систем. М.: Дело, 2003.
7. Методы нейроинформатики: сб. науч. тр. / под ред. А.Н. Горбаня. Красноярск: КГТУ, 1998.
8. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия-Телеком, 2006.
9. Хайкин С. Нейронные сети. Полный курс. М.: Вильямс, 2006.
10. Царегородцев В.Г. Взгляд на архитектуру и требования к нейроими-татору для решения современных индустриальных задач // Нейроинфор-матика и ее приложения: Материалы XI Всерос. семинара. Красноярск, 2003.
11. Царегородцев В.Г. К определению информативности независимых переменных для нейронной сети // Нейроинформатика и ее приложения: Материалы XI Всерос. семинара. Красноярск, 2003.
12. Царегородцев В.Г. Оптимизация предобработки данных для обучаемой нейросети: критерии оптимальности предобработки // Материалы XIV Междунар. конф. по нейрокибернетике. Ростов н/Д, 2005. Т.2.
13. Vinogradova E.Yu. Experience of design of information system for complex operation of enterprise // Исследование, разработка и применение высоких технологий в промышленности: сб. тр. Четвертой Междунар. науч.-практ. конф. (02-05.10.2007, Санкт-Петербург, Россия) / под ред. А.П. Кудинова, Г.Г. Матвиенко. СПб.: Изд-во Политехн. ун-та, 2007. Т. 11. Высокие технологии, фундаментальные и прикладные исследования, образование.
References
1. Barskiy A.B. Neural networks: recognition, administration, decisionmaking. [Neyronnye seti: raspoznavanie, upravlenie, prinyatie resheniy]. Moscow, Finansy i statistika, 2004.
2. Baestaens D.E., van der Bergh W.M., Wood D. Neural Network. Solutions for Trading In Financial Markets. [Neyronnye seti i finansovye rynki. Prinyatie resheniy v torgovykh operatsiyakh]. Moscow, TVP Publ., 1997.
3. Vinogradova Ye.Yu. [Managing the implementation of the information system planning at the enterprise]. Sovremennye problemy prikladnoy infor-matiki. Sb. nauch. trudov Mezhdunar. nauch.-prakt. konf. May 27-28, 2008. [Modern problems of applied informatics. Proc. of scientific-practical conference]. S.-Petersburg, 2008.
4. Gorban A.N., Dunin-Barkovskiy V.L., Kirdin A.N. et al. Neural informatics. [Neyroinformatika]. Novosibirsk, Nauka. Sib. predpriyatie RAN, 1998.
5. Ezhov A.A., Shumovskiy S.A. Neurocomputing and its application in economics and business. [Neyrokomp'yuting i ego primeneniya vekonomike i biznese]. Moscow, Finansy i statistika, 2004.
6. Kobelev N.B. The fundamentals of simulation modelling of complex economic systems. [Osnovy imitatsionnogo modelirovaniya slozhnykh eko-nomicheskikh sistem] Moscow, Delo, 2003.
7. The methods of neural informatics. Collection of research papers. [Metody neyroinformatiki: sb. nauch. tr.]. Ed. by A.N. Gorban. Krasnoyarsk, 1998.
8. Rutkovskaya D., Pilin'skiy M., Rutkovskiy L. Neural networks, genetic algorithms and fuzzy systems. [Neyronnye seti, geneticheskie algoritmy i nechet-kiesistemy]. Moscow, Goryachaya liniya-Telekom, 2006.
9. Khaykin S. Neural networks. Complete course. [Neyronnye seti. Polniy kurs]. Moscow, Vilyams, 2006.
10. Tsaregorodtsev V.G. [A look at the architecture and requirements for neurosimulator to resolve modern industrial tasks]. Neyroinformatika i ee prilozheniya:MaterialyXI Vseros.seminara. [Neural informatics and its applications. Proc. XI All-Russia seminar]. Krasnoyarsk, 2003.
11. Tsaregorodtsev V.G. [On the definition of informative value of independent variables for a neural network]. Neyroinformatika i ee prilozheniya: Materialy XI Vseros. seminara. [Neural informatics and its applications. Proc. XI All-Russia seminar]. Krasnoyarsk, 2003.
12. Tsaregorodtsev V.G. [Optimization of data preprocessing for a trained neural network: criteria of preprocessing optimality]. Materialy XIV Mezhdunar. konf. po neyrokibernetike. [Proc. XIV Int. conf. on cybernetics]. Vol. 5. Rostov-on-Don, 2005.
13. Vinogradova Ye.Yu. [Experience of design of information system for complex operation of enterprise]. Issledovanie, razrabotka i primenenie vysokikh tekhnologiy v promyshlennosti. Trudy IV Mezhdunar. nauch.-pract. konf. [Research, development and application of high technologies in industry. Proc. IV Int. sci.-pract. conf.]. Ed. by A.P. Kudinov, G.G. Matvienko. Vol. 11. S.-Petersburg, 2007.
■o я
