Методы и алгоритмы обработки информации нечеткими нейросетями в системах интеллектуальной поддержки принятия решений Текст научной статьи по специальности «Компьютерные и информационные науки»

вания при полном переборе тоже требует значительных вычислительных ресурсов. В свою очередь, при динамическом программировании предварительного отбора допустимых вариантов не требуется: на каждом шаге идет простой перебор допустимых управлений.

Таким образом, эффективность приведенного метода при решении данной задачи очень высока. Благодаря этому метод динамического программирования позволяет находить решение и при большой размерности задачи с малыми вычислительными затратами.

D. A. Degterev, E. P. Pankov

THE SOLVING OF THE SYNDICATED CREDITING PROBLEM WITH A METHOD OF DYNAMIC PROGRAMMING

The solving of the syndicated crediting problem with a method of dynamic programming is suggested. High computing efficiency of the offered method in comparison with full search is shown.

ХЦК 004.032.26 (06)

Е. А. Энгель, И. В. Ковалев

МЕТОДЫ И АЛГОРИТМЫ ОБРАБОТКИ ИНФОРМАЦИИ НЕЧЕТКИМИ НЕЙРОСЕТЯМИ В СИСТЕМАХ ИНТЕЛЛЕКТУАЛЬНОЙ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

Описана разработка адаптивных алгоритмов формирования систем интеллектуального анализа данных на базе нечетких нейросетей. Нечеткие нейронные сети (ННС) представляют собой реализацию систем нечеткого логического вывода методами нейронных сетей. Приведены примеры использования ННС для создания прикладных интеллектуальных систем.

Особенности систем интеллектуальной поддержки принятия решений. Анализ функционирования сложных объектов и систем и управление ими составляют основное содержание работы многих специалистов в современном обществе. Общеизвестными являются тенденции увеличения как абсолютного количества управленцев, аналитиков, специалистов в области обработки информации, так и относительного их числа в мире.

Разработка методов, средств и технологий такого анализа и управления составляет предмет исследования многих направлений науки. Разработанные теории позволили и позволяют эффективно решать многие практические задачи как обработки информации, так и управления. Однако всегда существовал и существует значительный класс реальных задач, для которых применение классических математических методов либо невозможно, либо затруднено. Это связано с естественным разрывом между предположениями, на которых базируются те или иные математические методы и свойствами информации о реальных объектах реальной задачи. Примерами таких ограничений могут быть следующие предположения:

- о том, что существует взаимнооднозначное соответствие между реальными объектами и их описаниями, т. е. разным объектам соответствуют разные описания, одному объекту - только одно описание;

- поведение объекта и/или управление им можно выразить в виде системы «Если... то...» правил.

Если задача не «транслируется» в подобного рода ограничения (не поддается формализации), то ее решение с использованием всех наработанных классических матема-

тических методов оказывается малоэффективным. Указанные задачи характеризуются следующими свойствами:

- сложной структурой объекта;

- необходимостью быстрого принятия решения на основе переработки больших объемов информации в условиях постоянно меняющихся внешних и внутренних характеристик системы;

- стохастическим и динамическим характером процессов в объекте;

- большой размерностью вектора входных факторов (десятки и сотни);

- наличием качественных, порядковых и количественных факторов;

- мультиколлинеарностью вектора входных факторов;

- дефицитом наблюдений и др.

Вышеперечисленные особенности приводят к повышению сложности алгоритмического описания модели решения плохо формализованных задач. В таком случае говорят о необходимости информационной поддержки решения задачи, т. е. разработки набора методов и технологических решений, позволяющих получить достоверное решение следующих задач:

- разработки и оптимизации информационных моделей для обеспечения лиц, принимающих решение (ЛПР), достаточным объемом актуальной релевантной информации;

- разработки эвристических процедур, позволяющих «отсеивать» заведомо «плохие» варианты решения задачи;

- разработки алгоритмов обработки неколичественной нечеткой информации для принятия на ее основе управленческих решений;

- разработки и реализации информационно-коммуникационной инфраструктуры систем поддержки принятия решений (локальных и корпоративных сетей).

Важным свойством таких систем поддержки принятия решений является наличие двух взаимодействующих компонентов: человека и компьютерной (формальной) системы. Основной проблемой разработки таких систем является учет и моделирование описания сценариев человеком по динамике реальных объектов, анализа и обработки неколичественной нечеткой информации и интерпретации результатов в формальном компоненте системы. При этом возникает также необходимость оптимизации алгоритмов взаимодействия компонентов челове-ко-компьютерных систем и обработки нечеткой информации для принятия решений. В целом это представляет актуальную научную проблему. Реализация систем интеллектуального анализа данных на базе нечеткой нейросети - синтеза алгоритмов нейроинформатики и нечеткой логики - повышает качество обработки информации и снижает вычислительные затраты. Оптимальный результат обработки информации будет выбрается из широкого набора вариантов по условию наилучшей комплексной оценки эффективности моделей анализа данных.

Методы и алгоритмы построения систем интеллектуальной поддержки принятия решений. Создание и развитие новых методов решения плохо формализованных задач основано на автоматизации некоторых интеллектуальных функций анализа данных. На этом пути в настоящее время общезначимым является использование интеллектуальных информационных алгоритмов. Построение систем интеллектуального анализа данных возможно дедуктивными и индуктивными способами.

Группа BISC в университете Беркли, Калифорния, под руководством Л. Задэ успешно реализует дедуктивный подход - Нечеткую Логику [1].

Группа красноярских ученых использовала индуктивный нейросетевой подход для решения широкого круга задач в различных областях человеческой деятельности [2]. Достижения нейроинформатики в решении технологических задач привели к созданию целого спектра разнообразных нейронных сетей: сетей с прямым распространением сигнала, рекуррентных сетей, радиально базисных сетей.

Группа нейросетевых исследований (Neural Networks Research Group) в Университете Остина, штат Техас, под руководством Р. Мииккулайнена (Risto Miikkulainen) [3] в рамках индуктивного подхода синтезирует нейросетевые и эволюционные алгоритмы, как и группа украинских ученых, разрабатывающих метод группового учета аргументов, предложенный А. Г. Ивахненко [4]. Метод группового учета аргументов был синтезирован с нечеткими алгоритмами.

Современные исследования интеллектуального анализа данных развиваются в направлении от экспериментальных систем до коммерческих систем - BI (Business Intelligence). Коммерческие системы имеют узкую специализацию и функциональный набор, востребованный рынком. NeurOK Data Mining Suite (разработка фирмы НейрОК Интелсофт) - это эффективное решение задач моделирования и обобщения данных, а также прогнози-

рования и оптимизации на основе технологий нейронных сетей, кластерного анализа и байесовой статистики. Показательно, что крупные производители систем баз данных (Oracle Inc.) включают в состав программного продукта систему описания и интерпретации бизнес-правил в форме продукций «Если... т...» и систему логического вывода действий. Любое действие, которое выводится из бизнес-правил, реализуется в системе как транзакция обработки данных. Система Cognitive «Эксперт» (разработка фирмы Cognitive Technologies Ltd) предназначена для построения информационно-аналитических систем. В. Г. Царегородцев разработал систему нейро-сетевого анализа данных NeuroPro, которая реализует обычные слоистые нейросети. Разработана система MegaNeuro, послойно формирующая модифицированную нейросеть [5] из обычных однослойных нейросетей на основе метода группового учета аргументов. Эксперименты показывают, что система MegaNeuro эффективнее NeuroPro и нейросетвого пакета Matlab 5,0, поскольку модифицированная нейросеть реализует процедуру дообучения, посредством сохранения основной части настроенной структуры нейросети; оценка константы Липшица модифицированной нейросети на порядок ниже оценки константы Липшица обычной слоистой нейросети; ошибка на тестовом множестве у модифицированной нейросети ниже, чем у обычной слоистой нейросети. Принципиальным отличием разработанной системы интеллектуального анализа данных MegaNeuro является синтез модифицированной нейросети (адаптация метода группового учета аргументов к нейросети) и Нечеткой логики. Созданы развитые архитектуры гибридных систем: нечетких нейронных сетей, нечетких нейронных сетей с генетической настройкой параметров. Гибридные системы включают в себя слои радиально базисных нейронов, логических нейронов, традиционных пороговых суммирующих нейронов. Далее будем называть именно их гибридными системами. Алгоритм их обучения обычно комбинирует соревновательное обучение (по алгоритму победителя), генетическую оптимизацию параметров и классический метод обратного распространения ошибки. Опыт решения задач распознавания образов [6] и классификации [7] показывает, что для идентификации каждого класса объекта требуется обученная модифицированная нейросеть. Указанное обстоятельство и универсальные аппроксимационные свойства нейросетей хорошо укладываются в понятие функции принадлежности. Реализация последней как модифицированной нейросети позволяет избегать априорных предположений о характере распределения данных. Поскольку модифицированная нейросеть реализует процедуру дообучения, посредством сохранения основной части настроенной структуры нейросети, возможна автоматическая корректировка функции принадлежности, т. е. создание базы знаний, обновляемой автоматически по мере поступления новой информации. При данном способе сохраняются все преимущества индуктивного (нейроинформатика) и дедуктивного (нечеткая логика) подходов. Селективная нечеткая нейросеть, реализуемая ПП MegaNeuro имеет ряд отличий от существующих аналогов: структурно она представляет собой совокупность обученных мо-

дифицированных нейросетей и слоя специализированных нейронов, осуществляющих нечеткий вывод.

Метод построения селективной нечеткой нейросети.

Объектом анализа в представляемой работе являются нечеткие нейронные сети с селективной оптимизацией параметров. Они обладают комплексной структурой и сложными алгоритмами обучения, интегрирующими структурные части различных нейронных сетей.

Оценка свойств объектов предметной области представляется в виде процедуры измерения в полном ортогональном семантическом пространстве. Для этого вводится понятие семантического пространства как частного случая лингвистической переменной А с фиксированным терм-множеством значений Т(А) = {а , а , ..., а} Рассматривается частный случай семантических пространств - полные ортогональные сематнические пространства О(Ь). Такие пространства можно интерпретировать, в частности, как множество шкальных значений нечетких лингвистических шкал. Рассматривается задача оценки степени нечеткости полного ортогонального семантического пространства. Для этого вводится понятие ближайшей совокупности характеристических функций следующим образом.

Рассматривается некоторая совокупность из t функций принадлежности ste О(Ь). Пусть = {ц1, ц2, ..., ц,}. Будем называть совокупность из t характеристических функций §1 = {{,Н2,...,И)} ближайшей совокупностью характеристических функций, если

Г 1, если м. (м) = тахм. (м)

Ь] (м) = \ к-< < (1 <] < t).

[0, иначе

Очевидно, что при описании объектов в рамках 3, неопределенность отсутствует.

Под мерой неопределенности st е в(£) будем понимать значение функционала х(у,), определенного на элементах О(Ь) и принимающего значения в [0,1] (т. е. ¡: О(Ь) ^ [0,1]), удовлетворяющего следующим условиям (аксиомам):

А1. ¡(у,) = 0, если st представляет собой совокупность характеристических функций;

А2. Пусть s,, у’. е О(Ь), t и t’ могут быть равны или не равны друг другу. Тогда

0(3) < о(з',), если ё(з,, 3,) < ё(3,,, ),

где з - ближайшая к st совокупность характеристических функций.

Смысл аксиом следующий: из двух семантических пространств то имеет меньшую неопределенность, которое более «похоже» на пространство из совокупностей характеристических функций.

Важным аспектом практического использования любой модели является ее устойчивость. Достаточно очевидно, что при практическом применении любой модели и идентификации ее параметров (в нашем случае -при построении функций принадлежности) возникают (маленькие) ошибки измерения. Если модель чувствительна к такого рода естественным ошибкам, вопрос ее практического применения является достаточно проблематичным. Для изучения вопросов устойчивости изучаемой модели рассматривается ситуация, когда функции

принадлежности в семантическом пространстве заданы не абсолютно точно, а с некоторой «точностью» 5. Будем называть эту ситуацию 5-моделью и обозначать в5(Ь).

Определим верхние и нижние оценки ¡(у,) для 5-модели.

_ О(1 —V )2 ч О(1 + 2у,)

Пусть е в5 (Ь). Тогда о(3) = ^ ^ ,0 (3,) = —щ— ’

,-1 _ _

где и = .+1 , .+1 = м ¡к — м ¡+1, ь .

.=1

Сравнивая выражения верхней и нижней оценки, мы видим, что для малых значений 5 основные закономерности нашей модели сохраняются. Таким образом, мы можем использовать степень неопределенности ¡(у,) при решении практических задач, поскольку она обладает свойством стабильности.

На базе этих результатов, предлагается следующая методика выбора оптимального множества значений качественных признаков.

1. Генерируются все «разумные» множества значений лингвистической переменной. В случае реализации селективной нечеткой нейросети описания лингвистической переменной моделируются пулом обученных модифицированных нейросетей.

2. Каждое из таких множеств представляется в форме полного ортогонального семантического пространства.

3. Для каждого из них вычисляется мера неопределенности (2.1.3).

4. В качестве оптимального множества значений как с точки зрения минимизации неопределенности описания объектов, так и с позиции минимизации степени рассогласования мнений экспертов, выбирается то множество, мера неопределенности которого минимальна.

Следуя этой методике, мы можем описывать объекты с минимально возможной неопределенностью, т. е. гарантировать оптимальность свойств систем информационного мониторинга с этой точки зрения.

Нечеткой нейронной сетью (ННС) [8] обычно называют четкую нейросеть, которая построена на основе многослойной архитектуры с использованием И-, ИЛИ-ней-ронов. И-нейроном называется нейрон, в котором умножение веса к на вход х моделируется конормой Б(У, х), а сложение - нормой Т(У, х).

Для двухвходового И-нейрона справедлива формула

У = Т [Би4, х 1), Б (м>2, х2)].

ИЛИ-нейроном называется нейрон, в котором умножение веса к и входа х моделируется нормой Т(к, х), а сложение взвешенных весов - конормой Б(У, у). Для двухвходового ИЛИ-нейрона справедлива формула У = Б [Т(м>1, х 1), Т(к2, х 2)].

Нечеткая нейросеть функционирует стандартным образом на основе четких действительных чисел. Нечеткой является только интерпретация результатов. Селективная нечеткая нейросеть в отличие от традиционной гибридной нейросети моделирует функции принадлежности настроенными модифицированными сетями.

Практическая реализация селективной нечеткой нейросети. На основе оптимального множества значений качественных признаков, реализованного по описанной выше методике, строится обучающая выборка.

Структура селективной нечеткой нейросети для двух правил:

Если x1 = A и x2 = і Если x1 = A2u

, то y1 = c

. = bv то У2 = c2

• X1+ C12 ■ X1+ C22 ^ ■

Выход селективной нечеткой нейросети вычисляется по формуле

W1 Уі + W2 У2

У =

Архитектура селективной нечеткой нейросети

Она используется для настройки селективной нечеткой нейросети, выполняющей следующие функции:

- слой 1 представлен обученными модифицированными нейросетями и моделирует функции принадлежности;

- слой 2 - это слой И-нейронов, которые моделируют логическую связку И произведением к. = ЦАг(х1) • цЛ.(х2);

- слой 3 вычисляет нормированную силу правила

w.

w¡ =-------•

w1 + w2 ’

- слой 4 формирует значение выходной переменной

У(хр х2) = У^г = ™(с1 хі+ са ■ х2).

- слой 5 выполняет дефаззификацию у = у^1 + у2^2.

Гибридная сеть описанной архитектуры была обучена с помощью алгоритма обратного распространения ошибки и селективного отбора.

Цля селективной нечеткой нейросети А , А , В , В2 являются обученными модифицированными нейросетями.

Была реализована традиционная гибридная нейросеть с радиальными базисными нейронами в первом слое, архитектура которой аналогична представленной на рисунке. Для нее А , А , В , В2 являются настроенными радиальными базисными нейронами.

Максимальные ошибки обобщения предложенной селективной нечеткой нейросети и традиционной нечеткой нейросети равны 0,48 и 1,42 соответственно.

Таким образом, предложена модель селективной нечеткой нейросети на базе модифицированных нейросетей. Разработаны алгоритмы составления и обучения предложенной гибридной нейросети. Экспериментальные результаты показывают, что у разработанной селективной нечеткой нейросети ошибка обобщения существенно ниже, чем у традиционной нечеткой нейросети.

Библиографический список

1. Zadeh, L. A. From computing with numbers to computing with words - from manipulation of measurements to manipulation of perceptions / L. A. Zadeh // IEEE Transactions on Circuits and Systems 45, 1999. P. 105-119.

2. Горбань, А. Н. Нейроинформатика / А. Н. Горбань [и др.]. Новосибирск: Наука, 1998.

3. Using marked-based genetic encoding of neural networks to evolve finite-state behavior // Proceedings of the First European Conference on Artificial Life (ECAL-91). Cambridge, MA: MIT Press, 1992. P. 255-262.

4. Ивахненко, А. Г. Самоорганизация прогнозирующих моделей / А. Г. Ивахненко, И. А. Мюллер. Киев : Техника, 1985.

5. Энгель, Е. А. Модифицированная нейросеть для обработки информации с использованием селекции существенных связей : автореф. дис. ... канд. техн. наук / Е. А. Энгель. Красноярск, 2004.

6. Энгель, Е. А. Использование модифицированной нейросети с селекцией существенных связей для распознавания кодов на web-сайтах / Е. А. Энгель [и др.] // Нейроинформатика-2006. М., 2006.

7. Энгель, Е. А. Реализация интеллектуальной обучающейся машины для решения маркетинговой задачи ADA конгресса IEEE по компьютерному интеллекту - WCCI 2006 / Е. А. Энгель, И. Н. Милехина, В. А. Суворов // Научная сессия МИФИ - 2007. М. : МИФИ, 2007.

8. Редько, В. Г. Эволюционная кибернетика / В. Г. Редько. М. : Наука, 2001.

E. A. Engel, I. V. Kovalev

INFORMATION PROCESSING METHODS AND ALGORITHM OF FUZZY NEURAL NETWORKS AT DECISION-MAKING SYSTEM

It is covered adaptive algorithms for intellectual data analysis systems generating base on Fuzzy neural networks. Fuzzy neural networks with selective optimization are fuzzy logic inference systems. The examples are considered for some kind of applied intelligence system.