Разработка интеллектуальных экспертных систем прогнозирования и управления на основе искусственных иммунных систем Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

УДК 004.89

Разработка интеллектуальных экспертных систем прогнозирования и управления на основе искусственных иммунных систем

Г. А. Самигулина

Институт проблем информатики и управления Министерства образования и науки Республики Казахстан,

050010, Алматы, Казахстан

Статья посвящена разработке интеллектуальных экспертных систем прогнозирования и управления сложными объектами на основе иммуносетевого моделирования.

Ключевые слова: Интеллектуальные экспертные системы управления, подход искусственных иммунных систем, информационные технологии.

Article is devoted to development of intellectual expert systems of forecasting and control of complex objects on the basis immune nets modeling.

Key words: Intellectual expert control systems, the approach of artificial immune systems, information technology.

Введение. При создании искусственного интеллекта (ИИ) одной из основных является проблема моделирования биологических принципов обработки информации. Процессы, происходящие при обработке информации естественными системами, и принципы их функционирования отличаются эффективностью, экономичностью, быстродействием и адаптационными возможностями. В настоящее время наиболее развитыми считаются генетические алгоритмы, искусственные нейронные сети (нейрокомпьютеры), клеточные автоматы и искусственные иммунные системы (иммунокомпьютеры).

Интерес к данному виду исследований постоянно растет. Прежде всего притягивает способность естественных биологических систем решать многомерные задачи большой вычислительной сложности в реальном времени. Высокопараллельные механизмы функционирования позволяют биологическим системам решать задачи, которые невозможно решить с помощью последовательных ЭВМ. Решение четырехмерных задач в реальном времени, а также многомерных нелинейных динамических задач, неподвластно современным последовательным машинам.

Особый интерес представляют искусственные иммунные системы (ИИС). Это относительно новая область исследования. Первые попытки разработки ИИС были предприняты в 70-х гг. XX в., масштабные работы начались в 90-х гг. XX в.

Искусственные иммунные сети - информационные методологии, использующие понятия теоретической иммунологии для решения прикладных задач. Иммунные сети (ИС) - это адаптивные системы для обработки и анализа данных, которые представляют собой математическую структуру, имитирующую некоторые функции иммунной системы человека и обладающую такими свойствами, как способность к обучению, прогнозированию на основе имеющихся временных рядов и принятию решения в незнакомой ситуации. ИС не нуждаются в заранее известной модели, а строят ее на основе полученной информации в виде временных рядов. Данные системы применяются при решении плохо алгоритмизируемых задач, таких как прогнозирование, классификация и управление.

В [1] разработаны математические основы биологического подхода ИИС. Базовым элементом системы является пептид (белок). Биологическим прототипом ИИС являются иммунная система человека и обработка информации молекулами белков на основе результатов самосборки. В основу подхода ИИС положена идея взаимодействия между белками иммунной системы человека и чужеродными антигенами, т. е. возможность произвольного связывания (молекулярного узнавания) посредством определения минимальной энергии связи между формальными пептидами. Искусственная иммунная система обладает основными свойствами искусственного интеллекта - памятью, способностью к обучению и принятию решений в незнакомой ситуации.

1. Постановка задачи. Подход ИИС интенсивно развивается в различных направлениях исследований искусственного интеллекта. При реализации интеллектуальных систем, основанных на указанных принципах, возникает ряд проблем. Основная трудность заключается в создании алгоритмов безошибочного распознавания образов, так как ошибки энергетических оценок не позволяют добиться стопроцентного распознавания. Так же как и в искусственных нейронных сетях, существует проблема создания эффективных и простых методик обучения ИИС. Необходимо из множества факторов уметь выделять главные, которые оказывают наибольшее влияние на процесс обработки информации, выделять информативные признаки, обучать ИИС и оценивать процесс обучения. Проблема значительно усложняется при увеличении размерности системы и времени на ее обучение. Следует также отметить, что в настоящее время ИИС в условиях реального времени для прогнозирования поведения и управления нестационарными, нелинейными, многомерными объектами с различными видами неопределенности параметров практически не разработаны.

Задача исследования формулируется следующим образом: на основе биологического подхода ИИС необходимо разработать эффективную интеллектуальную технологию обработки многомерной информации в реальном масштабе времени с целью построения интеллектуальных экспертных систем поддержки принятия решений, прогнозирования и управления для решения различных прикладных задач [2].

2. Интеллектуальная технология обработки многомерной информации ИИС. Предложена интеллектуальная технология обработки, анализа, прогноза многомерных данных иммунными сетями, которая нацелена на уменьшение погрешностей энергетических оценок (ошибок обобщения), повышение достоверности прогноза. Данная технология включает два основных этапа:

1) предварительная обработка данных на основе факторного анализа (метода главных компонент), позволяющая проанализировать скрытые (латентные) взаимодействия признаков, основополагающие факторы, оказывающие влияние на процесс; произвести редукцию малоинформативных признаков, несущих существенные погрешности; создать оптимальную структуру иммунной сети и сократить время на ее обучение;

2) устранение погрешностей энергетических оценок ИИС при решении задачи распознавания образов на основе свойств гомологичных белков, что наиболее актуально для пептидов с идентичной структурой, которые имеют примерно одинаковые параметры и находятся на границах классов (вследствие энергетических погрешностей они могут быть ошибочно отнесены не к своему классу, что может привести к неправильному прогнозу и вызвать аварийную ситуацию).

Введем некоторые определения, необходимые для дальнейшего изложения.

Определение 1. Под иммунной сетью связывания в подходе ИИС [1] будем понимать любую последовательность связываний формальных пептидов.

Определение 2. Гомологичным будем называть такое связывание [1] двух п-пептидов, при котором последовательно связываются их звенья с одинаковыми номерами.

Определение 3. Под оптимальной структурой иммунной сети [2] будем понимать структуру сети, построенной на основе весовых коэффициентов выделенных информативных признаков, наиболее полно характеризующих состояние рассматриваемой системы в зависимости от основополагающих факторов, влияющих на функционирование этой системы. Критерием является максимальное сохранение информации при минимальном количестве признаков.

Пусть исходная совокупность данных записана в виде матрицы А = (а/ (/,/ = 1,...п) размерности (ш*п). Так как признаки, характеризующие состояние системы, измеряются в разных единицах, то результат может существенно зависеть от выбора масштаба измерения. Поэтому необходим переход к безразмерным величинам с помощью нормирования и центрирования данных. Для этого элементы каждого вектора преобразуем таким образом, чтобы математическое ожидание было равно нулю, а дисперсия единице.

Основной целью нормирования данных является приведение их к сопоставимому виду.

Новая матрица стандартизированных переменных X записывается из элементов

х// =—-1,

где ш/ - среднее значение исходных элементов /-го вектора; - стандартное отклонение исходных элементов /-го вектора, которое вычисляется по формуле

1 п

,

=(-

т, )2)

1

2Л2

где п - общее число измерений.

Задача снижения размерности анализируемого признакового пространства и отбора наиболее информативных признаков решена с помощью метода главных компонент на основе вращения собственного вектора [3].

Определим базисное пространство Я и проекции векторов данных на каждую из п-ортогональных осей. Тогда исходную матрицу данных А размерности т х п можно представить в матричной форме

А=СУт,

где У - матрица, столбцы которой ортогональны оси; С - матрица, строками которой являются координаты проекций каждого вектора данных в базисном пространстве Я . Тогда координаты новой матрицы В будут записаны в матричной форме:

В = Ят А .

Матрица преобразования Ят в двумерном пространстве имеет вид

СОБ0

- БШ0 СОБ0

ЯТ =

Рассчитывается корреляционная матрица

где N - число столбцов в матрице X. Пусть У = Вт, X = Ат, тогда получим

С =-

N-1

У = ХЯ,

(X1X),

Ут = Я "X1.

Необходимо найти матрицу преобразования Ят такую, чтобы, применив ее к матрице X, получить новую систему координат У , которая удовлетворяет выражению

У ТУ = Ят X ^Я = Я ТСЯ = Л,

где Л - диагональная матрица.

Необходимо, чтобы выполнялось условие СЯ = ЛЯ, тогда получим:

(С -Л1 )Я = 0, (1)

где Л - скалярные, диагональные элементы в матрице Л . Задача будет иметь решение при |С - Л1\ = 0

После нахождения решения для Л подставим их вновь в (1) и найдем матрицу преобразования Я . Получив матрицу преобразования, можно повернуть исходные оси таким образом, чтобы дисперсии ассоциировались с новыми осями, вычислить координаты данных в новой системе координат и начертить эти данные.

Рассмотрим следующий пример.

Пример 1. Допустим, что из сформированной базы данных выделены признаки, характеризующие состояние рассматриваемой системы (табл. 1). Матрица входных данных А будет иметь размерность т х п, т = 12, п = 4.

Анализ собственных значений преобразованных данных по предложенному выше алгоритму выявил собственные векторы, расположенные в порядке убывания Таблица 1 собственных значений. В табл. 2 приведены данные о Признаки, характеризующие рассматриваемую систему выделении главных компонент и показаны собственные значения, соответствующие каждому выделенному фактору, процент дисперсии и накопленный процент дисперсии.

Коэффициенты (нагрузки) показывают относительный вклад признаков в каждом собственном векторе. Так как с помощью метода главных компонент

Измерения Признак 1 Признак 2 Признак 3 Признак 4

1 41,61 99,00 18,39 98,77

2 51,28 97,88 22,88 98,61

3 43,56 91,42 22,40 92,49

12 33,82 100,00 48,00 100,00

Таблица 2

Выделение главных компонент

Компоненты Собственные значения Процент дисперсии Накопленный процент дисперсии

1 1,973 49,332 49,332

2 1,628 40,690 90,022

3 0,343 8,587 98,609

4 0,056 1,391 100,000

Таблица 3

Матрица вращения

Признаки Компонента 1 Компонента 2

Признак 1 0,151 0,898

Признак 2 0,980 0,076

Признак 3 0,126 -0,905

Признак 4 0,984 -0,052

были выделены четыре фактора, то анализ собственных значений в зависимости от числа факторов (компонент) показал, что 90 % дисперсии приходится на первые два фактора. Для построения оптимальной структуры иммунной сети целесообразно эти два фактора рассматривать в качестве основных, поскольку они имеют наибольшее значение для исследуемого процесса. Влияние третьего и четвертого факторов на систему не столь значительно, поэтому их можно не учитывать. К полученному факторному решению применена процедура вращения (табл. 3).

На основе проведенных преобразований исходные данные можно изобразить в новой системе, где координатные оси являются собственными векторами. После анализа признаков необходимо отбросить те, которые лежат ближе к началу координат и являются наименее информативными.

С использованием матрицы вращения (см. табл. 3) весовые коэффициенты признаков можно представить в виде акр, где к - компонента, р - признак. Для первой компоненты весовые коэффициенты принимают вид оп = 0,151;

о12 = 0,980; о13 = 0,126; о14 = 0,984, для второй компоненты о21 = 0,898; о22 = 0,076; о23 = -0,905; о24 = -0,052.

Весовые коэффициенты признаков фактически показывают, какое количество информации несут признаки. Таким образом, при построении оптимальной структуры иммунной сети будем рассматривать два основополагающих фактора с учетом весовых коэффициентов информативных признаков.

Ключевым моментом в разработанной интеллектуальной технологии на основе ИИС является решение задачи распознавания образов [1]. Для каждого класса, выделенного экспертами, формируются матрицы эталонов А1, А2, А3,...,п (п - количество классов). Выполнив сингулярное разложение данных матриц, получаем правые и левые сингулярные векторы (х1,>>1}, {х2,у2} и т. д. эталонных матриц. Затем формируется множество матриц, рассматриваемых в качестве образов: В1, В2, В3, В4,....,т (т - количество образов).

Согласно подходу ИИС энергию связи между формальными пептидами можно представить в виде

W1 = -хтВу,, W2 = -х2тВу2, Wз = -Х31 ВУ3, W4 = -х4тВу4, ., Wn = -х*пВуп ,

где т - символ транспонирования.

Нативная (функциональная) укладка белковой цепи соответствует минимуму энергии связи, поэтому минимальное значение энергии связи определяет класс п , которому принадлежит данный образ:

п: = ш1и{Г1,Г2,Г3,Г4,...,Гп}.

Обработка многомерной совокупности данных на основе технологии ИИС неизбежно приводит к увеличению энергетических погрешностей, зависящих от ряда факторов, и существенно влияет на достоверность прогноза. Определение нативной укладки цепи, соответствующей минимуму энергии, затруднено вследствие наличия различных погрешностей. Погрешности ИИС возникают за счет неполноты данных, корреляции данных и ошибок измерения. Данная проблема наиболее актуальна для пептидов с идентичной структурой, имеющих примерно одинаковые параметры и находящихся на границах классов [2]. Вследствие наличия энергетических погрешностей они могут быть ошибочно отнесены не к своему классу, что существенно влияет на достоверность прогноза на основе ИИС и может привести к аварийной ситуации.

Гомологичными белками будем называть белки, имеющие одинаковое происхождение и обладающие приблизительно одинаковыми пространственными структурами, несмотря на многочисленные мутации в аминокислотной последовательности.

Под конформацией будем понимать наиболее энергетически выгодные и стабильные пространственные структуры белка с уникальной последовательностью расположения аминокислот.

Под нативной структурой белка понимается естественное состояние белка, находящегося в нормальной конформации. Данная конфор-мация обусловливает специфические биологические функции белка и соответствует глобальному минимуму внутренней энергии связи.

Нативная структура и конформационные динамические свойства белковой молекулы в физиологических условиях полностью определяются аминокислотной последовательностью.

Главной характеристикой аминокислотных последовательностей, определяющей основные физические свойства белка, является повышенная стабильность нативной структуры, т. е. существование большой щели между энергией нативной структуры и минимальной энергией неверно свернутых структур (рис. 1). (Здесь Е - энергия укладки белковой цепи; т - число укладок в диапазоне энергий Е; Ем - энергия нативной укладки; < Е > -средняя энергия укладки цепи; N - положение нативной укладки; Ес - низкоэнергетический край квазинепрерывного энергетического спектра.)

Введем следующее определение.

Определение 4. Гомологичными формальными пептидами будем называть пептиды, которые при решении задачи распознавания образов относятся к одному классу решений.

Однако погрешности энергетических оценок могут затруднить определение нативной структуры. В искусственных иммунных системах данная ситуация возникает при решении задачи распознавания образов; это наиболее актуально для областей, находящихся на границах различных классов, когда пептиды имеют схожее строение и наличие погрешностей приводит к большим проблемам. Определение принадлежности образов к какому-либо классу решений может быть ошибочным и повлечь серьезные последствия при прогнозировании и управлении на основе ИИС вплоть до возникновения аварийных ситуаций.

На рис. 2 представлен случай, когда определение нативной структуры белка затруднено из-за различного рода погрешностей. Видно, что низкоэнергетический край квазинепрерывного энергетического спектра Ес находится ниже энергии нативной укладки EN, поэтому определение нативной структуры невозможно.

Устранение погрешностей энергетических оценок осуществляется на основе свойств гомологичных белков. Нативная (функциональная) укладка цепи N может быть найдена в процессе сворачивания цепи, где потенциал каждого взаимодействия осреднен по гомологам. Вычисленная энергия нативной структуры Е' N представляется в виде

Е' = Е +ДЕ где ЕN - истинное значение энергии нативной структуры; ДЕN - погрешность энергетической оценки. Приведем алгоритм оценки энергетических погрешностей ИИС.

i т 103 102 10 1 1 к N г к 1

-70 Ен Ес <е> 0 10 30 50 70 Е

Рис. 1. Плотность энергетического спектра белка

103

10

N

Е Е

-10 < Е >

0 10 30 50 70 Е

Рис. 2. Плотность энергетического спектра белка, зашумленная ошибками

т

1

Шаг 1. Осреднение потенциалов по гомологам:

о

Е Е*

< Е > о = > (2>

где символ <...> означает осреднение по гомологам; О - число гомологичных пептидов.

Шаг 2. Определение вычисленной энергии нативной (функциональной) структуры по осредненным гомологам:

< Е* >О~ Ем. (3)

Шаг 3. Определение г-факторов. Значение г-фактора определяется средним числом стандартных отклонений между энергией нативной структуры и энергией случайно выбранной укладки цепи:

Е -< Е >

2 =-Е„ <Е > 1 , (4)

< (Е-<Е >)2 >2

где Ем и < Е* >О; < Е > - среднее число стандартных отклонений по гомологам; Е - энергия случайно выбранной укладки цепи.

Шаг 4. Распознавание нативной структуры белков по гомологам и определение достоверности прогноза на основе ИИС в зависимости от значений г-фактора. Рассчитываются коэффициенты риска прогнозирования:

Кк(о,.) = |1 - 2,\ , I = \П , (5)

где п - количество гомологичных пептидов. Рассмотрим следующий пример.

Пример 2. Пусть пептиды О1, О2, О3, О4, О5, которые после решения задачи распознавания образов относятся к одному классу решений, являются гомологичными и имеют схожую пространственную структуру. Для удобства умножим энергии гомологичных пептидов на (-1). Тогда энергии связи гомологов для выбранного класса принимают вид

Е* = 319,456; Е* = 313,721; Е* = 377,379; Е* = 326,003; Е* = 304,987.

Согласно разработанному алгоритму на первом шаге подставим значения энергии связи для гомологичных белков в (2). Так как число гомологичных белков равно пяти, имеем следующее выражение:

^ 319,456 + 313,721 + 377,379 + 326,003 + 304,987 <Е* >О =-----------= 328,309.

5 О 5

На втором шаге подставим значение потенциалов, осредненных по гомологам, в выражение (3). Получаем

< Е* >Ои Е„ и 328,309 .

Будем считать, что значение энергии нативной структуры приблизительно равно среднему значению потенциалов гомологичных белков.

На третьем шаге находим значения г-факторов для различных гомологов. Для этого рассчитаем среднее число стандартных отклонений по гомологам < Е >. Отклонения энергий гомологов от энергии нативной структуры равны

ДЕ1 = 8,853, ДЕ2 = 14,588, ДЕ3 = -49,07, АЕ4 = 2,306, АЕ5=23,322.

Для среднего числа отклонений по гомологам получаем следующее выражение:

< Е >= 8,853 +14,588 - 49,07 + 2,306 + 23,322 = 0Ш2 = 5 , .

Подставив полученное значение в (4), вычислим значения 2-факторов для рассматриваемых белков:

г! = 1,028, г2 = 1,046, г3 = 0,869, г 4 = 1,007, г5 = 1,076.

На четвертом шаге предложенного алгоритма полученные результаты сводятся в табл. 4, на основе которой выявляются пептиды, ошибочно отнесенные к выбранному классу, и определяется степень достоверности прогноза ИИС.

Пептиды, для которых значения 2 -факторов близки к единице, содержат меньшее количество ошибок энергетических оценок, и их энергии более соответствуют нативной структуре.

Следует отметить, что важно не только предсказать данные, но и оценить точность предсказания на основе расчета коэффициентов риска прогнозирования.

Для всех гомологов, рассматриваемых в примере 2, по формуле (5) рассчитываются коэффициенты риска Кк (О1) (. = 1,5). Чем больше данный коэффициент, тем больше вероятность ошибки при определении принадлежности данного пептида к выбранному классу решений.

В приведенном примере наибольший коэффициент риска Кк(О3) =0,131, поэтому пептид О3, скорее всего, не является гомологом и может быть исключен из данного класса решений.

Таким образом, нативная структура белковой цепи, соответствующая минимуму энергии связи, является для каждого класса определенной и позволяет определить принадлежность гомологов к какому-либо классу решений. Это свойство наиболее ценно для образов, которые находятся на границах классов. Данная способность ИИС существенно уменьшает погрешности энергетических оценок, повышает достоверность прогноза поведения интеллектуальной системы.

Согласно предложенной технологии обработки многомерной информации в реальном времени разработаны интеллектуальные экспертные системы для различных прикладных задач. Укрупненный алгоритм содержит 14 шагов.

Шаг 1. Формирование базы данных и базы знаний, в которых хранятся все данные, характеризующие выбранную систему.

Шаг 2. Классификация решений на основе мнений экспертов.

Шаг 3. Нормирование входных данных.

Шаг 4. Выделение информационно-ценных подмножеств признаков из общего множества входных признаков.

Шаг 5. Редукция малоинформативных признаков.

Шаг 6. Построение оптимальной структуры искусственной иммунной сети.

Шаг 7. Формирование на основе мнений экспертов матриц-эталонов для каждого класса, которые будут рассматриваться в качестве антител.

Шаг 8. Обучение ИИС с учителем.

Шаг 9. Формирование матриц образов, которые будут рассматриваться в качестве антигенов.

Шаг 10. Определение энергий связи между формальными пептидами (антителами и антигенами) на основе сингулярного разложения матриц [1].

Шаг 11. Решение задачи распознавания образов на основе определения минимальной энергии связи между пептидами.

Шаг 12. Оценка энергетических погрешностей при решении задачи распознавания образов на основе свойств гомологичных белков.

Шаг 13. Расчет коэффициентов риска прогнозирования.

Шаг 14. Анализ и прогноз данных на основе ИИС.

Таблица 4

Оценка энергетических погрешностей на основе гомологов

Гомологичные пептиды Энергии связи е ;, (.=ц) Отклонение энергии гомологов от энергии нативной структуры де,. , (. = й) 21 -факторы (. = й) Коэффициент риска Кк (О 1) (. = й)

о, 319, 456 8, 853 1,028 0,028

с2 313,721 14,588 1,046 0,046

оз 377,379 -49,07 0,869 0,131

326,003 2,306 1,007 0,007

О5 304,987 23,322 1,076 0,076

3. Практическая реализация. Для реализации предложенной технологии разработан пакет прикладных программ "Peptid", предназначенный для обработки, анализа и прогноза многомерных данных искусственными иммунными системами. Получено два авторских свидетельства на программы ЭВМ. Программное обеспечение написано на языке программирования DELPHI 7.0. Предварительная обработка данных проводилась с использованием программы SPSS 16.0. Сингулярное разложение матриц осуществлялось с помощью программы "MATLAB". Предлагаемая информационная технология использовалась при разработке:

- интеллектуальных экспертных систем прогнозирования и управления сложными объектами в условиях неопределенности (стохастической [4], интервально-заданной [5]);

- системы дистанционного обучения в среде Internet [6];

- интеллектуальной информационной системы биометрического контроля доступа по рукописной подписи [7],

- интеллектуальной системы прогнозирования эпизоотий чумы по характеристикам штаммов чумного микроба [8].

Заключение. Разработанная интеллектуальная технология и построенные на ее основе экспертные системы прогнозирования и управления позволяют повысить достоверность прогноза в условиях неопределенности параметров рассматриваемых сложных нелинейных систем путем уменьшения погрешностей обобщения ИИС.

Список литературы

1. Tarakanov A. O. Formal peptide as a basic of agent of immune networks: from natural prototype to mathematical theory and appli-

cations // Proc. of the 1st Intern. workshop of Central and Eastern Europe on multi-agent systems. 1999. P. 123-127.

2. Самигулина Г. А. Разработка интеллектуальных экспертных систем управления на основе технологии искусственных им-

мунных систем. Алматы: ИПИУ МОН РК, 2008.

3. Иберла К. Факторный анализ. М.: Статистика, 1980.

4. Самигулина Г. А. Интеллектуальная система прогнозирования асимптотической устойчивости в среднем квадратическом

стохастической системы управления // // Тр. IX Междунар. конф. "Интеллектуальные системы и компьютерные науки". Москва, 2006. М: МГУ им. Ломоносова, 2006. Т. 2. Ч. 2. С. 265-269

5. Самигулина Г. А. Исследование интервальных систем управления с применением подхода квазирасщепления // Мат. журн.

Алматы: Институт математики. 2004. Т. 4, № 1(11). С. 155-160.

6. Самигулина Г. А. Интеллектуальная экспертная система дистанционного обучения на основе искусственных иммунных

систем // Информационные технологии моделирования и управления. Воронеж. 2007. Вып. 9(43). С.1019-1024.

7. Самигулина Г. А. Биометрическая система контроля доступа по рукописной подписи на основе искусственных иммунных

систем // Вестн. Казах. нац. техн. ун-та. Алматы. 2005. № 5. С. 142-149.

8. Samigulina G. A., Chebeiko S. V. Technology of elimination errors the energy estimations of artificial immune systems of the fore-

casting plague // Proc. on the 6th Intern. conf. on computational intelligence and natural computation, Cary, North Carolina (USA), 2003. P. 1693-1696.

Самигулина Галина Ахметовна - д-р техн. наук, доц., зав. лабораторией

Ин-та проблем информатики и управления Министерства образования и наука Республики Казахстан, тел. (727) 272-46-17, e-mail: galinasamigulina@mail.ru

Дата поступления - 18.09.2009 г.