Автоматизация проектирования нейросетевых технологий параллельными генетическими алгоритмами Текст научной статьи по специальности «Компьютерные и информационные науки»

Система ККЗ «ДИАНИС» зарегистрирована в Отраслевом фонде алгоритмов и программ (свидетельство № 11321).

Литература

1. Свиридов А.П. Основы статистической теории обучения и контроля знаний. М.: Высш. шк., 1981. 262 с.

2. Kary Framling. Explaining Results of Neural Networks by Contextual Importance and Utility.: Proceedings of the AISB'96 conference - UK, Brighton. 1-2 April, 1996.

3. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы; пер. с польск. И.Д. Рудинского. М.: Горячая линия - Телеком, 2007. 452 с.

АВТОМАТИЗАЦИЯ ПРОЕКТИРОВАНИЯ НЕИРОСЕТЕВЫХ ТЕХНОЛОГИИ ПАРАЛЛЕЛЬНЫМИ ГЕНЕТИЧЕСКИМИ АЛГОРИТМАМИ

С.Н. Ефимов, к.т.н.; Е.С. Семенкин, д.т.н.; В.В. Тынченко, к.т.н.; В.С. Тынченко, к.т.н. (Сибирский государственный аэрокосмический университет им. академика М.Ф. Решетнева,

г. Красноярск, [email protected])

Обсуждается применение эволюционного подхода для построения нейросетевых моделей. Формулируется постановка задачи многокритериальной оптимизации структуры нейронной сети. Предлагается новый параллельный генетический алгоритм для решения многокритериальной задачи оптимизации нейросетевых моделей. Описывается разработанная программная система автоматизированного проектирования нейросетевых технологий.

Ключевые слова: нейросеть, структурно-параметрический синтез, параллельный генетический алгоритм, автоматизированное проектирование.

Искусственные нейронные сети (ИНС) успешно применяются для решения разнообразных научно-технических задач, таких как автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и др. Однако эффективное применение на практике данного подхода широким кругом специалистов не всегда возможно из-за отсутствия формализованных процедур, полностью охватывающих весь процесс построения нейросетевых моделей.

Разработанная программная система предназначена для автоматизации структурно-параметрического синтеза нейросетевой модели с произвольными связями между нейронами. Формализация процесса нейросетевого моделирования требует решения сложных многопараметрических оптимизационных задач выбора эффективной структуры нейросети и настройки ее весовых коэффициентов. При решении подобного рода задач оптимизации хорошо зарекомендовали себя генетические алгоритмы (ГА), которые не требуют информации о свойствах оптимизируемой функции и позволяют вести глобальный поиск в пространстве решений [1].

Выполнение расчетов по ГА требует значительных вычислительных ресурсов, однако указанные алгоритмы потенциально обладают свойством массового параллелизма при обработке информации, допуская их эффективную параллельную реализацию. Распараллеливание ГА на базе распределенной вычислительной системы позволяет существенно сократить время, затрачиваемое на решение задачи, за счет как параллельного выполнения вычислений, так и применения более эффективных, чем в последовательном случае, способов реализации алгоритмов [2].

Предлагаемая система автоматизации проектирования ИНС основана на комплексном применении разработанных авторами постановки многокритериальной задачи оптимизации структуры нейросетевой модели с учетом критерия минимизации вычислительной сложности этой структуры, а также нового многокритериального многопопу-ляционного параллельного ГА (ПГА).

Формализованная постановка задачи многокритериальной оптимизации структуры ИНС выглядит следующим образом:

Ê(0UTk(C,W,af)- yk )

-4 min '

C,W,af

NCB (C)+min

где C - матрица связей ИНС размерности NHxNH; W - матрица весов связей ИНС размерности NHxNH; af - вектор активационных функций на нейронах в ИНС размерности NH; NH - количество нейронов в ИНС; OUTk(C,W,af) - реальное значение k-го выхода ИНС, имеющей структуру (C, W,af), при подаче на ее входы j-го образа; yk - идеальное (желаемое) выходное состояние k-го нейрона; n - количество нейронов на выходе сети; m - размер обучающей выборки; NCB - количество

связей ИНС; Ki =

Т^кт Тсв

- коэффициент относи-

тельной сложности вычисления активационной функции на 1-м нейроне; Т1акг - время вычисления активационной функции на 1-м нейроне; Тсв -время обработки одной связи ИНС.

Для структурно-параметрического синтеза нейросетевых моделей в программной системе используется разработанный авторами многокри-

2

n

m

N

термальный многопопуляционный ПГА с процедурой реструктуризации топологии связей между популяциями в ходе решения оптимизационной задачи. Данная процедура реализуется следующим образом: к выбранной базовой топологии связей между популяциями динамически добавляются временные связи между изолированными друг от друга популяциями, чтобы популяции, недостаточно хорошо функционирующие в текущий момент, могли получить дополнительных мигрантов из лучших индивидов тех популяций, которые показывают достаточно хорошие результаты.

Приведем схему многокритериального много-популяционного ПГА с реструктуризацией топологии связей между популяциями.

Введем обозначения: N - количество популяций; Ш1 - скорость миграции 1-й популяции (1=); к1 - период миграции 1-й популяции

(1=).

Рассмотрим работу алгоритма на примере 1-й популяции.

1. Выполнить к/ циклов многокритериального

ГА.

2. Вычислить значения Q¡, 1=, показателей качества работы всех алгоритмов.

1 N

3. Если Q^ <—, добавить временную

N 1=1

1 N

связь от популяции Л, для которой Q.>—,

N 1=1

к популяции / с вероятностью

Qj

р =-Л EQk

где

Qk >

1 N

^ .

N1=1

4. Выполнить миграцию в соответствии с полученной топологией.

Качество работы параллельно функционирующих популяций оценивается в соответствии со следующим выражением: 2 чсрш -шррш

^ = Е Е Нк - 1п^||, где Q¡ -^ 1 1 к=1 /=к+1

критерий качества 1-го параллельно функционирующего алгоритма; = Е ПП^Л - коли-

j=l к=1 /=1

чество глобально Парето-оптимальных индивидов в популяции 1-го алгоритма; - количество

Парето-оптимальных индивидов в популяции 1-го алгоритма; - количество параллельно функ-

ционирующих алгоритмов;

. !М = [0, при 1ndj <т^ ; = 11 -------- ,

1, иначе

где - 1-й недоминируемый индивид Л-го алгоритма; | - метрика в пространстве индивидов.

При = 1: Q¡ = Е dj Е 1, при

Л=1

=0: Q¡ =к. Е Qj / Е 1, где к - коэф-

Л=1

Л=1

фициент участия «плохих» алгоритмов.

Разработанная программная система предоставляет пользователю возможности:

- устанавливать и изменять в ходе работы программы параметры ГА при настройке весов связей ИНС, а также при выборе эффективной структуры ИНС (объем популяции, генетические операторы, количество итераций и т.д.);

- устанавливать параметры ПГА (топологию связи между субпопуляциями, скорость и схему миграции, а также миграционный интервал);

- отслеживать в ходе работы программной системы построение графиков пригодности лучшего и худшего индивидов популяции, а также средней пригодности популяции при настройке весов ИНС;

- отслеживать в ходе работы программной системы количество недоминируемых индивидов популяции, а также построение графиков средней пригодности популяции и пригодности худшего индивида популяции при выборе эффективной структуры ИНС.

Разработанная программная система была использована для выбора эффективной структуры ИНС, а также весов связей при решении практической задачи моделирования процесса рудно-термической плавки [3]. Размерность вектора входных воздействий на процесс и вектора выходных параметров равна 10. Для проведения экспериментов использовалась выборка из 47 точек. Вычислительные эксперименты проводились в сети из пяти однотипных персональных компьютеров с процессорами АМоп64 3200+.

При решении задачи были выбраны следующие параметры многопопуляционного ПГА: размер популяции - 20 индивидов; количество поко-

Аппроксимация Парето-оптимального фронта для задачи моделирования процесса рудно-термической плавки

N

N1 >2

N

N

N1 01 >1

N1 01>1

к

лений - 30; турнирная селекция (3 индивида в турнире); равноточечная рекомбинация; средняя мутация; максимальное количество скрытых нейронов - 10; скорость миграции - 2 индивида; синхронная миграция с интервалом в 3 поколения; схема миграции - для перемещения случайным образом отбираются недоминируемые индивиды; замещаются индивиды с наименьшим значением функции пригодности.

В результате решения данной задачи была получена аппроксимация Парето-множества - множество из 16 нейросетевых моделей с ошибкой настройки от 3,42 до 3,74 % и вычислительной сложностью, лежащей в пределах от 357,04 до 369,27. Приближение фронта Парето на последнем поколении ГА показано на рисунке.

Таким образом, полученные результаты свидетельствуют об эффективности применения

предложенного модельно-алгоритмического и программного обеспечения к решению задач ней-росетевого моделирования. Разработанная система автоматизации проектирования ИНС многокритериальными ПГА позволяет значительно ускорить процесс построения нейросетевых моделей, повысить их качество и предоставить возможность выбора нейросетевой модели из множества альтернатив, исходя из требуемой точности и имеющихся вычислительных ресурсов.

Литература

1. Гладков Л.А., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. М.: Физматлит, 2006. 320 с.

2. Cantu-Paz E. Designing scalable multi-population parallel genetic algorithms // IllGAL Report 98009. The University of Illinois, 1998, pp. 82-122.

3. Гонебная О.Е. Экспертная система рудно-термической плавки: дисс. ... канд. технич. наук. Красноярск: ГУЦМиЗ, 2004. 136 с.

ОТКРЫТОСТЬ СТРУКТУР В ЭВОЛЮЦИОННОЙ МОДЕЛИ ДАННЫХ

В.В. Дрождин, к.т.н. (Пензенский государственный педагогический университет им. В.Г. Белинского, [email protected])

Рассмотрена проблема открытости структур данных в эволюционной модели данных и предложены методы реализации открытости структур как вверх до формирования единой структуры данных локальной системы, так и вниз до байтов и битов, имеющих, по крайней мере, конструктивную семантику.

Ключевые слова: самоорганизующаяся система, информационная система, модель данных, эволюционная модель данных, структура данных, преобразование структур данных, операции над структурами данных, семантика данных.

Эволюционная модель данных (ЭМД) предназначена для создания активных самоорганизующихся информационных сред (СИС), способных самостоятельно поддерживать информационные модели с высокой степенью адекватности отражаемой предметной области в течение длительного времени. Это требует наличия в ЭМД очень мощных средств для организации информации об объектах различной структуры и сложности и возможности формирования представлений объектов с требуемой степенью детализации, включающих обобщенные (укрупненные, интегральные) показатели.

В [1] на основе системного подхода определяется пятислойная организация данных локальных систем. Эта организация данных является достаточно гибкой и может быть адаптирована для создания СИС. При этом различают структуры Si, являющиеся целостными объектами-системами и представляющие один объект 1-го уровня, и структуры Ri, являющиеся множествами допустимых структур S1 [2].

В таблице приведены слои организации данных локальной системы с их описаниями.

Номер слоя Струк туры слоя Описание структур Отношения между данными Ограничения на данные

0 S0, R0 Абстрактный тип данных - -

1 S1, R1 Допустимое подмножество абстрактного типа данных Ограничения на атомарные данные

2 S2, R2 Структура с жесткими (логическими) связями Отношения (взаимосвязи) между данными типа функциональных и многозначных зависимостей Ограничения на наличие и определен-ность ключей и др.

3 S3, R3 Структура, представляющая совместно используемые данные Отношения, определяющие совместное использование данных Ограничения на совместное использование данных

4 S4, R4 Структура, представляющая всю совокупность данных локальной системы Отношения, определяющие автономную совокупность данных Ограничения на автономность данных