Синтез архитектуры нейронной сети для прикладной задачи Текст научной статьи по специальности «Компьютерные и информационные науки»

Известия ТРТУ

Тематический выпуск

f = Ле w2

имеющая внутренний слой, ширина и положение которого определяется параметрами w и х0. Изменяя значения этих параметров, удобно исследовать поведение и свойства адаптивной сетки при изменяющемся положении слоя.

Выбор узлов сетки {х,} осуществляется с помощью генетического алгоритма, который имеет следующие параметры: хромосомой является точка х,, а популяция представляет собой совокупность всех точек сетки { xi }. Размер популяции равен числу точек сетки (Л).

Функция качества каждой точки определяется численным градиентом аппроксимируемой функции в данной точке и вычисляется по формуле

f,mess( х,) = lf (х + h)-f (х~ h)|

При данном выборе функции качества алгоритм будет стремиться расположить точки сетки преимущественно в тех областях, где аппроксимируемая функция имеет . , нее включаются лишь те точки, у которых функция качества выше, чем у точек текущей популяции, а точки с низким "качеством" отбрасываются. При построении сетки используется параметр hmn - минимальное расстояние между точками сетки, необходимое для того, чтобы точки сетки не "слипались".

В работе показано, что предложенный метод может быть эффективно использован для построения адаптивных сеток для эволюционных задач, при этом эволюция функции может быть совмещена с эволюцией генетического алгоритма

Выявлен ряд особенностей генетического алгоритма в применении к данной задаче:

1. Существует возможность слипания точек, что ведет к необходимости исполь-

hmin.

2. Для эволюционных задач необходимо использовать кодировку gray coding вместо двоичной кодировки.

3. При больших скоростях движения пика требуется использование модифицированного минимального расстояния между точками сетки, позволяющего уменьшить ошибку аппроксимации и асимметрию.

Данный подход предполагается использовать при решении дифференциальных , . использование метода в многомерном случае.

Работа выполнена по гранту РФФИ 99-07-90229 и проекту Миннауки по теме №0201.03.297

(х - х0)

УДК 007:57+681.324

МЛ. Маркин

СИНТЕЗ АРХИТЕКТУРЫ НЕЙРОННОЙ СЕТИ ДЛЯ ПРИКЛАДНОЙ

ЗАДАЧИ

В данной работе рассматривается задача построения нейросетевого аппрок-симатора для прикладной задачи, представленной в виде таблично-заданной функции. В эту задачу входят как выбор подходящей архитектуры нейронной сети, так и обучение сети до достижения заданной точности аппроксимации. Не всякая нейронная сеть способна достичь требуемой точности аппроксимации даже при условии

Материалы Международной конференции

“Интеллектуальные САПР”

применения идеального алгоритма обучения; кроме того, для каждой прикладной задачи можно выделить ряд критериев оптимальности архитектуры нейронной сети (на, , сети с наименьшим количеством нейронов и связей между ними; для других задач оптимальными будут сети с наименьшим временем отклика). Существующие методы решения проблемы синтеза оптимальной для прикладной задачи архитектуры нейросети предполагают итеративный поиск в пространстве архитектур нейронных сетей, сопряженный с обучением сети на каждом шаге поиска. Общим недостатком подобных методов является их высокая вычислительная сложность, связанная с необходимостью многократного обучения сети.

В работе предлагается альтернативный подход к решению проблемы синтеза архитектуры нейронной сети для прикладной задачи, не требующий многократного обучения нейронной сети в процессе поиска подходящей архитектуры. В качестве вспомогательной рассматривается задача об оценке точности аппроксимации заданной функции нейронной сетью с заданной архитектурой. Используя эту оценку возможно применять различные варианты поиска в пространстве нейронных сетей (в том числе и с использованием генетических алгоритмов), заменяя обучение сети на каждом шаге рассмотрением оценки ее аппроксимационной способности.

Особое внимание в данной работе уделено задаче прогнозирования ошибки аппроксимации нейронной сети, достигаемой ею при обучении на заданной выборке. Основным инструментом для оценки точности аппроксимации заданной функции нейронной сетью являются статистические характеристики выборки - некоторые обобщенные характеристики выборки, описывающие "сложность" аппроксимации выборки с помощью нейронной сети. Анализ аппроксимационной способности нейронной сети с помощью статистических характеристик включает в себя построение (доя некоторого множества архитектур нейронных сетей) набора основанных на результатах экспериментов моделей зависимости аппроксимационной способности сетей от статистических характеристик выборок и вычисление (на основе построенных моделей) оценок точности аппроксимации для сетей из выбранного множества архитектур.

Приводится пример реализации представленной методики на примере сетей из класса персептронов с одним внутренним слоем и набора искусственных выборок. Полученные результаты демонстрируют высокую точность прогноза ошибки аппроксима-.

Также рассматривается вопрос влияния алгоритма обучения сети на точность прогноза ошибки аппроксимации; анализируется вопрос о применимости методов глобальной оптимизации для обучения нейронной сети.

УДК 681.518

И. В. Машечкин, М. И. Петровский

ЭКСПЕРИМЕНТАЛЬНАЯ СИСТЕМА ПРЕОБРАЗОВАНИЯ И ОПТИМИЗАЦИИ ПРОГРАММ

В настоящее время на кафедре АСВК факультета ВМК МГУ разрабатывается проект системы преобразования и оптимизации программ. Эта система, получая на вход в формализованном виде описание целевой архитектуры, текст программы на ис, , программы из исходного представления в целевое, в соответствии с заданными требованиями. Данное преобразование в общем случае является последовательностью пре-