Научная статья на тему 'О проблематике моделирования нейронных сетей произвольной архитектуры'

О проблематике моделирования нейронных сетей произвольной архитектуры Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
135
23
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Истомина Ю.А.

Рассматривается круг проблем, возникающих в процессе нейросетевого моделирования. Описываются существующие подходы к их решению. Обосновывается целесообразность применения генетических алгоритмов для расширения возможностей разработанного программного обеспечения, автоматизирующих проектирование нейросетевых моделей.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

PROBLEMS IN MODELING NEURAL NETWORKS sphere

The results of created software for neural network modeling are covered. The problems of algorithms and methods used in new software are pointed out. The ways to solve these problems are suggested. More solutions will be investigated and added by the next version of the software.

Текст научной работы на тему «О проблематике моделирования нейронных сетей произвольной архитектуры»

Информационные системы и технологии

Система обладает широкими возможностями по настройке. Она позволяет добавлять, изменять и удалять параметры на любом из трех уровней, редактировать именования уровней, несмотря на то что их число фиксировано, редактировать текст рекомендаций.

Кроме обработки объективных данных, в системе предусмотрена возможность работы с субъективными данными, которые формируются на основе анализа самостоятельной работы пациентов с предлагаемыми опросными листами по оценке качества их жизни. Формат опросных листов фиксирован международным стандартом С1У^, содержащим 20 вопросов. Вопросы разбиты на четыре группы: психологические, болевые, физические и социальные проявления. Ответ на каждый из вопросов выражается в виде числа от 1 до 5. Результат каждого опроса вычисляется системой и включает в себя общую сумму баллов,

количество учтенных вопросов, а также промежуточные суммы по группам.

Результаты всех опросов хранятся в базе данных. Любой опросный лист может быть экспортирован в MS Word.

Программное обеспечение системы реализовано в среде разработки VisualStudio 2008 на языке C#, а в качестве системы управления базами данных используется MySQL 5.1, которая поставляется пользователям бесплатно.

Реализация медицинской информационной системы позволила автоматизировать деятельность врачей и значительно сократить объем бумажной работы и арифметических расчетов. Определение стадии заболевания и выдача рекомендаций дает возможность быстро анализировать результаты проведенных обследований и принимать верное решение о тактике лечения.

L. V. Ivlieva

Samara State Aerospace University named after academician S. P. Korolyev (National Research University), Russia, Samara

DEVELOPMENT OF AUTOMATED PHLEBOLOGIST WORKPLACE

The urgency of the problem of venous insufficiency is considered. The parameters and methods of examination are described. Result is a system that represents a workstation of a phlebologist. The system is designed according to the domain analysis and it is tested by clinics of Samara State Medical University.

© Ивлиева Л. В., 2012

УДК 004.032.26

Ю. А. Истомина

Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Россия, Красноярск

О ПРОБЛЕМАТИКЕ МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ ПРОИЗВОЛЬНОЙ АРХИТЕКТУРЫ

Рассматривается круг проблем, возникающих в процессе нейросетевого моделирования. Описываются существующие подходы к их решению. Обосновывается целесообразность применения генетических алгоритмов для расширения возможностей разработанного программного обеспечения, автоматизирующих проектирование нейросетевых моделей.

Сегодня нейросетевое моделирование очень популярно и используется для решения сложных задач классификации, аппроксимации, распознавания образов, прогнозирования и пр. Для построения нейросе-тевой модели необходимо решить две основных задачи: выполнить настройку весовых коэффициентов и осуществить подбор наилучшей структуры нейронной сети. Веса, как правило, настраиваются с помощью выбранного алгоритма обучения, а архитектура подбирается исходя из опыта специалиста по проектированию нейронных сетей. Поэтому решение задачи автоматического подбора архитектуры нейронной

сети, несомненно, актуально, поскольку оно позволит расширить возможности применения на практике инструментария нейронных сетей.

Автором разработано программное обеспечение для проектирования нейронных сетей NetworkModeler, предназначенное для настройки архитектуры полносвязной нейронной сети с прямым распространением сигнала и реализующее обучение алгоритмом обратного распространения ошибки и автоматический подбор архитектуры путем полного перебора с распределением вычислений на несколько потоков.

Решетневскце чтения

Однако несмотря на то что полносвязные нейронные сети обладают значительной вычислительной мощностью, процесс их обучения может оказаться достаточно долгим. Кроме того, для решения некоторых задач требуются сети произвольной архитектуры. При этом сам алгоритм обратного распространения ошибки применяется только для сетей послойной архитектуры и имеет следующие недостатки:

- в процессе обучения значения весов в результате корректировки могут стать очень большими величинами и собственно процесс обучения может практически замереть;

- алгоритм является градиентным и может найти не глобальный, а локальный минимум ошибки обучения;

- размер коррекции весовых коэффициентов должен быть бесконечно малой величиной, что трудно реализовать на практике;

- нейронная сеть должна обучаться на всем обучающем множестве и обучение будет неэффективным при постоянно меняющейся внешней среде.

Помимо послойной нейронной сети прямого распространения с обучением ее алгоритмом обратного распространения ошибки на практике активно применяются и другие архитектуры (как правило, специализированного назначения), а также соответствующие им методы обучения, например:

- рекуррентные нейронные сети, в которых сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на входы нейронов входного слоя;

- радиально-базисные функции - нейронная сеть, имеющая скрытый слой из радиальных элементов и выходной слой из линейных элементов;

- самоорганизующиеся карты или сети Кохонена, обучающиеся без учителя и обычно применяемые при решении задач классификации с целью визуализации многомерных данных. Сети такого класса также способны выявлять новизну во входных данных.

Также следует отметить, что использование алгоритма полного перебора для подбора структуры ней-

ронной сети (количества слоев и нейронов в слоях, их активационных функций, наличия связей между конкретными нейронами) требует больших затрат времени.

Поэтому при программной реализации выполнялось не более 50 шагов обучения.

Для повышения эффективности подбора наилучшей архитектуры существуют два подхода:

- деструктивные алгоритмы изначально задают сеть большего объема и удаляют малозначимые нейроны и связи до тех пор, пока ошибка нейросети будет увеличиваться значительно;

- конструктивные алгоритмы постепенно наращивают некоторую малую по объему структуру, которая обучается, и в случае удовлетворительной ошибки обучения останавливаются на полученной конфигурации сети.

С математической же точки зрения настройка весов и подбор архитектуры искусственной нейронной сети - это многопараметрические оптимизационные задачи.

Для решения таких задач успешно применяются генетические алгоритмы, которые:

- подходят для формирования нейросетевых моделей с произвольной структурой;

- обеспечивают глобальный просмотр пространства решений и позволяют избегать локальных минимумов;

- могут использоваться в задачах, для решения которых информацию о градиентах получить очень сложно либо она оказывается слишком дорогостоящей;

- потенциально обладают свойством массового параллелизма, что упрощает распараллеливание вычислений для повышения быстродействия работы алгоритма.

Таким образом, была выявлена необходимость в более глубоком изучении и программной реализации различных аспектов применения генетических алгоритмов для автоматизированного создания искусственных нейронных сетей произвольной архитектуры.

Yu. A. Istomina

Siberian State Aerospace University named after academician M. F. Reshetnev, Russia, Krasnoyarsk

PROBLEMS IN MODELING NEURAL NETWORKS SPHERE

The results of created software for neural network modeling are covered. The problems of algorithms and methods used in new software are pointed out. The ways to solve these problems are suggested. More solutions will be investigated and added by the next version of the software.

© Истомина Ю. А., 2012

i Надоели баннеры? Вы всегда можете отключить рекламу.