Сравнительный анализ архитектур логических нейронных сетей для классификации бинарных векторов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.8:519.688

В. П. Фокин, С. П. Дударов*

Российский химико-технологический университет им. Д. И. Менделеева, Москва, Россия 125480, Москва, ул. Героев Панфиловцев, д. 20 * e-mail: [email protected]

СРАВНИТЕЛЬНЫЙ АНАЛИЗ АРХИТЕКТУР ЛОГИЧЕСКИХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ КЛАССИФИКАЦИИ БИНАРНЫХ ВЕКТОРОВ

Проведён сравнительный анализ трёх архитектур логических нейронных сетей для решения задачи классификации бинарных векторов. Наилучшие результаты показала сеть, составленная из элементов полного функционального набора. Эффективность логических нейронных сетей поставлена под сомнение ввиду громоздкости их структуры.

Ключевые слова: логическая нейронная сеть; классификация образов; генетический алгоритм обучения.

Задача классификации - это задача однозначного определения класса для нескольких не пересекающихся множеств. Классификация лежит в основе распознавания образов. Например, одна и та же буква, изображённая разными шрифтами или почерками, принадлежит одному определённому классу. Зачастую задача классификации не может быть даже однозначно формализована, что затрудняет ее решение. Особую актуальность она приобретает при большом количестве характеристик, по которым выносится решение и принадлежности к тому или иному классу. В этих случаях с успехом применяются искусственные нейронные сети, которые отличает уникальная способность к самоорганизации и возможность тонкой настройки обучения.

Данная работа посвящена исследованию различных архитектур логических нейронных сетей, возможности их использования для решения задач классификации образов, закодированными бинарными векторами. Рассматривались архитектуры КМ-, КИМ-и ПФН-сетей. Структура нейроноподобного КМ-элемента рассмотрена в работе [1]. Он представляет собой функциональный оператор для двух входных бинарных векторов, к которым применяются операции кроссовера и мутации, заимствованные из генетических алгоритмов. КМ-сеть составлена полностью из таких элементов.

Также в работе рассматривалась КИМ-сеть, составленная из КИМ-элементов. Они представляют собой развитие предыдущего типа элементов с добавлением генетической операции инверсии. Её наличие позволяет реализовать побитовый сдвиг в обрабатываемых векторах, что бывает очень важно при решении задачи классификации отдельных образов.

Третья архитектура - ПФН-сеть - составлена из элементов полного функционального набора (рис. 1). Как и предыдущие, она является сетью прямого распространения логических (бинарных) сигналов [2].

Количество входов данной сети равно количеству бинарных признаков, по которым различаются образы. Сеть содержит два скрытый слоя: инверсий и конъюнкций. В первом из них число нейронов равно числу входов. Его основное назначение - представить инвертированные входы сети для подачи во второй скрытый слой. Кроме них, на входы второго скрытого слоя также поступают, минуя первый слой, входные сигналы сети. Второй скрытый слой - слой конъюнкций. Выходной слой - слой дизъюнкций, количество элементов в котором равно длине выходного вектора. Элементы связываются между собой послойно, однако состав этих связей определяется в процессе обучения. В отличие, например, от многослойных перцептронов, где нейроны связаны по принципу «каждый с каждым», в ПФН-сетях связи выборочные.

Входы сети

И ИЛИ

И ИЛИ

И ИЛИ

Слой Слой Слой

инверсий конъюнкций дизъюнкций

Рис. 1. Структура нейронной сети ПФН

yn

Выходы сети

Алгоритмы обучения логических нейронных сетей, являющихся по своей сути бинарными, реализуют направленный поиск [2] и стохастический поиск [1]. Возможны также реализации смешанного направленно-стохастического поиска [3]. При исследовании в рамках данной работы для обучения всех сетей использовался бинарный генетический алгоритм. В КМ- и КИМ-сетях объектом обучения были вектора-маски мутации, инверсии и кроссовера в соответствующих элементах, а в сети на основе ПФН - бинарные признаки наличия связей между нейронами соседних слоёв, определяющие всю структуру сети. Для обучения использован базовый репродуктивный план с добавлением стратегии «свежей крови» [4].

Алгоритм обучения реализован на языке программирования С++. Для повышения быстродействия использованы методы

параллельного программирования на основе стандарта ОрепМР. Использование директив данного стандарта позволяет, не нарушая структуру кода, использовать все ядра многоядерного процессора. Наибольшее сокращение времени обучения нейронных сетей было получено преимущественно при распараллеливании циклов сортировки и поиска элементов.

Для решения тестовой задачи классификации использована выборка из 64 примеров, относящихся

к 16 различным классам образов. Это специально выбранный наиболее сложный случай для 4-битовых выходных векторов. Структура ПФН-сети включала 8 входных признаков, 8 и 512 нейронов в первом и втором скрытых слоях соответственно, 4 нейрона в выходном слое.

В результате обучения различных нейронных сетей установлено:

1. Самая низкая классифицирующая мощность наблюдалась для КМ-сетей, самая высокая - для ПФН-сетей (распознавание 100 % классов образов и обучающих примеров), что объясняется отсутствием любых структурных и логических ограничений для сетей на основе элементов ПФН.

2. Имеет место нелинейный, многоэкстремальный характер зависимости эпох до полного обучения от объёма выборки, что связано с различной скоростью поиска оптимальных структур и весов с помощью генетического алгоритма для классов, различающихся численностью входящих в них примеров.

Таким образом, логические нейронные сети в действительности могут использоваться для решения задач классификации бинарных образов, однако в виду громоздкости их структуры, эффективность данных архитектур вызывает сомнения.

Фокин Василий Павлович, студент 4 курса бакалавриата факультета Информационных технологий и управления РХТУ им. Д. И. Менделеева, Россия, Москва.

Дударов Сергей Павлович, к.т.н., доцент кафедры Информационных компьютерных технологий, декан факультета Информационных технологий и управления РХТУ им. Д. И. Менделеева, Россия, Москва.

Литература

1. Фокин В. П. Структура, генетический алгоритм обучения и изучение вычислительной способности нейроноподобного КМ-элемента/ В. П. Фокин, С. П. Дударов. - Успехи в химии и химической технологии: сб. науч. тр. Том XXIX, № 4. - М.: РХТУ им. Д. И. Менделеева, 2015. - С. 16-18.

2. Барский А. Б. Логические нейронные сети/ А. Б. Барский. - М: Интернет-университет информационных технологий, 2007. - 352 с.

3. Морунов Е. С. Гетероассоциативная искусственная нейронная сеть: задачи, элементы, структура и алгоритм обучения/ Е. С. Морунов, С. П. Дударов. - Успехи в химии и химической технологии: сб. науч. тр. Том XXIX, № 4. - М.: РХТУ им. Д. И. Менделеева, 2015. - С. 9-11.

4. Дударов С. П. Математические основы генетических алгоритмов: учеб. пособие/ С. П. Дударов. - М.: РХТУ им. Д. И. Менделеева, 2012. - 56 с.

Fokin Vasiliy Pavlovich, Dudarov Sergey Pavlovich*

D. Mendeleev University of Chemical Technology of Russia, Moscow, Russia * e-mail: [email protected]

COMPARATIVE ANALYSIS OF ARCHITECTURES OF LOGICAL NEURAL NETWORKS FOR BINARY VECTOR CLASSIFICATION

Abstract

Comparative analysis has been carried out for three architectures of logical neural networks when task solution of binary vector classification. Neural network consisted of full functional set shows best results. However, effectivity of logical neural networks was questioned because of cumbersome their structure.

Key words: logical neural network; image classification; genetic algorithm of training.