CC BY
112
6. Gayadhar P., Sidhartha P., Ardil C. Hybrid Neuro Fuzzy Approach for Automatic Generation Control of Two-Area Interconnected Power System // International Journal of Computational Intelligence 5:1. - 2009.
7. Petru R., Emil M. Behavior-Based Neuro-Fuzzy Controller for Mobile Robot Navigation // IEEE Transactions on instrumentation and measurement. - 2003. - Vol. 52, № 4.
8. Ranadhir G.A Novel Hybrid Learning Algorithm for Artificial Neural Networks // School of Information Technology. - 2002. - P. 214.
9. Leu Y., Wei Y., Hsum L. RGA-based on-line tuning of BMF fuzzy-neural networks for adaptive control of uncertain nonlinear systems // Neurocomputing. - 2009. - № 72. - P. 2636-2642.
10. Stefan S. Optimizing a production process by a neural network/genetic algorithm approsh // Egngn Applic. Artif. Intell. - Vol. 9, № 6. - P. 681-689.
11. Ярушкина Н.Г. Основы теории нечетких и гибридных систем: Учеб. пособие. - М. : Финансы и статистика, 2004. - С. 320.
12. Финаев В.И., Молчанов А.Ю. Метод моделирования самонастраивающихся систем управления // Известия ТРТУ. - 2004. - № 8 (43). - С. 45-49.
13. Курейчик В.М. Модифицированные генетически операторы // Известия ЮФУ. Технические науки. - 2009. - № 12 (101). - С. 7-15.
14. Курейчик В.В., Курейчик В.М., Родзин С.И. Концепция эволюционных вычислений, инспирированных природными системами // Известия ЮФУ. Технические науки. - 2009. - № 4 (93). - C. 16-24.
Бублей Сергей Евгеньевич
Технологический институт федерального государственного автономного
образовательного учреждения высшего профессионального образования «Южный
федеральный университет» в г. Таганроге.
E-mail: fin_val_iv@tsure.ru.
347928, г. Таганрог, пер. Некрасовский, 44.
Тел.: 88634371689.
Кафедра систем автоматического управления; аспирант
Bubley Sergey Evgehievich
Taganrog Institute of Technology - Federal State-Owned Autonomy Educational
Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: fin_val_iv@tsure.ru.
44, Nekrasovskiy, Taganrog, 347928, Russia.
Тел.: +78634371689.
The Department of Automatic Control Systems; Postgraduate Student.
УДК 004.89
А.В. Козоброд, В.Е. Мешков, Е.В. Мешкова
АНАЛИЗ АРХИТЕКТУР ГИБРИДНЫХ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ В ЗАДАЧАХ АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ ТЕКСТОВОЙ
ИНФОРМАЦИИ
Проанализированы ключевые моменты разработки архитектуры нейронной сети для гибридной модели с использованием семантических отношений в зависимости от способа их отражения на ассоциативной нейронной сети. Приводится анализ и выбор сетевой архитектуры, исходя из поставленных целей разработки системы классификации текстовых документов.
Гибридная нейросетевая архитектура; автоклассификация; семантические отношения.
A.V. Kozoborod, V.E. Meshkov, E.V. Meshkova
EXAMINE OF HIBRID NEURONET MODELS ARCHITECTURE FOR TASK OF TEXT AUTOCLASSIFICATION
In this article has been examined a key moments of neuronet’s creating for hibrid model which used semantic relations. Method of neuronet’s creating depend on presentation method of semantic relations in associative neuronet. The analysis and choice of network architecture, proceeding from objects in view of system engineering of classification of text documents is resulted.
Hibrid neuronet architecture; autoclassification; semantic relations.
В данной статье приводится анализ и выбор сетевой архитектуры, исходя из поставленных целей разработки системы классификации текстовых документов.
Задача анализа архитектуры гибридной нейросетевой модели, с последующим выбором ее составляющих, обусловлена особенностью моделируемой сети. В данном случае гибридная модель представляет собой нейронную сеть с заранее установленными семантическими отношениями, являющуюся более развитым аналогом описанной в работе [1].
Задача автоматической классификации относится к типу задач, для решения которых создается система, основанная на знаниях. В основном для классификации необходимы описательные, декларативные знания - знания о структуре, форме, свойствах объектов предметной области. Для них более применимы семантические сети и фреймы. Поэтому выражение свойств, связей объектов предметной области, и собственно о самих предметных областях (областях знаний) в разрабатываемой модели осуществляется семантическим средствами.
Исходя из этого, первоначально следует сделать выбор: отражаются ли семантические связи в виде специфических связей между нейронами (например, тормозящими и активизирующими), или они устанавливаются как либо иначе? Этот вопрос является ключевым, так как определяет не только выбор вида сети и нейронов в ней, но и сам принцип ее действия. Проблема отражения семантических связей в нейронных сетях достаточно обширна, однако собственно семантические связи реализованы в вычислительных сетях. Нас же больше интересует выражения их на ассоциативной нейронной сети, поэтому принимается решение о построении гибридной модели на базе обычной ассоциативной нейронной сети прямого распространения.
Таким образом, в разрабатываемой модели семантические связи отражаются не на архитектуре самой сети путем введения специфических связей, а в установленных отношениях между нейронами сети. В ней отсутствуют правила, извлечение смысла и собственно логические вычисления, передача возбуждения и структура аналогична ассоциативной нейронной сети. Однако, несмотря на это, сама гибридная нейронная сеть является описанием классов.
Можно условно представить уровни выражения связей в модели в виде иерархии со следующей точки зрения:
♦ нейронная сеть - уровень описания общей структуры системы, состоящей из объектов;
♦ семантическая сеть - уровень взаимодействия, отношений между объектами.
Семантической сетью обрабатываются объекты, отношения между объектами, нечеткие факторы уверенности и т.д., заранее установленные и четко определенные. Отдельные элементарные объекты представляются в виде отдельных нейронов. Более сложные объекты, образованные от элементарных объектов, будут представлены либо совокупностью этих объектов, либо будут абстрагированы до
нового элементарного объекта. Элементарные отношения между элементарными объектами представляются в виде связей между нейронами. Этот подход отражения объектов взят за основу в разрабатываемой сети, где каждый нейрон имеет свое значение.
Для реализации гибридной модели была выбрана полносвязная нейронная сеть прямого распространения. Выбор полносвязной архитектуры обусловлен тем, что каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы передаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. Так как в данной гибридной модели присваивается собственное значение каждому нейрону, то именно на основе полносвязной сети можно связать друг другом любые нейроны, исходя из их смысловых отношений. Вид отношений в дано случае не учитывается.
Выбрана многослойная нейронная сеть, входящие в слои нейроны связаны между собой иерархически: нейроны первого слоя связаны отношением «входит в» с нейронами второго слоя, а они, в свою очередь, с нейронами третьего слоя (классами).
Таким образом, семантические отношения в данной модели выражаются двояко:
♦ в виде отношения подчиненности между нейронами различных слоев;
♦ в виде установленных смысловых отношений между нейронами одного слоя.
Нейроны первого слоя передают друг другу сигнал, и возбуждают нейроны второго слоя, находящиеся на более высоком уровне иерархии. Так, слова, содержащиеся в тексте, связываются с более общим «понятием предметной области».
В данной модели семантические, смысловые связи отраженны на ассоциативной нейронной сети, что дает возможность использовать преимущества ассоциативной нейронной сети. Поэтому главной задачей является поиск такой архитектуры сети, которая позволяет выделять собственные закономерности и обучаться, и использовать возможности семантических связей при создании «семантического образа» области знания, раздела классификации или поискового запроса. С этой целью проанализированы различные варианты создания гибридной ней-росетевой модели, ее архитектуры исходя из различных задач слоев и способов их решения.
Слои несколько различны в модели, так как выполняют разные задачи, и анализ возможных вариантов проводился именно с этой точки зрения.
Задачей первого слоя является выявления в тексте терминов предметной области, связанных с ее ключевыми понятиями, и их обнаружение, даже если они явно не присутствуют в тексте. По сути, предпринимается попытка обнаружения понятия, исходя из его смысловых связей.
В нем используется заранее установленные семантические отношения между нейронами, отраженные в матрице инцидентности [2]. Первый слой содержит N нейронов, соответствующих количеству слов словаря. Также его нейроны связаны со нейронами второго слоя, исходя из смысловых отношений.
Задачей второго слоя является уточнение образа предметной области с помощью ассоциативной нейронной сети. Поэтому хотя оба слоя сети являются полносвязными, их содержание отличается.
Выбор параметров второго слоя, количества входящих в него нейронов, а также наличия скрытых слоев более сложен и зависит от выбора формирования образа предметной области.
Возможны три варианта:
1. Вариант I. Второй слой является аналогом первого. Возбуждаемые в нем с помощью смысловых связей понятия обращаются к третьему слою (содержащему классы), в зависимости от количества обращений принимается решение о принадлежности текста к классу.
2. Вариант II. Второй слой является аналогом первого, однако в нем реализуется обучение, путем установления прямых смысловых связей между нейронами этого слоя, полученных на основе обучающих выборок с различными текстами. Данный тип обучения трудно отнести к какому-либо определенному типу.
3. Вариант III. Обучение реализуется с помощью скрытого слоя, для которого второй слой является входным. На вход скрытого слоя подается вектор, состоящий из слов текста и обнаруженных с помощью первого слоя ключевых понятий предметной области. Обучение скрытого слоя (слоев) осуществляется обычным способом для ассоциативных нейронных сетей, например обучением с учителем, поскольку класс текстов заранее известен. Выходным является слой 3 (за нейронами которого закреплены области знаний, классы).
Исходя из выбранного варианта, различны способы определения количества нейронов в слое. Для первых двух вариантов он определяется как N+М,, где N - количество слов в словаре, М - количество обобщенных, комплексных понятий, не входящих в словарь первого слоя.
Для варианта III, помимо этого, осуществляется также расчет количества нейронов скрытого слоя, выбор типа передачи возбуждения, выбор типа обучения, а также всех необходимых параметров слоя - так, как это обычно определяется для ассоциативной нейронной сети.
В общем, для нейронной сети выбран тип частично полносвязной многослойной сети без обратных связей, за исключением отдельно рассмотренных вариантов. Сеть без обратных связей, в которой нейроны входного слоя получают входные сигналы, преобразуют их и передают друг другу, а затем нейронам второго слоя, и так далее до выходного третьего, который выдает выходные сигналы и классифицирует текст.
Обратные связи отсутствуют, поскольку на начальном этапе связи в гибридной сети устанавливаются семантически, а на этапе преобразования в ассоциативную нейронную сеть проводится обучение по образцам с заранее известной областью знаний - для первого слоя, и второго слоя в вариантах I, II.
Для скрытых слоев, предполагаемых в варианте III, должны быть использованы обратные связи, так как обучение проводится на подборках документов с заранее известным классом, и его цель - уточнить образ предметной области. Аналогично и для третьего варианта реализации слоя 3, рассмотренного ниже.
Что касается 3 слоя, то его нейронам соответствуют различные классы (предметные области), с которыми связаны нейроны слоя 2. Здесь также возможны различные варианты реализации 3 слоя, зависящие от способа формирования классов и выбора формирования образа предметной области (рассмотренных выше вариантов создания второго слоя). Третий слой является выходным.
На данный момент рассмотрены следующие варианта реализации 3 слоя:
1. Количество нейронов 3 слоя соответствует количеству классов (для данной модели, «областей знаний»). Он же является выходным. Понятия
предметной области, закрепленные за нейронами слоя 2, соотносятся с какой-либо областью знаний. Область знаний, к которой относится наибольшее количество понятий, т.е. нейрон слоя 3, получивший наибольшее количество обращений к входящим в него понятиям, и соответственно наибольший уровень сигнала, и есть требуемый класс. Исходя из структуры сети при выборе вариантов I, II этот вариант достаточно легко реализуем.
2. Аналогично, для варианта III третий слой также является выходным, количество нейронов 3 слоя соответствует количеству классов, однако принадлежность к классу устанавливается путем обучения скрытых слоев (как было описано выше).
3. Количество нейронов слоя 3 соответствует подклассам, входящим в различные классы. Выходные векторы - классы, состоящие из нейронов-подклассов (нейронов, за которыми закреплены какие-либо области знаний, которым соответствуют понятия 2 слоя).
Таким образом, обучением закрепляется соответствие входному набору понятий (слой 2) выходного набора подклассов. За каждым набором подклассов закреплен какой-либо класс.
Очевидно, что входной набор понятий (т.е. нейронов 2 слоя) будет различен, в зависимости от выбора варианта создания второго слоя. Входной набор нейронов в данном случае зависит от выбора способа формирования образа предметной области (соответственно, вариантов I или II).
Такой способ может уточнить классификацию, но является значительно более трудоемким. В то же время, именно этот способ позволит лучше использовать свойства ассоциативной нейронной сети.
Как и в случае варианта III, здесь обучение реализуется с помощью скрытого слоя, для которого второй слой является входным. Аналогично, осуществляется расчет количества нейронов скрытого слоя, всех необходимых параметров слоя, параметров алгоритма обучения (в данном случае, обучения с учителем).
Нужно также обратить внимание на следующий момент. В разрабатываемой модели есть возможность формировать собственные классы, исходя из предоставленных выборок, создавать классы «по подобию» отобранных документов, не относя их к какому-либо классу. Для реализации данной функции может быть использован вариант II создания второго слоя, при этом в третьем слое формируемым классам должны соответствовать «пустые» нейроны.
В представленной гибридной модели в большинстве случаев практически не производился выбор существенных для решаемой задачи признаков и формирование признаковых пространств.
Исходя из предложенных вариантов создания гибридной нейросетевой модели, возможно создание сетей с различными архитектурами, по-разному решающими поставленную задачу поиска оптимальной структуры. Выбирая архитектуру гибридной нейросетевой модели, представляется особенно интересной реализация вариантов II и III создания второго слоя, поскольку они воплощают различные принципы формирования предметной области.
В перспективе авторы предполагают испробовать различные комбинации представленных подходов с целью сравнить их эффективность для классификации текстовых документов.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Мешкова Е.В. Методика построения классификатора текста на основе гибридной нейро-сетевой модели // Известия ЮФУ. Технические науки. - 2008. - № 4 (81). - С. 212-215.
2. Мешкова Е.В. Разработка гибридной нейросетевой модели для автоматической классификации текста // Информационные системы и технологии. Теория и практика: сб. науч. трудов / Под редакцией А.Н. Береза. - Шахты: Изд-во ЮРГУЭС, 2008. - С. 96-113.
Козоброд Андрей Вячеславович
Волгодонский институт сервиса.
E-mail: neasea.ak@gmail.ru.
347375, г. Волгодонск, ул. Черникова, 6.
Тел.: +79281574449.
Кафедра информатики; аспирант.
Мешков Владимир Евгеньевич
E-mail: vmhome@rambler.ru.
Тел.: +79081927613.
Кафедра информатики; к.т.н.; профессор.
Мешкова Екатерина Владимировна
E-mail: namy_@rambler.ru.
Кафедра информатики; к.т.н.; доцент.
Kozobrod Andrej Vyacheslavovich
Volgodonsk Institute of Service.
E-mail: neasea.ak@gmail.ru.
6, Chernikova Street, Volgodonsk, 347375, Russia.
Phone: +79281574449.
Department of Informatic; Postgraduate Student.
Meshkov Vladimir Evgen’evich
E-mail: vmhome@rambler.ru.
Phone: +79081927613.
Department of Informatic; Cand. of Eng. Sc.; Professor.
Meshkova Ekaterina Vladimirovna
E-mail: namy_@rambler.ru.
Department of Informatic; Cand. of Eng. Sc.; Associated Professor.
УДК 681. 51;681.52
В.В. Борисов, А.А. Бошляков, Д.А. Иванов, А.Ю. Лебедев
РЕАЛИЗАЦИЯ НЕЙРОСЕТЕВОГО РЕГУЛЯТОРА ДЛЯ УПРАВЛЕНИЯ
ПЬЕЗОДВИГАТЕЛЕМ
Описывается нейросетевой регулятор для перспективного пьезоэлектрического привода для робототехнических комплексов. Нейросетевой регулятор синтезируется в три этапа: формируется обучающее множество, выбирается структура регулятора, проводится настойка его весовых коэффициентов. Для экспериментальной проверки полученных теоретических результатов разрабатывается макет мехатронного пьезоэлектрического модуля. Проведенные экспериментальные исследования подтвердили эффективность принятых решений.
Нейронная сеть; пьезодвигатель; универсальный микроконтроллер; нейросетевой регулятор; робототехника.
