CC BY
84
УДК 004.421.6
Е.В. Мешкова
МЕТОДИКА ПОСТРОЕНИЯ КЛАССИФИКАТОРА ТЕКСТА НА ОСНОВЕ ГИБРИДНОЙ НЕЙРОСЕТЕВОЙ МОДЕЛИ
Представленная в данной статье модель нейронной сети является попыткой найти гибридную архитектуру, в которой можно компенсировать недостатки семантической и ассоциативной нейронной сетевых парадигм для решения задачи автоматической классификации текста [1].
Исходя из сравнительного анализа семантических и нейронных сетей [2], , -ходов. Предложенная модель нейронной сети состоит из трех слоев, которые выстроены иерархически, обобщая первоначальные единицы текста (слова) в поня-, , , .
Первый слой содержит нейроны, которым присваиваются значения слов ( в дальнейшем - слова). Нейроны-слова связываются между собой на основе словарных определений понятий, в которые входят, и имеют прямые связи с соответст-- .
- .
Второй слой включает в себя нейроны как понятия, связанные с нейронами-словами первого слоя, которые входят в его определение, и с нейронами областей знаний (третий слой). Нейроны-иошигш принадлежат различным облас-.
Третий слой составляют нейроны как области знаний. За каждой областью знаний закреплены соответствующие им понятия, которые могут принадлежать одновременно нескольким областям знаний. Третий слой является выходным и , .
, , , знаний. Закрепление за нейроном конкретного значения (слова, понятия, области ) -дому нейрону, которому соответствует закрепленное за ним слово, понятие, об, . слоя создается своя библиотека.
Библиотека первого слоя включает в себя слова, за которыми закреплены , (
).
, , , библиотеке первого слоя и подаются на вход. Библиотеки второго и третьего слоя
, , ,
.
Закрепление отношений между нейронами внутри слоя, и с нейронами верхнего, по отношению к взятому, слоя, реализуется с помощью матриц смежности. Содержанию слоев сети соответствуют библиотеки, нейроны связаны между собой как внутри слоя, так и с нейронами верхнего, по отношению к взятому, слоя.
Построенная сеть представляет собой гибрид семантической и ассоциативной . , - ( -), . -бор смысловых связей и заранее установлены семантические отношения, отражен-
ные в матрицах смежности, приведенных ниже. В данной модели применены семантические сети на начальном этапе обучения ассоциативной нейронной сети [3].
Если структура и принцип построения сети являются семантическими, то способ передачи сигнала нейронами аналогичен ассоциативной нейронной сети [3].
Нейрон первого слоя построенной сети (на начальном этапе) имеет количест-, . -го синапса отражен в матрице весовых коэффициентов. Нейрон может, как прини-, .
Предложенная гибридная модель сети может быть представлена в виде графа, вершинами которого являются нейроны, а ребрами - установленные между ними связи, причем в виде графа представима, как вся сеть, так и отдельный слой. Следовательно, связи между нейронами, как внутри одного слоя, так и между нейронами разных слоев могут быть описаны матрицами смежности. Связи между нейронами первого слоя отражены квадратной матрицей VI размерности п*п, где п -количество нейронов первого слоя, элемент которой Ур характеризует связь /'-го нейрона с р'-м нейроном. Отношения между нейронами-словшш первого слоя и нейронами-ионяишялш второго слоя представлены матрицей смежности VI2 размерности пхда, где п - количество нейронов первого слоя, а т - количество нейронов второго слоя. Элемент матрицы VI2 у'у характеризует связь /-го нейрона-слова с р-м нейроном-ионяишаи. Наличие связи между нейронами считается установленным, если У'р= 1.
, - -
ду собой, поэтому матрица V не рассматривается. Отношения нейронов-ионяишй (второй слой) и нейронов-облас/ией знаний (третий слой) представлены в матрице V23 аналогичной матрицам VI и ^2.
Матрицы смежности могут быть скорректированы на основе нечетких мно-
,
разным определениям и областям знаний.
Далее на основании матриц смежности создаются матрицы весовых коэффициентов для каждого слоя, отражающие значения синапсов нейронов. Синапсы ( ) ,
, ( ). -даваемой модели входы и выходы равносильны, т.е. нейрон может, как принимать, так и передавать сигнал по своим связям. Каждой связи нейрона соответствует си, -совых коэффициентов для каждого нейрона, равной одному и тому же произвольно заданному числу. Таким образом, наиболее часто встречающиеся слова получают меньшее значение, так как с большой вероятностью являются стоп-словами. Подобный подход индексирования по частоте часто используется в статистических методах распознания и классификации текста.
Значения синапсов связанных между собой нейронов представлены матрицей весовых коэффициентов WI (р^мерности п*п, где п - количество нейронов первого слоя), элемент которой ч>1р характеризует вес /-го синапса р-го нейрона, где / -номер нейрона, р - номер входа данного нейрона. Элемент матрицы ч>1 р отражает силу связи /-го нейрона с р-м нейроном.
Как уже было отмечено, одно и то же слово может входить в определения .
Начальное возбуждение х, подаваемое на вход сети, принимается за единицу, далее сигнал передается с помощью активационной пороговой функции [4], аналогично передаче сигнала в нейронных сетях.
На начальном периоде обучения слова-определения, связанные между собой и входящие в определение одного понятия, зациклены друг на друга и посылают возбуждения соответствующему понятию благодаря не столько подстройке коэффициентов, сколько пороговой функции и самой структуре сети. На третьем этапе, когда осуществляется генерация новых весовых коэффициентов, изменяется коэффициент, влияющий на чувствительность функции, и повышается чувствительность сети к более слабым сигналам. Возбуждение передается по установленным , , сигнал, и весовой коэффициент связи. Сеть построена так, что на начальном этапе весовые коэффициенты минимально влияют на передачу сигнала от нейрона -слова
- - - .
На работу сети влияют также такие параметры, как пороговое значение, при котором нейрон передает возбуждение, количество тактов передачи возбуждения, значение перехода и стабилизации сигнала. В представленной модели данные параметры могут изменяться в процессе работы сети.
Пример работы сети. Понятию «изотоп» ставится в соответствие определение: «Нуклиды(9) с одинаковым(10) числом(11) протонов(12)», где каждое слово пронумеровано, и еще несколько понятий. Понятию «кварки» - определение: «фундаментальные(4) частицы(2) материи(5), из которых состоят(6) протоны(12) и нейтроны(13)».
, - - « »(9). -
рон 9 передает свое возбуждение (начшгьное возбуждение равно 1) связанным с ним нейронам 10, 11, 12. На первом такте нейрон 10 передает полу ченное возбуждение на 11 и 12. Полученное возбуждение умножается на вес синапса и суммируется [5], далее преобразуется пороговой активационной функцией /^) и идет на выход. Аналогично с нейронами 11, 12, которые также получили первоначальный сигнал от нейрона 9 и передают возбуждение с вязанным с ними нейронам. Задается пороговая величина Б, при значении /($) >Б сигнал не передается. В данном случае принимается Б = 0,5. На втором такте нейроны 10, 11 и 12 передают возбуждение друг другу, помимо этого нейрон 12 передал возбуждение не связанным с другими нейронам 2, 4, 5. Уже на 3 такте получается зацикливание связанных между собой нейронов друг на друга, в случае такого зацикливания возбуждение переда-2 « ». , 12 1 -2, 4, 5.
Из расчетов передачи сигналов нейронов видно, что активационная функция сильно увеличивает небольшой по значимости сигнал. Поэтому на втором этапе обучения сети ее параметры будут скорректированы, так как возникнет необходимость большего влияния со стороны весовых коэффициентов для сохранения установленных на этапе 1 связей. Если необходимо получить больше «родственных» , ,
.
Таким образом, на 1 этапе обучения (функционирования) сети выявляется количество в тексте специализированных терминов, порождающих зацикливание слов-определений и вызывающих обращение к слою понятий, а далее - к слою областей знаний или тематических разделов.
, -
ластей, в которых существует четкая, сложившаяся терминология, и для смежных
. , -
ется не только классификатором, но и, в некоторой степени, системой, выделяю-
щей ключевые темы, исходя из заложенной в текст терминологии. Эта же черта, а
также способность к выделению неявных ассоциаций [1, 3], отличает ее от классических статистических методов, частично использованных в модели. Отметим , -доемкий процесс обучения нейронной сети. Разработанная методика создания гибридной нейросетевой модели позволяет классифицировать текст на основе заложенной в текст терминологии и выделения неявных ассоциаций. Разработан алгоритм построения и функционирования гибридной нейросетевой модели, структура сети и ключевые параметры сети.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Меш кова ^Построение гибридной модели на основе семантической и ассоциативной сетевых парадигм. - Шахты: ЮРГУЭС, 2004.
2. Мешков В.Е.,Мешкова Е.В. Автоматическая классификация текстов на основе ассоциативных нейронных сетей // Материалы международ. научн.-практ. конф. «Информационные технологии и информационная безопасность в науке, технике и образовании» «ИНФОТЕХ - 2002» 30 сентября - 5 октября 2002г., Севастополь, Украина.
3. Мешкова Е.В.,Мешков В.Е. Применение семантических сетей на начальном этапе обуче-
//
«Анализ и синтез как методы научного познания». - Таганрог: ТРТУ, 2004, Ч. 3. - 76 с.
4. Круглое В.В.,Борисов В.В.,Харитонов ЕМ. Нейронные сети: конфигурации, обучение, применение. - Смоленск: Изд-во МЭИ, филиал в г. Смоленске, 1998.
5. Круглое В.В.,Борисов В.В. Искусственные нейронные сети. Теория и практика / 2-е изд., стереотип. - М.: Горячая линия-Телеком, 2002. - 382 с.
