CC BY
15УДК 681.3.06
ФОРМИРОВАНИЕ И КЛАСТЕРИЗАЦИЯ ПОНЯТИЙ НА ОСНОВЕ МНОЖЕСТВА СИТУАЦИОННЫХ КОНТЕКСТОВ
© Михайлов Д.В., Емельянов Г.М., Степанова H.A.
Новгородский государственный университет им. Ярослава Мудрого, Институт электронных и информационных систем ул. Б.С.-Петербургская,41, г.Великий Новгород, Россия, 173003
e-mail: Dmitry.Mikhaylov@novsu.ru
Abstract. The approach to the decision of a task of automatic formation of conceptual structure of the thesaurus of the Subject Area on the base of Natural Language's texts is represented. Authors consider (on a material of Russian) the method of revealing of Semantic Classes of concepts on the basis of syntactic contexts of words designating them.
Введение
Центральной задачей анализа смысла высказывания Естественного Языка (ЕЯ) является выделение класса Семантической Эквивалентности (СЭ) [1]. Наиболее известная система классов СЭ в ЕЯ определяется множеством правил синонимических преобразований ЕЯ-высказываний в рамках стандартных Лексических Функций [2]. В общем случае указанная система знаний строится на основе независимых текстовых описаний ситуаций (явлений) действительности выделением различающихся описаний одной и той же ситуации (явления). Далее ставится задача установления степени близости между синонимичными описаниями, но уже различных ситуаций (явлений) и формирования знаний о синонимии в виде прецедентов СЭ [3]. Такая постановка задачи приобретения и систематизации знаний о СЭ делает принципи™ ально возможным ее решение на ЭВМ как задачи таксономии знаний. Тем не менее, при независимом ЕЯ-описании одной и той же ситуации возникает проблема оценки адеквантности как формируемых знаний о синонимии, так и самих текстовых описаний ситуаций. Данная проблема особенно актуальна при распознавании частичных СЭ ЕЯ-высказываний. Наиболее естественным путем ее решения является автоматическое выделение и систематизация понятий заданной Предметной Области, значимых в описываемых ситvaпиях. непосредственно на основе описывающих текстов. Разработка математической модели процесса формирования понятийной структуры тезауруса на основе текстов предметно-ограниченной тематики для задач анализа СЭ сформулирована как основная цель настоящей работы.
1. Семантика синтаксиса как основа кластеризации
Идея предлагаемого решения основана на зависимости лексической сочетаемости слова от его Семантического Класса (СК) [1] в заданном ЕЯ. С СК отождествляется обозначаемое словом понятие (сущность, предмет, явление) реального мира. Поэтому справедливым будет предположить, что и сам СК слова может быть выявлен путем анализа сочетаний слова с другими словами в ЕЯ-текстах по тематике заданной Предметной Области.
В работе [1] нами рассматривалась сочетаемость предикатных слов — глаголов и их производных. Следует отметить, что для извлечения СК слова из набора текстов заданной тематики первостепенную роль играет контекст целевого слова. Наибольшую точность, как показывает практика, дают модели контекста на основе синтаксических связей в предложении [4, 8]. В работе [1] мы фактически рассматривали контекст предикатного слова, который определяется, в первую очередь, синтаксическими связями между предикатом и его семантическими актантами. Для формализации понятий Предметной Области, обозначающих участников тех или иных ситуаций, необходимо ввести в рассмотрение сочетаемость соответствующих существительных со словами, являющимися синтаксически главными по отношению к ним. Причем наряду с сочетаниями «актант-предикат» требуется учитывать произвольные сочетания существительных в тексте между собой (в том числе посредством предлогов).
Каждое выявляемое из текста понятие идентифицируется (в первую очередь) относительно заданного множества ситуаций. Поскольку сами ситуации обозначаются глаголами (либо их производными), наиболее преемлемым вариантом контекста для существительного дк, обозначающего некоторое выявляемое понятие, будет последовательность соподчиненных слов :
Зк = {ти...,т1,т1+Ъ...,тп{к),дк}, (1.1)
где ТП1 — глагол (отглагольное существительное), Упц € {тг,..., — некоторое суще-
ствительное. Причем между любой парой слов в (1.1) имеет место некоторое отношение синтаксического подчинения Кд (д — тип отношения, характеризуется падежом зависимого слова и предлогом для связи синтаксически главного слова с зависимым).
Введение в рассмотрение контекста (1-1) дает основание предположить наличие в тексте для Упц € {ш1,... ,тпп^)-1} последовательности Бы ф :
= {т1;9к}; (1-2)
в которой т1Щ9к. При этом обязательным является тщЩгщ+1 в (1.1). Будем называть последовательность вида (1.1) ситуационным контекстом для дк. В этом случае в совокупности с множеством | I = 1 ,п(к) — 1} последовательностей вида (1.2) определяют некоторые ситуации (либо ассоциируемые с ними понятия) относительно дк. Причем с любой из всегда связывается более абстрактное понятие (ситуация), чем с
Утверждение 6. При наличии = {шх,..., дк} (1-1) и = {тъ9к} (1-Ю 6
анализируемом тексте имеет место частичная СЭ (относительно дк).
Пример. «Характеристика сложности семейства алгоритмов» — «характеристика алгоритмов». Подобная СЭ может задаваться, в частности, Генитивной Конструкцией [4, 8]. Для сравнения : «сложность подсемейства модели» — «сложность модели».
Утверждение 7. При т,\Яят,2 возможно существование отношение Яя между т,\ и любым словом последовательности (1.1).
Действительно, реальные тексты Естественных Языков, в частности, русского, обладают тем свойством, что при наличии Кд : т^Кдт^ в последовательности вида (1-1) возможно установление данного отношения между т\ и \/ггц € {гпз,... ,тпп^}, а также между т\ и дк вне зависимости от уже существующих отношений между словами этой последовательности. Данное свойство следует из соотношения смыслов соподчиненных слов. При этом для установления т^Кдт^ (либо т\В,ядк) каждое зависимое слово должно быть приведено в соответствующую морфологическую форму.
Пример. «Рассматривать на множестве семейств алгоритмов» — допустимыми с точки зрения синтаксиса и семантики русского языка являются также словосочетания «рассматривать на семействах» и «рассматривать на алгоритмах».
В настоящей работе в качестве базовой структуры для выявления и кластеризации понятий предлагается использовать ситуационные контексты (1.1), которые участвуют в описании частичных СЭ в соответствии с Утверждением 6. Ставится задача : путем синтаксического разбора предложений выявить указанные контексты в анализируемом тексте и на их основе выполнить концептуальную кластеризацию.
2. Концептуальная кластеризация понятий на основе результатов
синтаксического разбора предложений
Результатом синтаксического анализа текста является набор деревьев разбора предложений. В настоящей работе синтаксический анализ осуществляется программой «Cognitive Dwarf» (ООО «Когнитивные технологии», http:// cs.isa.ru :10000/dwarf). При тестировании данная программа показала самые точные результаты разбора.
На основе полученного набора деревьеа формируются ситуационные контексты (1.1). При этом с каждого дерева последовательно считываются пары (х,у), где х — синтаксически главное слово, у — зависимое слово. Дальнейшая обработка считанных пар направлена на выявление последовательностей (1.1) и (1.2) в соответствии с Утверждением 6. Как результат формируется {Sk : Sfc^последовательность вида (1.1)} =: Ps ■
В качестве инструмента концептуальной кластеризации выявленных ситуационных контекстов (1.1) как основы выделения понятий в настоящей работе используются методы теории Анализа Формальных Понятий (АФП) [4, 5, 8J — расширения теории решеток. Приведем используемые далее основные определения из теории АФП. Пусть G — множество объектов, М — множество признаков для объектов из G. Имеем также бинарное отношение I С G х М. Если g € G и т € М, то glm имеет место тогда и только тогда, когда g обладает признаком т.
Определение 1. Тройка К = (G, М, I) называется формальным контекстом. При этом для произвольных А С G и В С М вводится пара отображений : А' = {т € M\ig € А : glm,} и В' = {g € G|Vm € В : glm,}.
Определение 2. Пара множеств (А, В), таких что А С G, В С М и А' = В, В' = А,
называется Формальным Понятием (ФП) с формальным объемом А и формальным содержанием В.
Определение 3. ФП (Ai,Bi) называют подпонятием ФП (^2,-82), если А\ С А^. При этом (^2,-82) называют суперпонятием для ФП {А\,В\), обозначается как (А\,В\) < (Лг,^). Отношение < будем называть отношением порядка для ФП.
Определение 4. Формальные Понятия С\ и С2 считаются сравнимыми, если либо С\ < С2, либо С2 < С\. В противном случае эти ФП называют несравнимыми.
Определение 5. Множество всех ФП контекста К = (G, М, I) вместе с заданным на нем отношением < обозначают ffi(G, М, I) и называют решеткой Формальных Понятий.
Определение 6. Подмножество множества Формальных Понятий, в котором каждые два элемента являются сравнимыми, называют цепочкой, а если каждые два элемента являются несравнимыми, называют антицепочкой.
Определение 7. Под областью в решетке Формальных Понятий понимается набор Формальных Понятий, связанных отношением порядка с одним Наибольшим Общим Подпонятием (НОПП) и/или одним Наименьшим Общим Суперпонятием (НОСП). В роли НОПП может выступать наименьшее ФП в решетке, а в роли НОСП — вершинное ФП.
Определение 8. ФП С-2 называется соседним по отношению к ФП С\ в решетке 3?, если они имеют НОСП, отличное от вершинного ФП в этой решетке.
Замечание. АФП по определению есть инструмент концептуальной кластеризации, так как У(Л, В) € есть класс с заданной интерпретацией в виде содержания — В.
При извлечении из текста {ди} соответствует множеству объектов О. В множество признаков М включаются существительные и глаголы : для Ут € М найдется такое дь, что ди задает ситуацию СЭ в соответствии с Утверждением 6 и т € {тх,...,в (1.1). Отношение I С О х М в этом случае ставит в соответствие каждому д^ € О соподчиненные слова пи € {тх,... последовательности (1.1) : для V(дк,тп1) I в анализируемом
тексте присутствует Бы = {тп^дк} (1-2).
Замечание. Как следует из (1-1), в зависимости от наличия/отсутствия предлога между главным и зависимым словом, Ут € М может быть представлен как :
где х — синтаксически главное слово, у — зависимое слово, ру — предлог, 0 — операция конкатенации.
В процессе генерации К = (G,M,I) пары (<&,т) выбираются таким образом, чтобы У С = (А, В) : С € ЩО, М, I) входило в цепочку максимальной длины при |Л| max. В целях соответствия формируемого тезауруса требованию иерархичности в настоящей работе используется введенный в [4] критерий полезности решетки IR :
где J — индексное множество цепочек, у € J — номер цепочки, п^ — количество ФП в цепочке с номером % — порядковый номер ФП в цепочке.
Рассмотрим последовательность шагов по построению М, I) с максимальным значением критерия полезности (1.4).
Как следует из Утверждения 7, первоначальное формирование пар-кандидатов для включения вКбхМ может быть выполнено на основе Р5 согласно Алгоритму 1.
Следующий этап — сбор информации о частоте Сп1(т,) встречаемости каждого т € М с различными д^ € О. Сп1(т,) используется для оценки информативности [4, 8| каждого признака из первоначально выявленных для {ди} и подсчитывается в соответствии с Алгоритмом 2 как число соответствующих употреблений т € М в тексте [6, с. 203].
С учетом требований критерия (1.4) формирование ЩО,М,1) в настоящей работе ведется по областям, исходя из соображений максимизации длины цепочек при максимизации объема каждого ФП из входящих в цепочку. С целью минимизации числа спорных ФП [4] каждое следующее ФП в цепочке выбирается по принципу постепенного уменьшения и максимизации количества общих признаков с потенциальным подпонятием при минимальном количестве общих признаков с любым ФП, не входящим в цепочку.
(2.1)
(2.2)
Алгоритм 1 Формирование пар-кандидатов на включение в отношение I.
Вход: Р5 = {Бк : вк — последовательность вида (1.1)}; Выход: РК = {Р* : Р? = {(дк,т) : (дк,т) € /}};
// В целях удобства последующего формирования решетки / / пары группируются для каждого дк. рК ■ 0- II Инициализация пока Рв Ф 0
Выбрать Бк из Р5; РкК := 0;
для 1 = 1,..., п(к)
Рк '■= Рк и {{9к,т)}\ // &к = {гп1,.. .,тп(ук),дк} в соответствии с (1.1) Рк рк и
Р3 : = Р5\Ш;
Алгоритм 2 Формирование частотного словаря для М.
Вход: Рк = {Рк} на выходе Алгоритма 1; Выход: Рсы = {{т,Сгй{т))\т € М}; I" 111 := 0; II Инициализация
Ри := 0; // Вспомогательный цикл — объединение списков пар (дк,т) пока РК Ф 0
Выбрать Р^ из Рк \ Ри . РииРк.
рК ._рК\{рК
пока Ри Ф 0
рОШ 0.
Выбрать (дк,т) из Ри; Ри := Ри\{(дк,т,)}-, Сгй{т) := 1; пока Ри ф 0
Выбрать (дк1,т,1) из Ри;
если т = х © «:» © ру и т,\ = х © «:» © рУ1 то СЫ(т) := Сгй{т) + 1; Р^Р^К^тх)}; иначе
рОШ :=РОЛи{(дк^т1)}.
Ри := Ри\{(дк1, тщ)}; рСп* := рсп* и СпЦт))} ;
р11 ._ рОШ.
Формирование отдельной цепочки Р^у) на основе множества Рс объектов с заданными наборами признаков ведется согласно Алгоритму 4. Алгоритмом 5 строится множество цепочек для множества ^^егд/г^) ^ ^ску)" Мн°жеств0 р<ме1д1га) есть в соответствии с Определением 8 множество Формальных Понятий, соседних по отношению к тем Формальным
Понятиям С = (А, В) : А = {дк),В = между которыми устанавливается отношение порядка при формировании цепочки Р^^ Алгоритмом 4.
Алгоритм 3 (вспомогательный) Формирование наборов признаков для ФП.
Вход: РК = {Р: Р^ = {(дк,т) : (дк,т) € /}} на выходе Алгоритма 1; Выход: Рс; // Множество объектов с наборами признаков I" := 0; // Инициализация пока Рк ф 0
Рн ■= 0;
Выбрать рК из Рк \
пока Р^ Ф 0
Выбрать (дк,тп) из Рк
Р£ :=Р£ и {ш};
РкК ■■= РкК\{(9к,т)Ь Рс :=рси{(дк,рс)}-
рК .= рКцрК
Алгоритм 4 Формирование цепочки по масимуму критерия (1.4). Вход: Рс на выходе Алгоритма 3;
Выход: Рси^) = {{9к-,Рк) '■ (ЯктР^) £ Р°\Рк ~ набор признаков для дк}-, Р^1е8{, // Подмножество исходного Рс, не вошедшее в Р^^^ ^егдН(з) ^ ^ску)' II Соседние ФП для тех ФП, относительно которых
/ / рассматривается отношение порядка рСт := 0; // Инициализация
рС — pj.
Neigh(j) ■
Выбрать (gmax,Pmax) из Р : l^rocJ ^ тах;
Р := Р \{ {д-тах 7 P-rnax) }' jC ._ nC i i dC
^Ch(j) ^Ch(j) ^ {(dmax; Рщах)}'
pC ,= pC .
tmp ' max '
ЦИКЛ
Выбрать (gk,P%) из Pc : P[J С Pprnp и \Ppmp П P^ =: Cr\ max;
при Cr = 0 выход; pC .= pC.
tmp ' k '
PCh(j) := PCh(j) U {(9k, Pk )};
Pc :=pc\{(gk,pc)}-
Выбрать {{gcr,Pcr)\PCr 5 Cr} =: PCr С Fc; pC ._ pC I I pCr. rCh(j) — Ch(j) U r '
pC __pC I I pCr.
Neigh(j) ^Neigh(j) U Г ' pC ,= PC\pCr.
pC ,= pC.
iiest ' '
Алгоритм 5 Генерация множества цепочек для «соседних» ФП. Вход: Рс на выходе Алгоритма 3;
Выход: = : РсЦ]) ^цепочка ФП, формируемая Алгоритмом 4.};
Р& := 0; // Инициализация цикл
Сформировать Р^^у -Рд/ег^С?) ^ Рсь,а) и Алгоритмом 4 на основе Рс;
при \Р%т \ ^ 1 выход;
РСк := РСк и {-^С/гУ)}' рС ._ рС | | рС
Максимум значения полезности (1.4) для ЩО,М,1) в настоящей работе достигается удалением наименее информативных признаков т € М с наибольшими значениями Сп1(т,) из содержания всех ФП во всех цепочках на выходе Алгоритма 5. Максимизация полезности решетки и окончательное формирование К = (О, М, I) осуществляется Алгоритмом 6.
Алгоритм 6 Генерация формального контекста.
Вход: Р5 = {Бк : — последовательность вида (1.1)}; Выход: К = (0,М,1);
Сформировать РК = {Р^ : Р^ = {(<&,т) : € /}} Алгоритмом 1 на основе Р5;
Сформировать РСп* = {(т, СпЬ(т))\т € М} Алгоритмом 2 на основе Р^-; Сформировать Рс Алгоритмом 3 на основе РКш, АР := 0; пока Д/- ^ и
Сформировать Р^ Алгоритмом 5 на основе Рс;
Найти тах^=1(|РсЦ]) '■ Рси{]) е РснI) =: ^тр, гДе ./ — индексное множество цепочек, (1.4);
^ := _ /^гор!
Найти тс € Л/ : (тс,СпЬ(тс)) € РСп<: и СгЛ(тс) — максимально;
для всех (дк,Рк) € РС
Р£ := Рк\{тс}; Рст рСтщт^Спцтс^у.
3. Экспериментальная проверка полученных алгоритмов
Исходными текстовыми данными для формирования решетки понятий являются рефераты научных статей по тематике Предметной Области, для которой строится тезаурус. Используемое множество статей представляет собой тематическое подмножество того корпуса текстов, который по жанровому разнообразию представленного в нем рода словесности [7] следует отнести к научной прозе. При этом основным требованием к используемому множеству статей является репрезентативность [8].
Определение 9. Под репрезентативностью множества текстов в настоящей работе понимается способность этого множества отображать все свойства Предметной Области, релевантные для некоторого заданного лингвистического исследования.
В настоящей работе в качестве естественной оценки репрезентативности следовало бы взять суммарную частоту с которой последовательности (1.1), соответствующие условию Утверждения 6, встречаются в анализируемых текстах. Но с учетом отсутствия ограничений на тин д синтаксического отношения К^ между словами в (1.1) за оценку репрезентативности в настоящей работе принимается отношение частоты к количеству щ выявленных типов отношений Щ в последовательностях (1.1) :
Е■ = = (3.1)
щ п ■ щ
где В5Д, количество последовательностей (1.1), извлеченных из анализируемого множества текстов, п общее количество слов в анализируемом множестве текстов.
Для апробации предложенных в работе алгоритмов был разработан программный комплекс, схема обмена данными между модулями которого представлена на рис.1.
Тексг нэ русском
Cognitive Dwarf
Дерева г;и кг.шоичкоког»
Р
разбора
ih ,'■»
Pairs
XML_m aking
К » ifJ,M,lJ__ Concept Explorer
Реш ei ка
Фирм rllll.MUH
Рис, 1. Схема обмена данными между модулями программного комплекса
Извлечение потенциальных нар (д^, т) из синтаксического дерева выполняет модуль Pairs. За основу при ого реализации авторами была взята программа «Dwarfprint» в составе «Cognitive Dwarf». Генерацию контекста К = (G.M.I) в соответствии с Алгоритмом 6 осуществляет разработанная авторами программа XML_making, которая представляет контекст К на выходе Алгоритма 6 в виде XML-файла. С этой целью в программа XML_making реализована процедура индексирования признаков из М. Визуализацию решетки = (G.M.I) диаграммой линий [5] выполняет ПО Concept Explorer (http://conexp.sourceforge.net/), реализующее методы АФП.
В качестве экспериментального текстового материала была взята работа [9]. Обзорная статья К. В. Воронцова является хорошим примером репрезентативного текста в соответствии с критерием (1.5) с характерной минимизацией nq при максимизации Fsk ■ Полученная для [9] решетка ФП представлена на рис.2.
Заключение
Основным результатом настоящей работы является разработанный авторами алгоритм формирования понятийной структуры тезауруса заданной Предметной Области па основе описывающих ее текстов русского языка. Предложенная в работе модель тезауруса в виде решетки Формальных Понятий позволяет оперировать данными на семантическом уровне без потери или недопустимого упрощения объектов и их признаков.
Основная сфера применения результатов настоящей работы автоматизация пополнения лингвистических информационных ресурсов. Здесь следует в первую очередь отметить специализированные тезаурусы. Примером может послужить тезаурус но анализу изображений, разрабатываемый исследовательским коллективом Вычислительного центра им. A.A. Дородницына Российской академии наук
Рис. 2. Пример решетки ФП для множества ситуационных контекстов
Наибольшая эффективность предложенного .метода формирования и кластеризации понятий может быть достигнута при совместном его использовании с представленным в [1] подходом к анализу сочетаемости предикатных слов. Здесь в качестве перепек,тив-ного направления дальнейших исследований следует отметить развитие предложенного в настоящей работе метода применительно к Расщепленным Значениям [1] в составе последовательностей (1.1).
С учетом результатов машинного эксперимента отдельного рассмотрения заслуживает, разработка методов предварительной обработки исходного текстового материала с; целью максимизации сто репрезентативности. Перспективным здесь является выделение и замена анафор, в первую очередь анафорических личных местоимений. Работа выполнена при поддержке РФФИ (проект Л'а06-01-00028).
список литературы
1. Михайлов Д. В., Емельянов Г. М. Кластеризация семантических знаний в задаче распознавания ситуаций смысловой эквивалентности /'/ Всеросс. конф. ММРО-13. — Москва: Макс Пресс, 2007.-С. 500-503.
2. Мельчук ILA. Опыт теории лингвистических моделей «СмыслОтекст» : Семантика, синтаксис.-Москва: Школа «Языки русской культуры», 1999.-345 с.
3. Емельянов Г.М., Корнышов А.Н., Михайлов Д.В. Концептуально-ситуационное моделирование процесса перифразирования в ы с казыв ании Естественного Языка как обучение на основе прецедентов /'/ Искусственный интеллект.—Донецк, 2006 № 2. — С. 72-75.
4. Степанова Н. А., Емельянов Г. М. Формирование и кластеризация понятий в задаче распознавания образов в пространстве знаний /'/ Всеросс. конф. ММРО-13. — Москва: Макс Пресс, 2007.— С.206-209.
5. В. Ganter and R. Wille Formal Concept Analysis - Mathematical Foundations. — Berlin : SpringerVerlag, 1999. - 284 pp, 105 figs.
6. Вирт, Никлаус Алгоритмы I структуры данных = программы /' Пер. с англ. Л.Ю. Иоффе. — Москва : Мир, 1985. - 406 е.: ил.
7. Рыков В. В. Корпус текстов как семиотическая система и онтология речевой деятельности // Компьютерная лингвистика и интеллектуальные технологии. Международная конференция «Диалог'2004». http://www.dialog-21.ru/conference.
8. Nadezhda Stepanova, Gennady Emelyanov Knowledge acquisition process modeling for question answering systems // Когнитивное моделирование в лингвистике : Труды IX международной конференции. — Казань : Казанский государственный университет, 2007. — С. 344-354.
9. Воронцов К. В. Обзор современных исследований по проблеме качества обучения алгоритмов // Таврический В6СТНИК информатики и математики. - 2004. - №1. - С.5-24.
Статья поступила в редакцию 27,04-2008
