CC BY
114
DOI: 10.37614/2307-5252.2020.8.11.008 УДК 004.8
М.Г.Шишаев
Апатиты, Институт информатики и математического моделирования ФИЦ КНЦ РАН
НЕЙРОСЕТЕВЫЕ МОДЕЛИ В ЗАДАЧАХ СЕМАНТИЧЕСКОГО АНАЛИЗА ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ*
Аннотация
В работе рассматривается задача анализа текстов, ориентированного на формирование семантической модели предметной области. Предложена двухэтапная структура задачи семантического анализа, рассмотрена типология моделей текста, используемых для определения признаков и формирования целевой модели. Приведены примеры применения нейросетевого подхода к различным задачам анализа естественно-языковых текстов.
Ключевые слова:
семантический анализ текста, модель текста, искусственная нейронная сеть, глубокая нейронная сеть.
M.G.Shishaev
Apatity, Institute for Informatics and Mathematical Modelling, KSC RAS
NEURAL NETWORK MODELS IN THE PROBLEMS OF SEMANTIC ANALYSIS OF NATURAL LANGUAGE TEXTS
Abstract
The paper deals with the problem of text analysis focused on the formation of a semantic model of the subject area. A two-stage structure of the problem of semantic analysis is proposed, and the typology of text models used to determine features and form a target model is considered. Examples of the application of the neural network approach to various problems of the analysis of natural language texts are given.
Keywords:
semantic analysis of text, text model, artificial neural network, deep neural network Введение
Тексты на естественном языке (ЕЯ), в силу естественной распространенности и доступности, являются привлекательным материалом для получения, в автоматизированном режиме, некоторых знаний [1]. В общем случае, процесс получения этих знаний принято именовать семантическим анализом, однако, постановки задач семантического анализа могут существенно различаться. С другой стороны, искусственные нейронные сети (ИНС) являются широко распространенным инструментом, используемым для анализа текстов. Количество работ, посвященных применению искусственных нейронных сетей в задачах анализа ЕЯ-текстов - огромно. Например, запрос в «Google-Академии» вида «"natural language processing" & "neural network"» выдает около 200 тысяч записей.
* Работа выполнена при поддержке Российского фонда фундаментальных исследований - проект № 20-07-00754 А.
В совокупности, большое разнообразие задач, связанных с семантическим анализом текста, и многообразие применений ИНС для их решения создают довольно сложный ландшафт, требующий систематизации. В данной работе предложена интерпретация семантического анализа текста как двухэтапного процесса, первая часть которого заключается в моделировании текста с целью оценки некоторых его свойств, а вторая - в собственно построении целевой семантической модели. Выделены несколько видов моделей текста, в зависимости от характера отражаемых в моделях свойств, и рассмотрен современный опыт использования ИНС для построения моделей текста различных видов.
1. Структура задачи семантического анализа текста
Текст на естественном языке (ЕЯ-текст) может играть роль как самостоятельного объекта исследования, так и вспомогательного инструмента для изучения других объектов. В данной работе ЕЯ-текст рассматривается как второе. Объектом (целью) моделирования при этом является некоторая предметная область, знания о которой мы хотим получить из имеющихся текстов. Таким образом, под семантическим анализом текстов мы понимаем задачу преобразования T^S(T), где T - исходный текст, а S(T) - некоторое подмножество фактов (истинных утверждений) из семантической модели предметной области S, в том или ином виде содержащихся в тексте (следующих из текста). Согласно одному из доминирующих представлений о природе смысла [2], семантика текста (индуцируемые им представления) экстернализирована, не является объективным свойством ЕЯ-текста и зависит, таким образом, от интерпретации, т.е. от используемой модели S, играющей роль метаязыка. Поэтому такая постановка представляется единственно корректной. Семантический анализ текста в нашей трактовке, таким образом, можно считать частным случаем задачи обработки естественного языка (Natural Language Processing, NLP). Отличие в том, что в NLP результатом обработки является некоторое представление (модель) текста, пригодное для машинной обработки вообще, в случае же семантического анализа целью является построение семантической модели текста в терминах некоторой более общей модели предметной области.
Среди наиболее распространенных задач обработки текстов на ЕЯ (см, например, [3]) такой интерпретации соответствуют задачи распознавания именованных сущностей, извлечения фактов и отношений, семантического аннотирования [4], анализа тональности (sentiment analysis and opinion mining) и другие. В зависимости от задачи, целевая модель S может иметь различный вид -от тривиального множества топонимов в задаче распознавания именованных географических сущностей, до прикладной онтологии в задачах извлечения отношений.
Полученное в результате семантического анализа множество истинных утверждений модели S может затем использоваться для решения различных более прикладных задач: заселения (пополнения) онтологий, семантического поиска информации, оценки схожести смысла, разрешения кореференций и т.п.
Принципиальное отличие разных подходов к решению данной задачи заключается в признаках текста, используемых для идентификации компонентов семантической модели (интерпретации текста в семантическую модель S). В свою очередь, признаки также продуцируются из некоторой модели текста, отражающей те
или иные его аспекты - используемый лексикон, частота использования языковых конструкций, структура синтаксических связей между ними и т.д. Соответственно, используемая модель текста может быть различной: множество символов, множество лексем, синтаксические конструкции, статистическая модель и т.д. Используются и специфические модели, ориентированные на анализ текста в определенном ключе -например, в работе [5] рассматривается оригинальная модель, характеризующая научный текст с точки зрения описанных в нем ментальных операций. Каждая модель может дать те или иные признаки, по которым затем можно идентифицировать семантику. Таким образом, процесс семантического анализа, явно или неявно, включает две ступени:
1) Моделирование текста с целью определения его значимых характеристик. На этом этапе осуществляется своеобразное «измерение» свойств текста.
2) Формирование подмножества целевой семантической модели, в определенном смысле следующего из заданного текста. На этом этапе осуществляется интерпретация текста в целевую семантическую модель.
Г^М(Г) ^S(M(T)).
В зависимости от характера признаков, описываемых моделью М, и используемом представлении о внутренней структуре текста, можно выделить следующие виды моделей:
- Лексическая модель. Текст рассматривается как множество лексем (в более общем случае - n-грамм), их отношения между собой не учитываются. Существует много реализаций, например, поиск в тексте сущностей, определенных в модели М, по лексическим маркерам. Используется в анализе тональности, извлечении именованных сущностей и других задачах. Преимущество такой упрощенной модели в скорости обработки текста с целью определения признаков.
- Грамматические модели. На элементах текста устанавливаются отношения (в том числе - одноместные), заданные в некоторой грамматике (синтаксические, коммуникативные или иные), текст рассматривается как грамматическая структура. Обработка текста усложняется, но модель М является более семантически нагруженной, что создает предпосылки для более эффективной последующей трансляции в целевую модель.
- Статистические модели. Ключевой атрибут модели - частотно-вероятностные характеристики элементов текста (в т.ч. - взаимная встречаемость). Текст рассматривается как множество элементов и их комбинаций (символов, лексем, последовательностей слов) со статистическими свойствами. В англоязычной литературе, как правило, под термином «language model» подразумевается именно статистическая модель, задающая распределение вероятностей последовательностей слов [6]. «Классическая» задача моделирования в этой трактовке - предсказание следующего слова на основании предыдущих в последовательности. Основное ограничение - для построения модели необходимы большие текстовые корпусы.
- Семантические модели. Текст рассматривается как совокупность некоторых элементов, обладающих смыслом. Роль подобных элементов могут играть как отдельные слова (лексическая семантика), так и более сложные структуры, например - семантические фреймы [7].
- Модели смешанного типа. Практика семантического анализа текстов показывает, что для эффективной трансляции текста в целевую семантическую модель желательно использовать большее количество признаков текста. Это естественным образом приводит к идее использования сразу нескольких моделей текста для оценки его потенциально значимых свойств.
2. Искусственные нейронные сети в задачах семантического анализа текстов
ИНС применяются на обеих обозначенных выше стадиях семантического анализа - как для построения модели текста, так и для ее трансляции в целевую семантическую модель (в том числе и для решения обеих задач одновременно). За исключением тривиальных моделей лексического типа, нейронные сети используются для моделирования ЕЯ-текстов во всех его аспектах - грамматическом, статистическом, семантическом. При этом применяются как «традиционные» ИНС прямого распространения, так и глубокие нейронные сети, имеющие большое количество слоев и сложную архитектуру. Наибольшее широко сети прямого распространения применяются при построении статистических языковых моделей, обеспечивающих предсказание слова (или более крупной языковой конструкции) по заданному контексту. С появлением разнообразных архитектур глубоких ИНС нейросетевой подход стал в той или иной степени успешно применяться практически ко всем задачам анализа текста - часте-речевое тегирование, классификация текстов, выделение именованных сущностей, анализ тональности, машинный перевод, выявление семантических ролей и т.д. Далее рассмотрены некоторые наиболее известные подходы к моделированию различных аспектов естественно-языковых текстов на основе нейросетей. Приведенное деление на группы - условно, поскольку многие нейросетевые модели позволяют характеризовать одновременно несколько различных аспектов языка. Кроме того, некоторые виды моделей языка, например модель семантической разметки FrameNet [7], могут быть отнесены как к грамматическим, поскольку разметка ролей осуществляется в соответствии с заданными правилами (по сути, грамматикой), так и к семантическим, поскольку задают интерпретацию текста, способную играть роль целевой семантической модели.
Статистическое моделирование ЕЯ-текста
В узком практическом смысле задача статистического моделирования языка трактуется как предсказание слова по заданному контексту его использования, более общая постановка задачи заключается в определении совместных вероятностей последовательностей слов в тексте. Современные нейросетевые модели, ориентированные на подобные задачи, основаны на векторном представлении слов (word embeddings). На данной задаче ИНС показывают лучшую эффективность по сравнению со статистическими моделями языка на базе n-грамм: при том же размере обучающего набора дают более точное предсказание, демонстрируют способность к генерализации контекстов схожих слов [8]. Начало быстрого роста популярности нейросетей в применении к статистическому моделированию ЕЯ-текстов связывают с работой [9], основная идея которой заключается в учете схожести слов при обучении модели и улучшении за счет этого ее генерализирующей способности. Схожесть слов определяется на основе дистрибутивной гипотезы [10], путем их векторного представления. В результате экспериментов с предложенной нейросетевой моделью и «классической» моделью на базе N-грамм, авторы делают выводы об эффективности
использования большего контекста, а также одновременного обучения статистической модели языка и векторной модели слов лексикона (word features).
Успешный опыт построения векторных представлений языковых единиц открыл возможность для более широкого использования нейросетей при анализе текста, поскольку векторные представления слов, с одной стороны - очень удобный формат входной информации для ИНС, осуществляющих более глубокое моделирование текста, а с другой - содержат в себе информацию о семантике языковой единицы (в соответствии с дистрибутивной гипотезой). Основной сдерживающий фактор, обусловливающий высокую вычислительную сложность нейросетевых моделей, использующих векторные представления языковых единиц - высокая размерность и разреженность векторного пространства. Одним из способов решить эту проблему является алгоритм SGNS (skip-gram with negative sampling), обеспечивающий формирование плотного векторного представления слов с помощью обученного нейросетевого классификатора. Алгоритм является частью популярного пакета Word2Vec [11] и широко используется в различных задачах анализа ЕЯ-текстов. Пример применения Wo^Vec-модели для русского языка - проект RusVectores [12].
Альтернативной Word2Vec моделью, объединяющей подходы к формированию векторных представлений слов на базе контекстного окна и матричных разложений, является GloVe [13]. Совмещение двух («предсказательного», как в Word2Vec и «вычислительного», как в LSA) подходов к обучению модели позволило, с одной стороны, более точно отразить дистрибутивную семантику слов за счет учета глобальной статистики попарной встречаемости слов и обеспечить более высокую в сравнении с другими моделями производительность GloVe на задачах выявления аналогий между словами, выявления схожих слов, распознавания именованных сущностей.
Таким образом, ИНС обеспечивают эффективное решение задачи векторного представления слов и статистического моделирования на их основе естественноязыковых текстов. Однако, у векторного представления есть и ограничения:
- Если в аналитических языках, типа английского, смысл слова зависит от контекста (в пределах самого слова нет указаний на грамматический класс) и это хорошо рефлексируется векторной моделью, то в языках с богатой морфологией, в частности - русском, слово само по себе, в зависимости от формы, может содержать много дополнительной информации (род, падеж) вне зависимости от синтаксической конструкции, в которой фигурирует [14]. Такая информация упускается при векторном представлении.
- Проблема размерности, несмотря на появление способов получения «плотных» векторных представлений, не решена кардинально и остается актуальной для языков с объемным лексиконом, препятствуя формированию адекватных практическим задачам векторных представлений всех возможных слов. Кроме того, большинство языков - динамичны и постоянно пополняются новыми словами - неологизмами, заимствованиями и т.д.
Общего решения этих проблем не существует, применимые на практике подходы зависят от конкретного языка. Для этого используют непосредственно последовательности символов вместо векторов, дополняют векторы компонентами, характеризующими фонетику слов и другие подходы. Например,
в работе [15] векторная модель обучается не только на элементах лексикона, но и на так называемых «под-словах», представляющих собой фрагменты исходного. За счет этого удается строить эффективные векторные представления слов в языках с богатой морфологией.
Дистрибутивный подход к описанию семантики текста применяется и по отношению к более крупным, нежели отдельные слова, объектам - параграфам и даже документам. Так, в работе [16] рассматривается схожая с Word2Vec технология формирования векторного представления текста произвольной длины - от отдельного предложения до документа в целом. Авторы дополнили вектор признаков (в Word2Vec это - «окно» из векторов нескольких соседних по тексту слов) компонентом, характеризующим некоторый блок текста (параграф) целиком. За счет этого удалось получить лучшую в сравнении с аналогами точность работы алгоритма в задачах определения тональности и классификации текстов. Основанные на данном подходе нейросетевые модели получили название Paragraph2Vec и Doc2Vec.
Грамматические модели
Наряду с построением статистических моделей ЕЯ-текстов, ИНС находят широкое применение для реализации грамматических моделей. К данной категории можно отнести такие задачи, как моделирование синтаксической структуры предложения (построение синтаксических деревьев), определение частей речи, поверхностный анализ для выявления базовых лексических структур, например, именных групп (shallow parsing, chunking), определение семантических ролей слов.
Основные успехи в этой области связаны с применением глубоких нейронных сетей. Пионерской в этом направлении считается работа [17], где предлагается универсальная модель на основе глубоких нейронных сетей, обеспечивающая решение сразу нескольких задач анализа текста, в «традиционном» случае решаемых отдельно - часте-речевой разметки (part-of-speech tagging), выделения именованных сущностей, определения семантических ролей, выделения семантически схожих слов и оценки осмысленности текста. Такая универсальность обеспечивается за счет применения мультизадачного обучения (multi-task learning), идея которого заключается в учете при обучении модели признаков, значимых в контексте сразу нескольких прикладных задач [18]. Опыт успешного применения мультизадачного обучения для решения различных задач показывает, что за счет этого удается улучшить генерализующие способности модели [19]. Это можно расценивать как еще одно подтверждение тезиса о целесообразности расширения спектра признаков для улучшения точности нейросетевой модели.
Примером инструмента для эффективного решения задачи построения дерева синтаксического разбора является нейросетевой фреймворк Syntaxnet от компании Google, обеспечивающий синтаксический разбор (в виде дерева зависимостей) и часте-речевую разметку слов в предложении. Используемые в текущей версии Syntaxnet модели являются символьными (анализируются не слова, а последовательности символов, разделенные пробелами и знаками препинания), что обеспечивает эффективность технологии в том числе и для анализа морфологически богатых языков, в частности - русского [20]. Фреймворк основан на рекуррентной сети с адаптивной архитектурой, обеспечивающей
эффективное решение задач синтаксического разбора и экстрактивного реферирования [21].
Семантическое моделирование на основе ЕЯ-текстов
Искусственные нейронные сети также широко применяются для моделирования различных аспектов семантики ЕЯ-текста. Результаты моделирования могут использоваться как в качестве компонентов целевой семантической модели, так и в качестве признаков текста, используемых затем для построения итоговой модели (термин «семантика» здесь понимается в широком смысле - эквивалентные понятия и свойства языковых конструкций, близкие к ментальным моделям человека). Спектр задач данной категории очень широк, практически для всех из них существуют решения, основанные на ИНС. К задачам семантического анализа текста, результат решения которых может использоваться для формирования признакового пространства при построении целевой семантической модели текста, можно отнести: моделирование тематики (topic modeling) [22; 23]; сентимент-анализ (анализ тональности или эмоциональной окраски) [24-26]; выявление семантических ролей [27; 28].
Как упоминалось выше, некоторые из рассмотренных моделей ЕЯ-текста могут играть роль целевой семантической модели. В частности, к таковым можно отнести модели, используемые в рамках задачи семантико-ролевой разметки (semantic roles labeling). В рамках существующих подходов к определению семантических ролей осуществляется не только выделение лексических единиц, обозначающих понятия, но и идентификация с ними некоторых семантических или тематических ролей из заданного множества. Общий подход к решению этой задачи основан на контролируемом машинном обучении, а в качестве основы для обучающей выборки используются библиотеки размеченных текстов [8]. Наиболее известными проектами, предлагающими такие библиотеки, являются PropBank [29] и FrameNet [30]. В первом проекте семантическими ролями аннотируются отдельные слова, во втором - более сложные конструкции -семантические фреймы. Для русского языка поддерживается проект, аналогичный FrameNet - FrameBank [31].
Вместе с тем, наиболее универсальным и распространенным способом реализации семантических моделей предметной области для решения практических задач с применением компьютера являются онтологии [32]. Формирование онтологий на основе текстов на естественном языке включает несколько этапов [33]:
- предобработка (лемматизация, часте-речевая разметка);
- извлечение понятий;
- извлечение отношений;
- формирование аксиом;
- оценка качества.
Для решения перечисленных задач также широко используются ИНС. Например, в работе [34] предложена технология формирования онтологии на основе текстовых данных (веб-ресурсов) из различных предметных областей, использующая модели машинного обучения, в частности - ИНС. В работах [35; 36] рассматриваются основанные на нейросетевых моделях технологии извлечения из ЕЯ-текстов парадигматических и деонтических высказываний. В работе [37] предложена технология автоматического извлечения новых
технологических понятий из текстов, основанная на нейронных сетях. Вместе с тем, рассмотренные работы представляют собой примеры решения, в основном, частных задач построения онтологий, поэтому потенциал использования глубоких нейронных сетей в задачах формирования онтологий на базе ЕЯ-текстов далеко не исчерпан.
Заключение
Семантический анализ текста является сложной многоаспектной задачей, включающей два укрупненных этапа - определение признаков текста, в соответствии с используемой моделью признаков, и формирование на их основе представленного в тексте фрагмента целевой семантической модели.
Искусственные нейронные сети, как сети прямого распространения, так и глубокие ИНС, успешно применяются для решения большинства задач семантического анализа текста. Вместе с тем, имеется потенциал как к повышению эффективности существующих нейросетевых подходов к семантическому анализу текстов, так и к расширению областей их применения в контексте задачи семантического моделирования предметных областей. Основной потенциал к повышению эффективности применения ИНС содержится в формировании качественного (адекватно отражающего значимые свойства предметной области через языковые конструкции) признакового пространства и использовании архитектур ИНС, обеспечивающих обработку разнородных признаков.
Литература
1. Al-Aswadi F.N. Automatic ontology construction from text: a review from shallow to deep learning trend / F.N. Al-Aswadi, H.Y. Chan, K.H. Gan // Artificial Intelligence Review. - 2020. - Vol. 53. - № 6. - pp. 3901-3928.
2. Бирюков Б.В. Теория смысла Готлоба Фреге / Бирюков Б.В. // Применение логики в науке и технике. - М: Издательство Академии наук СССР, 1960. - C. 502-555.
3. Melnikov A.V. On usage of machine learning for natural language processing tasks as illustrated by educational content mining / A.V. Melnikov, D.S. Botov, J.D. Klenin // Онтология проектирования. - 2017. - Vol. 7. - № 1 (23). - pp. 34-37.
4. What are semantic annotations / E. Oren [и др.] // http://www.siegfried-handschuh.net/pub/2006/whatissemannot2006.pdf. - 2006.
5. Возможности интеллектуального анализа научных текстов на основе построения их когнитивных моделей / Г.С. Осипов [et al.] // Искусственный Интеллект И Принятие Решений. - 2018. - № 1. - C. 41-53.
6. Song F. A General Language Model for Information Retrieval / F. Song, W. Croft // International Conference on Information and Knowledge Management, Proceedings. - 2000.
7. Boas H.C. From Theory to Practice: Frame Semantics and the Design of FrameNet / H.C. Boas // Semantisches Wissen im Lexikon / eds. S. Langer, D. Schnorbusch. -Tübingen: Narr., 2005.
8. Jurafsky D. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Vol. 2 / D. Jurafsky, J. Martin. - 2008.
9. Bengio Y. A Neural Probabilistic Language Model / Y. Bengio, R. Ducharme, P. Vincent // Journal of Machine Learning Research. - 2003. - Vol. 3. - P. 1137-1155.
10.Sahlgren M. The distributional hypothesis / M. Sahlgren // Italian Journal of Linguistics. - 2008. - Vol. 20. - pp. 33-53.
11.Efficient Estimation of Word Representations in Vector Space / T. Mikolov [et al.] // Proceedings of the International Conference on Learning Representations (ICLR 2013). - 2013. - pp. 1-12.
12.RusVectores: О проекте [Электронный ресурс]. - URL: https://rusvectores.org/ru/ (дата обращения: 08.12.2020).
13.Pennington J. Glove: Global Vectors for Word Representation / J. Pennington, R. Socher, C. Manning // EMNLP Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). - 2014. - Vol. 14. - pp. 15321543.
14.Савинова А.О. Языки аналитические и синтетические / А.О. Савинова, Н.Д. Решетникова // Молодой ученый. - 2013. - № 59. - pp. 873-877.
15.Enriching Word Vectors with Subword Information / P. Bojanowski [et al.] // Transactions of the Association for Computational Linguistics. - 2016. - Vol. 5. -pp.135-146.
16.Le Q. Distributed Representations of Sentences and Documents / Q. Le, T. Mikolov // 31st International Conference on Machine Learning, ICML 2014. - 2014. - Vol. 32. - pp. 1188-1196.
17.Collobert R. A unified architecture for natural language processing: Deep neural networks with multitask learning / R. Collobert, J. Weston // Proceedings of the 25th International Conference on Machine Learning. - 2008. - P. 160-167.
18.Caruana R. Multitask Learning / R. Caruana // Machine Learning. - 1997. - Vol. 28. - № 1. - pp. 41-75.
19.Ruder S. An Overview of Multi-Task Learning in Deep Neural Networks / S. Ruder // arXiv: 1706.05098 [cs, stat]. - 2017.
20.Weiss D. An Upgrade to SyntaxNet, New Models and a Parsing Competition / D. Weiss, S. Petrov. - 2017.
21.DRAGNN: A Transition-based Framework for Dynamically Connected Neural Networks / L. Kong [et al.] // arXiv: 1703.04474 [cs]. - 2017. - DRAGNN.
22.A novel neural topic model and its supervised extension / Z. Cao [et al.] // Twenty-Ninth AAAI Conference on Artificial Intelligence. - Citeseer, 2015.
23.Wang X. Neural Topic Model with Attention for Supervised Learning / X. Wang, Y. Yang // AISTATS Twenty Third International Conference on Artificial Intelligence and Statistics, PMLR. - 2020. - pp. 1147-1156.
24.Recommendation system exploiting aspect-based opinion mining with deep learning method / A. Da'u [et al.] // Information Sciences. - 2020. - Vol. 512. - pp. 12791292.
25.Wang X. Combination of Convolutional and Recurrent Neural Network for Sentiment Analysis of Short Texts / X. Wang, W. Jiang, Z. Luo // Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers COLING 2016. - Osaka, Japan: The COLING 2016 Organizing Committee, 2016. - pp. 2428-2437.
26.Comparison of neural network architectures for sentiment analysis of Russian tweets / K. Arkhipenko [et al.] // Computational Linguistics and Intellectual Technologies
Proceedings of the Annual International Conference —Dialogue Computational Linguistics and Intellectual Technologies. - 2016. - pp. 50-58.
27. Semantic Role Labeling with Pretrained Language Models for Known and Unknown Predicates / D. Larionov [et al.] // Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019). - Varna, Bulgaria: INCOMA Ltd., 2019. - pp. 619-628.
28. Guan C. Semantic Role Labeling with Associated Memory Network / C. Guan, Y. Cheng, H. Zhao // arXiv: 1908.02367 [cs]. - 2019.
29. Palmer M. The Proposition Bank: An Annotated Corpus of Semantic Roles / M. Palmer, P. Kingsbury, D. Gildea // Computational Linguistics. - 2005. - Vol. 31. -pp. 71-106.
30. About FrameNet | fndrupal [Электронный ресурс]. - URL: https://framenet.icsi.berkeley.edu/fndrupal/about (дата обращения: 05.12.2020).
31. Кашкин Е. Семантические роли и сеть конструкций в системе FrameBank / Кашкин Е., Ляшевская О.Н. // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 29 мая - 2 июня 2013 г.). В 2-х т. : 12 : in 2 vols. / publisher: РГГУ. - М: РГГУ, 2013. - Vol. 1. - 19. - pp. 325-343.
32. Gruber T.R. Toward principles for the design of ontologies used for knowledge sharing? / T.R. Gruber // International journal of human-computer studies. - 1995. -Vol. 43. - № 5-6. - pp. 907-928.
33. A survey of ontology learning techniques and applications / M.N. Asim [et al.] // Database. - 2018. - Vol. 2018.
34. Guruvayur S.R. Development of a Machine Learning Model for Knowledge Acquisition, Relationship Extraction and Discovery in Domain Ontology Engineering using Jaccord Relationship Extraction and Neural Network / S.R. Guruvayur, R. Suchithra // International Journal of Recent Technology and Engineering. - 2019. - Vol. 8. - № 3. - pp. 7809-7817.
35. Dikovitsky V.V. Automated Extraction of Deontological Statements Through a Multilevel Analysis of Legal Acts / V.V. Dikovitsky, M.G. Shishaev // Computational and Statistical Methods in Intelligent Systems : Advances in Intelligent Systems and Computing / eds. R. Silhavy, P. Silhavy, Z. Prokopova. -Cham: Springer International Publishing, 2019. - pp. 102-110.
36. Dikovitsky V.V. Automated Extraction of Paradigmatic Relationships from Natural Language Texts on the Basis of the Complex of Heterogeneous Features / V.V. Dikovitsky, M.G. Shishaev // Intelligent Algorithms in Software Engineering : Advances in Intelligent Systems and Computing / ed. R. Silhavy. - Cham: Springer International Publishing, 2020. - pp. 531-541.
37.Hossari M. TEST: A Terminology Extraction System for Technology Related Terms / M. Hossari, S. Dev, J.D. Kelleher // Proceedings of the 2019 11th International Conference on Computer and Automation Engineering : ICCAE 2019 / event-place: Perth, WN, Australia. - New York, NY, USA: Association for Computing Machinery, 2019. - pp. 78-81.
