CC BY
316
УДК 81’322
СОВРЕМЕННЫЕ ПОДХОДЫ К АВТОМАТИЧЕСКОМУ РЕФЕРИРОВАНИЮ И АННОТИРОВАНИЮ
П. Г. Осминин
MODERN APPROACHES TO AUTOMATIC SUMMARIZATION
P.G. Osminin
Представлен краткий обзор современных научных исследований по автоматическому реферированию и аннотированию.
Ключевые слова: автоматическая обработка текста, автоматическое аннотирование, автоматическое реферирование.
The article presents a short review of current research on automatic summarization. Keywords: natural language processing (NLP), automatic summarization.
В современном мире возрастает актуальность применения методов автоматического реферирования и аннотирования. В настоящее время существует проблема информационной перегрузки. Рефераты и аннотации дают возможность установить основное содержание документа и определить необходимость обращения к первоисточнику. Автоматическое реферирование и аннотирование помогает человеку эффективно обрабатывать большие объемы информации.
По способу построения текста методы автоматического реферирования и аннотирования делятся на две группы: извлекающие и генерирующие1.
При использовании извлекающих методов из исходного текста выделяются наиболее важные фрагменты (предложения, абзацы). При этом данные фрагменты не обрабатывают, а извлекают в таком порядке и виде в каком они приведены в тексте.
Среди извлекающих методов мы рассмотрим следующие: методы на основе машинного обучения и методы на основе теории графов.
Преимуществом методов на основе машинного обучения является удобство тестирования целого ряда признаков важности.
В работе К.Ф. Вонга2 рассматривается сочетание различных признаков важности предложения: поверхностные признаки (расположение
предложения), содержательные (частота слов). Разработаны два алгоритма: алгоритм обучения с учителем и алгоритм частичного обучения. Оценка результатов показала, что лучшим является
сочетание поверхностных и содержательных признаков.
В методах на основе теории графов текст представляется в виде графа, узлы которого представляют фрагменты текста (слова, предложения, абзацы), а ребра обозначают отношения между узлами, например семантические отношения.
В работе Л. Плаза3 представлен метод реферирования, основанный на представлении текста в концепты с последующим преобразованием документа и предложений в граф. Метод использует дополнительные ресурсы - тезаурус медикобиологической области UMLS и программу MetaMap для преобразования текста в концепты из тезауруса UMLS. Метод состоит из следующих шагов: представление документа в виде графа, кластеризация концептов, выбор предложений.
Генерирующие методы реферирования и аннотирования основаны на лингвистических правилах обработки естественного языка или методах искусственного интеллекта. Генерирующие методы способны создавать новый текст, не представленный явно в тексте исходного документа.
Авторы работы4 описывают создание аннотаций для числовых данных. Определяются изменения во входных данных (данные сенсоров газовой турбины), происходит их представление в символьном виде, определяются необходимые изменения и происходит генерация текста, описывающего эти изменения. Системе необходимы компонент анализа данных и модуль генерирования текста. Для выполнения этих задач авторы провели процедуру сбора знаний: опрос экспертов по опи-
Осминин Павел Григорьевич, аспирант кафедры лингвистики и межкультурной коммуникации, Южно-Уральский государственный университет (г. Челябинск); научный руководитель -С.О. Шереметьева, доктор филологических наук, профессор. E-mail: osperevod@gmail.com
Pavel G. Osminin, postgraduate student, linguistics and cross-cultural communication department, South Ural State University (Chelyabinsk); Scientific supervisor -S.O. Sheremetyeva, Doctor of philological Sciences, Professor. E-mail: osperevod@gmail.com
134
Вестник ЮУрГУ, № 25, 2012
Осминин П. Г.
Современные подходы к автоматическому реферированию и аннотированию
санию числовых данных, разработку онтологии примеров описания данных.
В работе5 исследуется проблема автоматической генерации структуры аннотаций. Авторы отмечают, что предикаты и предикатные фразы имеют коммуникативную функцию - предупреждение читателя о содержании аннотированного документа путем явного указания («упоминает», «представляет»). Разработанный алгоритм получает на входе набор извлеченных фрагментов предложений и определяет, как соединить фрагменты в аннотацию. На каждом шаге алгоритм выбирает для вставки в начало текущего фрагмента наиболее подходящий предикат (фразу) из заранее определенного словаря. Оценка результатов показала, что разработанный алгоритм может прогнозировать структуру аннотаций более чем в 60 % случаев.
Таким образом, мы можем сделать вывод, что современные подходы к автоматическому реферированию и аннотированию отличаются разнообразием используемых методов. Материалами для реферата и аннотации могут выступать не только тексты, но и числовые данные6.
1 Кондратьев М. Аннотирование по запросу: связность или информативность // Труды третьего российского семинара по оценке методов информационного поиска / под ред. И.С. Некрестьянова. СПб.: НИИ Химии СПбГУ, 2005. С. 125-135.
2 Wong Kam-Fai. Extractive summarization using supervised and semi-supervised learning // Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008). Manchester, 2008. P. 985-992.
3 Plaza L. Concept-graph based Biomedical Automatic Summarization using Ontologies // Coling 2008: Proceedings of 3rd Textgraphs workshop on Graph-Based Algorithms in Natural Language Processing. Manchester,
2008. P. 53-56
4 Choosing the content of textual summaries of large time-series data sets / J. Yu, E. Reiter, J. Hunter, Chris Mellish // Natural Language Engineering. 2007. Vol. 13, № 1. P. 25-49.
5 Saggion H. A classification algorithm for predicting the structure of summaries // Proceedings of the 2009 Workshop on Language Generation and Summarisation, ACL-IJCNLP
2009. Suntec, 2009. P. 31-38.
6 Choosing the content of textual summaries of large time-series data sets...
Поступила в редакцию 10 июня 2012 г.
Серия «Лингвистика», выпуск 15
135
