CC BY
71
Методы извлечения аспектных терминов из мнений
Рой Д. А., Ефремова Н.Э., МГУ имени М.В. Ломоносова [email protected], [email protected]
Аннотация
Задача аспектного анализа мнений актуальна в применении к отзывам пользователей, в которых обсуждается не только конкретный товар, продукт или сервис, но и его различные характеристики - аспекты. В данной работе подробно рассмотрены подходы к решению одной из подзадач аспектного анализа - подзадачи выделения ас-пектных терминов, используемых в тексте мнений для ссылки на аспекты.
1 Введение
Большое количество работ в области анализа тональности [1-3] посвящено определению тональности всего мнения или его отдельных предложений и фраз. При этом остается непонятным, что конкретно автору отзыва понравилось в описываемой им сущности (продукте, товаре, услуге и т.п.), а что нет. Поэтому в последнее время все большую актуальность приобретает аспектный анализ, предполагающий, что автор высказывает мнение не только о сущности в целом, но и о ее аспектах.
Под аспектом понимаются атрибуты, качества и свойства, характеризующие анализируемую сущность. Так, для сущности отель могут быть выделены аспекты сервис, интерьер, расположение и цена. В свою очередь, для обозначения аспектов в текстах мнений используются аспектные термины. К приме -ру, аспект интерьер может описываться в тексте аспектными терминами интерьер, потолок, обстановка, мебель и пр.
Как правило, при решении задачи аспект-ного анализа выделяют следующие подзадачи [4]:
• извлечение аспектных терминов,
• объединение аспектных терминов в аспектные категории (т.е. отнесение ас-пектного термина к соответствующему аспекту),
• определение тональности по отношению к аспектам.
Для каждой из этих подзадач существуют свои методы решения [5]. В данной статье приведен обзор идей, лежащих в основе методов извлечения аспектных терминов.
2 Методы извлечения аспектных терминов
2.1 Статистический подход
Статистический подход рассматривает задачу извлечения аспектных терминов как задачу извлечения слов и словосочетаний, статистически значимых для анализируемых мнений. По данным [6] 60-70% аспектных терминов являются именными группами, поэтому методы данного подхода в первую очередь считают терминами существительные и именные словосочетания.
Типичный метод статистического подхода обычно содержит следующие шаги [6, 7]:
1. Выявление в тексте существительных и именных словосочетаний.
2. Вычисление для них статистической характеристики.
3. Отбор именных словосочетаний, значение статистической характеристики у которых выше заданного порога.
Достаточно часто для выявления именных словосочетаний используется информация об их синтаксической структуре: например, из текста извлекаются все двух- и трехсловные последовательности из прилагательных и существительных [6]. Кроме этого, могут рассматриваться частоты употребления различных сочетаний слов или значения специальных функций. В работе [8] в качестве такой функции выступает C-Value, определяемая формулой:
"og(|n|) * frq(a) , если а не вложено в другие словосочетания,
С - Value = < „ 1%. / , , 1
иначе,
где а - словосочетание, - множество фраз 5, содержащих внутри себя рассматриваемое словосочетание, ^гц - встречаемость в коллекции. Данная функция имеет малые значения для словосочетаний, часто встречающихся в составе одних и тех же фраз, и позволяет отобрать полноценные значащие фразы, а не их части.
На втором шаге метода для выявления статистически значимых слов и словосочетаний рассматривают частоту их употребления и
вычисляемые на основе этой частоты статистические характеристики. В работе [9] предлагается рассматривать значения ТР-ГОР на уровне абзаца и мнения, а в работе [10] сравнивается частота употребления выявленных именных групп в рассматриваемом и контрастном корпусе.
Первая характеристика позволяет отбирать слова и словосочетания, появляющиеся:
• либо во многих мнениях, но в каждом из них редко (в малом количестве абзацев),
• либо в нескольких мнениях, но часто (в большом количестве абзацев).
Вторая характеристика опирается на гипотезу о том, что частота употребления аспект-ных терминов в рассматриваемом корпусе выше, чем в контрастном; в качестве контрастного обычно выступает корпус более общей тематики.
После вычисления статистической характеристики экспериментально определяется порог отсечения. Именные словосочетания, значения характеристики у которых выше порога, помечаются как кандидаты в аспект-ные термины, все остальные считаются нетерминами.
Поскольку при описании оцениваемой в отзыве сущности люди, как правило, используют одинаковые слова для ссылки на ее характеристики, методы статистического подхода в целом дают хорошие результаты, хотя среди частотных именных групп все равно встречается достаточно много нетерминов. Кроме того, этот подход пропускает низкочастотные аспектные термины.
2.2 Лингвистический подход
Основная идея лингвистического подхода - учет синтаксической структуры аспектных терминов и особенностей их употребления в тексте [11]. Например, в отзывах рядом с терминами очень часто употребляются оценочные слова: красивая мебель, обшарпанная мебель, красивая обстановка и т.д. Подобные
языковые конструкции удобно представить в формальном виде (к примеру, в виде шаблонов), а затем автоматически искать их аналоги в анализируемых текстах. При этом, шаблоны могут быть построены экспертами вручную или получены автоматически.
Для автоматического построения шаблонов необходимо задать начальное множество ас-пектных терминов, что делается либо перечислением всех возможных терминов, либо просто путем внесения в это множество частотных именных словосочетаний из анализируемых мнений. Далее, начальное множество используется для выявления в текстах конструкций, посредством которых аспекты связаны с оценочными словами. Для этого обычно анализируются 2-3 слова, стоящие справа и слева от термина: проверяется, являются ли они оценочными, определяется их часть речи и пр. Если найдено несколько схожих конструкций, то они обобщаются в виде одного шаблона.
После получения шаблонов с их помощью из мнений извлекаются слова и словосочетания, стоящие на определенных местах. Эти слова и словосочетания считаются кандидатами в аспектные термины.
В Таблице 1 приведены примеры изначально заданных аспектов, их употребления в тексте и полученные шаблоны. Здесь SW обозначает оценочное слово, ASP - аспектный термин, а NP - существительное.
Отметим, что возможно итеративное применение указанного метода [12]. При этом вновь полученные слова и словосочетания добавляются к начальному множеству терминов, и процесс выявления в тексте конструкций с оценочными словами повторяется еще раз. Итеративный процесс останавливается, когда перестают появляться новые шаблоны.
Подобные методы извлечения аспектных терминов находят низкочастотные термины, но при этом извлекают много нетерминов, подходящих под заданные шаблоны [12]. В работе [13] для отсеивания полученных кан-
Таблица 1. Примеры шаблонов, полученных автоматически
Известный аспект Употребление в тексте Полученные шаблоны
Жизнь батареи Жизнь батареи потрясающая ASP SW
Качество фотографии Неудовлетворительное качество фотографии SW ASP
Качество фотографии Любимая особенность - качество фотографии SW NP ASP
дидатов предлагается использовать оценку их значимости. При ее формировании учитывается информация о совместном употребление кандидата и названия сущности, которую он описывает. Например, в предложении
Персонал отеля отвечал на все вопросы очень вежливо рядом с сущностью отель употребляется существительное персонал, и это слово получит высокую оценку значимости.
Другая информация, которую может учитывать оценка значимости - разнообразие оценочных слов, применяемых к кандидатам [13]. Если с термином-кандидатом используются различные оценочные слова, то он должен иметь более высокую оценку, чем кандидат, употребляющийся лишь с одним-двумя оценочными словами.
После получения оценок значимости кандидатов используется порог отсечения по заданному значению.
Методы лингвистического подхода достаточно просты в применении, т.к. шаблоны можно составлять автоматически, а оценочные слова известны или их списки (словари) легко найти. Лингвистические методы позволяют найти малочастотные аспектные термины, но опять же извлекают много нетерминов.
2.3 Машинное обучение
Выделение аспектов можно рассматривать как проблему классификации слов и словосочетаний на два класса: аспект и неаспект [7]. В качестве признаков, на основе которых происходит классификация, обычно используют лингвистические (положение в предложении, часть речи, близость к оценочным словам и т.д.) и статистические характеристики слов (частотность, значение TF-IDF и т.д.). В общем случае хорошие результаты показывает классификатор на основе метода опорных векторов (SVM). Также в задачах обработки текстов на естественных языках часто применяют байесовский наивный классификатор [1].
В работе [14] проведено сравнение результатов работы трех методов классификации: деревьев решений, SVM и логистической регрессии. Авторами были рассмотрены различные комбинации следующих признаков:
• частотность в коллекции мнений;
• близость на расстоянии 3 к словам хороший/плохой в выдаче результатов поиска Яндекса;
• относительная частота слова по сравнению с контрастной коллекцией;
• значения меры TF-IDF;
• значения меры PMI, учитывающей совместную встречаемость между существительными-кандидатами и названием сущности.
Все рассмотренные методы показали хорошие результаты на русскоязычных текстах о ноутбуках: были получены значения Fl-меры в интервале 76-86%.
Предложенные в последние годы методы извлечения аспектных терминов основываются на последовательной разметке слов (sequence labeling), учитывающей их порядок в предложении. В рамках этого направления хорошо себя зарекомендовали методы HMM (Hidden Markov models) и CRF (Conditional Random Fields) [15, 16]. В основе этих методов лежит марковский процесс, в котором есть скрытые и известные переменные: по известным переменным необходимо определить скрытые. В качестве признаков используются части речи, синтаксические зависимости между словами и др. [17].
В настоящее время лучшие результаты по извлечению аспектных терминов показывают нейронные сети. Они позволяют решить одну из проблем методов машинного обучения -самостоятельно создают большое количество значимых признаков.
В работе [ 18] были рассмотрены различные архитектуры рекуррентных нейронных сетей. Выбранная 2-слойная LSTM-нейронная сеть с обратными связями обучалась на русскоязычных отзывах с соревнования SentiRuEval-2015 [4]. Авторы оказались в числе победителей конкурса: для области ресторанов полученная ими F1-мера составила 66,8%, для автомобилей - 63,0%.
Кроме того, авторы оценили свою систему на английском наборе данных SemEval-2014 [19]. Преимущество этих данных состоит в том, что они очищены от орфографических ошибок. Лучших результатов система не достигла, но был получен результат, эквивалентный шестому лучшему - 79,6%.
Методы, основанные на машинном обучении, позволяют извлекать низкочастотные аспектные термины, не выделяя при этом много нетерминов. Для большинства методов требуется корпус размеченных текстовых данных соответствующей предметной области, что является общим недостатком методов машинного обучения.
3 Заключение
В данной статье проведен обзор подходов к излечения аспектных терминов. Для каждого подходы отмечены его достоинства и недостатки. В дополнение отметим, что адекватные оценки работы методов (т.е. оценки работы разных методов на одних и тех же данных) появились только недавно. К сожалению, это не позволяет сделать правильные выводы о качестве работы методов всех описанных подходов. Из приведенных оценок методов машинного обучения видно, что они лучше работают для отзывов на английском языке.
По результатам проведенного обзора были выбраны и реализованы простейшие методы для решения подзадачи выделение аспектных терминов из русскоязычных мнений. Среди них:
• метод на основе статистики: терминами считались существительные, частота встречаемости которых выше 5;
• метод на основе шаблонов: в качестве терминов рассматривались существительные и двухсловные словосочетания из существительных и прилагательных;
• метод на основе машинного обучения -SVM.
Для оценки качества работы методов использовалась коллекция отзывов про рестораны [4]. Были получены следующие значения Fl-меры:
• для статистического метода - 32,7%,
• для метода на основе шаблонов - 39%,
• для классификатора SVM - 18,8%.
Реализованные методы не учитывают область отзывов, поэтому нами были получены такие низкие результаты. В дальнейшем планируется усложнить данные методы, но в любом случае не привязывать их к конкретной предметной области.
В качестве дополнительной нами ставится задача извлечения общей тональности из мнений о конкретной сущности, т.е. извлечение словосочетаний, наиболее ярко характеризующих ее.
Список литературы
1. Pang В., Lee L., Vaithyanathan S. Thumbs up? Sentiment classification using machine learning techniques // Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing. 2002. V. 10. P. 79-86.
2. Turney P. Thumbs Up or Thumbs Down? Seman-
tic Orientation Applied to Unsupervised Classification of Reviews // Proceedings of the Association for Computational Linguistics. - 2002. - P. 417-424.
3. Bo Pang, Lillian Lee Seeing stars: exploiting class relationships for sentiment categorization with respect to rating scales // In Proceedings of the 43rd annual meeting of the Association for Computational Linguistics (ACL): журнал. -University of Michigan, USA, 2005. - No. June 25-30. - P. 115-124.
4. Loukachevitch N. V., Blinov P. D., Kotelnikov E. V., Rubtsova Y. V., Ivanov V. V., Tutubalina E. V. 2015. SentiRuEval: Testing Object-oriented Sentiment Analysis Systems in Russian. Proceedings of International Conference Dialog.
5. Liu B. Sentiment Analysis and Opinion Mining. -Morgan and Claypool Publishers, 2012.
6. Hu M., Liu B. Mining and summarizing customer reviews // in Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. - 2004.
7. Popescu A., Etzioni O. Extracting product features and opinions from reviews // Natural language processing and text mining. Springer: London. 2007. P. 9-28.
8. Zhu J., Wang H., Zhu V., Tsou B., Ma M. Aspect-Based Opinion Polling from Customer Reviews by // IEEE Transactions on affective computing, vol. 2, no. 1, 2011.
9. Lun-Wei K., Liang Y., Chen H. Opinion extraction, summarization and tracking in news and blog corpora // in Proceedings of AAAI-CAAW'06. 2006.
10. Scaffidi C., Bierhoff K., Chang E., Felker M., Ng H., Jin C. Red Opal: product-feature scoring from reviews // in Proceedings of Twelfth ACM Conference on Electronic Commerce. 2007.
11. Blair-Goldensohn S., Hannan K., McDonald R., Neylon T., Reis G. A., Reynar J. Building a sentiment summarizer for local service reviews // Proceedings of WWW Workshop on NLP in the Information Explosion Era. 2008.
12. Moghaddam S., Ester M. Aspect-based opinion mining from online reviews. Tutorial at SIGIR-2012. 2012.
13. Zhang L., Liu B., Lim S., O'Brien-Strain E. Extracting and ranking product fea-tures in opinion documents // Proceedings of International Conference on Computa-tional Linguistics (COL-ING-2010). 2010. P. 1462-1470.
14. Marchuk A.A., Ulanov A.V., Makeev I.V., Chugreev A.A. Extracting product features from reviews with the use of Internet statistics // Proceedings of Interna-tional Conference on Computational Linguistics and Information Technologies Dialog-2013. 2013. V. 2. P. 81-91.
15. Niklas J., Gurevych I. Extracting opinion targets in a single and cross-domain setting with conditional random fields // Proceedings of Conference
on Empirical Methods in Natural Language Processing (EMNLP-2010). 2010. P. 1035-1045.
16. Choi Y., Cardie C. Hierarchical sequential learning for extracting opinions and their attributes // Proceedings of Annual Meeting of the Association for Computa-tional Linguistics (ACL-2010). 2010. P. 269-274.
17. Jakob, Niklas, I.Gurevych. Extracting opinion targets in a single- and crossdomain detting with conditional random fields. Proc. of Conference on Empirical // Methods in Natural Language Processing (EMNLP-2010), 2010.
18. Tarasov D. Deep recurrent neural networks for multiple language aspect-based sentiment analysis of user reviews. SentiRuEval, 2015.
19. Pontiki M., Papageorgiou, H., Galanis, D., An-droutsopoulos, I., Pavlopoulos, J., Manandhar, S. Semeval-2014 task 4: Aspect based sentiment analysis. // In Proceedings of the 8th International Workshop on Semantic Evaluation. SemEval 2014. P. 27-35.
