CC BY
86
Извлечение информации и мнений на материале русскоязычных и англоязычных рецензий о ведущих музеях мира. Методика и предварительные результаты
Масленникова А., Ягунова Е., Санкт-Петербургский государственный университет
ш8а8Ьа1996, iagounova.elena@gmail.com
Аннотация
В данной работе представлен аспектно-ориентированный метод анализа отзывов о музеях, который может использоваться в рекомендательных системах в сфере е-туризма. Предложенный метод может применяться не только для создания рекомендательных систем в сфере е-туризма, но и для систем автоматического понимания текста вообще, где текстовые данные слабо структурированы и принадлежат разговорному стилю.
1 Введение
В настоящее время чрезвычайно востребованной является задача автоматического анализа мнений пользователей о товарах или услугах. Анализ пользовательских оценок позволяет оперативно принимать решения о своевременном изменении планов внедрения услуг и маркетинговой политики, усовершенствовании информационной поддержки и РЯ-услуг. Развитие туризма, е-туризма и собственно музейного дела повышает актуальность автоматического анализа мнений пользователей в сфере е-туризма.
В данной работе представлен аспектно-ориентированный метод анализа отзывов о музеях, который может использоваться в рекомендательных системах в сфере е-туризма. Реализация этого метода опирается на наши разработки в области анализа отзывов о ресторанах [Проноза, Ягунова, 2015; Pronoza е! al., 2013; Pronoza е! al., 2014].
Предложенный метод может применяться не только для создания рекомендательных систем в сфере е-туризма, но и для систем автоматического понимания текстов разговорного стиля, интегрированных в музейные информационные ресурсы.
Таким образом, наша основная цель - это разработка модуля извлечения мнений, которая может использоваться в собственно рекомендательных системах, информационных ресурсах музеев, этот модуль может быть интегрирован в такие социальные сети, в кото-
рые входит система обратной связи с музеем и разнообразные информационные функции.
Использование словарей, полуавтоматически или вручную созданных на основе корпуса отзывов, позволяет улучшить качество извлечения большинства аспектов музея.
2 Анализ работ
Как и в любых других задачах и области автоматической обработки естественного языка, основные используемые методы делятся на методы на основе правил, на основе статистики и гибридные методы. «Лингвистический» (Rule-based) подход включает использование шаблонов и семантических ресурсов (например, WordNet-Affect, SentiWordNet, SenticNet), в то время как статистические методы позволяют решить данную задачу даже при полном отсутствии подобных ресурсов (см. подробнее в [Проноза, Ягунова, 2015]).
Специфика музейных рекомендательных систем (а также разнообразных смежных информационных ресурсов) состоит в том, что она в максимальной степени совмещает (или может совмещать три подхода): контенто-ориентированный, аспектно-
ориентированный или персонифицированный [Huang et al., 2012; Kuflik et al., 2014; Sebastia et al., 2009; Sarkaleh et al., 2012]. В данной работе под контенто-ориентированным подходом мы понимаем всесторонний учет официальной информации о музее (то, что предлагается в разнообразных информационных ресурсах). В качестве аспектно-ориентированного подхода рассматривается анализ аспектов, информация о которых выявляется в ходе автоматической и полуавтоматической обработки текстов рецензий. В идеале мы стараемся выделить максимальное число 1) аспектов, пересекающихся в рамках этих двух подходов, 2) дополняющих друг друга аспектов, опять же реализующихся в рамках этих двух подходов. В настоящее время мы ведем такую работу, однако основной акцент пока делается на аспектно-
ориентированный подход, т.е. работу с корпусом рецензий. Персонификация на данный момент связана только с идентификацией по крупным группам: язык написания отзыва, страна проживания и город проживания.
В данной статье аспектно-ориентированный подход представлен как исследовательский поиск ведущих аспектов и анализ реализаций данных аспектов в рассматриваемых корпусах рецензий.
3 Исходные данные
3.1 Корпус отзывов
Исходный корпус отзывов о музеях состоит из отзывов о 6 ведущих музеях мира на русском и английском языках, преимущественно с сайта TripAdviser.
Рассматриваются следующие музеи в разных странах Европы: Государственный Эрмитаж, Лувр, Прадо, Галерея Уффицы, Национальная Галерея в Лондоне и Рейксмюзеум. В идеале предполагалось использование 1000 текстов рецензий по каждому из музеев для каждого из языков, рассматривались только последние по времени рецензии. Набор по английским рецензиям полный, но по русским рецензиям для некоторых музеев данных не хватает:
• Государственный Эрмитаж: комментарии с 25 марта 2014 по 10 мая 2015, 1000 текстов.
• Лувр: комментарии с 28 ноября 2013 по 26 апреля 2015, 1000 текстов.
• Прадо: комментарии с 17 марта 2012 по 20 апреля 2015, 850 текстов.
• Галерея Уффицы: комментарии с 10 августа 2012 по 19 апреля 2015, 380 текстов.
• Национальная галерея: комментарии с 8 марта 2012 по 13 мая 2015, 310 текстов.
• Рейксмюзеум: комментарии с 31 января 2012 по 26 апреля 2015, 320 шт. Корпуса представлены текстами на русском и английском разговорных языках с сайта TripAdviser, где пользователи оставляют свои отзывы о различных музеях, достопримечательностях, ресторанах, гостиницах и пр. Длина отзыва варьируется от 1 до 105 предложений.
3.2 Аспекты музеев
В данной работе применяется подход, при котором список аспектов объектов (в нашем случае - музеев) не извлекается из отзывов автоматически, а составляется вручную исхо-
дя из потребностей пользователей системы, в которой будет использоваться модуль анализа мнений (а в ближайшем будущем и тональностей).
Список типов аспектов, извлекаемых из отзывов, включает в себя тип музея, общая информация о музее, основные экспонаты (как авторы, так и произведения), общее впечатление, сервис. Ведущие аспекты, рассматривающиеся в данной работе, включают следующие:
• общая информация о музее и общее впечатление - анализ мнений (Opinion Mining) и тональности (Sentiment Analysis);
• основные экспонаты (как авторы, так и произведения) - извлечение информации (Information Extraction), анализ мнений (Opinion Mining) и тональности (Sentiment Analysis);
• наличие выставок -- извлечение информации (Information Extraction);
• сервис -- извлечение информации (Information Extraction)
o цены за билеты,
o возможности электронного
бронирования билетов,
o очереди за билетами -- также и анализ мнений (Opinion Mining) и тональности (Sentiment Analysis),
o толпы в музеи -- также и анализ мнений (Opinion Mining) и тональности (Sentiment Analysis),
o наличие льгот студентам, o наличие льгот пенсионерам, o возможность оплаты по кредитной карте;
■ экскурсии,
■ время работы,
■ наличие аудиогидов на ведущих языках,
■ раздача печатных информационных материалов,
• кафе (рестораны, буфеты) в музеях /соответствующие аспекты/.
• магазины, сувенирные лавки,
• камеры хранения,
• гардеробы и т.д.
Примеры аспектов по сервису в музеях, которые рассматриваются в данной работе, приведены в таблице 1. Для каждого из аспектов в таблице указано множество значений, которые может принимать этот аспект.
Таблица 1. Примеры аспектов по сервису в музеях
Среди этих примеров есть как объективные аспекты (например, возможности электронного бронирования билетов, наличие льгот студентам и пенсионерам и т.д.), так и субъективные (например, очереди за билетами и толпы в музеях); кроме того выделяются смешанные аспекты (например, цены за билеты) (см. таблицу 2). Для объективных аспектов задача классификации аспекта является задачей извлечения информации, в то время как для субъективных - это задача извлечения мнений и анализа тональности. Смешанные аспекты могут рассматриваться либо как объективные, либо как субъективные. В данном случае - на основании анализа отзывов -это субъективный аспект (при контенто-ориентированном анализе данных собственных информационных ресурсов этот же аспект рассматривается как объективный).
В данной работе рассматриваются субъективные аспекты (это аспекты со значениями из 5-балльной шкалы от -2 до 2, представленные в таблице 2) и решается комплексная задача извлечения информации, мнений и анализа тональности).
Необходимо убедиться в том, что для рассматриваемых аспектов в подкорпусе имеется достаточное количество реализаций. Для каждого из аспектов анализа рецензий была подсчитана доля отзывов в подкорпусе, в которых упоминается данный аспект (и принимает любое из значений). В качестве порогового значения эмпирически была выбрана величина, равная 10%. Это будет актуально и для последующего этапа обработки, основанного на машинном обучении с разными классификаторами.
4 Метод и этапы исследования
Мы ориентируемся на русский язык как на главный для этой статьи (хотя мы рассматриваем также и английский). Русский язык не отличается большим числом открытых се-
мантических ресурсов. Поэтому мы считаем необходимым опираться на результаты корпусного анализа, а далее экспериментируем как с правилами, так и с простейшей статистикой (ср. с предшествующей нашей разработкой на материале отзывов о ресторанах [Pronoza et al., 2013]).
Отсутствие доступных семантических ресурсов для русского языка мы пытаемся компенсировать полуавтоматическим построением словарей на основе корпуса отзывов, а отсутствие подходящих для нашей задачи инструментов синтаксического анализа - возместить анализом n-грамм, где n от 2 до 81. Анализ n-грамм дополнен частеречными признаками, прежде всего, навешиванием часте-речных фильтров на компоненты н-грамм. В целом, первое созвучно идеям модификаторов валентности и парам «наречие + прилагательное» из работ [Kennedy, Inkpen, 2006] и [Benamara et al., 2007], а второе - синтаксическим n-граммам Сидорова [Sidorov et al., 2014]. Различные способы выражения отрицания в русском языке мы также надеемся охватить n-граммами, где n от 2 до 8.
Анализ корпуса
Процедура анализа корпуса проводилась в рамках данной работы в несколько шагов. На настоящий момент реализована часть этапов:
• предварительная обработка корпуса (токе-низация, лемматизация, нормализация и разбиение на предложения). Сюда также включается построение частотного словаря и словарей n-грамм;
• построение словарей номинаций и предикативно-атрибутивных словарей;
• построение словарей ключевых слов и ключевых фраз;
• построение словарей модификаторов;
• анализ заголовков (для обобщенного описания).
• Следующие этапы, реализуемые в настоящее время:
• оценка покрытия корпуса словарями номинаций;
• построение шаблонов на основе частереч-ного распределения слов, соседних со словами-номинациями;
• оценка покрытия корпуса построенными шаблонами.
Это решение аналогично рассмотрению смежных и несмежных биграмм в нашей работе с отзывами по ресторанам [Pronoza е! al., 2013; Ртете^ е! al., 2014].
Аспект Множество значений
цены за билеты возможности электронного бронирования билетов очереди за билетами толпы в музее наличие льгот студентам наличие льгот пенсионерам возможность оплаты по кредитной карте {-2; -1; 0; 1; 2} { 0; 1} {-2; -1; 0; 1; 2} {-2; -1; 0; 1; 2} { 0; 1} { 0; 1} {0; 1}
Все перечисленные этапы подробно описаны в [РгопоЕа й а1., 2013]. В данной работе было принято решение использовать предикативно-атрибутивные словари - словари прилагательных и причастий в полной и краткой форме, которые относятся к номинациям ключевых фреймов. Это обусловлено тем, что анализ распределения частей речи среди п-грамм корпуса отзывов выявил доминирование именных групп при описании большинства аспектов музеев.
5 Предварительные результаты
Первичные результаты представляют данные частотного списка по ведущим музеям
(отдельно для русскоязычных и англоязычных рецензий, см. пример в табл. 2), данные n-грамм, на основе которых формируются шаблоны и заготовки для шаблонов. На наш взгляд эта таблица хорошо иллюстрирует различие материала по разным музеям, как с точки зрения количества реализуемых в отзывах аспектов, так и с точки зрения покрытия ими текстов корпуса. В таблице 2 приведен топ словаря для Prado и весь словарь для Rijksmuseum, каждый упорядочен по убыванию частот встречаемости лексем
Prado Rijksmuseum
949 музей 856 museum 339 музей 272 Rembrandt
191 посещение 312 visit 77 картина 222 worth
288 Прадо 310 Prado 64 Дозор, коллекция 199 Amsterdam
177 Мадрид 278 collection, Madrid 63 Ночной 197 Dutch
155 посещать 211 paintings 59 посещать 190 collection
152 очередь 188 Goya 57 Амстердам 183 paintings
151 вход, Гойя 180 amazing 46 очередь 174 beautiful
148 коллекция 161 hours 45 Рембрандт 167 Rijksmuseum
136 шедевр 103 works 44 посещение 165 building
132 зал 101 beautiful, guide 40 интересный, искусство 142 tickets
129 бесплатный 100 Spanish 39 голландский 141 amazing
121 обязательно 98 masterpieces 38 обязательно 137 wonderful
119 живопись 95 wonderful 37 живопись 114 museums
107 Веласкес 76 fantastic 35 шедевр 104 hours
89 билет, огромный 74 gallery 33 билет, огромный 102 nice
81 посмотреть 73 huge 31 Вермеер, отличный, прекрасный 96 tour
78 Босх 72 tour 30 экспозиция, этаж 95 exhibition
77 понравиться 67 artistst 27 зал, понравиться, русский 867 museum
74 русский 63 Greco 24 мастер, посмотреть 85 interesting
73 испанский 62 nice 23 здание 83 ticket
70 бесплатно, конечно 58 excellent 20 аудиогид, главный, приходить, язык 79 fantastic, queue
68 прекрасный 54 pieces 18 интересно, мало, потрясать, Рембрант, собрание, художник 78 works
65 Греко, Эль 53 tickets 17 великолепный, вход, знаменитый, обязательный 76 crowded
64 гид, интересный 52 building, painting 16 - век, великий, нужно, особенно, экспонат 72 excellent
62 великолепный 51 collections 15 впечатление, голландец, произведение, Рейксмюзеум 68 busy, masters
60 впечатление 50 miss 14 замечательный, полотно, представлять 63 huge, queues
59 евро, художник 49 entrance, ticket 13 богатый, голландия, кафе, корабль, красивый 61 collections
56 вечер 47 famous, lots 12 гог, история, советовать 59 miss
54 язык 46 impressive 11 внутри, государственный, молочница, Нидерланды, посетитель, предмет, располагать, экскурсия, Эрмитаж 58 lots
49 потрясать 45 visiting 10 карта, осматривать, познавательный, рекомендовать, утро 57 avoid
Таблица 2. Примеры частотного словаря для Prado и Rijksmuseum
45 великий, рекомендовать 42 audio, enjoyed, Spain, spent, Velazquez, visited 09 выставка, гид, евро, известный, открытый, полдень, реконструкция, реставрация, скульптура 56 enjoyed, (Van) Gogh
41 days, got, masters 40 loved 07 великолепно, информация, национальный, оружие, попадать, приезжать, программа, ранний, Рейксмузей, толпа, удобно, фламандский, шикарный 55 audio, went
42 рубенс, экспозиция 39 enjoy, entry, recommend 06 вообще, выделять, галерея, домик, достаточно, достопримечательность, Европа, касса, кукольный, мебель, наслаждаться, отдельный, планировать, покупать, получать, приятный, современный 54 floor, years
40 галерея, обязательный 38 velasquez 05 архитектура, аудиогид, восторг, впечатлить, выбирать, выставлять, достойный, заранее, интернет, красиво, маленький, модель, организовывать, открывать, побывать, посуда, представление, приобретать, ремонт старинный, турист, фарфор 53 vermeer
39 аудиогид, любитель, приходить 37 european, top 04 аудио, встречать, выход, гардероб, (Ван) Гог, грандиозный, группа, действовать, довольно, долго, жаль, желающий, закрытие, интерьер, исторический, книга, крупный, легко, лифт, магазин, настоящий, неплохой, никакой, обращать, освещение, особый, оставаться, отводить, пара, персонал, площадь, поездка, показывать, полностью, полный, практически, приятно, Рембранд, скидка, сожаление, спокойно, спокойный, сравнение, сувенирный, трамвай, туалет, уходить, фото, фотография, художественный, цена, эпоха, являться 52 guide, spent
37 мастер, представлять 36 classic, definitely, Europe, fabulous, queue 03 амстердамский, английский, бесплатно, брать, быстро, Ватерлоо, верхний, взгляд, висеть, владелец, впечатлять, высокий, достойно, дух, дышать, еврейский, ждать, жемчужина, завораживать, заканчивать, закрывать, занимать, здорово, избегать, изменяться, камера, классик, классический, классный, количество, копия, красота, культурный, любимый, макет, малый, наличие, написать, начинаться, невероятный, невозможно, неплохо, нидерландский, номер, обширный, организация, открываться, отмечать, период, подробный, полезный, помещение, помогать, портрет, потратить, почитать, прекрасно, производить, простой, просторный, раздел, разнообразный, рассказывать, реально, реновация, ресторан, Рубенс, свет, сдавать, семья, серебро, спешить, становиться, страна, сувенир, супер, точно, удивлять, улица, уникальный, устраивать, Хальс, хранение, ценитель, центр, чудесный, электронный
36 купить 35 admission, full, interesting, louvre, times 02 атмосфера, бегло, безумно, битва, большинство, Брейгель, быт, важный, великолепие, вентиляция, вечер, визит, вкус, вкусно, вкусный, возвращаться, вокзал, воспользоваться, восхитительно, вспышка, входить, входной, выдавать, выдающийся, выходить, гордость, давно, дворец, (Ван) Дейк, действи-
тельный, делфтский, длинный, добираться, доброжелательный, дорого, дорогой, европейский, еда, жалеть, желать, живой, живописец, забавный, забывать, зайти, закладывать, закрытый, запечатлевать, зеленый, идеально, интересовать, истинный, классно, комфортный, королевский, короткий, крыло, культура, куча, лавочка, лететь, летний, магазинчик, май, масса, мера, местный, минус, многое, многолюдный, множество, наблюдать, называть, наслаждение, необыкновенно, необычный, нулевой, обзорный, общий, объект, ограничивать, ожидание, оказываться, основное, особенный, отдавать, перекусить, переполнять, Петербург, Петр, писать, пластиковый, побродить, повезти, подниматься, подолгу, подробно, подходить, поздний, познакомиться, покупка, полагать, понятно, поражать, посидеть, постоять, право, превосходный, прикладной, принцип, проблема, прогулка, проезд, происходить, пропустить, проходиться, прошлый, равнодушный, разбираться, различный, разрез, разрешать, рано, реальность, ребеночек, редкость, Рейксму-зеум, речь, роскошный, российский, свежий, светлый, свободно, свободный, скучно, слава, специальный, спланировать, сравнивать, Стейн, студент, сценка, творение, темный, тень, течение, тихий, третий, Третьяковка, трогательный, увлекаться, удаваться, удачно, удивительный, удивляться, указывать, украшение, уровень, успевать, факт, фламандец, фойе, фон, ценность, четко, чисто, широкий, школа, юмор
30 Rubens 33 bit, exhibition, painters
6 Заключение. Планы
В результате проведенного исследования предложен аспектно-ориентированный подход к анализа отзывов о ведущих музеях, который может использоваться в рекомендательных системах в сфере е-туризма. Реализация этого метода опирается на наши разработки в области анализа отзывов о ресторанах [Проноза, Ягунова, 2015; Pronoza е! al., 2013; Pronoza е! al., 2014], но уточняется на основе анализа корпуса отзывов рецензий о музеях (дополняется не только русскоязычными, но и англоязычными рецензиями). Сфера применения нашего подхода не ограничена узкой предметной областью. Предложенные в данной статье и в статье [Проноза, Ягунова, 2015] (а также [Pronoza е! al., 2013; Pronoza е! al., 2014]) идеи могут учитываться при решении задач автоматического понимания слабо структурированных текстов разговорного
По всем музеям представлен основной материал по названным ранее аспектам (см. п.3.2). Извлекается как общая информация о музее и общее впечатление, так и основные экспонаты (как авторы, так и произведения); различные варианты сервиса. Хуже всего извлекается информация о наличии выставок (даже в случае очень известных и долгосрочных выставках). Для англоязычных текстов рецензий явным преимуществом является бОльшая структурированность текстов по сравнению с русскоязычными. Для русскоязычных рецензий помехой является постоянное сравнение того или иного музея с российскими музеями и выставками (Эрмитажем, Русским музеем, Третьяковской галереей). В ряде русскоязычных корпусов рецензии крайне неоднородны и неопределенны, примером этого может служить корпус Кук^тшеиш (см. табл. 2)
стиля без привлечения семантических ресурсов (или с минимальной опорой на семантические ресурсы).
На настоящий момент в исследовании представлены наработки первого года работы над проблематикой рекомендательных систем (в широком и узком смысле) для ведущих музеев мира. Поэтому в статье еще не представлена система в целом и оценка ее работы. Это работа запланирована на следующий год. Предметная область с одной стороны, близка к ресторанам (и отелям), с другой - книгам, фильмам, выставкам.
Планируется увеличения числа рассматриваемых аспектов (см. п.4.1.), увеличение, а главное - тщательность проработки, словарей, а также оценка покрытия корпусов словарями и - далее - шаблонами.
Благодарности
Работа выполнена при поддержке гранта СПбГУ 30.38.305.2014
Kennedy A., Inkpen D. Sentiment Classification of Movie Reviews Using Contextual Valence Shifters // Computational Intelligence, 2006.
Sidorov G., Velasquez F., Stamatatos E., Gelbukh A., Chanona-Hernandez L. Syntactic N-grams as Machine Learning Features for Natural Language Processing // Expert Systems with Applications, vol. 41 (3), 2014, pp. 853-860, 2014.
Pronoza E., Yagunova E., Lyashin A. Restaurant Information Extraction for the Recommendation System // Proceedings of the 6th Language Technology Conference: Human Language Technologies as a Challenge for Computer Science and Linguistics, 2nd Workshop on Social and Algorithmic Issues in Business Support: "Knowledge Hidden in Text", 2013.
Pronoza E., Volskaya S., Yagunova E. Corpus-based Information Extraction and Opinion Mining for the Restaurant Recommendation System. Proceedings of the 2nd Statistical Language and Speech Processing. L. Besacier et al. (Eds.): SLSP LNAI 8791, pp. 272-284, 2014.
Литература
Проноза Е.В., Ягунова Е.В. Аспектный анализ отзывов о ресторанах для рекомендательных систем е-туризма // Сборник научных статей XVIII Объединенной конференции «Интернет и современное общество» IMS-2015, Санкт-Петербург, 23-25 июня 2015 г. (в печати).
Huang, Y.-M., Liu, C.-H., Lee, C.-Y., & Huang, Y.-M. (2012). Designing a Personalized Guide Recommendation System to Mitigate information Overload in Museum Learning. Educational Technology & Society, 15 (4), 150-166.
Kuflik Tsvi, Minkov E., Kahanov K. Graph-based Recommendation in the Museum (2014) // CEUR Workshop Proceedings Vol. 1278. DMRS 2014 Decision Making and Recommender Systems (Bolzano, Italy, September 18-19, 2014) 2014
Sebastia L., Garcia I., Onaindia E., Guzman C. (2009) E-Tourism : a tourist recommendation and planning application // International Journal on Artificial Intelligence Tools 18 (05), 717-738
Sarkaleh M. K., Mahdavi M., Baniardalan M. (2012) Designing a tourism recommender system based on location, mobile device and user features in museum // International Journal of Managing Information Technology (IJMIT) Vol.4, No.2, May 2012
Benamara F., Cesarano C., Picariello A., Reforgiato D., Subrahmanian V. S. (2007) Sentiment Analysis: Adjectives and Adverbs are Better than Adjectives Alone // Proceedings of the International Conference on Weblogs and Social Media (ICWSM), 2007.
