CC BY
23Анализ текстовой аналитики как инструмент выявления интереса пользователей интернета к современным социальным явлениям в условиях цифровой трансформации экономики
о
CS
CS Ol
о ш m
X
<
m о x
X
Лопаткин Дмитрий Станиславович
кандидат экономических наук, доцент, заведующий кафедрой менеджмента и маркетинга, ФГБОУ ВО «Российский химико-технологический университет имени Д.И. Менделеева», dreiven118@mail.ru
Егорова Ольга Юрьевна
ассистент кафедры менеджмента и маркетинга, ФГБОУ ВО «Российский химико-технологический университет имени Д.И. Менделеева», olka774@gmail.com
Бойко Александр Эдуардович
магистрант кафедры менеджмента и маркетинга, ФГБОУ ВО «Российский химико-технологический университет имени Д.И. Менделеева» , bagladin@mail.ru
Сегодня, гигантские потоки информации проходят через все сегменты экономики. Инструменты Big Data используются государствами и предприятиями во всем мире. Использование технологий на основе «больших данных» помогает сократить расходы, повысить эффективность бизнеса, проводить социологические исследования. В статье рассмотрены возможности получения и обработки информации с помощью инструментов текстовой аналитики «больших данных», которые позволяют осуществлять сбор, систематизацию и анализ текстовых данных в автоматическом режиме. С использованием публичного web-сервиса Google Trends был проведен анализ поисковых запросов российских пользователей интернета. Сделаны выводы о возможностях, ограничениях и перспективах использования методов морфологической текстовой аналитики «больших данных».
Ключевые слова: «большие данные», интернет, текстовая аналитика, обработка данных, социальные сети.
Согласно обновленной оценке исследовательской компании IDC, в 2025 году по всему миру будет насчитываться около 41,6 миллиарда устройств, подключенных к интернету, включая машины, различные сенсоры и камеры. Пропорционально этому, ежедневно растет объем данных, создаваемый человечеством.
Со времен шумерских глиняных табличек вплоть до настоящего момента человек создал по крайне мере 3,13 млрд книг, 1,4 млрд статей и сочинений, 180 млн песен, 3,5 трлн изображений, 33000 фильмов, 1 млрд часов видеозаписей, ТВ-шоу и короткометражных фильмов, а также 60 трлн публичных интернет-страниц. Весь этот объем информации в настоящее время содержится в различных библиотеках и архивах мира. После полной оцифровки полученный объем информации можно сжать и поместить при современном уровне развития технологий на жесткие диски с объемом памяти 50 пета-байт. Еще десять лет назад для хранения такого объема информации потребовалось бы здание размером с небольшой город. Сегодня для размещения глобальной библиотеки информации достаточно и одной комнаты. С технологиями будущего, вероятно, можно будет обходиться и сотовым телефоном [1].
С каждого устройства, имеющего выход в интернет, огромные потоки данных, сложно поддающихся структурированию, буквально врываются в социальные сети, поисковые системы, блоги, форумы, мессенджеры, как в ответ на реальные процессы, происходящие в обществе, так и на процессы, которые происходят в «виртуальном мире».
Организовать процесс захвата таких данных, обработки, представления, хранения, управления ими традиционными инструментами не представляется возможным, поскольку помимо объема (volume), эти данные обладают еще двумя характеристиками: разнообразием (variety) - данные являются разнородными и слабо структурированными - и скоростью (velocity) - скоростью прироста и как следствие, необходимостью быстрой обработки для получения результатов [2].
Поэтому в данном случае под «большими данными» (big data) понимается не их фактический объем, а группа технологий и методов производительной обработки динамически растущих объемов данных (структурированных и неструктурированных) в распределенных информационных системах, позволяющих получить качественно новую достоверную информацию, которая может быть использована для ряда задач, начиная от при-
нятия управленческих решении и прогнозирования каких-либо событии, заканчивая выявлением популярных трендов и проведением достоверных социологических исследовании.
В госпрограмме «Цифровая экономика», принятой Правительством РФ в 2017 г., работа с большими данными рассматривается как ключевая сквозная цифровая технология необходимая для цифровизации национальной экономики [10].
В даннои работе будет подробнее рассмотрена группа технологий текстовой аналитики «больших данных».
Инструменты текстовой аналитики позволяют осуществлять сбор, систематизацию и анализ текстовых данных в автоматическом режиме благодаря применению лингвистических правил, статистических методов и методов машинного обучения.
Сегодня текстовая аналитика «больших данных» находит широкое применение в ряде практических задач: в области маркетинга и исследований рынка, для мониторинга СМИ и социальных сетей, анализа тональности и оценки мнений, отзывов и жалоб, для поиска ответов на вопросы в колл-центрах, для обеспечения безопасности и т. д. [3]. Однако применение морфологической текстовой аналитики «больших данных» может лежать и в плоскости оценки интереса общества к политическим, социальным и экономическим процессам.
Традиционные инструменты выявления общественного мнения, такие как социологические опросы, часто искажают реальную картину, ведь люди часто бывают подвержены конформистским настроениям, стараются скрывать свое истинное мнение, отвечая на вопросы, исходя из той социальной роли или статуса, в которых их застал опрос; пытаются показать себя в лучшем свете или просто пребывают в не самом лучшем настроении. На результаты опроса в каждом конкретном случае может повлиять множество факторов. Кроме того, социологические опросы часто имеют свои ограничения еще и по части выборки.
Интернет же - площадка для дискуссии глобальной аудитории, гибко реагирующая на события, происходящие в обществе, которую каждый воспринимает с позиций своего образа жизни и опыта. С точки зрения выяснения мнения общества интернет невозможно загнать в рамки, поскольку в виртуальной среде путаются социальные статусы, анонимность «развязывает руки» для самых объективных или едких замечаний, а «язык» -для самых честных вопросов, которые некоторые побоялись бы задать психологу или самым близким друзьям.
Технологии текстовой аналитики «больших данных» исходят из того, что через частоту встречаемости ключевых слов в текстах интернета - рекламных сообщениях, блогах, комментариях, запросах в поисковых системах (к примеру, Google, Яндекс, Bing) - можно оценивать те или иные процессы в жизни людей: психологические, стрессовые, социальные, рекламные, рыночные, политические, особенно, если слова подсчитываются в привязке к названиям стран и определенным годам.
Безусловно, в привязке к названиям стран на количество ключевых слов влияет множество факторов, начиная от численности населения и доступности интернета в стране, а также общего уровня компьютерной грамотности, и заканчивая насыщенностью политическими, экономическими или социальными событиями, приводящей к повышению цитирования страны глобальной интернет-аудиторией. При этом главный тренд все равно
будет отражать истинную реакцию общества на события или те или иные процессы в жизни людей. Подходы big data допускают, что массив собираемых данных неидеален, может содержать неточности и неопределенности, однако благодаря данной технологии достигается максимально возможный охват явления, который на данном этапе развития технологий невозможно исказить даже генерацией текстов искусственно созданными «цифровыми личностями» - ботами.
Наиболее распространенным видом текстовой аналитики «больших данных» в настоящее время является анализ ключевых слов на основе запросов к поисковой системе и открытым для общего доступа текстовым данным через API-доступ (Application Programming Interface - интерфейс программирования приложений, программный интерфейс приложения). Обработка полученных данных обычно осуществляется с помощью специально созданного программного обеспечения, библиотек для языков программирования высокого уровня.
Интересным исследованием в этой области является анализ глобальных трендов для 100 стран мира [4]. Исследователями были выбраны 52 ключевых слова, разбитые на 5 блоков: «информация», «энергия и материалы», «социальное неравенство», «стрессовая нагрузка», «социальный профиль». Для каждой из стран были построены лепестковые диаграммы, отражающие группы наиболее часто встречающихся слов, на их основе была построена «карта глобальных трендов», отражающая основную тематику глобальной дискуссии в интернете. Чем ближе к центру по шкале, тем больше стран имеют конкретное ключевое слово как часто встречающееся в привязке к своему названию (размер маркера условно отражает эту же характеристику).
Ф computer • smartph тоЫеарр me
demonstriti protest ф strike ф development on revolution mobil* • • • phone ta* supplies
oil
terrorist Щ terrorism ф Muslims # poverty ^^ narcotic occupation ф ф ф morbidity ф oil price , С MO G MO harmful
crime ф Crkii* alcohol« im
• • unemployment price increase
Рис. 1. Карта глобальных трендов, построенная по группе самых часто встречающихся паттернов ключевых слов для каждой из 100 стран [4]
Как видно из рис. 1, наиболее распространенные позиции - это: «mobile phone» (мобильный телефон), «development» (развитие), «revolution» (революция), «poverty» (бедность). На втором месте по актуальности - «morbidity» (заболеваемость), «narcotic» (наркотики), «occupation» (трудовая занятость), а также протестная тема: «protest» (протест), «strike» (забастовка),
X X
о го А с.
X
го m
о
ю 2
M О
о
CS
CS Ol
о ш m
X
3
<
m О X X
«demonstration» (демонстрация). Безусловно, в трактовке результатов и построении причинно-следственных связей наиболее вероятно допустить ошибку и исказить данные, к примеру, трактуя тренд «revolution» (революция) как «Четвертую промышленную революцию», а не революционные настроения, не связав с последним часто встречающиеся слова, отражающие готовность к протестам, забастовкам и демонстрациям, а также ряд трендов со словами, отражающими проблемы кризиса, повышения цен и безработицы.
Проблемы заболеваемости и наркомании, входящие в центральное звено главных трендов, беспокоят глобальный социум намного больше, чем терроризм, война и преступность.
В рамках данного исследования была сопоставлена частота обращения российских пользователей интернета к таким категориям, как секс, алкоголь, наркотики, порно, «Вконтакте», которые также являются неотъемлемой частью дискуссии глобального интернет-сообщества 21 века. Сопоставление было проведено с помощью публичного web-сервиса Google Trends, являющегося одним из способов текстовой аналитики «больших данных» [5].
В основе статистики Google Trends лежит безоценочная выборка данных введенных в поисковую систему Google. При анализе используется лишь часть поисковых запросов.
Данный сервис включает два вида сведений:
- в реальном времени - случайная выборка поисковых запросов за последние 7 дней,
- не в реальном времени - случайная выборка данных Google поиска за период с 2004 г. до настоящего момента, не считая последние 36 ч.
После отбора данных сервис классифицирует их и соотносит с темой, а затем удаляет из них любую личную информацию.
Относительные данные о результатах поиска для определенного периода времени или региона вычисляются следующим образом:
- рассчитывается относительная популярность запросов при помощи деления на общее число поисковых запросов в конкретной местности за определенное время. В противном случае на первых местах всегда были бы районы, пользователи из которых активнее всего осуществляют поиск в Google;
- полученные результаты ранжируются по стобалльной шкале, которая отражает популярность темы по отношению ко всем остальным запросам, связанным с любыми темами;
- в регионах с одинаковым количеством запросов по определенной фразе общий объем поисковых запросов может быть разным.
Люди сегодня признаются, что им бывает все труднее выключить интернет, причиной тому часто являются социальные сети. Социальные сети стали неотъемлемой частью нашей повседневной жизни и по праву считаются главной «зависимостью» 21 века. По всему миру тройка лидирующих запросов представлена такими гигантами, как Facebook, Google и Youtube.
В России проникновение соцсетей оценивается в 47%, аккаунты в них имеют 67,8 млн россиян. По данным Statista, активнее всего в РФ используют YouTube - 63% опрошенных, второе место занимает ВКонтакте - 61%. Глобальный лидер - Facebook - лишь на четвертом ме-
сте с показателем в 35%. Огромное количество пользователей имеют возможность мгновенного и повсеместного доступа к социальным сетям через приложение на смартфоне или через закладку быстрого доступа в браузере. Среди мессенджеров доминируют Skype и WhatsApp (по 38%) [6]. Интернет-зависимость не считается психическим расстройством по медицинским критериям (DSM-5 и МКБ-10), однако в Международную классификацию болезней 11-ого пересмотра (МКБ-11) (май 2019) уже включены зависимость от видеоигр и зависимость от азартных онлайн-игр.
Во всем мире социальные сети и порносайты начали входить в список самых распространенных «зависимостей». В 2018 году сайт РотЬшЬ ежедневно посещали в среднем 92 млн человек, всего за год пользователи зашли на РотЬшЬ 33,5 млрд раз. В будущем то, что сегодня обычно подразумевают под порнозависимостью, может быть отнесено к компульсивному сексуальному поведению. Это заболевание под кодом 6С72 планируется внести в МКБ-11, который вступит в силу в 2022 году [7].
Для сопоставления интереса к «зависимостям» 21-го века были выбраны те, с которыми люди боролись в течение длительного периода времени: наркотики, секс и алкоголь. На рисунке 2 представлены результаты сопоставления.
Рис. 2. Самые сильные «(зависимости» за 2019 год по статистике Google в РФ (составлено авторами по данным https://trends.google.ru/tren ds/?geo=RU).
На оси ординат - баллы, обозначающие уровень интереса к теме по отношению к наиболее высокому показателю для пользователей интернета в РФ. 100 баллов означают наивысший уровень популярности запроса.
На протяжении всего 2019 года основной «зависимостью» является социальная сеть «ВКонтакте». По мнению авторов, это обусловлено в том числе тем, что значительная часть коммуникаций среди студентов вузов и молодых сотрудников многих фирм происходит в чатах этой социальной сети, что, однако, не умаляет общего уровня проникновения данного явления в повседневную жизнь интернет пользователей в РФ.
На втором месте по популярности запросов находится «порно». Популярность данного запроса по регионам представлена на рисунке 3.
Наибольшая популярность данного запроса среди всех субрегионов РФ приходится на Чеченскую Республику. Такой результат обусловлен во многом культурными особенностями и значительными ограничениями по этой тематике в рамках религиозных догм. Анализ поисковых запросов по данной тематике подтвердил знаменитое выражение: «Чем больше запретов, тем больше хочется».
Рис. 3. Популярность запроса «порно» по субрегионам РФ в 2019 по статистике Google (составлено авторами по данным https://trends.google.ru/trends/?geo=RU)
На третьем месте по популярности среди пользователей интернета в РФ в 2019 году находится запрос «секс», который довольно сложно разделить с предыдущим запросом в условиях современных алгоритмов поиска.
На последних местах, имея околонулевые значения по популярности относительно наибольшей «зависимости», оказались запросы «наркотики» и «алкоголь». Это, к сожалению, не означает, что данные вопросы совершенно не интересуют пользователей российского интернета. В «Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено», ежедневно добавляется внушительное число сайтов и адресов по данной тематике, тем самым затрудняя процесс поиска. Однако это не означает, что система работает идеально и вся информация, касающаяся наркотиков и алкоголя, из интернета ушла. Информация по этой тематике могла лишь частично уйти из поисковой системы Google. Законодательство в настоящее время лишь догоняет стремительно развивающиеся информационно-коммуникационные технологии, но не опережает их, чем пользуются злоумышленники.
Резюмируя, стоит отметить, что методами морфологической текстовой аналитики «больших данных» можно оценивать лишь проявление интереса к политическим, социальным и экономическим процессам, а не сами эти процессы напрямую. О самих процессах можно только догадываться. Более того, пользователи, вводящие один и тот же текст в строку поиска, могут подразумевать разные вещи. Тем не менее, способность предложить пользователям новые типы фактов - важнейшая возможность «больших данных». Данные поисковых запросов Google не только новые, они содержат большой процент достоверности. В доцифровую эпоху человечество старалось прятать свои сокровенные мысли и желания от других. В эпоху цифровой революции люди продолжают хранить секреты, но не от интернета и, в частности, не от сайтов Google или Яндекс, где поддерживается анонимность. Существует хорошее выражение: «Самым лучшим вашим другом является Яндекс, так как у него вы можете спросить все то, что постесняетесь озвучить другим людям». Интернет как главное хранилище больших данных является своего рода цифровой сывороткой правды - именно это позволяет современным ученым получать самую правдивую статистику [8]. Большие данные позволяют увидеть, чего
люди хотят на самом деле, а не то, что говорят и делают.
Поскольку сейчас существует огромное количество разнообразных сведений, можно найти содержательную информацию даже о самом небольшом социальном срезе [8]. Например, можно сравнить количество людей, видящих во сне помидоры, с теми, кто видит во сне огурцы, если описание этих снов попадет в интернет.
Большие данные позволяют проводить быстрые контролируемые эксперименты. Это дает возможность определить причинно-следственную связь, а не просто корреляцию. Такие тесты, в основном, используются коммерческими предприятиями, но они могут стать мощным инструментом в руках социологов. Например, проводя исследование запроса «алкоголь» через Google Trends, удалось выявить, что пик популярности данного запроса традиционно приходится на период новогодних праздников (с 30 декабря по 5 января).
Хорошо это или плохо, «большие данные» играют все более важную роль в жизни каждого человека. Может быть, нам иногда жалко делиться персональной информацией в обмен на персонализированные предложения услуг и товаров [9]; кто-то боится тотального контроля со стороны информационных гигантов, однако вскоре эти неструктурированные цифры и значения из разнообразных источников, накапливающиеся огромным количеством цифровой памяти ежесекундно, приведут к эффективному и своевременному решению актуальных задач экономики, политики и социальной сферы.
Литература
1. Келли Кевинн. Неизбежно. 12 технологических трендов, которые определяют наше будущее / М.: Манн, Иванов и Фербер, 2018, С.116.
2. Чехарин Е. Е. Большие данные: большие проблемы / Международный электронный научный журнал,
2016. № 3 (21). С. 7-11.
3. Борисов А. В. Современные решения и подходы к обработке массивов неструктурированной текстовой информации в области больших данных // Проблемы Науки.
2017. №1 (83). [Электронный ресурс]. Режим доступа: https://cyberleninka.nj/artide/n/sovreiTiennye-resheniya-i-podhody-k-obrabotke-massivov-nestrukturirovannoy-tekstovoy-informatsii-v-oblasti-bolshih-dannyh
4. Яковлева Д. А., Колесниченко О. Ю., Мазелис Л. С., Григоревский И. Н., Колесниченко Ю. Ю. API-социо-логия и глобальное сообщество Google: живая система социальной трансформации / Мониторинг общественного мнения: экономические и социальные перемены. 2019. № 2. С. 54—79. [Электронный ресурс]. Режим доступа: https://doi.org/10.14515/monitoring.2019.2.03
5. Официальный сайт публичного web-сервиса «Google Trends». [Электронный ресурс]. Режим доступа: https://trends.google.ru/trends/?geo=Ru
6. Социальные сети в 2018 году: глобальное исследование. [Электронный ресурс]. Режим доступа: URL:https://www.web-canape.ru/business/socialnye-seti-v-2018-godu-globalnoe-issledovanie/
7. Титова Анна. Ответы эксперта о влиянии порно на здоровье и психику / Интернет СМИ. Просветительский проект ЮНЕСКО. [Электронный ресурс]. Режим доступа: https://vk.com/@dvor.media-porno-svodit-s-uma-18?anchor=otvety-experta-o-vlianii-porno-na-zdorovye-i-psikhiku
X X
о го А с.
X
го m
о
ю 2
М О
8. Стивенс-Давидовиц Сет. Все лгут. Поисковики, Big Data и Интернет знают о вас все. М.: Эксмо, С.74.
9. Коновалов М. В. Big Data. Особенности и роль в современном бизнесе / Технические науки: проблемы и перспективы: материалы VI Междунар. науч. конф. (г. Санкт-Петербург, июль 2018 г.). СПб.: Свое издательство, 2018. С. 8-10.
10. Официальный сайт Правительства РФ [Электронный ресурс]. Режим до-ступа:http://static.govemment.ru/media/files/9gFM4FHj4Ps B79I5v7yLVuPgu4bvR7M0.pdf
Text analytics as an instrument for identification of internet users interest to modern social phenomena in digital transformation of the economy Lopatkin D.S., Egorova O.Yu., Boiko A.E.
Dmitry Mendeleev University of Chemical Technology Today, huge flows of information pass through all segments of the economy. Big Data instruments are used by governments and companies all over the world. Big Data technologies helps to reduce costs, improve business efficiency, conduct sociological research. Possibilities of obtaining and processing information using text analytics tools of big data, which allow to collect, systematize and analyze text data in automatic mode are considered in the article. Using the Google Trends public web service, an analysis of the frequency of a number of search queries of Russian Internet users was carried out. Conclusions about the opportunities, limitations and prospects for using the methods of morphological text analytics of big data was made. Key words: big data, Internet, text analytics, data processing, social networks
References
1. Kelly Kevinn. Inevitably. 12 technological trends that determine
our future / M .: Mann, Ivanov and Ferber, 2018, P.116.
2. Chekharin E. E. Big data: big problems / International Electronic
Scientific Journal, 2016. No. 3 (21). S. 7-11.
3. Borisov A. V. Modern solutions and approaches to processing
arrays of unstructured text information in the field of big data // Problems of Science. 2017. No1 (83). [Electronic resource]. Access Mode: https://cyberleninka.ru/article/n/sovremennye-resheniya-i-podhody-k-obrabotke-massivov-nestrukturirovannoy-tekstovoy-informatsii-v-oblasti-bolshih-dannyh
4. Yakovleva D. A., Kolesnichenko O. Yu., Mazelis L. S., Grigorevsky I. N., Kolesnichenko Yu. Yu. API sociology and the global Google community: a living system of social transformation / Monitoring of public opinion: economic and social change. 2019.No 2.P. 54-79. [Electronic resource]. Access Mode: https://doi.org/10.14515/monitoring.2019.2.03
5. Official website of the Google Trends public web service. [Electronic resource]. Access Mode: https://trends.google.com/trends/?geo=RU
6. Social networks in 2018: a global study. [Electronic resource].
Access mode: URL: https: //www.web-
canape.ru/business/socialnye-seti-v-2018-godu-globalnoe-
issledovanie/
7. Titova Anna. Expert answers on the impact of porn on health and
the psyche / Internet media. UNESCO educational project. [Electronic resource]. Access Mode:
https://vk.com/@dvor.media-porno-svodit-s-uma-18?anchor=otvety-experta-o-vlianii-porno-na-zdorovye-i-psikhiku
8. Stevens-Davidowitz Set. Everybody lies. Search Engines, Big
Data and the Internet know everything about you. M .: Eksmo, p. 74.
9. Konovalov M.V. Big Data. Features and role in modern business
/ Engineering: problems and prospects: materials of the VI Intern. scientific conf. (St. Petersburg, July 2018). SPb .: Own publishing house, 2018.S. 8-10.
10. The official website of the Government of the Russian Federation [Electronic resource]. Access Mode: http: //static.government.ru/media/files/9gFM4FHj4PsB79I5v7yLVu Pgu4bvR7M0.pdf
о
СЧ
СЧ Ol
О Ш
m
X
<
m о x
X
