CC BY
115
Анализ аудио и видео коллекций пользователя социальной сети с целью описания его информационного образа
О.С. Крылова (Смирнова), В.В. Баранюк, И.А. Ишин
Аннотация - В статье рассматриваются вопросы, связанные с анализом аудио и видео объектов открытых профилей социальной сети с целью дальнейшего описания информационных образов пользователей. Предлагается разработка соответствующей системы, позволяющей анализировать предпочитаемые пользователем аудио и видео жанры, составлять описание социального портрета пользователя, формировать список рекомендаций для дополнения его аудио и видео коллекций, а также отображать результаты статистических данных по различным запросам. Помимо этого, представлены результаты проектирования с использованием унифицированного языка моделирования UML, описывающие систему в целом, ее статические и динамические аспекты, а также особенности функционирования.
Ключевые слова - анализ аудиоколлекций; анализ видеоколлекций; анализ социальных сетей; анализ аккаунта; данные пользователя; анализ открытых данных; описание пользователя; информационный образ; проектирование системы; UML; унифицированный язык моделирования.
I ВВЕДЕНИЕ
В настоящее время социальные сети приобретают все большую популярность. Ежедневно более миллиона пользователей обновляют данные на своих страницах в социальной сети, дополняя их какой-либо информацией о себе, своем местоположении, знакомствах, досуге, своих вкусах, интересах и желаниях. Такое обилие оставленной пользователями открытой информации о себе побудило различные организации, например, такие как рекламные агентства, банки, кадровые агентства, специальные службы и др. к анализу профилей социальной сети с целью получения большего количества информации о целевой аудитории или отдельно взятом человеке.
Статья получена 27.11.2017 г.
Исследование выполнено федеральным государственным бюджетным образовательным учреждением высшего образования «Московский технологический университет» (МИРЭА) за счет гранта Российского фонда фундаментальных исследований (проект №16-37-00492)
О.С. Крылова (Смирнова), МИРЭА (e-mail: [email protected]).
К.т.н., с.н.с. В.В. Баранюк, МИРЭА (e-mail: [email protected]).
И.А. Ишин, МИРЭА (e-mail: [email protected])
Следует отметить, что исследование социальных сетей является достаточно актуальным направлением, но при этом, как правило, основное внимание уделяется анализу графа социальной сети для решения задачи его кластеризации. Возможность выделения кластеров, характеризующихся повышенной плотностью находящихся внутри них дуг, имеет значительный практический интерес при выявлении неявных связей в социальных сетях. Но стоит отметить, что для более углубленного анализа и возможности эффективного влияния на развитие нежелательных ситуаций, возникающих при самоорганизации общества и его отдельных групп, необходимо уделять должное внимание также описанию и анализу информационных образов пользователей социальной сети.
Именно поэтому данная работа посвящена проектированию системы, способствующей на основе анализа пользовательского аудио и видео контента выделять признаки, характеризующие «социальный портрет» человека и психоэмоциональные особенности его информационного образа.
Анализ информации не является тривиально автоматизируемым процессом, и требует применения интеллектуальных систем. Создание системы такого уровня сложности подразумевает наличие в обязательном порядке этапа проектирования, в рамках которого разрабатывается архитектурное представление системы на разных уровнях детализации. Для описания архитектуры проектируемой системы выбран язык UML (Unified Modeling Language) - унифицированный язык моделирования, который предназначен для визуализации и документирования объектно-ориентированных систем и бизнес-процессов с ориентацией на их последующую реализацию в виде программного обеспечения [1]. В процессе проектирования разработан ряд UML диаграмм, описывающих систему в целом, ее статические и динамические аспекты, а также особенности функционирования.
II ВАРИАНТЫ ИСПОЛЬЗОВАНИЯ СИСТЕМЫ
Для представления вариантов использования системы разработана соответствующая диаграмма UML. Диаграмма вариантов использования (также называемая диаграммой прецедентов) - диаграмма, позволяющая
описать систему на концептуальном уровне, отражая отношения между актерами и прецедентами (рисунок 1). Прецедент - возможность моделируемой системы (часть ее функциональности), благодаря которой пользователь (актер) может получить конкретный, измеримый и нужный ему результат.
Проектируемая система предназначена для анализа аудио и видео объектов пользователя социальной сети с целью описания его информационного образа. По результату сбора и анализа основных данных о пользователе и данных о его аудио и видео записях система будет осуществлять:
- определение видео и музыкальных предпочтений пользователя;
- графическое отображение соотношения предпочитаемых пользователем жанров;
- формирование на основании полученных результатов предполагаемой характеристики информационного образа пользователя - «социального портрета пользователя»;
- сбор и графическое отображение статистических данных по предпочтению жанров у пользователей из различных регионов, различных возрастных и других категорий;
- формирование на основе анализа данных пользователя списка рекомендуемых ему аудио и видео коллекций.
Вывод результатов предполагает два варианта исполнения: текстовое и графическое с возможностью оценки пользователем полученных данных.
III СТРУКТУРА СИСТЕМЫ
Предлагаемая структура проектируемой системы анализа аудио и видео данных пользователя включает (рисунок 2):
- модуль взаимодействия и сбора данных;
- модуль анализа аудио и видео данных;
- модуль формирования характеристики информационного образа пользователя;
- модуль обработки статистических данных;
- модуль представления результатов.
Модуль взаимодействия и сбора данных получает на вход уникальный номер пользователя (ID) и формирует запрос к серверу социальной сети на предоставление данных пользователя. В ответ на запрос получает информацию о пользователе (имя, фамилия, город, возраст, образование и т.д.), а также данные об аудио и видео коллекциях пользователя.
После получения данных об аудио и видео коллекциях модуль взаимодействия и сбора данных формирует запросы на интернет-ресурсы, содержащие библиотеки с коллекциями аудио и видео файлов для сбора дополнительных данных об аудио и видео контенте. Собранный массив информации передается модулю анализа аудио и видео данных, который в свою очередь выделяет преобладающие жанры фильмов и музыки. После чего модуль формирует список рекомендаций для дополнения коллекций пользователя и отправляет
полученную информацию модулю взаимодействия и сбора данных, а также модулю представления результатов.
Далее информация о преобладающих жанрах фильмов и музыки из модуля взаимодействия и сбора данных поступает на обработку в модуль формирования характеристик информационного образа пользователя, где соотносится с другими данными аккаунта и характеристиками преобладающих жанров. После чего результат работы данного модуля передается модулю обработки статистических данных и далее модулю предоставления результатов.
Модуль предоставления результатов формирует несколько видов текстовых и графических отчетов, содержащих описание социального портрета пользователя, соотношение предпочитаемых пользователем аудио и видео жанров, а также список рекомендаций для дополнения аудио и видео коллекций пользователя. Помимо этого, данный модуль позволит отображать результаты статистических данных по различным запросам и предоставлять пользователю возможность оценки полученных результатов для дальнейшего обучения системы.
Для графического представления взаимосвязи между модулями была разработана диаграмма кооперации (рисунок 3). Диаграмма кооперации - диаграмма, на которой изображается взаимодействие между частями (объектами) структуры с указанием порядковых номеров обращений к объектам. Другими словами, диаграмма кооперации моделирует взаимодействия между объектами или частями в терминах упорядоченных сообщений. Ее использование целесообразно в том случае, если в системе много взаимодействующих между собой объектов, которые обмениваются данными.
На рисунке 3 представлены следующие объекты:
- оператор;
- модуль взаимодействия и сбора данных;
- модуль анализа аудио и видео данных;
- модуль формирования характеристики информационного образа пользователя;
- модуль обработки статистических данных;
- модуль предоставления результатов;
- Vk Server (сервер социальной сети «Вконтакте»);
- интернет-ресурс, содержащий библиотеку аудио файлов;
- интернет-ресурс, содержащий библиотеку видео файлов.
IV ОПЕРАЦИИ, ВЫПОЛНЯЕМЫЕ СИСТЕМОЙ
Для представления операций, выполняемых системой, использована диаграмма деятельности, которая детализирует особенности алгоритмической и логической реализации процессов. Данная диаграмма отражает динамику системы и представляет собой схемы потоков управления в системе от действия к действию, а также параллельные действия и альтернативные потоки (рисунок 4).
Рисунок 1 - Диаграмма вариантов использования
Рисунок 2 - Структурная схема системы
Рисунок 3 - Диаграмма кооперации
I
Ввод адреса страницы анализируемого пользователя социальной сети
Сбор аудио данных пользователя социальной сети
Сбор данных пользователя социальной сети
Сбор дополнительной информации об аудио данных пользователя
Заполнение ХД полученными данными
Сбор видео данных пользователя социальной сети
Сбор дополнительной информации о видео данных пользователя
V
Формирование ^ социального портрета ч пользователя ;
_¥_
г Сохранение и ^ представление результатов анализа и статистических
данных
Рисунок 4 - Диаграмма деятельности
V ОПИСАНИЕ ПРИМЕНЕНИЯ
Музыкальный контент пользователей может анализироваться по следующим жанрам:
- поп-музыка;
- рок;
- рэп;
- регги;
- кантри;
- классическая музыка;
- джаз и блюз;
- электронная музыка;
- дабстеп;
- танцевальная музыка.
Недостаток информации, полученной из социальной сети, будет компенсироваться дополнительными данными об аудио контенте из тематических источников сети «Интернет». Так, например, для анализа жанра музыкального произведения можно использовать ресурс «ЬаБиш» [2], как содержащий одну из наибольших коллекций музыкальных произведений в сети «Интернет».
Для составления характеристики информационного образа пользователя в таблице 1 предложен пример описания психологического значения предпочтения того или иного жанра [3].
Таблица 1 - Характеристика аудио-жанров
Видео контент пользователя изначально может анализироваться по трем выбранным категориям, характеризующимся длительностью:
- видео, длительность которых не превышает 90 секунд;
- видео, длительность которых выше 90 секунд, но ниже 600 секунд;
- видео, длительность которых превышает 3600 секунд.
Видео, длительность которых менее 90 секунд, как правило носят развлекательный характер и/или сняты самим пользователем, их анализ планируется в перспективе развития системы.
Вторая категория видео подразумевает аудиоклипы и будет анализироваться с точки зрения аудио контента, т.е. определения жанра исполняемой музыкальной композиции.
Третья категория видео относится к фильмам. Фильмы будут анализироваться по жанрам, а именно: боевик, детектив, документальный фильм, драма, комедия, мелодрама, мультфильм. В качестве дополнительного источника информации может быть использован, например, сайт «Кинопоиск» [4].
В качестве перспективы развития системы можно использовать обработку самих видеозаписей для извлечения дополнительной информации о контенте при работе непосредственно с видео, длительность которых не превышает 90 секунд. Это позволит обеспечить: опознание лиц, определение эмоций, распознание текста и определение его тональности, геопозиционирование с использованием анализа фонового шума на аудиозаписи, геопозиционирование на базе распознания реперных точек на кадре, распознание и анализ используемой музыки. В этом случае первоначально, как отмечалось ранее, осуществляется анализ метаданных и сверка с базой данных специализированных сервисов. В случае отсутствия совпадений и соответственно идентификации видео по результатам сверки, оно делится на последовательность кадров и аудиопоток.
Кадры видео, извлеченные из видеофайла, обрабатываются и разбиваются на отдельные кадры с учетом методов компрессии и особенностей формата видеофайла. Этот этап позволяет абстрагироваться от форматов видео и оперировать кадрами как серией изображений, протяженной во времени. Данные кадры направляются на разнонаправленный анализ изображений. В случае распознания лица в кадре происходит определение эмоций и личности запечатленного на видео человека. Также происходит поиск реперных точек для попытки геопозиционирования точки съемки видео, и распознание текста на изображениях с последующим определением его тональности.
В то же время, аудиопоток может обрабатываться как последовательный цифровой сигнал, при необходимости осуществляется конвертация из формата аудиодорожки видео. Далее возможно распознавание музыкальных композиций, речи и звуковых событий (при их наличии). При этом для каждого звукового события создается
Жанр Характеристика слушателя
Поп Экстраверты, общительные, но не творческие личности. Выс.покэкстраверсии
Рок Мягкие, творческие люди, обладающие утонченным вкусом. Как правило имеют низкую самооценку.
Рэп Коммуникабельны, независимы, грамотно ведут переговоры и отстаивают свою точку зрения. Обладают высокой самооценкой. Выс.покэкстраверсии
Регги Коммуникабельны, обладают высокой самооценкой.
Кантри Проявляют стремления к черезмерной трудовой активности .
Классическая музыка Раскованные, уверенные в себе, но замкнутые и интроверты. Часто имеют музыкальное образование. Выс.показ. открытости опыту
Джаз и блюз Творческие, общительные, чрезмерно самоуверенные, добрые, непринужденные. Выс.показ. открытости опыту; удовлетворены своей самооценкой
Электронная музыка Флегматики, невозмутимые, спокойные люди с устойчивым настроением. Как правило этот музыкальный жанр предпочитают программисты. Выс.покэкстраверсии
Дабстеп Импульсивные, внутренне сильные, непостоянные.
Танцевальная музыка Коммуникабельные, разносторонние, жесткие по отношению к другим.
Множество стилей (меломан) Творческие, незаурядные и непостоянные, стремящиеся к переменам.
временной штамп для последующей обработки и связи данных.
VI ЗАКЛЮЧЕНИЕ
В рамках проектирования системы анализа аудио и видео данных пользователя разработан ряд UML диаграмм, описывающих систему в целом, ее статические и динамические аспекты, а также особенности функционирования. На основе построения диаграммы вариантов использования, кооперации и деятельности описано функциональное назначение системы, определены общие границы и контекст моделируемой предметной области, сформулированы общие требования к проектируемой системе.
Использование результатов анализа системы предоставит возможность формирования социального портрета анализируемого пользователя, что в совокупности с исследованиями [3, 5 - 11] позволит осмыслить мотивацию, социальные настроения, вариации проведения свободного времени, способы взаимодействия с социумом и другие характеристики пользователя. Помимо этого, система обеспечит возможность проведения анализа статистических данных о предпочитаемых жанрах у пользователей из различных регионов, различных возрастных и других категорий. А также на основе анализа данных профиля, выявленных видео и музыкальных предпочтений, система позволит формировать для пользователя список рекомендуемых аудио и видео коллекций.
СПИСОК ИСТОЧНИКОВ
[1] Буч Г., Рамбо Д., Якобсон А. Язык ЦМ^ Руководство пользователя. 2-е издание. ДМК, 2006, 496 с.
[2] Интернет-проект музыкальной тематики «ЬаБиш». иЯЬ: https://www.last.fm/ru/ (дата обращения: 30.10.2017).
[3] Смирнова О.С., Баранюк В.В., Десяткова А.Д. Подходы к определению психоэмоциональных особенностей информационного образа пользователя
социальных сетей. International Journal of Open Information Technologies. Том 4, №8, 2016, с. 61 - 65.
[4] Интернет-проект, посвященный кинематографу «Кинопоиск». URL: https://www.kinopoisk.ru/ (дата обращения: 30.10.2017).
[5] Смирнова О.С., Шишков В.В. Выбор топологии нейронных сетей и их применение для классификации коротких текстов. International Journal of Open Information Technologies. Том 4, №8, 2016, с. 50 - 54.
[6] Olga Smirnova, Alexey Petrov, Georgy Babiychuk. Common techniques for social network analysis study. Selected Papers of the XI International Scientific-Practical Conference Modern Information Technologies and IT-Education (SITITO 2016), Moscow, Russia, November 2526, 2016, p. 262 - 269. URL: http://ceur-ws.org/Vol-1761/paper34.pdf (дата обращения: 30.10.2017).
[7] Ишин И.А., Смирнова О.С. Технологии анализа изображений в рамках исследования социальных сетей // Российская научная конференция «Интеллектуальные системы в информационном противоборстве». М.: МИРЭА, 22 - 24 ноября 2016 г.
[8] Колесников И.Е., Смирнова О.С. Основные вопросы разработки модуля определения специальной символики на изображениях социальной сети. Проблемы современной науки и образования. 2017. № 24 (106). С. 8 - 12. http://ipi1.ru>images/PDF/2017/106/osnovnye-voprosy.pdf (дата обращения: 27.09.17).
[9] Смирнова О.С., Шишков В.В. Графовый подход при составлении характеристики социального объекта. International Journal of Open Information Technologies. Том 5, №6, 2017, с. 12 - 15.
[10] Смирнова О.С., Алымов А.С., Баранюк В.В. Детектирование бот-программ, имитирующих поведение людей в социальной сети «Вконтакте». International Journal of Open Information Technologies. Том 4, №8, 2016, с. 55 - 60.
[11] Петров А.И., Смирнова О.С., Чумак Б.Б. Анализ контента социальной сети на примере квестовой игры суицидального характера, направленной на детей и подростков. International Journal of Open Information Technologies. Том 5, №6, 2017, с. 16 - 19.
The Analysis of user's audio and video collections of the social network for description of the user's information image
O.S. Krylova (Smirnova), V.V. Baranjuk, I.A. Ishin
Annotation - The article considers the questions related to the analysis of audio and video objects of open profiles in the social network with for further description of the information images of users. It is proposed to develop an appropriate system, allowing to analyze the user's preferred audio and video genres, compiling a description of the user's social portrait form a list of recommendations to supplement his audio and video collections, and display the results of statistical data for various queries. In addition, the results of the design are presented, using a unified modeling language UML, describing the whole system, its static and dynamic aspects, as well as features of the functioning.
Keywords - analysis of audio collections; analysis of video collections; analysis of the social networks; user profile analysis; user data; analysis of open data; user description; information image; system design; UML; unified modeling language.
