CC BY
26
удк 004.5 Научные статьи
doi:10.31799/1684-8853-2019-4-19-28 Articles
Персонализация предоставления информации на электронных табло: основные требования и методология
Н. Г. Шилов3, канд. техн. наук, доцент, orcid.org/0000-0002-9264-9127, nick@iias.spb.su аСанкт-Петербургский институт информатики и автоматизации РАН, 14-я линия В. О., 39, Санкт-Петербург, 199178, РФ
Введение: использование электронных табло является в настоящее время весьма популярным способом предоставления информации. Однако персонализированное (ориентированное на интересы и предпочтения конкретного пользователя) и контекстуализированное (учитывающее текущую ситуацию) предоставление информации данным способом подвержено ряду технологических и законодательных ограничений. Цель: разработка методологии функционирования систем предоставления персонализированной информации на электронных табло. Результаты: специфицированы требования к системам предоставления персонализированной информации на электронных табло: анонимность пользователей, динамическая оценка их интересов, кластеризация пользователей, структурированное хранение и обработка их интересов и предпочтений, ситуационная осведомленность. Определены принципы их функционирования, учитывающие необходимость соблюдения конфиденциальности персональных данных: сбор информации без активного участия пользователей, использование анонимных профилей, самообучение и адаптация, онтологическое моделирование интересов и предпочтений, применение технологии управления контекстом. Предложена оригинальная методология функционирования систем рассматриваемого класса, отличающаяся наличием обратной связи для уточнения предоставляемой информации и информации о пользователях и отсутствием необходимости ввода данных самими пользователями. Обратная связь осуществляется за счет применения методов анализа изображений пользователей, позволяющих достаточно точно определять время, потраченное пользователями на просмотр электронного табло, а также их пол, возраст и эмоции. Проведена частичная апробация результатов в части оценки визуальных характеристик человека на основе анализа фотографии. Выявлено, что существующие программные средства позволяют оценивать визуальные характеристики людей (пол, возраст, эмоциональное состояние) с высокой точностью, а просмотр анимированных изображений может влиять на эмоциональное состояние человека. Практическая значимость: предложенные требования, принципы и методология могут быть использованы при создании таких систем предоставления персонализированной информации неограниченному кругу лиц, как цифровые вывески и электронные табло.
Ключевые слова — персонализация, контекстуализация, предоставление информации, анализ изображений, электронные табло.
Для цитирования: Шилов Н. Г. Персонализация предоставления информации на электронных табло: основные требования и
методология. Информационно-управляющие системы, 2019, № 4, с. 19-28. doi:10.31799/1684-8853-2019-4-19-28
For citation: Shilov N. G. Personalization of information delivery through digital signage: major requirements and methodology.
Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2019, no. 4, pp. 19-28 (In Russian). doi:10.31799/1684-
8853-2019-4-19-28
Введение
Сегодня предоставление информации неразрывно связано с вопросами персонализации (учетом интересов и предпочтений конкретного пользователя) и контекстуализации (учетом текущей ситуации). Системы предоставления информации и поддержки принятия решений должны анализировать предпочтения и информационные потребности конкретного пользователя, а также учитывать состояние окружающей среды (текущей ситуации), поскольку в противном случае пользователь может буквально потеряться в больших объемах доступной сегодня информации. В результате улучшение технологий персонализа-ции, а также контекстная зависимость стали объектами усиленного внимания мирового научного сообщества [1, 2]. Таргетированная реклама является весьма хорошим примером предоставления
подобной информации [3, 4]. Она достаточно интенсивно используется такими интернет-ориентированными компаниями, как, например, Google и Microsoft. Однако в этом случае информация предоставляется одному конкретному пользователю.
В то же время большие электронные табло (Digital Signage [5, 6]) могут являться весьма эффективным способом предоставления информации, например, в инфраструктуре умного города [7], поскольку их может видеть одновременно большое количество людей. Сегодня такие экраны уже достаточно широко распространены, и их можно увидеть как в общественно доступных местах (торговых комплексах, выставочных центрах), так и в местах, доступных ограниченному кругу лиц (жилых помещениях, офисах). Электронные табло используются для предоставления информации как рекламного характера, так и некоммерческой.
Однако эффективное предоставление информации сегодня практически невозможно без ее персонализации, а применение подходов, используемых в области таргетированной рекламы на экранах персональных компьютеров и смартфонов, невозможно в связи с рядом проблем. Например, необходимо определить, какая информация будет интересна не одному человеку, а всем (или хотя бы большинству) зрителям, находящимся у экрана, т. е. необходимо определить общие для них интересы и предпочтения. Другим немаловажным вопросом является обеспечение конфиденциальности предпочтения и интересов пользователей, поскольку предоставление персонализированной информации группе зрителей может ее нарушить.
В статье представлены результаты исследований, ориентированных на решение проблемы предоставления персонализированной информации посредством электронных табло.
Обзор состояния исследований
Поскольку основной рассматриваемой областью приложения результатов данного исследования является таргетированная реклама и представление информации на электронных табло, при выполнении обзора состояния исследований был сделан акцент на результаты исследований, относящиеся к данной области.
В первую очередь необходимо уделить внимание наличию Федерального закона № 152-ФЗ «О персональных данных» от 27 июля 2006 г. [8], а также подобным законам в других странах, например, Общим правилам защиты данных (General Rules for Data Protection in Europe — GDPR [9]). За исключением особых случаев, не относящихся к настоящему исследованию, данный закон обязывает при работе с персональными данными регистрироваться в уполномоченных органах, а также получать письменное согласие субъекта персональных данных на обработку своих персональных данных. Поскольку в условиях предоставления информации группам пользователей получение такого согласия является затруднительным, в исследовании мы будем ориентироваться на работу с деперсонализированными (анонимными) данными. Схожие проблемы отмечаются и в зарубежных исследованиях в силу существования подобных законов [10, 11].
Задача профилирования пользователей не является новой. Существует достаточно много работ, позволяющих создавать эффективные профили пользователей для различных задач, например [12-14]. Однако задача создания профилей пользователей или групп пользователей
с учетом конфиденциальности еще только начинает привлекать интерес научного сообщества [15, 16], а задача разработки анонимных профилей на сегодня является новой.
В результате анализа литературы было найдено лишь небольшое количество научных работ в области классификации предпочтений и интересов пользователей. Работа [17] частично решает задачу формирования хорошо структурированных профилей предпочтений. Значительное внимание уделено данной задаче в работе [18], однако она в большей степени посвящена исследованию вопросов категоризации «нравится — не нравится», а не классификации предпочтений как таковой. Полезна работа [19], где интересы пользователей классифицируются с использованием классификации понятий Википедии, что является весьма эффективным подходом. Кроме того, авторы предлагают метод оценки близости категорий статей Википедии, что также может быть полезным для анализа интересов и предпочтений.
В системах поддержки принятия решений для персонализации и поддержки семантической целостности собираемой информации хорошо зарекомендовали себя онтологии [20-22], которые обычно используются для единого описания знаний некоторой проблемной области и являются весьма надежным и эффективным инструментом.
Определение предпочтений пользователей является достаточно сложной задачей, поскольку «заставить» людей вручную устанавливать настройки в приложении или на веб-странице оказывается затруднительно; а ввиду необходимости поддержки анонимности обрабатываемых данных использование социальных сетей для поиска конкретного человека и выявления его предпочтений не является допустимым. В работе [23] предложен способ динамической оценки того, насколько предоставляемая информация интересна пользователю. С этой целью использовался метод интеллектуальной видеоаналитики (IVA), с помощью которого определялось, насколько внимательно человек смотрит на экран при показе той или иной информации (например, смотрит внимательно, время от времени поглядывает или игнорирует). Данный метод является весьма полезным для оценки интересов пользователей. Для анонимного сбора данных авторы используют методы анонимной видеоаналитики (AVA), являющейся подклассом IVA. В работе [24] также анализируется уровень интереса зрителей к отображаемой информации и оцениваются следующие параметры: расстояние до человека, время пребывания возле экрана, количество зрителей, время, уделенное просмотру информации, количество обращений к экрану, а также пол и возрастная группа зри-
теля. Поскольку в настоящее время алгоритмы машинного обучения позволяют достаточно точно определять пол, возраст и настроение человека [25-27], применение данного метода может позволить выявлять целевые группы и анализировать их интересы, а также уточнять их посредством анализа корреляции между вниманием пользователей определенного типа и содержанием информационных объявлений.
Спецификация требований к системам предоставления персонализированной информации на электронных табло
На основе проведенного анализа проблемной области были специфицированы следующие требования к системам предоставления персонализированной информации на электронных табло.
1. Анонимность зрителей (пользователей).
Требование анонимности пользователей вытекает из необходимости следования законам РФ и других государств [8, 9]. Безусловно, выполнение данных законов не обязательно требует полной анонимности. Например, если мы рассматриваем систему, установленную в офисе компании, где число пользователей ограничено, и все они согласятся подписать разрешение на использование персональных данных, то решение проблемы обеспечения анонимности значительно облегчается. Однако это скорее исключительный случай, в то время как цифровые табло, установленные в общедоступных местах, встречаются существенно чаще.
2. Динамическая оценка интересов пользователей.
Проблема оценки релевантности информации, предоставляемой пользователям на электронных табло, является актуальной. С одной стороны, по причине возможного нарушения конфиденциальности, в таких системах нельзя использовать собранную информацию о действиях конкретного пользователя, как это делают, например, Google и Amazon в своих системах предоставления тар-гетированной рекламы в интернет-обозревателях [3]. С другой стороны, явная обратная связь также невозможна из-за большого количества потенциальных пользователей, которые вряд ли согласятся тратить свое время на заполнение анкет (даже коротких). В результате системы предоставления персонализированной информации на электронных табло должны быть способны отслеживать, насколько пользователю интересна предоставляемая информация, в целях повышения степени «понимания» интересов пользователя, оценивать соответствие предоставляемой информации тем или иным интересам, а также адаптировать свою работу к изменяющимся интересам пользователя.
3. Кластеризация пользователей.
Определение групп пользователей в зависимости от их возможного отношения к предоставляемой информации является ключевым элементом системы предоставления персонализированной информации на электронных табло. Кластеризация пользователей в зависимости от их интересов является необходимым требованием к работе систем выявления общих предпочтений групп пользователей с учетом их конфиденциальности. Таким кластерам могут быть приписаны типичные визуальные характеристики — возраст, пол и настроение пользователя.
4. Структурированное хранение и обработка интересов и предпочтений пользователей.
В силу необходимости обработки интересов пользователей, а также соотнесения их с предоставляемой информацией структурированное хранение интересов и предпочтений является необходимым условием работы систем рассматриваемого класса. Такое хранение может быть организовано различными способами.
5. Ситуационная осведомленность.
Ситуационная осведомленность (учет текущей
ситуации) не столько является необходимой для персонализации, сколько позволяет существенно повысить точность соответствия предоставляемой информации интересам пользователей. Данное требование подразумевает учет таких внешних факторов, как время года, время суток, наличие каких-либо событий (например, чемпионат мира по футболу) и других (в зависимости от цели конкретной системы набор факторов может быть различен). Данные факторы влияют на интересы пользователей, а их учет позволит повысить качество предсказания их интересов.
Принципы работы систем предоставления персонализированной информации на электронных табло
На основе вышеуказанных требований были определены следующие принципы построения систем предоставления персонализированной информации на электронных табло.
1. Сбор информации о пользователях без их активного участия.
Системы, направленные на выявления общих предпочтений групп пользователей, как правило, ориентированы на большое число пользователей. Однако сбор информации от пользователей, обычно подразумевающий необходимость выполнения ими определенных действий (ввод информации, заполнение анкет, оценку результатов работы системы и др.), в случае систем предоставления информации на электронных табло не может являться надежным источником информации,
поскольку лишь малая часть пользователей согласится потратить свое время на ввод данных в систему. Следовательно, система должна собирать информацию, анализируя действия пользователей и не требуя от них каких-либо действий (например, анализируя, сколько времени пользователи тратят на просмотр предоставленной информации). Сегодня в чем-то схожие принципы используются рядом «информационных гигантов», таких как Microsoft, Google, Amazon [3] посредством анализа истории просмотра интернет-ресурсов. В случае с электронными табло этот же принцип требует отличной реализации, предполагающей анализ внимания пользователей к показанной информации.
2. Использование анонимных профилей интересов и предпочтений пользователей.
Как было указано в обзоре, российское и зарубежное законодательства запрещают использовать персональные данные без письменного согласия пользователей. Учитывая то, что системы выявления общих предпочтений групп пользователей, как правило, ориентированы на большое число пользователей, получение таких согласий в подавляющем числе случаев не представляется возможным. В связи с этим в системах рассматриваемого класса предполагается реализация анонимных профилей интересов и предпочтений пользователей, не допускающих идентификацию пользователей и отслеживание их действий. Анонимные профили являются новым оригинальным направлением. В некотором смысле анонимные профили являются шаблонами пользователей, включающими, кроме их интересов и предпочтений, такие характеристики, как возраст, пол, настроение (те характеристики, которые в настоящее время могут быть определены на основе использования методов видеоаналитики). Однако они имеют более сложную структуру, поскольку пользователи с одинаковыми характеристиками могут иметь различные интересы, которые необходимо анализировать.
3. Самообучение и адаптация в зависимости от реакции пользователя.
Принцип подразумевает непрерывный анализ отношения пользователей к отображаемой информации, а именно оценку их заинтересованности в данной информации посредством измерения времени, потраченного пользователем на внимательный просмотр информации, число взглядов на экран или их отсутствие (пользователь игнорирует информацию). Также возможна оценка изменения настроения пользователя в зависимости от увиденной информации. Такая оценка «в динамике», т. е. при изменении отображаемой информации, позволит сделать выводы о том, насколько она интересна и полезна пользователю. Подобные методы используются в раз-
личных исследованиях, однако при обзоре состояния дел в рассматриваемой области не было найдено систем или подходов, использующих их как инструмент обратной связи с пользователем.
4. Онтологическое моделирование интересов и предпочтений пользователей.
Одним из наиболее эффективных решений проблемы структурированного представления предпочтений с возможностью автоматической обработки являются онтологии. Хотя на настоящий момент не было найдено онтологий, описывающих различные интересы, данный подход нельзя назвать новым (зачастую сегодня такое представление используется в достаточно узких областях), однако именно это решение позволяет эффективно выполнить поиск общих интересов с возможностью анализа их семантической близости и обобщения [4].
5. Применение технологии управления контекстом для оценки текущей ситуации.
Технологии управления контекстом на сегодня являются наиболее перспективным инструментом для поддержки задач ситуационной осведомленности в различных системах [28-30]. Данный принцип не является новым, но использование контекста для оценки текущей ситуации может существенно повысить качество предоставляемой информации, поскольку позволит учесть ряд внешних факторов (время года, время суток, наличие каких-либо событий), не относящихся непосредственно к пользователям.
Методология функционирования систем предоставления персонализированной информации на электронных табло
В данном разделе предложена оригинальная методология функционирования систем предоставления персонализированной информации на электронных табло, ориентированная на выявление предпочтений групп пользователей с учетом их конфиденциальности. Данная методология основана на принципах, определенных выше, и отличается наличием обратной связи для уточнения предоставляемой информации, а также информации о пользователях. Согласно предложенной методологии, работа систем, направленных на выявление общих предпочтений групп пользователей с учетом их конфиденциальности, включает следующие шаги (рис. 1).
1. Определение пользователей: получение изображений людей, находящихся перед экраном, и анализ каждого из них на основе оценки его (ее) визуальных характеристик (пола, возраста, настроения).
2. Поиск анонимных профилей, соответствующих полученным характеристикам пользовате-
9. Корректировка списка интересов
V_/
■ Рис. 1. Общая схема функционирования систем предоставления персонализированной информации на электронных табло
■ Fig. 1. The general scheme of the functioning of the systems delivering personalized information through digital signage
лей (для каждого пользователя может быть найдено несколько анонимных профилей); формирование списков интересов для отдельных пользователей, находящихся перед экраном, на основе анализа найденных анонимных профилей.
3. Формирование списка интересов для всей группы пользователей (разработанный ранее автором онтолого-ориентированный метод поиска общих для группы пользователей предпочтений [4] заключается в анализе семантической близости и обобщении предпочтений).
4. Анализ текущей ситуации и формирование контекста. Шаг 4 может быть выполнен одновременно с шагами 1-3.
5. Корректировка списка интересов группы пользователей согласно сформированному контексту, выбор информации (информационных фрагментов), соответствующей списку интересов.
6. Предоставление информации группе пользователей.
7. Мониторинг поведения пользователей и оценка степени заинтересованности отдельными пользователями предоставленной информацией.
8. Выполнение корректировки списка анонимных профилей в соответствии с результатами мониторинга.
9. Выполнение корректировки списка интересов и обновление отображаемой информации.
При появлении перед экраном новых пользователей для них выполняются шаги 1-2, а для всей группы — шаги 3, 5-9. При выходе пользователей из зоны наблюдения связанные с ними анонимные профили исключаются, и шаги 3, 5-9 повторяются для оставшейся группы пользователей. Если группа пользователей остается неизменной, повторяются шаги 7-9. Однако при повторе шагов необходимо следить, чтобы инфор-
мация на экране не менялась слишком часто, что может затруднить ее восприятие.
Результаты эксперимента
Для оценки возможности изменить эмоциональное состояние человека благодаря просмотру информационного фрагмента (изображения) был проведен эксперимент. Для этого был разработан программный макет, имеющий архитектуру клиент-сервер (в качестве сервера использовался Node.js) и использующий сервис Microsoft Azure Face API для обработки фотографий участников эксперимента (рис. 2, а). Данный программный макет является составной частью разрабатываемого в настоящее время прототипа системы предоставления персонализированной информации на электронном табло.
Участниками эксперимента являлись 13 мужчин в возрасте 23-42 лет и 6 женщин в возрасте 27-56 лет. Каждому участнику в случайном порядке были показаны 10 коротких анимирован-ных изображений (рис. 2, б). Участник должен был просмотреть каждое изображение в течение 5 секунд. За это время осуществлялась фотосъемка участника с частотой 10 кадров в секунду (рис. 3). Полученные фотографии были обработаны при помощи сервиса Microsoft Azure Face API.
Вначале была выполнена оценка того, насколько точно Microsoft Azure Face API выполняет оценку возраста и пола. В рамках данного эксперимента пол участников был определен с точностью 100 %, а ошибка в определении возраста не превысила 4 года.
Далее была выполнена оценка того, можно ли пробудить эмоции у пользователей и оценить их.
а)
v_
Серверная часть (Node.js): — бизнес-логика
хранилище фотографий
Тонкий клиент (HTML, JavaScript): — интерфейс
Microsoft Azure Face API: — обработка фотографий
б)
■ Рис. 2. Архитектура (а) и пример экранной формы (б) программного макета
■ Fig. 2. Architecture (а) and screenshot (б) of the software prototype designed for experimentation that presents an animated image of a braking bulb
Для этого было сделано предположение, какую эмоцию должно пробудить каждое из изображений. Результаты оценки изменения эмоционального состояния участников при просмотре изображений представлены в таблице.
В результате эксперимента было обнаружено, что доминантной эмоцией на подавляющем большинстве снимков было нейтральное состояние. Для оценки влияния изображений на эмоции были оценены минимальное, максимальное и среднее значения оценки эмоционального состояния, а также разница между минимальным и максимальным значениями и эмоциональным состоя-
■ Рис. 3. Примеры фотографий участника эксперимента с различными эмоциями
■ Fig. 3. Examples of photographs of an experiment participant with various emotions
■ Эмоциональные состояния, ожидаемые и наблюдаемые от анимированных изображений
■ Description of animated images together with expected and observed emotions of viewers
Описание Ожидаемые эмоции Наблюдаемые эмоции
Змея, плюющая ядом Отвращение, страх У 73 % участников состояние стало менее нейтральным, у трех участников зафиксировано незначительное увеличение показателей состояния злости, страха и отвращения
■ Окончание таблицы
■ Table continued
Описание Ожидаемые эмоции Наблюдаемые эмоции
Чудовище, внезапно появляющееся из темноты Удивление, страх, отвращение У 67 % участников состояние стало менее нейтральным, у 44 % повысился показатель состояния счастья, у двух участников зафиксировано незначительное удивление, у 27 % — увеличение презрительности и у 33 % — уменьшение презрительности
Счастливая пара, едущая на мотоцикле Счастье У 39 % участников снизился показатель состояния грусти, у 33 % повысился показатель состояния счастья, 56% участников стали менее нейтральными; у двух участников зафиксировано снижение показателя состояния злости, у одного — снижение показателя состояния отвращения
Забавный злой школьник Счастье, нейтральное состояние У 44 % участников состояние стало менее нейтральным, однако к концу просмотра у других 44 % состояние стало более нейтральным; у 28 % участников зафиксировано повышение показателя состояния счастья и снижение показателя состояния грусти
Разбивающаяся электролампа Нейтральное состояние У 44 % участников состояние стало более нейтральным
Группа школьников, нападающая на мальчика Злость, грусть У 39 % участников состояние стало менее нейтральным и менее счастливым, у 28 % — более грустным, у одного из участников зафиксировано незначительное повышение показателя злости
Плачущая женщина Грусть У 50 % участников зафиксировано повышение показателя состояния грусти, у 50 % — понижение показателя счастья
Человек, помогающий перевернувшемуся жуку Нейтральное состояние У 50 % участников состояние стало более нейтральным, у 50 % зафиксировано понижение показателя счастья
Улыбающийся и танцующий мультипликационный персонаж Счастье У 33 % участников зафиксировано повышение показателя счастья, у 38 % — понижение показателя грусти
Женщина, танцующая на пляже с собакой Счастье У 50 % участников зафиксировано повышение показателя счастья, у 28 % — понижение показателя грусти
нием на первом и последнем снимках, сделанных при просмотре каждого анимированного изображения (Microsoft Azure Face API предоставляет оценку наличия каждого из эмоциональных состояний на фотографии человека по шкале от 0 до 1). Обычно разница в эмоциональном состоянии была весьма небольшой, однако, как видно из таблицы, демонстрация некоторых изображений достигла поставленной цели. Низкая эмоциональная реакция могла быть вызвана неспособностью участников эксперимента абстрагироваться от отвлекающих факторов, а также тем, что выбор изображений был сделан без консультаций с психологами.
Заключение
В статье предложен анализ проблемы предоставления персонализированной информации
посредством электронных табло, а также методология функционирования систем предоставления персонализированной информации на электронных табло, ориентированная на сохранение конфиденциальности персональных данных и использование неявной обратной связи для повышения качества персонализации. Обратная связь осуществляется за счет методов анализа изображений пользователей, позволяющих достаточно точно определять пол, возраст и эмоции людей.
Для оценки работоспособности предложенной методологии был проведен эксперимент, направленный на оценку возможности изменения эмоционального состояния человека при просмотре информации. Результат эксперимента показал, что существующие программные средства позволяют оценивать визуальные характеристики людей (пол, возраст, эмоциональное состояние) с высокой точностью, а просмотр анимирован-
ных изображений может влиять на эмоциональное состояние человека.
Дальнейшие исследования ориентированы на завершение работы над прототипом системы предоставления персонализированной информации на электронном табло и оценку работоспособности всей методологии в целом.
Литература
1. Gallacher S., Papadopoulou E., Abu-Shaaban Y., Taylor N. K., Williams M. H. Dynamic context-aware personalisation in a pervasive environment. Pervasive Mobile Computing, 2014, vol. 10, pp. 120-137.
2. Anagnostopoulos A., Broder A. Z., Gabrilovich E., Josifovski V., Riedel L. Just-in-time contextual advertising. Proceedings of the sixteenth ACM Conference on Conference on Information and Knowledge Management — CIKM '07, New York, NY, USA, ACM Press, 2007, pp. 331.
3. Muthukrishnan M., Tomkins A., Heck L., Gerami-fard A., Agarwal D. The future of artificially intelligent assistants. Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining — KDD '17, New York, NY, USA, ACM Press, 2017, pp. 33-34.
4. Sandkuhl K., Smirnov A., Shilov N., WiBotzki M. Targeted digital signage: technologies, approaches and experiences. Internet of Things, Smart Spaces, and Next Generation Networks and Systems: Proceedings of 18th International Conference, NEW2AN 2018, and 11th Conference, ruSMART 2018, Saint-Petersburg, August 27-29, 2018/ O. Galinina, S. An-dreev, S. Balandin, Y. Koucheryavy (Eds.), Springer, 2018, pp. 77-88.
5. Schaeffler J. Digital Signage: Software, Networks, Advertising, and Displays: A Primer for Understanding the Business. 1st ed. Focal Press, 2008. 296 p.
6. Want R., Schilit B. N. Interactive digital signage. Computer, 2012, vol. 45, no. 5, pp. 21-24.
7. Dustdar S., Nastic S., Scekic O. Smart Cities. Cham, Springer International Publishing, 2017. 268 p.
8. Федеральный закон РФ от 27 июля 2006 года № 152-ФЗ «О персональных данных». 2006. Российская газета, 2006, 29 июля. https://rg.ru/2006/07/ 29/personaljnye-dannye-dok.html (дата обращения: 12.04.2019).
9. GDPR — General Data Protection Regulation. https:// gdpr-info.eu/ (дата обращения: 22.03.2019).
10. Westermann H. Change of Purpose: The effects of the Purpose Limitation Principle in the General Data Protection Regulation on Big Data Profiling. Lund University, 2018. 86 p.
11. Salas J., Domingo-Ferrer J. Some basics on privacy techniques, anonymization and their big data challenges. Mathematics in Computer Science, 2018, vol. 12, no. 3, pp. 263-274.
Финансовая поддержка
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (проект № 18-07-01201) и бюджетной темы № 0073-2019-0005.
12. Taniguchi Y. Content scheduling and adaptation for networked and context-aware digital signage: A literature survey. ITE Transactions on Media Technology and Applications, 2018, vol. 6, no. 1, pp. 18-29.
13. Xie H., Zou D., Wang F. L., Wong T.-L., Rao Y., Wang S. H. Discover learning path for group users: A profile-based approach. Neurocomputing, 2017, vol. 254, pp. 59-70.
14. Roedler R., Kergl D., Rodosek G. D. Content driven profile matching across online social networks. Proceedings of the 2017 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining 2017 — ASONAM '17, New York, NY, USA, ACM Press, 2017, pp. 1049-1055.
15. Ahmed K. W., Hasan M. Z., Mohammed N. Image-centric social discovery using neural network under anonymity constraint. 2017 IEEE International Conference on Cloud Engineering (IC2E), IEEE, 2017, pp. 238-244.
16. Guo T., Dong K., Wang L., Yang M., Luo J. Privacy preserving profile matching for social networks. 2018 Sixth International Conference on Advanced Cloud and Big Data (CBD), IEEE, 2018, pp. 263-268.
17. Bredereck R., Chen J., Woeginger G. J. Are there any nicely structured preference profiles nearby? Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence, ACM Press, 2013. https://dl.acm.org/citation.cfm?id=2540140 (дата обращения: 12.04.2019).
18. Becker B. N. Preference-Categorization: How Group Membership and Liking Affect Evaluative Scale Preference. Texas A&M University, 2017. http://hdl.han-dle.net/1969.1/161536 (дата обращения: 12.04.2019).
19. Kang J., Lee H. Modeling user interest in social media using news media and Wikipedia. Information Systems, 2017, vol. 65, pp. 52-64.
20. Pratiwi P. S., Xu Y., Li Y., Trost S. G., Clanchy K. M., Tjondronegoro D. W. User profile ontology to support personalization for e-Coaching systems. ACM 12th International Workshop on Data and Text Mining in Biomedical Informatics Knowledge Management in Healthcare (DTMBio 2018), 2018. https://eprints. qut.edu.au/121443/ (дата обращения: 12.04.2019).
21. Subramaniyaswamy V., Manogaran G., Logesh R., Vi-jayakumar V., Chilamkurti N., Malathi D., Senthilsel-van N. An ontology-driven personalized food recommendation in IoT-based healthcare system. Journal of Supercomputing, 2018. https://link.springer.com/arti-cle/10.1007%2Fs11227-018-2331-8 (дата обращения: 12.04.2019).
22. Piñeiro Torres B., García González A. Evolution of the semantic web towards the intelligent web: from conceptualization to personalization of contents. In: Media and Metamedia Management. Springer. 2017. Pp. 419-427.
23. Addicam S., Balkan S., Baydogan M., Addicam S., Baydogan M. Adaptive advertisement recommender systems for digital signage. Americas Conference on Information Systems, 2015, pp. 1-13.
24. Yildiz C., Tecim V. Designing an intelligent digital signage system for business marketing. In: Economy, Finance and Business in Southeastern and Central Europe. Springer. 2018. Pp. 757-767.
25. Lee T.-W., Chiu Y.-L., Wu Y.-S., Liu H.-S. An intelligent image-based customer analysis service. The 16th Asia-Pacific Network Operations and Management Symposium, IEEE, 2014, pp. 1-4.
26. Lee S.-H., Sohn M.-K., Kim H. Implementation of age
and gender recognition system for intelligent digital
_/
UDC 004.5
doi:10.31799/1684-8853-2019-4-19-28 Personalization of information delivery through digital signage: major requirements and methodology
N. G. Shilova, PhD, Tech., Associate Professor, 0000-0002-9264-9127, nick@iias.spb.su
aSaint-Petersburg Institute for Informatics and Automation of the RAS, 39, 14 Line, V. O., 199178, Saint-Petersburg, Russian Federation
Introduction: The use of digital signage is currently a popular way to provide information to large groups of people. However, personalized (oriented to the interests and preferences of a particular user) and contextualized (taking into account the current situation) information delivery through digital signage is subject to a number of technological and legislative restrictions. Purpose: Development of a methodology of systems providing personalized information through digital signage. Results: The requirements to the systems providing personalized information through digital signage have been specified: user anonymity, dynamic evaluation of user interest, user clustering, structured storage and processing of user interests and preferences, situational awareness. The principles of the functioning of the systems of the specified class have been determined taking into account the need to preserve confidentiality of personal data: information collection without active user participation, usage of anonymous profiles, self-learning and adaptation, ontological modelling of user interests and preferences, application of context management technology. An original methodology of the functioning of the considered systems has been proposed, characterized by the presence of feedback for refinement of the information delivered and information about users, as well as by the absence of any active participation of the users. The feedback is achieved through application of the image analysis techniques, that allow to identify precisely enough the time spent by the users for watching the information at digital signage as well as their age, gender, and emotions. Partial approbation of the results in the part of assessing personal visual characteristics (gender, age, emotional state) has been carried out based on photo analytics. It is shown that chosen software tools enable evaluation of the user visual characteristics (age, gender, and emotions) with high precision, and showing animated images ca affect the emotional state of the viewer. Practical relevance: The proposed requirements, principles and methodology can be used for creating systems delivering personalized information to large groups of people, such as digital signage and electronic scoreboards.
Keywords — personalization, contextualization, information provision, image analysis, digital signage.
For citation: Shilov N. G. Personalization of information delivery through digital signage: major requirements and methodology. Informatsionno-upravliaiushchie sistemy [Information and Control Systems], 2019, no. 4, pp. 19-28 (In Russian). doi:10.31799/1684-8853-2019-4-19-28
References
1. Gallacher S., Papadopoulou E., Abu-Shaaban Y., Taylor N. K., Williams M. H. Dynamic context-aware personalisation in a pervasive environment. Pervasive Mobile Computing, 2014, vol. 10, pp. 120-137.
2. Anagnostopoulos A., Broder A. Z., Gabrilovich E., Josifo-vski V., Riedel L. Just-in-time contextual advertising. Proceedings of the sixteenth ACM Conference on Conference on Information and Knowledge Management — CIKM '07, New York, NY, USA, ACM Press, 2007, pp. 331.
signage. Proceedings Eighth International Conference on Machine Vision (ICMV 2015)/ A. Verikas, P. Radeva, D. Nikolaev (eds.), 2015, vol. 9875, p. 98750I.
27. Abraham R. E., Robert Kennedy M. Intelligent digital signage system based on gender identification. Intelligent Embedded Systems: Select Proceedings of ICNETS2, Springer, 2018, vol. II, pp. 251-262.
28. Abowd G. D., Dey A. K., Brown P. J., Davies N., Smith M., Steggles P. Towards a better understanding of context and context-awareness. International Symposium on Handheld and Ubiquitous Computing, Lecture Notes in Computer Science, Springer, 1999, pp. 304-307.
29. Flach J. M. Situation awareness: context matters! A commentary on Endsley. Journal of Cognitive Engineering and Decision Making, 2015, vol. 9, no. 1, pp. 59-72.
30. Situational Awareness. 1st ed. (Salas E., ed.). London, Routledge, 2011. 544 p.
3. Muthukrishnan M., Tomkins A., Heck L., Geramifard A., Agarwal D. The future of artificially intelligent assistants. Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining — KDD '17, New York, NY, USA, ACM Press, 2017, pp. 33-34.
4. Sandkuhl K., Smirnov A., Shilov N., WiBotzki M. Targeted digital signage: technologies, approaches and experiences. Internet of Things, Smart Spaces, and Next Generation Networks and Systems: Proceedings of 18th International Con-
ference, NEW2AN 2018, and 11th Conference, ruSMART 2018, Saint-Petersburg, August 27-29, 2018; O. Galinina, S. Andreev, S. Balandin, Y. Koucheryavy (Eds.), Springer, 2018, pp. 77-88.
5. Schaeffler J. Digital Signage: Software, Networks, Advertising, and Displays: A Primer for Understanding the Business. 1st ed. Focal Press, 2008. 296 p.
6. Want R., Schilit B. N. Interactive digital signage. Computer, 2012, vol. 45, no. 5, pp. 21-24.
7. Dustdar S., Nastic S., Scekic O. Smart Cities. Cham, Springer International Publishing, 2017. 268 p.
8. Federal Law of the Russian Federation of July 27 2006 # 152-FZ "On Personal Data". Rossijskaja Gazeta [Russian Newspaper], 2006, 29 July. Available at: https://rg. ru/2006/07/29/personaljnye-dannye-dok.html (accessed 12 April 2019) (In Russian).
9. GDPR — General Data Protection Regulation. Available at: https://gdpr-info.eu/ (accessed 22 March 2019).
10. Westermann H. Change of Purpose: The effects of the Purpose Limitation Principle in the General Data Protection Regulation on Big Data Profiling. Lund University, 2018. 86 p.
11. Salas J., Domingo-Ferrer J. Some basics on privacy techniques, anonymization and their big data challenges. Mathematics in Computer Science, 2018, vol. 12, no. 3, pp. 263274.
12. Taniguchi Y. Content scheduling and adaptation for networked and context-aware digital signage: A literature survey. ITE Transactions on Media Technology and Applications, 2018, vol. 6, no. 1, pp. 18-29.
13. Xie H., Zou D., Wang F. L., Wong T.-L., Rao Y., Wang S. H. Discover learning path for group users: A profile-based approach. Neurocomputing, 2017, vol. 254, pp. 59-70.
14. Roedler R., Kergl D., Rodosek G. D. Content driven profile matching across online social networks. Proceedings of the 2017 IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining 2017 — ASONAM '17, New York, NY, USA, ACM Press, 2017, pp. 1049-1055.
15. Ahmed K. W., Hasan M. Z., Mohammed N. Image-centric social discovery using neural network under anonymity constraint. 2017 IEEE International Conference on Cloud Engineering (IC2E), IEEE, 2017, pp. 238-244.
16. Guo T., Dong K., Wang L., Yang M., Luo J. Privacy preserving profile matching for social networks. 2018 Sixth International Conference on Advanced Cloud and Big Data (CBD), IEEE, 2018, pp. 263-268.
17. Bredereck R., Chen J., Woeginger G. J. Are there any nicely structured preference profiles nearby? Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence, ACM Press, 2013. Available at: https://dl.acm. org/citation.cfm?id=2540140 (accessed 12 April 2019).
18. Becker B. N. Preference-Categorization: How Group Membership and Liking Affect Evaluative Scale Preference. Tex-
as A&M University, 2017. Available at: http://hdl.handle. net/1969.1/161536 (accessed 12 April 2019).
19. Kang J., Lee H. Modeling user interest in social media using news media and Wikipedia. Information Systems, 2017, vol. 65, pp. 52-64.
20. Pratiwi P. S., Xu Y., Li Y., Trost S. G., Clanchy K. M., Tjon-dronegoro D. W. User profile ontology to support personalization for e-Coaching systems. ACM 12th International Workshop on Data and Text Mining in Biomedical Informatics Knowledge Management in Healthcare (DTMBio 2018), 2018. Available at: https://eprints.qut.edu.au/121443/ (accessed 12 April 2019).
21. Subramaniyaswamy V., Manogaran G., Logesh R., Vijaya-kumar V., Chilamkurti N., Malathi D., Senthilselvan N. An ontology-driven personalized food recommendation in IoT-based healthcare system. Journal of Supercomputing, 2018. Available at: https://link.springer.com/article/10. 1007%2Fs11227-018-2331-8 (accessed 12 April 2019).
22. Piñeiro Torres B., García González A. Evolution of the semantic web towards the intelligent web: from conceptualization to personalization of contents. In: Media and Metamedia Management, Springer, 2017. Pp. 419-427.
23. Addicam S., Balkan S., Baydogan M., Addicam S., Baydo-gan M. Adaptive advertisement recommender systems for digital signage. Americas Conference on Information Systems, 2015, pp. 1-13.
24. Yildiz C., Tecim V. Designing an intelligent digital signage system for business marketing. In: Economy, Finance and Business in Southeastern and Central Europe, Springer. 2018. Pp. 757-767.
25. Lee T.-W., Chiu Y.-L., Wu Y.-S., Liu H.-S. An intelligent image-based customer analysis service. The 16th Asia-Pacific Network Operations and Management Symposium, IEEE, 2014, pp. 1-4.
26. Lee S.-H., Sohn M.-K., Kim H. Implementation of age and gender recognition system for intelligent digital signage. Proceedings Eighth International Conference on Machine Vision (ICMV 2015); A. Verikas, P. Radeva, D. Nikolaev (eds.), 2015, vol. 9875, p. 98750I.
27. Abraham R. E., Robert Kennedy M. Intelligent digital sig-nage system based on gender identification. Intelligent Embedded Systems: Select Proceedings of ICNETS2, Springer, 2018, vol. II, pp. 251-262.
28. Abowd G. D., Dey A. K., Brown P. J., Davies N., Smith M., Steggles P. Towards a better understanding of context and context-awareness. International Symposium on Handheld and Ubiquitous Computing, Lecture Notes in Computer Science, Springer, 1999, pp. 304-307.
29. Flach J. M. Situation awareness: context matters! A commentary on Endsley. Journal of Cognitive Engineering and Decision Making, 2015, vol. 9, no. 1, pp. 59-72.
30. Situational Awareness. 1st ed. Salas E., ed. London, Rout-ledge, 2011. 544 p.
