CC BY
13ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫЕ
ТЕХНОЛОГИИ INFORMATION-COMMUNICATION TECHNOLOGIES
Научная статья УДК 004.9:004.6:004.8 doi:10.24151/1561-5405-2023-28-3-368-377 EDN: QFVSFA
Метод формирования контента для тематических порталов на основе интеллектуального анализа данных
Ю. С. Шевнина, Л. Г. Гагарина, М. А. Климочкина, Т. В. Попова
Национальный исследовательский университет «МИЭТ», г. Москва, Россия
yusm@rambler.ru
Аннотация. Современные порталы формируют контент для каждого посетителя на основе рекомендательного сервиса, использующего анализ и подсчет меток. Для тематических информационных порталов набор унифицированных терминов и понятий в качестве названий параметров поиска не всегда соответствует потребностям аудитории. Использование похожих страниц и элементов контента для образовательных, научно-технических, промышленных и других корпоративных порталов в сочетании с большим объемом данных для всех категорий посетителей снижает эффективность использования информации, что делает проблему особенно актуальной. В работе представлен метод формирования контента для тематических информационных порталов на основе анализа данных пользовательских сессий с применением искусственного интеллекта. Особенностью метода является использование шаблона представления элемента контента портала, позволяющего представлять содержимое портала в иерархическом виде и параметризировать его. Параметризация контента построена на основе интеллектуального анализа истории посещений тематического информационного портала с выделением отдельных элементов контента и расчетом для них весовых коэффициентов. Показано, что использование весовых коэффициентов позволяет составлять релевантные рекомендации по содержимому портала для возвратных посетителей. Рассмотрен пример использования предлагаемого метода формирования контента для корпоративного портала предприятия микроэлектроники, состоящего из внешней и внутренней областей. Информационные и новостные блоки внешней области корпоративного портала построены с использованием предлагаемого метода формирования контента для тематического портала. Учебный, производственный и научные блоки внутренней области портала также построены на основе предлагаемого метода. Использование рассмотренного метода формирования контента
© Ю. С. Шевнина, Л. Г. Гагарина, М. А. Климочкина, Т. В. Попова, 2023
для корпоративного портала позволяет сузить и персонализировать информационные потоки за счет сокращения и адаптации элементов контента с учетом направления деятельности пользователей, что повышает эффективность использования и качество предоставляемых на портале данных и функций.
Ключевые слова: тематический информационный портал, шаблонизатор, интеллектуальный анализ данных, рекомендации
Для цитирования: Шевнина Ю. С., Гагарина Л. Г., Климочкина М. А., Попова Т. В. Метод формирования контента для тематических порталов на основе интеллектуального анализа данных // Изв. вузов. Электроника. 2023. Т. 28. № 3. С. 368-377. https://doi.org/10.24151/1561-5405-2023-28-3-368-377. - EDN: QFVSFA.
Original article
Method of content formation for thematic portals based on data mining
Yu. S. Shevnina, L. G. Gagarina, M. A. Klimochkina, T. V. Popova
National Research University of Electronic Technology, Moscow, Russia yusm@rambler.ru
Abstract. Modern portals are forming content for each visitor based on recommendation engine using tag analysis and calculation. A set of standardized terms and concepts serving for thematic information portals as search parameter names is not always fitting the audience's needs. The use of similar pages and content elements for education, scientific and engineering, industrial and other corporate portals, combined with large amount of data for all categories of visitors, lowers information efficiency, which makes the issue really pressing. In this work, a method of content formation for thematic information portals based on the analysis of user session data using artificial intelligence methods is presented. A feature of this method is the use of the portal content element presentation template, which allows presenting the portal content in a hierarchical form and parameterizing it. Content parameterization is built based on an intellectual analysis of the history of visits to the thematic information portal with the selection of individual content elements and the calculation of weight coefficients for them. It has been shown that the use of weighting factors allows making relevant recommendations on the portal content for returning visitors. An example is considered of using the proposed content formation method for a microelectronics enterprise's corporate portal that consists of two parts: external and internal areas. Information and news blocks of the external part of the corporate portal are built using the proposed method of content formation for the thematic portal. Educational, industrial, and scientific blocks of the internal part of the portal are also built based on the proposed method. The use of the considered method of content formation for the corporate portal makes it possible to narrow and personalize information flows by reducing and adapting content elements with account for user activities direction, which increases the efficiency of use and the quality of data and functions provided on the portal.
Keywords, thematic information portal, template engine, data mining, recommendations
For citation. Shevnina Yu. S., Gagarina L. G., Klimochkina M. A., Popova T. V.
Method of content formation for thematic portals based on data mining. Proc. Univ.
Electronics, 2023, vol. 28, no. 3, pp. 368-377. https://doi.org/ 10.24151/1561-54052023-28-3-368-377. - EDN. QFVSFA.
Введение. Развитие информационных технологий и их практическое применение в различных предметных областях привели к появлению большого количества тематических информационных систем, порталов, сайтов с широкой пользовательской аудиторией и большим объемом данных. Аналитическое исследование таких открытых информационных систем, порталов и сайтов позволило выделить в их структуре повторяющиеся блоки контента рекламного и настроечного характера [1].
Современные порталы формируют контент для каждого посетителя на основе рекомендательного сервиса, использующего анализ и подсчет меток, проставляемых посетителями автоматически или вручную на интересующих их материалах. Кроме того, пользователи имеют возможность задавать поисковые параметры для отбора необходимой им информации через специальный поисковый интерфейс, использующий, как правило, унифицированные термины и понятия, применяемые в различных предметных областях. Следует отметить, что для узкоспециализированных информационных порталов такой набор терминов и понятий в качестве названий параметров поиска не всегда соответствует потребностям посетителей [2]. Использование похожих страниц и элементов контента для образовательных, научно-технических, промышленных и других корпоративных порталов в сочетании с большим объемом данных для всех категорий посетителей приводит к снижению эффективности использования и качества предоставляемой информации, что делает проблему особенно актуальной.
В настоящей работе рассматривается метод формирования контента для тематических информационных порталов на основе искусственного интеллекта с использованием шаблонов и анализа данных.
Способы формирования контента тематических порталов. Применяемые на сегодняшний день технологии агрегации и формирования контента тематических информационных порталов основаны на использовании формата Rich Site Summary (RSS), позволяющего создавать описания статей или их анонсов со ссылкой на полную версию текста с применением xml-формата. Создаваемые с использованием RSS-модуля так называемые RSS-ленты позволяют находить и агрегировать данные с большого количества тематических порталов и других различных каналов информации. При этом тематический информационный портал (или сайт) должны иметь RSS-канал, позволяющий передавать данные в RSS-формате. Преимуществами RSS-модуля являются добавление на портал контента с различных источников, расширение аудитории портала, простое техническое решение, сокращение времени на публикацию анонсов статей. Недостатки: увеличение тематического охвата портала, отсутствие параметров для управления содержимым RSS-ленты и элементами контента, отсутствие параметров для настройки рекомендательного показа [3].
Метод формирования контента информационных тематических порталов на основе интеллектуального анализа данных предполагает кросс-платформенную реализацию, что делает возможным его использование в различных средах разработки и поддержки информационных систем и является неоспоримым преимуществом [4]. Кроме того, метод позволяет решить задачу сужения и персонализации информационных потоков
за счет сокращения и адаптации элементов контента с учетом направления деятельности пользователей, что повышает эффективность использования и качество предоставляемых на портале данных и функций.
Шаблоны представления элементов контента. В процессе исследования способов формирования содержимого тематических порталов определены структура шаблона представления элемента контента и последовательность этапов его параметризации: 1) определение терминов и понятий предметной области тематического портала с применением методов онтологического анализа с целью дальнейшей замены соответствующих унифицированных названий элементов контента; 2) составление списка рекомендаций, состоящего из элементов контента и функций, для пользователей тематического портала с использованием методов искусственного интеллекта; 3) определение и внесение параметров в шаблон представления элемента контента.
Структурная схема шаблона представления элемента контента состоит из двух частей (рис. 1): список шаблонов представления элемента контента, используемых на тематическом информационном портале, и список прогнозируемых параметров поиска элементов контента и другие рекомендации по ограничению информационных потоков, поступающих к пользователю. Список шаблонов представления элемента контента состоит из наименований и идентификаторов шаблонов. Одной из составных частей шаблона представления элемента контента является прогнозируемый набор параметров поиска для каждого возвратного посетителя, полученный на основе интеллектуального анализа истории посещений страниц портала и других цифровых следов пользователя. Автоматическое формирование такого поискового запроса ограждает посетителя от лишних действий, что особенно важно для тех, кто не имеет навыков работы со специализированными информационными порталами [3, 4].
Список шаблонов представления элемента контента
Список прогнозируемых параметров
--Параметры поиска
Название параметра
Значение параметра при поиске
Параметры отображаемых элементов
Список разрешенных элементов
Параметры внешнего представления
Список используемых цветов
Рис. 1. Структурная схема шаблона представления элемента контента Fig. 1. Block diagram of the content element presentation template
Параметры по сужению и персонализации информационных потоков, поступающих к пользователю информационного тематического портала, в предлагаемом решении делятся на три группы: параметры поиска, параметры отображаемых элементов и параметры внешнего представления. Параметры поиска используются для быстрого подбора необходимой пользователю информации и представляют собой пары: название унифицированного элемента контента и его значение при поиске [5]. Список параметров поиска формируется в результате анализа истории посещений и цифровых следов возвратных посетителей тематического информационного портала с использованием методов искусственного интеллекта. В качестве параметров отображаемых элементов используются идентификаторы элементов контента, упорядоченных по релевантности потребностям и интересам пользователей порталов, также полученных на основе анализа истории посещений. Персонализация пользовательских интерфейсов тематического информационного портала осуществляется с использованием параметров внешнего представления, в которых указывается стилевое решение, предпочитаемое пользователем.
Формирование содержимого тематического информационного портала. При
формировании содержимого тематического информационного портала шаблон представления элемента контента обрабатывается с помощью последовательного вызова обработчиков событий Я = (г1,...,гп}, называемого очередью. При этом очередь построена так, что новые события помещаются в ее конец. Событие состоит из одного или нескольких блоков команд, обрабатывающих компоненты шаблона представления элемента контента.
Рассмотрим обработку шаблона представления элемента контента с помощью последовательного вызова обработчиков событий. Предположим, что в очереди присутствует только одно событие г, тогда Я0 = (г}, Н1г - события, которые возникают в результате обработки события г. Если Н1г Ф 0, то процесс обработки будет продолжаться. Нпг - последовательность событий, возникающих при обработке предыдущей последовательности Нп-1г. При этом если предыдущая последовательность Нп-1г пуста, то и последовательность Н1г пуста [6]. Шаблон представления элемента контента имеет иерархическую структуру. Следовательно, формируемый на основе такого шаблона контент тематического портала также иерархичен и представляет собой дерево. При этом иерархическая структура такова, что допускается расположение нескольких элементов контента на одном уровне.
Таким образом, иерархический уровень г(Тг) содержит все вершины дерева, соответствующие элементам контента тематического портала и полученные на г-м шаге обработки очереди Я. Количество уровней в иерархической структуре равно числу шагов п по обработке шаблона представления элемента контента тематического информационного портала. Для построения дерева, соответствующего иерархической структуре шаблона представления элемента контента, необходимо выбрать одно событие г, которое станет корнем дерева Т0 = (г}. Далее для каждой вершины дерева s е Тп-1 : Н^ Ф 0 необходимо добавить элементы последовательности событий Н^. При Н^ = 0 дерево построено.
Рассмотрим построение элемента контента в виде выпадающего списка с разграниченным доступом для различных ролей пользователей портала. Допустим, г - событие по обработке элемента контента в виде выпадающего списка, g - событие по добавлению значения списка, аг - событие по обработке правила доступа к элементу контента,
фг - событие по добавлению описания правила доступа к элементу контента, ag - событие по обработке правила доступа к значению списка, fg - событие по добавлению описания правила доступа к значению списка. Тогда получим Н\г = ar}, Н^ = Н\аг = {фг}, H\ag = ф}, Нф = 0, Hfg = 0. На рис. 2 показано дерево для элемента интерфейса тематического портала.
С учетом того что последовательность вызовов обработчиков событий состоит из конечного числа элементов, дерево для элемента интерфейса тематического портала содержит не более |Е| уровней. Таким образом, любая вершина к-го уровня содержит не более |Е|-к.
Следовательно, каждый иерархический уровень состоит из конечного числа элементов:
Рис. 2. Дерево для элемента интерфейса
тематического портала Fig. 2. Tree for the thematic portal interface element
Pk =
(E - !)! ( E - k )!
k = 1,1E.
Количество вершин дерева определяется формулой
(E -1)!
V=Z p. =z
k=1
1 (E - k)!
Итак, количество вершин дерева равно количеству шагов по обработке шаблона представления элемента контента тематического портала.
Составление рекомендаций по выбору материалов для пользователей портала на основе интеллектуального анализа истории посещений. Для повышения точности составления рекомендаций предлагается для каждого элемента контента тематического информационного портала определять весовой коэффициент а{.
а =
El
M '
где N - количество просмотров выделенного элемента контента; М - общее количество элементов контента тематического информационного портала.
Физический смысл данного весового коэффициента заключается в релевантности элемента контента интересам и потребностям пользователя портала. Как видно из приведенного уравнения, значение коэффициента варьируется от 0 до 1. При этом значение 1 соответствует наиболее релевантному элементу контента при составлении рекомендаций для пользователей портала, а значение 0 - элементу контента, не оказывающему влияния на определение рекомендаций для пользователя тематического информационного портала [7].
Оценка интересов и потребностей пользователей портала при составлении рекомендаций. После определения релевантности элемента контента интересам пользователя корпоративного информационного портала для каждого элемента контента формируется граф О = (V, Е), в котором вершинами V будут элементы контента, оп-
ределенные в шаблоне представления, ребрами E = (и, v): и, v е V - связи между ними, вес ребра равен релевантности элемента контента интересам пользователя (весовому коэффициенту). Далее строится аналогичный по структуре граф связанности интересов и потребностей пользователей D' = (V, E), полученный на основе интеллектуального анализа истории посещений тематического информационного портала [1, 6]. Сравнение вершин полученных графов проводится с учетом положений нечеткой логики:
V с V' ^Vv eV: (v) <^.(v) , l (V с V') = min (v) : T = {v eV; ^ (v) < ^ (v); ^v (v) > 0}.
veT
При соответствии вершин графов узлы графа рекомендаций маркируются. Для расчета комплексной оценки интересов пользователей и формирования рекомендаций по контенту необходимо рассчитать длину пути между маркированными узлами графа рекомендаций. Если . - ребро, соединяющее две вершины v; и v., и весовая функция
f: Е —» М, тогда путь G между маркированными узлами рассчитывается как
n—1
G = z f (e, e+i) .
i=1
В существующих методах формирования рекомендаций для пользователей тематических информационных порталов особую сложность представляет нечеткое определение интересов, в том числе и с использованием методов искусственного интеллекта. Предлагаемый авторами метод формирования контента для тематических информационных порталов позволяет уменьшить нечеткость сравниваемых множеств и повысить общую релевантность составленных рекомендаций за счет поочередного сравнения элементов контента и соответствующих им интересов пользователей.
Формирование контента для корпоративного портала предприятия микроэлектроники. Корпоративный портал предприятия микроэлектроники разделен на внешнюю и внутреннюю области. Внешняя область корпоративного портала (рис. 3, а) визуально и информационно одинакова для всех посетителей и содержит новостные и информационные материалы о предприятии микроэлектроники, а также каталог продукции, которые формируются на основе анализа истории посещений возвратных посетителей. Для новых посетителей информация отображается в полном объеме.
Внутренняя область корпоративного портала предприятия микроэлектроники (рис. 3, б) доступна только для сотрудников. Для перехода к ней сотрудники предприятия должны авторизоваться. Внутренняя область содержит рабочие документы, нормативные материалы, информацию о предстоящих и прошедших мероприятиях, а также внешние информационные и новостные материалы.
Отдельную часть внутренней области корпоративного портала предприятия микроэлектроники занимает рабочая зона (рис. 3, в), состоящая из учебного, производственного, научного блоков и блока управления предприятием. Блок управления предприятием интегрирован с используемой автоматизированной системой управления производством и позволяет получать статистические отчеты по реализации технологических процессов для принятия управленческих решений [4].
Рис. 3. Структурные схемы внешней области (а), внутренней области (б) и рабочей зоны (в) корпоративного портала предприятия микроэлектроники Fig. 3. Block diagrams of the external area (a), internal area (b) and working area (c) of the corporate portal
of a microelectronics enterprise
Заключение. Предложенный метод формирования контента для тематических порталов на основе анализа данных пользовательских сессий с применением методов искусственного интеллекта предназначен для разработки административной и клиентской частей новостных, корпоративных, образовательных, научно-технических и промышленных порталов (или сайтов) с большим объемом содержимого и посетителей (свыше 1000 человек в сутки). Использование шаблонов представления элементов контента и обработки данных пользовательских сессий методами искусственного интеллекта позволяет предоставлять посетителям тематических информационных порталов только необходимую им информацию.
Реализация предлагаемого метода формирования контента на примере корпоративного портала для предприятия микроэлектроники позволяет сузить и персонализировать информационные потоки за счет сокращения и адаптации элементов контента с учетом направления деятельности пользователей. Это повышает эффективность использования и качество предоставляемых на портале данных и функций.
Литература
1. Шевнина Ю. С. Метод оценки состояния нелинейной системы на основе логического анализа данных // Изв. вузов. Электроника. 2022. Т. 27. № 3. С. 407-415. https://doi.org/10.24151/1561-5405-2022-27-3-407-415
2. Лекун Я. Как учится машина: революция в области нейронных сетей и глубокого обучения / при участии К. Бризар; пер. с фр. Е. Арсеновой. М.: Альпина ПРО, 2021. 334 с.
3. Шевнина Ю. С. Метод декомпозиции сложной нелинейной системы на основе процессного подхода // Системы управления и информационные технологии. 2021. № 3 (85). С. 24-29. https://doi.org/ 10.36622/VSTU.2021.85.3.005
4. Шевнина Ю. С., Гагарина Л. Г. Подходы к автоматизации процессов центров коллективного проектирования микроэлектроники // Информационные технологии и вычислительные системы. 2021. № 4. С. 12-25. https://doi.org/10.14357/20718632210402
5. Кузьмич Р. И., Масич И. С., Ступина А. А. Модели формирования закономерностей в методе логического анализа данных // Системы управления и информационные технологии. 2017. № 1 (67). С. 33-37.
6. Fürnkranz J., Gamberger D., Lavrac N. Foundations of rule learning. Berlin; Heidelberg: Springer, 2012. XVIII, 334 p. https://doi.org/10.1007/978-3-540-75197-7
7. Zimmermann A., De Raedt L. Cluster grouping: from subgroup discovery to clustering // Mach. Learn. 2009. Vol. 77. Iss. 1. P. 125-159. https://doi.org/10.1007/s10994-009-5121-y
Статья поступила в редакцию 15.12.2022 г.; одобрена после рецензирования 28.12.2022 г.;
принята к публикации 30.03.2023 г.
Информация об авторах
Шевнина Юлия Сергеевна - кандидат технических наук, доцент Института системной и программной инженерии и информационных технологий Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), yusm@rambler.ru
Гагарина Лариса Геннадьевна - доктор технических наук, профессор, директор Института системной и программной инженерии и информационных технологий Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), gagar@bk.ru
Климочкина Мария Анатольевна - доцент кафедры инженерной графики и дизайна Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), klimansha@mail.ru
Попова Татьяна Владимировна - кандидат исторических наук, доцент Института высокотехнологичного права, социальных и гуманитарных наук Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), ms.popova.tatiana@mail.ru
References
1. Shevnina Ju. S. Method for estimating the state of a nonlinear system based on logical data analysis. Izv. vuzov. Elektronika = Proc. Univ. Electronics, 2022, vol. 27, no. 3, pp. 407-415. (In Russian). https://doi.org/ 10.24151/1561-5405-2022-27-3-407-415
2. Le Cun Y. Quand la machine apprend: La révolution des neurones artificiels et de l'apprentissage profond, avec la collab. de C. Brizard. Paris, Odile Jacob, 2019. 394 p. (In French).
3. Shevnina Ju. S. Decomposition method for a complex nonlinear system based on a process approach. Sistemy upravleniya i informatsionnyye tekhnologii = Automation and Remote Control, 2021, no. 3 (85), pp. 24-29. (In Russian). https://doi.org/10.36622/VSTU.2021.85.3.005
4. Shevnina Ju. S., Gagarina L. G. Approaches to process automation of collective design centers for microelectronics. Informatsionnyye tekhnologii i vychislitel'nyye sistemy = Journal of Information Technologies and Computing Systems, 2021, no. 4, pp. 12-25. (In Russian). https://doi.org/10.14357/20718632210402
5. Kuzmich R. I., Masich I. S., Stupina A. A. Models for formation of patterns in the method of logical analysis of data. Sistemy upravleniya i informatsionnyye tekhnologii = Automation and Remote Control, 2017, no. 1 (67), pp. 33-37. (In Russian).
6. Furnkranz J., Gamberger D., Lavrac N. Foundations of rule learning. Berlin, Heidelberg, Springer, 2012. xviii, 334 p. https://doi.org/10.1007/978-3-540-75197-7
7. Zimmermann A., De Raedt L. Cluster grouping: from subgroup discovery to clustering. Mach. Learn., 2009, vol. 77, iss. 1, pp. 125-159. https://doi.org/10.1007/s10994-009-5121-y
The article was submitted 15.12.2022; approved after reviewing 28.12.2022;
accepted for publication 30.03.2023.
Information about the authors
Yulia S. Shevnina - Cand. Sci. (Eng.), Assoc. Prof. of the Institute of System and Software Engineering and Information Technologies, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), yusm@rambler.ru
Larisa G. Gagarina - Dr. Sci. (Eng.), Prof., Director, Institute of System and Software Engineering and Information Technologies, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), gagar@bk.ru
Maria A. Klimochkina - Assoc. Prof. of the Engineering Graphics and Design Department, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), klimansha@mail.ru
Tatyana V. Popova - Cand. Sci. (Hist.), Assoc. Prof. of the Institute for Advanced Law, Social Sciences and Humanities, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), ms.popova.tatiana@mail.ru
