CC BY
30УДК 004.021
А. А. Семенов, О. О. Варламов
Московский государственный технический университет им. Н. Э. Баумана, г. Москва, Россия 105005, 2-я Бауманская ул., д. 5, стр.1, Москва, Россия
ИССЛЕДОВАНИЕ СПОСОБОВ ПОДБОРА РЕКЛАМНЫХ КАМПАНИЙ НА ОСНОВЕ СРАВНЕНИЯ МНОГОМЕРНЫХ ВЕКТОРОВ
A. A. Semenov, O. O. Varlamov
Moscow State Technical University N. E. Bauman, Moscow, Russia 105005, 2nd Baumanskaya St., 5, building 1, Moscow, Russia
RESEARCH OF METHODS OF SELECTION ADVERTISING CAMPAIGNS BASED ON COMPARISON OF MULTIDIMENSIONAL VECTORS
Статья посвящена проблеме поиска рекламных кампаний для участия в аукционе, проводимого по технологии OpenRTB. В статье рассмотрены различные способы подбора рекламных кампаний. Все решения базируются на сравнении многомерных векторов в условиях ограниченного времени. Ранее описанные методы сравнения векторов не подходят из-за жесткого ограничения по времени, не превышающее в среднем 150 мс. В статье предложены решения, которые основываются на использовании таргетинговых масок, составления ключа для определения, использования миварных технологий искусственного интеллекта. Каждый из способов был проанализирован с описанием его достоинств и недостатков. Сделан вывод о целесообразности применения миварных технологий в сфере автоматизированной закупки рекламы. Ключевые слова: Programmatic buying, интернет-реклама, Real Time Bidding, методы оптимизации поиска, таргетинговые маски, ключ для определения, мивар, миварные сети, Разуматор, Wi!Mi
The article is devoted to the problem of searching advertising campaigns for participation in the auction, conducted using the OpenRTB technology. The article discusses various methods of selecting advertising campaigns. All solutions are based on the comparison of multidimensional vectors in a limited time. The previously described methods for comparing vectors are not suitable because of the strict time limit, which does not exceed an average of 150 ms. Solutions are proposed that are based on the use of targeting masks, compiling a key for determining, using mivar technologies of artificial intelligence. Each of the methods was analyzed with a description of its advantages and disadvantages. The conclusion was drawn on the appropriateness of using mivar technologies in the field of automated advertising procurement. Keywords: Programmatic buying, online advertising, Real Time Bidding, search optimization methods, targeting masks, key for determining, mivar, mivar nets, Reasoner, Wi!Mi
Введение
В настоящее время основной заработок в сети Интернет происходит благодаря показу рекламных объявлений. В сфере автоматизированной закупки рекламы (programmatic buying) [1] используется персонализированная реклама. Из-за персонализации резко возрастает размерность дискретного пространства, в котором представлены параметры покупателей. Доля programmatic buying среди всех закупок интернет-рекламы составляет порядка 69% [2]. Основной задачей в programmatic buying является показ релевантной рекламы, для этого в условиях жесткого ограничения времени (фактически - «на лету») требуется проанализировать множество параметров и подобрать рекламную кампанию, которая была бы нацелена на пользователя.
Постановка задачи
В аукционе по протоколу OpenRTB участвуют две стороны Sell Side Platform (SSP) и Demand Side Platform (DSP) [3], [4].
SSP - это организатор аукциона Real Time Bidding (RTB).
DSP - участник аукциона, который выставляет на аукцион свои рекламные объявления.
Сам аукцион происходит по следующему принципу:
1. Пользователь заходит на сайт, который подключен к SSP.
2. В этот момент инициализируется аукцион между несколькими DSP за право показать пользователю свою рекламу.
3. Время проведения аукциона - 100 - 200 мс.
4. За это время DSP должна оценить характеристики пользователя - фактически это «портрет пользователя» (вектор), передаваемый от SSP (IP-адрес, адрес сайта, местоположение рекламы, cookie пользователя, формат рекламы и некоторые другие), -и предложить рекламное объявление и цену, за которую она хочет показать это объявление.
5. Дальше SSP собирает ставки со всех DSP и определяет победителя, предложившего максимальную ставку.
Запрос, присылаемый от SSP, выглядит следующим образом:
{
"id": "7531080742545162589", "imp": [{
"id": "1","banner": { "w": 970,"h": 250
},
"banners": [{
"w": 0,"h": 0
}, {
"w": 728,"h": 90 },],
"bidfloor": 38000,"bidfloorcur": "RUB","secure": 1
}], "site": {
"id": "442184","domain": "marketut.m","referer hash": "515983974",
"skiptoken": ""
},
"device": {
"ua": "Mozilla/5.0 (Linux; Android 9; Mi 9 SE) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Mobile Safari/537.36",
"ip": "188.170.73.118","userdata": "94041255",
"geo": {
"country": "RU","region": "RU-SPE","city": "RU-SPE"
"flashver": "0"
"cur": [
"RUB","USD","EUR","TRY","UAH","KZT","CHF"
]
}
Из этого запроса выделяются следующие параметры: допустимые размеры рекламного баннера, минимальная стоимость для участия в аукционе, интернет-адрес ресурса, на котором будет произведен показ рекламы, модель, бренд, тип устройства пользователя, браузер и его версия, местоположение пользователя, валюта, подходящая для участия в запросе. Так же могут быть выделены и другие параметры, которых нет в данном примере.
Конечная задача - поиск подходящего по скорости способа реализации алго -ритма подбора подходящей рекламной кампании на аукционе OpenRTB.
Таким образом, в поставленной задаче критично важно время принятия решения. Так же критично грамотно определить, какое рекламное объявление показывать пользователю, так как чем релевантнее реклама, тем выше вероятность того, что пользователя она заинтересует, следовательно, выше вероятность того, что он приобретет предлагаемый товар. Если за заданный интервал времени не удалось найти ни одного рекламного объявления, удовлетворяющего минимальной границе релевантности, то принимается решение об отказе в участии в аукционе. Если удалось найти несколько рекламных объявлений, удовлетворяющих минимальной границе релевантности, то необходимо в том же интервале времени выбрать самое релевантное по заданному критерию релевантности.
Важно отметить, что по условиям задачи нельзя заранее отсортировать все рекламные объявления и построить портреты пользователей и товаров, т.к. критерии их релевантности меняются динамически по мере движения пользователя-покупателя, например, по улице с магазинами и кафе. В целом задача получается актуальной, очень практичной и с весьма жесткими условиями.
Формализация поставленной задачи
Целью является принятие решения об участии в аукционе. Возможны два варианта решения задачи:
1. Не участвуем во внешнем аукционе.
2. Участвуем и отсылаем предложение (портрет товара).
При решении задачи используются две дискретные функции:
- Портрет пользователя - является множеством параметров, характеризующих конкретного человека в конкретный момент времени.
- Портрет товара - является множеством параметров, характеризующих конкретный товар в конкретный момент времени.
Портрет пользователя и портрет товара могут быть представлены в виде вектора, битовой маски, вершины графа и т.д.
Критерий принятия решения - пересечение множеств портретов. Решение считается найденным, если есть пересечение двух портретов (общее подмножество элементов). В лучшем случае должна быть одна точка пересечения. Критерием не участия в аукционе является пустое подмножество пересечений множеств портретов.
Задача состоит в том, что за ограниченное время требуется построить два множества портретов и произвести их сравнение в целях поиска пересечения этих множеств. Особенности задачи - то, что помимо максимума так же есть область минимального совпадения портретов. В идеальном случае должны совпадать максимумы этих двух функций.
Важное ограничение по времени сравнения портретов. Если по завершению времени сравнения максимумы не совпадают, но есть пересечение минимальных до -пустимых областей, то выбирается портрет товара из этой области, который наиболее близок к максимуму. Если минимальные области не совпадают, то принимается решение не участвовать в аукционе. Именно из-за жесткого ограничения по времени (в среднем 150 мс) уже известные методы многомерной оптимизации, например, такие, как: метод координатного спуска, поиск по симплексу, наискорейший градиентный спуск и др., не подходят для решения данной задачи.
Фактически решается задача проведения внутреннего аукциона для подготовки решения об участии во внешнем аукционе (OpenRTB). Под внутренним аукционом понимаем решение задачи сравнения двух портретов: пользователя и товара.
Для того чтобы рекламная кампания имела ценность для DSP, требуется грамотная ее настройка под конкретного пользователя. Для этой настройки применяется таргетинг [5].
Таргетинг (от англ. Target) - набор параметров запроса, которые удовлетворяют рекламной кампании. Например, рекламная кампания нацелена на пользователей, которые «сидят» в интернете через устройства под управлением операционной системы Android, используя браузер Google Chrome. В таком случае эта кампания имеет два таргетинга:
- Таргетинг на операционную систему - Android.
- Таргетинг на браузер - Google Chrome.
Для сопоставления рекламных кампаний и покупателей составляются два множества: множество портретов покупателей и множество портретов товаров (кампаний). Каждый элемент множества характеризуется набором параметров. Один параметр -это один таргетинг. Значения параметров портрета покупателя меняются динамически (в зависимости от его местоположения и времени). Значения параметров портрета товаров изменяются по мере изменения характеристик товара (зависят только от времени). При фиксации конкретного покупателя под него формируется подмножество товаров. Объекты этого подмножества имеют разный вес, относительно этого покупателя, который вычисляется в момент запроса от SSP на основании параметров покупателя. Требуется найти элемент подмножества товаров с максимальным весом.
Так как время ответа ограничено, требуется применение алгоритмов поиска оптимального решения [6], [7], которые способны обеспечить наивысшую скорость поиска подходящей кампании по заданным параметрам. Задача осложняется тем, что поиск оптимального решения происходит по множеству параметров (геопозиция пользователя, его устройство, тип подключения, адрес запрашиваемого ресурса и другие).
Введем следующее формальное обозначение поставленной задачи:
(1)
где V - вектор исходных параметров из запроса,
вектор кампании, готовых
ответить на запрос, А - функция, которая, в соответствии с параметром Рь, возвращает срез вектора кампаний с, которые удовлетворяют параметру Рь, функция F -это функция объединения результатов от функций А
Требуется найти функции А и функцию F, которые способны за низкое время (до 150 мс) дать подходящие под запрос кампании.
Рассмотрим возможные варианты решения поставленной задачи.
Битовые маски
По каждому возможному таргетингу строится таргетинговая маска. Таргетин-говая маска представляет из себя 64-разрядное число, в котором единица в каждом бите означает, что кампания, соответствующая установленному биту, подходит под таргетинг, которому соответствует данная маска [8]. Например, таргетинговая маска для таргетинга на операционную систему Android в двоичной системе исчисления -это 110111011 (лидирующие нули опущены). Это значит, что кампании с порядковыми номерами 0, 1, 3, 4, 5, 7 и 8 нацелены на пользователей, использующих операционную систему Android.
В момент прихода запроса с аукциона OpenRTB инициализируется начальная результирующая битовая маска, в которой в единицу установлены биты по количеству кампаний, готовых в данный момент предложить рекламный материал на данном аукционе. Рекламная кампания готова предложить принять участие в аукционе, если она включена и имеет рекламные материалы, удовлетворяющие типу, указанному в запросе. Дальше по каждому параметру из пришедшего запроса, на который можно иметь таргетинг, определяются кампании, которые удовлетворяют данному параметру. По мере определения новых таргетинговых масок определяется результирующая таргетинговая маска с помощью операции побитового И над результирующей маской и таргетинговой маской данного таргетинга.
Предположим, что в рассматриваемом случае важны три таргетинга: на операционную систему, на браузер, и на город, в котором проживает пользователь и соответственно пришел запрос со следующими параметрами:
- Операционная система - Android;
- Браузер - Google Chrome;
- Город - Москва.
Если на запрос готовы ответить 9 кампаний, тогда: начальная таргетинговая маска в двоичной системе исчисления будет равна 111111111.
Пусть мы имеем следующие таргетинговые маски:
- Операционная система Android: 111111001;
- Браузер Google Chrome : 110100110;
- Город Москва: 100101111.
Применяем таргетинг на операционную систему:
resultMask = 111111111 Л 111111001 = 11111Ю01
Применяем таргетинг на браузер:
resultMask = 111111001 Л110100110 = 110100000
(6)
(7)
Применяем таргетинг на город:
resultMask = 110100000 Л 100101111 = 100100000 (8)
Исходя из формул 6 - 8, получаем что пользователь, описываемый данным рекламным запросом, интересен двум рекламным кампаниям с порядковыми номерами 5 и 8.
Дальше должна быть выбрана лишь одна рекламная кампания. Она будет определяться исходя из рекламных объявлений кампаний, если у обеих рекламных кампаний будут материалы, которые подходят под размер, указанный в запросе, то будет выбрана кампания с максимальной ставкой. В случае если ставка одинаковая, то будет выбрана случайная кампания.
Если будет только одна рекламная кампания с подходящими материалами, то соответственно победит она.
Если ни у одной кампании не будет подходящих материалов, то ни одна кампания не ответит на запрос. В таком случае ответ сервиса должен быть «204 No Content». Такой же ответ будет дан, если по ходу применения таргетингов результирующая маска будет равна нулю.
Все таргетинговые маски хранятся в кеш-файлах, созданных OPcache. Формат хранения - двумерный массив, где ключ первого уровня - идентификатор типа тар-гетинга (ос, браузер и т.п.), ключ второго уровня - это идентификатор тарегтинга (Android, Google Chrome и т.п.). Таким образом, чтобы получить таргетинговую маску для данного таргетинга нужно обратиться к элементу массива по его ключу. Данная операция имеет сложность и время выполнения О(1), значит, что время выполнения операции не будет зависеть от количества элементов массива.
При использовании данного метода функции А - это функция поиска элемента массива по ключу, функция объединения для функции F - это операция битового «И».
Недостатки и преимущества
У описанного подхода есть некоторые недостатки:
- Если активных кампаний будет больше, чем 64, то придется использовать не одну битовую маску, а несколько.
- Для определения кампании, победившей в аукционе, нужно поочередно перебрать все таргетинги.
Преимущества:
- Битовые операции выполняются довольно быстро, так программа работает на самом низком программном уровне.
- Относительно просто добавить еще один таргетинг. Нужно лишь включить его в проход по всем таргетингам.
Ключ для определения
При этом подходе рекламные кампании определяются с помощью одного действия - составления ключа для поиска [9] в общем кеш-файле. Ключ составляется путем конкатенации всех возможных таргетингов и разделителя.
Общий кеш-файл представляет из себя двумерный массив, в котором верхний ключ является конкатенацией таргетингов и разделителей, по каждому ключу хранятся кампании, которые имеют этот таргетинг.
Например, таргетинг составляется из трех полей: операционная система, браузер, страна. Каждому таргетингу ставится их уникальный идентификатор. В случае с операционной системой и браузером идентификатор - числовой, для страны - это ее
двухбуквенный код. Пусть пришел запрос на показ рекламы пользователю в России на устройстве под управлением Linux в браузере Google Chrome. Двухбуквенный код России - RU. Пусть уникальные числовые идентификаторы для операционной системы Linux и Браузера Google Chrome - 13 и 42 соответственно. В качестве разделителя будем использовать вертикальную палку - «|» Тогда составленный ключ будет иметь следующий вид:
\RU\13\42
Дальше идет поиск по этому ключу в общем кеш-файле. Ключ указывает на кампании, которые подходят под этот таргетинг. Дальнейший принцип аналогичен методу, который описан в предыдущем способе.
Благодаря этому подходу значительно снижается количество операций по определению таргетинга, что позволяет сократить время ответа. Таким образом, это дает дополнительное время на выбор подходящего материала.
При данном подходе быстродействие функций А и F не играет важную роль, так как ключ составляется на этапе кеширования данных, а в самом запросе используется лишь поиск по ключу, составленному из параметров запроса.
Недостатки и преимущества
Недостатки:
- Требуется больше места в оперативной памяти для хранения кеш-файлов.
Преимущества данного подхода:
- Не требуется длительного цикла прохода по всем таргетингам.
- По проведенным бенч-метрикам выяснилось, что операция поиска по ключу в массиве выполняется быстрее, чем битовая операция (при определенной конфигурации сервера).
Разуматор Wi!Mi
Разуматор Wi!Mi - экспертная система на базе миварных технологий [10], [11] логического [12] искусственного интеллекта [13], [14]. Этот метод напоминает предыдущий по принципу действия. На вход сервиса подаются начальные параметры в виде значений, например, города и tagid, на выходе получаем массив рекламных кампаний. Особенности миварных экспертных систем [15] - быстрое оперирование [16] со множеством правил [17].
Исходя из определения искусственного интеллекта: искусственный интеллект -область компьютерной науки, занимающаяся автоматизацией разумной деятельности человека. Под разумной деятельностью подразумевается работа с причинно-следственными связями в формате: Если - То => «продукции» [10-17]. Таким образом, можно утверждать, что подход, используемый Wi!Mi - продукционный вывод, находится на интеллектуальном уровне мышления, когда человек оперирует не с рефлексами, а использует знания, имеет место обоснование принятия решений (Если tagid = «значение» и город = «город», то выбрать кампанию = «кампания»).
Миварные технологии используются для решения различных классов задач: понимания смысла текстов и создания виртуальных консультантов [18], автоматизации [19], тегирования изображений [20], распознавания образов [21], создания систем принятия решений [22] автономных роботов, беспилотных автомобилей [23], планирования поведения роботов [24], их групп [25] и робототехнических ком-п-лексов [26]. В этих областях также важна работа с множествами правил в режиме реального времени. В МГТУ им. Н.Э. Баумана на кафедре ИУ-5 «Системы обра-
ботки информации и управления» миварные технологии [10-26] развиваются в рамках научно-исследовательских работ по созданию гибридных интеллектуальных информационных систем (ГИИС) [27] с использованием многоуровневых наборов правил [28], метаграфов [29], методов анаморфирования [30], когнитивной компьютерной графики [31], нейросетевых алгоритмов [32], темпоральных [33] баз данных [34] и их многомерных описаний [35]. Такой комплексный подход [10-35] позволяет решать самые разнообразные практические задачи в области искусственного интел -лекта. Опыт успешного применения миварных технологий показывает их большой потенциал, как новое направление в искусственном интеллекте.
Для описания модели используется формат XML. В модели описываются все параметры как входные, так и выходные. Каждый параметр может принадлежать одному из двух типов: строка или число. После параметров описываются правила. Правила характеризуются входными и выходными параметрами. Для применения правил служат отношения. Отношения могут быть различных типов: простое отношение, сложное отношения, формула, логическое условие. Для описания отношений описываются его входные и выходные параметры, тип отношения и само тело отношения.
Пример структуры модели:
Рисунок 1 —Пример структуры модели
В объекте class хранятся параметры модели как входные, так и выходные. В объекте rules - правила миварного вывода (набор входных и выходных параметров). В объекте relations хранятся отношения входных значений ко выходным.
После, полученная модель загружается на сервер по API. Дальнейшее взаимо -действие с ней будет так же осуществляться по API. На вход должны подаваться параметры, которые являются входными для какого -то отношения, соответственно на выходе получим выходной параметр данного отношения.
При использовании WiMi Разуматора разработчик освобожден от поиска функций
fb и F, так как эту задачу берет на себя WiMi, который на основании поиска данных в миварном пространстве ищет решение, удовлетворяющее критериям поиска.
Недостатки и преимущества
Недостатки:
- Разуматор Wi!Mi является отдельным сервисом, доступ к которому осуществляется через API, что может незначительно увеличить время ответа.
Преимущества:
- Можно определять различные наборы входных параметров
- Благодаря сохранению логических условий в xml-документе, можно полностью проверить правильность ответа на любой набор входных параметров.
- Работа разуматора в несколько потоков, что позволяет обрабатывать несколько задач сразу.
Заключение
В статье были рассмотрены три способа определения подходящей рекламной кампании, которые имеют программные реализации и используются для решения задачи сравнения двух многомерных дискретных множеств описания товаров и по -купателей в условиях строгого ограничения времени (на примере рекламных кампаний аукциона OpenRTB).
Для каждого способа были приведены его достоинства и недостатки, которые необходимо учитывать при выборе конкретной реализации аукциона OpenRTB. Выбор способа будет зависеть от конкретной архитектуры программного приложения, в которую будет внедряться технология определения кампаний аукциона OpenRTB.
По мнению авторов, наиболее оптимальным решением будет использование Разуматора Wi!Mi из-за его высокой скорости с линейным продукционным выводом. Кроме того, этот способ освобождает разработчиков приложения от оптимизации функций поиска.
Список литературы
1. Анашкина Н. А. Формообразование в дизайне, рекламе, информационных технологиях [Текст] / Н. А. Анашкина, В. Н. Березниченко // Формообразование в дизайне, рекламе, информационных технологиях : Всероссийская научно-практическая конференция студентов, аспирантов и преподавателе. - Омск : Омский государственный технический университет, 2018.
2. Adindex URL: https://adindex.ru/news/researches/2019/11/25/277293.phtml (дата обращения: 10 февраля 2020).
3. Комгорова А. О. RTB-Торги в реальном времени [Текст] / А. О. Комгорова // Рекламный Вектор -2015 : Стратегии нового времени: сб. материалов. - Москва, 2015. - С. 238-242.
4. Вахович И. О. Оптимизация маркетинговых показателей рекламных кампаний RTB с помощью методов машинного обучения [Текст] / И. О. Вахович // Можелирования в технике и экономике: сб. материалов. - Витебск, 2016. - С. 234-236.
5. Рабкин В. С. Таргетинг и контекстная реклама в рамках продвижения организации [Текст] / В. С. Рабкин // Научное и образовательное пространство : перспективы развития : сб. материалов. -Витебск, 2018 - С. 225-226.
6. Steuer R. E. Multiple Criteria Optimization: Theory, Computations, and Application (англ.) [Текст] / R. E. Steuer. - New York : John Wiley & Sons, Inc, 1986. - ISBN 047188846X.
7. Sawaragi Y. Theory of Multiobjective Optimization (vol. 176 of Mathematics in Science and Engineering) (англ.) [Текст] / Y. Sawaragi, H. Nakayama and T. Tanino. - Orlando, FL : Academic Press Inc, 1985. - ISBN 0126203709.
8. Патент РФ № 2014115460/08, 18.04.2014.
9. Principles of interactive keys [Электронный доступ] // DELTA - DEscription Language for TAxonomy URL : https://www.delta-intkey.com/www/interactivekeys.htm (дата обращения: 11 февраля 2020).
10. Варламов О. О. Эволюционные базы данных и знаний для адаптивного синтеза интеллектуальных систем. Миварное информационное пространство [Текст] / О. О. Варламов. - М. : Радио и связь, 2002. - 286 с. - Библиогр.: С. 266-286. - ISBN 5-256-01650-4.
11. Варламов О. О. Миварные технологии как некоторые направления искусственного интеллекта [Текст] / О. О. Варламов // Проблемы искусственного интеллекта. - Донецк : ГУ ИПИИ. - 2015. -№ 0(1). - С. 23-37.
12. Варламов О. О. Роль и место миваров в компьютерных науках, системах искусственного интеллекта и информатике [Текст] / О. О. Варламов // Радиопромышленность. - 2015. - № 3. - С. 10-27.
13. Варламов О. О. Миварный подход как основа качественного перехода на новый уровень в области искусственного интеллекта [Текст] / О. О. Варламов // Радиопромышленность. - 2017. - № 4.
14. Варламов О.О. О возможности создания интеллектуальных систем на основе GRID, систем адаптивного синтеза ИВК, сервисно-ориентированной архитектуры и миварного информационного пространства // Известия ТРТУ. - 2005. - № 10 (54). - С. 130-140.
15. Varlamov O. O. Wi!Mi Expert System Shell as the Novel Tool for Building Knowledge-Based Systems with Linear Computational Complexity [Текст] / O. O. Varlamov // International Review of Automatic Control. - 2018. - № 11(6). - P. 314-325. - DOI: https://doi.org/10.15866/ireaco.v11i6.15855.
16. Чувиков Д. А. Использование экспертной системы «Анализ ДТП» и системы имитационного моделирования VIRTUAL CRASH 3. 0 для решения задач, поставленных перед экспертно-криминалистическим центром [Текст] / Д. А. Чувиков // Промышленные АСУ и контроллеры. 2017. - № 5. - С. 23-34.
17. Чувиков Д. А. Об экспертной системе «Анализ ДТП», основанной на концепции миварного подхода [Текст] / Д. А. Чувиков // Проблемы искусственного интеллекта. - 2017. - № 2 (5). -С. 78-88.
18. Адамова Л. Е. О практической реализации миварного виртуального русскоязычного текстового консультанта в банковской сфере[Текст] / Л. Е. Адамова, О. О. Варламов, В. Г. Осипов, Д. А. Чувиков // Известия Кабардино-Балкарского научного центра РАН. 2018. - № 6-II (86). -С. 10-17.
19. Варламов О. О. Автоматизация умственной деятельности людей через логический искусственный интеллект как фундаментальный механизм развития или гибели человечества [Текст] / О. О. Варламов // Проблемы искусственного интеллекта. - Донецк : ГУ ИПИИ. - 2017. - № 3(6). - С. 23-31.
20. Система автоматического тегирования изображений на основе миварных технологий [Текст] / Майборода Ю. И., Синцов М. Ю., Озерин А. Ю., Кузин А. А., Варламов О. О. // Программные системы: теория и приложения. - 2014. - Т. 5, № 4 (22). - С. 159-170.
21. Максимова А. Ю. Миварная экспертная система для распознавания образов на основе нечеткой классификации и моделирования различных предметных областей с автоматизированным расширением контекста [Текст] / А. Ю. Максимова, О. О. Варламов // Известия ЮФУ. Технические науки. - 2011. - № 12 (125). - С. 77-87.
22. О возможности создания систем принятия решений для автономных роботов на основе миварных экспертных систем, обрабатывающих более 1 млн продукционных правил [Текст] / Варламов О. О., Аладин Д. В., Сараев Д. В., Адамова Л. Е., Пунам Джха, Тоноян С.Ф. // Известия кабардино-балкарского научного центра РАН. - 2017. - № 6-2.
23. Shadrin S. S. Experimental autonomous road vehicle with logical artificial intelligence [Текст] / S. S. Shadrin, O. O. Varlamov, A. M. Ivanov // Journal of Advanced Transportation. - 2017. - Vol. 2017. - 10 p. DOI: https://doi.org/10.1155/2017/2492765.
24. Варламов О. О. О применении миварных сетей для интеллектуального планирования поведения роботов в пространстве состояний [Текст] / О. О. Варламов, Д. В. Аладин // Известия Кабардино-Балкарского научного центра РАН. - 2018. - № 6(86). - С. 75-82.
25. Варламов О. О. О создании на основе миварных систем принятия решений «РОБО!РАЗУМ» групп автономных комбайнов и тракторов для сельского хозяйства [Текст] / О. О. Варламов // Проблемы искусственного интеллекта. - Донецк : ГУ ИПИИ. - 2019. - № 2(13). - С. 49-62.
26. Варламов О. О. Успешное применение миварных экспертных систем для MIPRA - решения задач планирования действий робототехнических комплексов в реальном времени [Текст] / О. О. Варламов, Д. В. Аладин // Радиопромышленность. - 2019. - № 29(3). - С. 15-25. DOI: https://doi.org/10.21778/2413-9599-2019-29-3-15-25.
27. Черненький В. М. Структура гибридной интеллектуальной информационной системы на основе метаграфов [Текст] / В. М. Черненький, В. И. Терехов, Ю. Е. Гапанюк // Нейрокомпьютеры: разработка, применение. - 2016. - № 9. - С. 3-13.
28. Самохвалов Э. Н. Генерация исходного кода программного обеспечения на основе многоуровневого набора правил [Текст] / Э. Н. Самохвалов, Г. И. Ревунков, Ю. Е. Гапанюк // Вестник Московского государственного технического университета им. Н.Э. Баумана. Серия: Приборостроение. - 2014. - № 5 (98). - С. 77-87
29. Гапанюк Ю. Е. описание метаграфовой модели данных [Текст] / Ю. Е. Гапанюк, Г. И. Ревунков, Ю. С. Федоренко // Информационно-измерительные и управляющие системы. - 2016. - Т. 14, № 12. - С. 122-131.
30. Терехов В. И. Разработка варианта принятия решения с помощью метода анаморфирования [Текст] / В. И. Терехов, И. М. Черненький // Информационно-измерительные и управляющие системы. - 2016. - Т. 14, № 12. - С. 132-139.
31. Терехов В. И. Применение когнитивной компьютерной графики для визуализации актуальной информации лицам, принимающим решение [Текст] / В. И. Терехов // Инженерный журнал: наука и инновации. - 2012. - № 3 (3). - С. 25.
32. Терехов В. И. О реализации нейросетевого алгоритма распознавания лиц на графических процессорах [Текст] / В. И. Терехов // Наука и образование: научное издание МГТУ им. Н. Э. Баумана. - 2013. -№ 12. - С. 367.
33. Балдин А. В. Язык запросов к миварному представлению реляционных баз данных, содержащих архив информации из предыдущих кадровых систем [Текст] / А. В. Балдин, С. А. Тоноян, Д. В. Елисеев // Инженерный журнал: наука и инновации. - 2013. - № 11 (23). - С. 20.
34. Тоноян С. А. Темпоральные модели базы данных и их свойства [Текст] / С. А. Тоноян, Д. В. Сараев // Инженерный журнал: наука и инновации. - 2014. - № 12 (36). - С. 15.
35. Балдин А.В., Тоноян С.А., Елисеев Д.В. Многомерное описание сложных темпоральных данных [Текст] / А. В. Балдин, С. А. Тоноян, Д. В. Елисеев // Информационно-измерительные и управляющие системы. - 2016. - Т. 14, № 12. - С. 105-110.
References
1. Anashkina N.A., Bereznichenko V.N. Formoobrazovaniye v dizayne, reklame, informatsionnykh tekhnologiyakh [Forming in design, advertising, information technology]. Vserossiyskaya nauchno-prakticheskaya konferentsiya studentov, aspirantov i prepodavateley "Formoobrazovaniye v dizayne, reklame, informatsionnykh tekhnologiyakh" [All-Russian scientific-practical conference of students, graduate students and teachers "Formation in design, advertising, information technology"]. Omsk: Omsk State Technical University, 2018.
2. Adindex URL: https://adindex.ru/news/researches/2019/11/25/277293.phtml (data obrashcheniya: 10 fevralya 2020).
3. Komgorova, A.O. RTB-Torgi v real'nom vremeni [RTB-Trading in real time]. Reklamnyy Vektor [Advertising Vector], 2015, Strategii novogo vremeni: sb. materialov [Advertising Vector - 2015: Strategies of the new time: Sat. materials.], Moskva, 2015, S. 238-242.
4. Vakhovich I. O. Optimizatsiya marketingovykh pokazateley reklamnykh kampaniy RTB s pomoshch'yu metodov mashinnogo obucheniya [Optimization of marketing indicators of RTB advertising campaigns using machine learning methods]. Mozhelirovaniya v tekhnike i ekonomike: sb. materialov. [Mozheliro-vaniye in technics and economics: collection materials], Vitebsk, 2016, S. 234-236.
5. Rabkin V.S. Targeting i kontekstnaya reklama v ramkakh prodvizheniya organizatsii [Targeting and contextual advertising as part of the organization's promotion]. Nauchnoye i obrazovatel'noye prostranstvo: perspektivy razvitiya: sb. Materialov [Scientific and educational space: development prospects: Sat. Materials], Vitebsk, 2018, p. 225 - 226.
6. Steuer, R.E. Multiple Criteria Optimization: Theory, Computations, and Application, New York, John Wiley & Sons, Inc, 1986. - ISBN 047188846X.
7. Sawaragi, Y .; Nakayama, H. and Tanino, T. Theory of Multiobjective Optimization (vol. 176 of Mathematics in Science and Engineering). Orlando, FL, Academic Press Inc, 1985. ISBN 0126203709.
8. RF patent No. 2014115460/08, 04/18/2014.
9. Principles of interactive keys // DELTA - DEscription Language for TAxonomy URL: https://www.delta-intkey.com/www/interactivekeys.htm (accessed February 11, 2020).
10. Varlamov O. O. Evolyutsionnyye bazy dannykh i znaniy dlya adaptivnogo sinteza intellektual'nykh sistem. Mivarnoye informatsionnoye prostranstvo [Evolutionary databases and knowledge for adaptive synthesis of intelligent systems. Mivar information space], M., Radio i svyaz', 2002, 286 s., Bibliogr.: s. 266-286, ISBN 5-256-01650-4.
11. Varlamov O. O. Mivarnyye tekhnologii kak nekotoryye napravleniya iskusstvennogo intellekta [Mivar technology as some areas of artificial intelligence]. Problemy iskusstvennogo intellekta [Problems of artificial intelligence], Donetsk, GU IPII, 2015, No. 0 (1), S. 23-37.
12. Varlamov O.O. Rol' i mesto mivarov v komp'yuternykh naukakh, sistemakh iskusstvennogo intellekta i informatike [The role and place of mivars in computer science, artificial intelligence systems and computer science]. Radiopromyshlennost' [Radio industry], 2015, No. 3, S. 10-27.
13. Varlamov O. O. Mivarnyy podkhod kak osnova kachestvennogo perekhoda na novyy uroven' v oblasti iskusstvennogo intellekta [Mivarny approach as the basis for a qualitative transition to a new level in the field of artificial intelligence]. Radiopromyshlennost' [Radio industry], 2017, No. 4.
14. Varlamov O.O. O vozmozhnosti sozdaniya intellektual'nykh sistem na osnove GRID, sistem adaptivnogo sinteza IVK, servisno-oriyentirovannoy arkhitektury i mivarnogo informatsionnogo prostranstva [About the possibility of creating intelligent systems based on GRID, systems of adaptive synthesis of CPI, service-oriented architecture and mivar information space] Izvestiya TRTU [News of TRTU], 2005, No. 10 (54), S. 130-140.
15. Varlamov O.O. Wi! Mi Expert System Shell as the Novel Tool for Building Knowledge-Based Systems with Linear Computational Complexity. International Review of Automatic Control, 2018, 11 (6), 314325. DOI: https://doi.org/10.15866/ireaco.v11i6.15855.
16. Chuvikov D. A. Ispol'zovaniye ekspertnoy sistemy "Analiz DTP" i sistemy imitatsionnogo modelirovaniya VIRTUAL CRASH 3.0 dlya resheniya zadach, postavlennykh pered ekspertno-kriminalisticheskim tsentrom [Using the expert system "Accident Analysis" and the simulation system VIRTUAL CRASH 3.0 to solve the problems posed to the forensic center]. Promyshlennyye ASUi kontrollery [Industrial ACS and controllers], 2017, No. 5, S. 23-34.
17. Chuvikov D.A. Ob ekspertnoy sisteme «Analiz DTP», osnovannoy na kontseptsii mivarnogo podkhoda [About the expert system "Accident Analysis" based on the concept of the mivar approach]. Problemy iskusstvennogo intellekta [Problems of Artificial Intelligence], 2017, No. 2 (5), S. 78-88.
18. Adamova L.Ye., Varlamov O.O., Osipov V.G., Chuvikov D.A. O prakticheskoy realizatsii mivarnogo virtual'nogo russkoyazychnogo tekstovogo konsul'tanta v bankovskoy sfere [On the practical implementation of the mivar virtual Russian-language textual consultant in the banking sector]. Izvestiya Kabardino-Balkarskogo nauchnogo tsentra RAN [Bulletin of the Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences], 2018, No. 6-II (86), S. 10-17.
19. Varlamov O. O. Avtomatizatsiya umstvennoy deyatel'nosti lyudey cherez logicheskiy iskusstvennyy intellekt kak fundamental'nyy mekhanizm razvitiya ili gibeli chelovechestva [Automation of people's mental activity through logical artificial intelligence as a fundamental mechanism for the development or death of mankind]. Problemy iskusstvennogo intellekta [Problems of artificial intelligence], Donetsk, GU IPII, 2017, No. 3 (6), S. 23-31.
20. Mayboroda Yu.I., Sintsov M.Yu., Ozerin A.Yu., Kuzin A.A., Varlamov O.O. Sistema avtomaticheskogo tegirovaniya izobrazheniy na osnove mivarnykh tekhnologiy [The system of automatic tagging of images based on mivar technologies]. Programmnyye sistemy: teoriya i prilozheniya [Program systems: theory and applications], 2014,Vol. 5, No. 4 (22), S. 159-170.
21. Maksimova A.Yu., Varlamov O.O. Mivarnaya ekspertnaya sistema dlya raspoznavaniya obrazov na osnove nechetkoy klassifikatsii i modelirovaniya razlichnykh predmetnykh oblastey s avtomatizirovannym rasshireniyem konteksta [Mivar expert system for pattern recognition based on fuzzy classification and modeling of various subject areas with automated expansion of the context]. Izvestiya YUFU. Tekhnicheskiye nauki. [Izvestiya SFU. Technical science], 2011, No 12 (125), S. 77-87.
22. Varlamov O. O., Aladin D. V., Saraev D. V., Adamova L. E. , Punam Jha, Tonoyan S.F. On the possibility of creating decision-making systems for autonomous robots based on mivar expert systems that process more than 1 million production rules. Proceedings of the Kabardino-Balkarian Scientific Center for Wounds, 2017, No. 6-2.
23. Shadrin S. S., Varlamov O. O., Ivanov A. M. Experimental autonomous road vehicle with logical artificial intelligence. Journal of Advanced Transportation, 2017, Vol. 2017, 10 p.
DOI: https://doi.org/10.1155/2017/2492765.
24. Varlamov O.O., Aladin D.V. O primenenii mivarnykh setey dlya intellektual'nogo planirovaniya povedeniya robotov v prostranstve sostoyaniy [On the application of mivar networks for intelligent planning of the behavior of robots in the state space]. Izvestiya Kabardino-Balkarskogo nauchnogo tsentra [Bulletin of the Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences],
2018, No. 6 (86), S. 75-82.
25. Varlamov O. O. O sozdanii na osnove mivarnykh sistem prinyatiya resheniy «ROBO!RAZUM» grupp avtonomnykh kombaynov i traktorov dlya sel'skogo khozyaystva [On the creation of autonomous combines and tractors for agriculture on the basis of mivar decision-making systems "ROBO! REASON"]. Problemy iskusstvennogo intellekta [Problems of Artificial Intelligence], Donetsk, GU IPII,
2019, No. 2 (13). S. 49-62.
CeMeHOB A. A., BapnaMOB 0. 0.
26. Varlamov O.O., Aladin D.V. Uspeshnoye primeneniye mivarnykh ekspertnykh sistem dlya MIPRA -resheniya zadach planirovaniya deystviy robototekhnicheskikh kompleksov v real'nom vremeni [Successful application of mivar expert systems for MIPRA - solving real-time tasks of planning the actions of robotic systems]. Radiopromyshlennost' [Radio industry], 2019, No. 29 (3), S. 15-25. DOI: https://doi.org/10.21778/2413-9599-2019-29-3-15-25.
27. Chernenky V.M., Terekhov V.I., Gapanyuk Yu.E. The structure of a hybrid intellectual information system based on metagraphs. Neurocomputers: development, application, 2016, No. 9, S. 3-13.
28. Samokhvalov E.N., Revunkov G.I., Gapanyuk Yu.E. Generatsiya iskhodnogo koda programmnogo obespecheniya na osnove mnogourovnevogo nabora pravil [Generation of software source code based on a multi-level set of rules]. VestnikMoskovskogo gosudarstvennogo tekhnicheskogo universiteta im. N.E. Baumana. Seriya: Priborostroyeniye [Bulletin of Moscow State Technical University. N.E. Bauman. Series: Instrument Making], 2014, No. 5 (98), S. 77-87
29. Gapanyuk Yu.E., Revunkov G.I., Fedorenko Yu.S. A predicate description of a metagraph data model. Information-measuring and control systems, 2016 ,V. 14, No. 12, P. 122-131.
30. Terekhov V.I., Chernenky I.M. Razrabotka varianta prinyatiya resheniya s pomoshch'yu metoda anamorfirovaniya [Development of a decision making option using the anamorphic method] Informatsionno-izmeritel'nyye i upravlyayushchiye sistemy [Information-measuring and control systems], 2016, V. 14, No. 12, P. 132-139.
31. Terekhov V.I. Primeneniye kognitivnoy komp'yuternoy grafiki dlya vizualizatsii aktual'noy informatsii litsam, prinimayushchim resheniye [The use of cognitive computer graphics to visualize relevant information to decision makers]. Inzhenernyy zhurnal: nauka i innovatsii [Engineering Journal: Science and Innovation], 2012, No. 3 (3), S. 25.
32. Terekhov V.I. O realizatsii neyrosetevogo algoritma raspoznavaniya lits na graficheskikh protsessorakh [On the implementation of a neural network face recognition algorithm on graphic processors]. Nauka i obrazovaniye: nauchnoye izdaniye MGTU im. N.E. Baumana [Science and Education: Scientific Edition of MSTU. N.E. Bauman], 2013, No. 12, P. 367.
33. Baldin A.V., Tonoyan S.A., Eliseev D.V. YAzyk zaprosov k mivarnomu predstavleniyu relyatsionnykh baz dannykh, soderzhashchikh arkhiv informatsii iz predydushchikh kadrovykh sistem [The query language for the mivar representation of relational databases containing an archive of information from previous personnel systems] Inzhenernyy zhurnal: nauka i innovatsii [Engineering Journal: Science and Innovation], 2013, No. 11 (23), S. 20.
34. Tonoyan S.A., Saraev D.V. Temporal'nyye modeli bazy dannykh i ikh svoystva [Temporal database models and their properties]. Inzhenernyy zhurnal: nauka i innovatsii [Engineering Journal: Science and Innovation], 2014, No. 12 (36), S. 15.
35. Baldin A.V., Tonoyan S.A., Eliseev D.V. Mnogomernoye opisaniye slozhnykh temporal'nykh dannykh [Multidimensional description of complex temporal data]. Informatsionno-izmeritel'nyye i upravlyayushchiye sistemy [Information-measuring and control systems], 2016, Vol. 14, No. 12, P. 105-110.
RESUME
A. A. Semenov, O. O. Varlamov
Research Of Methods Of Selection Advertising Campaigns Based On Comparison Of Multidimensional Vectors
The prerequisites for the study were the need to solve in real time the complex, relevant and practically significant task of selecting advertising campaigns based on the comparison of multidimensional vectors in time conditions of no more than 150 ms. It is because of the tight time limit that the already known multidimensional optimization methods, for example, such as the coordinate descent method, simplex search, the fastest gradient descent, etc., are not suitable for solving this problem.
At the same time, new methods were found for fast information processing, including mivar networks with linear inference and processing more than 5 million rules/s. Therefore, it was decided to test the hypothesis about the use of mivar networks for comparing multidimensional vectors in real time.
The mathematical problem is that for a limited time it is required to build two sets of portraits (users and goods) and compare them in order to find the intersection of these sets.
These portraits can be represented as a vector, a bit mask, a vertex of a graph, etc. The criterion for decision making is the intersection of multiple portraits. For "participation" in the auction, a solution is considered found if there is an intersection of two portraits, i.e. a common subset of elements of sets of portraits. The criterion of "not participating" in the auction is an empty subset of the intersections of the sets of portraits.
An important feature of the problem is that in addition to the maximum there is also an area of minimal coincidence of portraits, but only one "point" must be selected. In addition, due to the personalization of product advertising, the dimension of the discrete space in which the parameters of customers is presented increases sharply. According to the conditions of the problem, you cannot pre-sort all advertisements and build portraits of users and products, because the criteria for their relevance change dynamically as the user-buyer moves, for example, along a street with shops and cafes.
The ultimate goal of the study is to find a suitable speed method for implementing an algorithm for selecting a suitable advertising campaign at the OpenRTB auction. Three different approaches to comparing multidimensional vectors were analyzed: 1) targeting bit masks, 2) presentation as a key for searching in a common cache file, 3) use of Wi! Mi real-time expert systems. Each of the approaches was put into practice and tested under experimental conditions in the field of programmatic buying using the OpenRTB protocol.
Three modern methods of searching for a suitable advertising campaign are analyzed, which have software implementations and are used to solve the problem of comparing two multidimensional discrete sets of descriptions of goods and customers under strict time limits using advertising campaigns at the OpenRTB auction.
For each method, the advantages and disadvantages are identified, on the basis of which recommendations are made on the specific architecture of the software application, in which the technology for determining the OpenRTB auction campaigns will be introduced.
As part of the study, a method was chosen that simplifies the implementation of the search function for advertising campaigns based on a comparison of multidimensional vectors. According to the authors, the most optimal solution would be to use the Wi! Mi Reason because of its high speed with linear output. In addition, Wi! Mi frees application developers from optimizing search features.
The conclusion is made on the appropriateness of using mivar technologies in the field of online advertising to select a suitable advertising campaign at the OpenRTB auction.
Each of the considered methods, the decision to participate in the auction has a number of advantages and disadvantages, but the authors offer the option of using mivar technologies as a way of working with multidimensional vectors.
Mivar expert systems were first applied to solve the problems of dynamically constructing two sets of multidimensional discrete portraits and compare them in order to find the intersection of these sets.
Mivar technologies have previously proven themselves to solve a wide range of problems across the entire spectrum of logical artificial intelligence, where logical inference or automatic construction of action algorithms is required. Our study allowed us to expand the list of tasks where software systems created on the basis of mivar technologies are successfully used.
РЕЗЮМЕ
А. А. Семенов, О. О. Варламов
Исследование способов подбора рекламных кампаний на основе сравнения многомерных векторов
Предпосылками исследования послужила необходимость решения в реальном времени сложной, актуальной и практически значимой задачи подбора рекламных кампаний на основе сравнения многомерных векторов в условиях времени не более 150 мс. Именно из-за жесткого ограничения по времени уже известные методы многомерной оптимизации, например, такие, как: метод координатного спуска, поиск по симплексу, наискорейший градиентный спуск и др., не подходят для решения данной задачи.
Вместе с тем, были найдены новые методы быстрой обработки информации, включая миварные сети с линейным логическим выводом и обработкой более 5 млн правил/с. Поэтому было решено проверить гипотезу об использовании миварных сетей для сравнения многомерных векторов в реальном времени.
Математическая задача состоит в том, что за ограниченное время требуется построить два множества портретов (пользователей и товаров) и произвести их сравнение в целях поиска пересечения этих множеств. Эти портреты могут быть представлены в виде вектора, битовой маски, вершины графа и т.д. Критерием принятия решения является пересечение множеств портретов. Для «участия» в аукционе решение считается найденным, если есть пересечение двух портретов, т.е. общее подмножество элементов множеств портретов. Критерием «не участия» в аукционе является пустое подмножество пересечений множеств портретов.
Важной особенностью задачи является то, что помимо максимума так же есть область минимального совпадения портретов, но выбрать надо только одну «точку». Кроме того, из-за персонализации рекламы товара резко возрастает размерность дискретного пространства, в котором представлены параметры покупателей. По условиям задачи нельзя заранее отсортировать все рекламные объявления и построить портреты пользователей и товаров, т.к. критерии их релевантности меняются динамически по мере движения пользователя-покупателя, например, по улице с магазинами и кафе.
Конечная задача исследования - поиск подходящего по скорости способа реалии-зации алгоритма подбора подходящей рекламной кампании на аукционе OpenRTB. Были проанализированы три различных подхода к сравнению многомерных векторов: 1) таргетинговые битовые маски, 2) представление в виде ключа для поиска в общем кеш-файле, 3) использование Wi!Mi - миварных экспертных систем реального времени. Каждый из подходов был реализован на практике и проверен в условиях опытной эксплуатации в сфере автоматизированной закупки рекламы (programmatic buying) по протоколу OpenRTB.
Проанализированы три современных способа поиска подходящей рекламной кампании, которые имеют программные реализации и используются для решения задачи сравнения двух многомерных дискретных множеств описания товаров и покупателей в условиях строгого ограничения времени на примере рекламных кампаний аукциона OpenRTB.
Для каждого способа выявлены достоинства и недостатки, на основании которых сформулированы рекомендации по конкретной архитектуре программного приложения, в которую будет внедряться технология определения кампаний аукциона OpenRTB.
В рамках исследования был выбран метод, позволяющий упростить реализацию функцию поиска рекламных кампаний на основе сравнения многомерных векторов. По мнению авторов, наиболее оптимальным решением будет использование Разума -тора Wi!Mi из-за его высокой скорости с линейным продукционным выводом. Кроме того, Wi!Mi освобождает разработчиков приложения от оптимизации функций поиска.
Сделан вывод о целесообразности применения миварных технологий в области интернет-рекламы для подбора подходящей рекламной кампании на аукционе ОрепЯТВ.
Каждый из рассмотренных способов принятие решения об участии в аукционе обладает рядом своих преимуществ и недостатков, но авторы предлагают вариант использования миварных технологий, как способа работы с многомерными векторами.
Впервые миварные экспертные системы были применены для решения задач динамического построения двух множеств многомерных дискретных портретов и их сравнения в целях поиска пересечения этих множеств.
Миварные технологии ранее хорошо зарекомендовали себя для решения широкого круга задач по всему спектру логического искусственного интеллекта, где необходим логический вывод или автоматическое построение алгоритмов действий. Наше исследование позволило расширить перечень задач, где успешно применяют программные комплексы, созданные на основе миварных технологий.
Статья поступила в редакцию 15.01.2020.
