CC BY
30
1К1 Инженерный вестник Дона. №1 (2019) Н| ivdon.ru/ru/magazine/arcliive/nly2019/5465
Формализованный анализ функциональной полноты систем
видеоаналитики
С.Н. Широбокова, О.Н. Сериков
Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова, Новочеркасск
Аннотация: Представлены результаты анализа по функциональной полноте десяти систем интеллектуальной видеоаналитики. Показано, насколько выбранные для сравнения системы видеоаналитики обладают сходством или различиями по критерию функциональной полноты. Проанализировано, присутствуют ли в них наиболее типичные видеодетекторы, какими дополнительными функциями видеоаналитики обладает каждая из сравниваемых систем. Показано, как можно оценить, насколько функциональная полнота той или иной системы соответствует требованиям пользователя. Ключевые слова: интеллектуальные системы видеонаблюдения, системы видеоаналитики, специализированные видеодетекторы, интеллектуальный анализ видеопотока, анализ функциональной полноты, формализованный анализ, степень подобия систем, мера подобия Жаккарда, граф превосходства, граф подобия, граф поглощения, соответствие требованиям пользователя.
Развитие систем интеллектуальной видеоаналитики и их внедрение во многие сферы деятельности обуславливают актуальность исследований в области разработки алгоритмов, способов, методов и устройств для обнаружения и отслеживания объектов контроля (например, этим вопросам посвящены работы [1-4]). На современном рынке представлены различные решения по видеоанализу с огромным числом функциональных возможностей, причем не всегда связанных только с безопасностью. Например, применение подобных технологий в торговой сфере позволяет обеспечить эффективную поддержку маркетинговых исследований, увеличить эффективность и качество маркетинговых акций, например, оценить заинтересованность витриной с рекламируемым товаром, выявить проблемные зоны в торговом зале, определить наиболее эффективную планировку магазина и расположения товаров, повысить отдачу от программ лояльности, осуществить контроль работы персонала, снизить издержки на персонал, корректируя количество персонала в смене и график работы торгового объекта в соответствии интенсивностью потока посетителей и др.
1К1 Инженерный вестник Дона. №1 (2019) Н| ivdon.ru/ru/magazine/arcliive/nly2019/5465
Как отмечается в работе [5], одной из важных характеристик, по которой можно количественно сравнить между собой программное обеспечение, является функциональная полнота. Сравнение по этому критерию позволяет количественно оценить соответствие выбранных для сравнения программных продуктов требованиям пользователя для рационального выбора (примеры анализа программного обеспечения для различных предметных областей - в работах [6-10]).
Выполним сравнение десяти представленных на рынке систем интеллектуальной видеоаналитики по множеству функций видеоанализа (табл. 1). Для исследования использованы материалы сайтов фирм-разработчиков (документация, руководства, описания функционала систем). Следует отметить, что анализировался только функционал, касающийся интеллектуального анализа видеопотока.
Таблица №1
Перечень систем видеоаналитики
Обозначение Наименование Источник информации о системе (ссылка)
Z1 Macroscop https://macroscop. com
Z 2 Kipod3 https://wiki.allprojects. info
Z 3 Vocord https://vocord. ru
Z 4 AgentVI https://www. agentvi. com
Z 5 VTrack http: //www. technoaware. com
Z 6 Axxon Next https://doc.axxonsoft.com
Z 7 Интегра-Видео https ://www. integra-s. com
Z 8 VideoNet 8.4 http://www.videonet.ru
Z 9 Domination https://domination. one
Z 10 BSP Security VMS https://bspsecurity.ru
Введем следующие обозначения:
Z= {Zi} (/=1,...,10) - множество сравниваемых систем видеоаналитики; R= {я. }(/=1,..,32) - множество функций видеоаналитики, реализуемых
системами {Zi};
Х= {х1}} (/=1,___,10; 1=1,..,32) - матрица с результатами анализа
функциональной полноты. Ее элементы (табл. 2) определяются следующим образом:
_ /1, если ] - я функция реализуется / - ой системой; 1 [ 0, если не реализуется.
Таблица №2
Анализ функциональной полноты систем видеоаналитики
№ функции Наименование функции Z1 Z 2 Z 3 Z 4 Z 5 Z 6 Z 7 Z 8 Z 9 7 10
1 2 3 4 5 6 7 8 9 10 11 12
А удио детекторы
Детектор громкого звука 1 1 0 0 0 1 1 1 0 1
Детектор звука выстрела 0 1 0 0 0 0 0 0 0 1
Кз Детектор звука разбитого стекла 0 1 0 0 0 0 0 0 0 1
Детектор крика 0 1 0 0 0 0 0 0 0 1
Обнаружение дыма и огня
^5 Детектор дыма 1 1 1 1 1 1 1 1 1 1
Кб Детектор огня 1 1 0 0 1 1 1 1 1 1
Обнаружение саботажа видеонаблюдения
я7 Детектор расфокусировки камеры 1 1 0 1 0 0 1 1 0 1
я8 Детектор поворота камеры 1 1 0 0 0 0 1 1 0 1
К Детектор засветки камеры 1 1 0 1 0 0 1 1 0 1
К10 Детектор перекрытия камеры 1 1 0 1 0 0 1 1 0 1
Я„ Детектор потери сигнала 1 1 0 1 0 0 1 1 1 1
К12 Детектор подмены сигнала 0 0 0 0 0 0 1 0 0
Анализ дорожной ситуации
К13 Модуль распознавания номерных знаков 1 1 1 0 1 1 1 1 1 1
Измерение скорости движения транспорта 0 0 1 1 1 0 1 0 1 1
Я, Определение направления пути 0 0 1 0 1 0 1 1 1 1
Продолжение табл. №2
1 2 3 4 5 6 7 8 9 10 11 12
Обнаружение затора 0 1 1 0 1 0 1 1 0 0
я17 Обнаружение пешехода в запрещенной зоне 1 1 1 1 1 1 1 1 1 1
^18 Детектор оставленных предметов 1 1 1 1 1 1 1 1 1 1
Детектор движения
^19 Отслеживание движущихся объектов 1 1 1 1 1 1 1 0 1 0
^20 Отслеживание пересечения линии 1 1 1 1 1 1 1 1 1 1
^21 Отслеживание длительного пребывания в зоне 1 1 0 1 1 1 1 0 1 0
Я22 Отслеживание толпы 1 1 0 1 1 0 1 1 0 0
^23 Оценка количества в очереди 1 0 0 1 1 0 1 1 0 0
К24 Детектор выноса предметов 0 0 0 1 1 1 1 1 1 1
К25 Тепловая карта движения 1 0 0 1 1 0 1 0 0 0
Прочее
К26 Автозум 1 1 1 1 0 0 0 0
К27 Межкамерный трекинг 1 0 0 1 1 0 1 0 0 1
Я28 Распознавание лиц 1 1 1 1 1 0 1 1 1 1
К29 Детектор резкого ускорения движения 0 0 0 0 1 0 1 0 1 1
^30 Детектор прекращения движения 0 0 1 1 1 1 0 0 1 1
^31 Наполненность полок 0 0 0 0 1 0 0 0 0 0
К32 3.0-подсчет посетителей 1 0 0 0 0 1 0 0 0 0
По данным табл. 2 проведем согласно методике [5] расчет матриц Р<0" =№ }, С= В }, Н= Ь,}(/, к ем), где в. = Р™/р-> + Р™ + РГ) -мера подобия Жаккарда.
Полученные матрицы имеют следующий вид:
1К1 Инженерный вестник Дона. №1 (2019) Н| ivdon.ru/ru/magazine/arcliive/nly2019/5465
Ок
я, _
0 4 4 37 26 35 8
4 0 3 69 38 35 6
13 12 0 10 9 5 15 10 5 13
6 9 4 07 48 64 9
Р(01) _ 7 9 0 40 27 61 9
рк _ 11 12 5 10 11 0 15 10 5 13
2 4 2 13 20 01 4
6 6 4 69 47 05 7
11 11 2 77 2 11 80 9
7 5 3 58 37 32 0
1 0,680 0,320 0,625 0,500 0,434 0,703 0,625 0,384 0,482
0,680 1 0,375 0,444 0,400 0,375 0,586 0,625 0,384 0,592
0,320 0,375 1 0,363 0,571 0,411 0,370 0,363 0,588 0,360
0,625 0,444 0,363 1 0,560 0,363 0,653 0,500 0,500 0,481
0,500 0,400 0,571 0,560 1 0,434 0,642 0,444 0,636 0,433
0,434 0,375 0,411 0,363 0,434 1 0,370 0,363 0,588 0,360
0,703 0,586 0,370 0,653 0,642 0,370 1 0,720 0,538 0,620
0,625 0,625 0,363 0,500 0,444 0,363 0,720 1 0,434 0,600
0,384 0,384 0,588 0,500 0,636 0,588 0,538 0,434 1 0,541
0,482 0,592 0,360 0,481 0,433 0,360 0,620 0,600 0,541 1
1 0,809 0,380 0,714 0,67 0,476 0,904 0,714 0,476 0,67
0,809 1 0,428 0,571 0,571 0,428 0,809 0,714 0,476 0,761
0,67 0,75 1 0,67 1 0,583 0,833 0,67 0,833 0,75
0,833 0,67 0,444 1 0,777 0,444 0,944 0,67 0,611 0,722
0,67 0,571 0,571 0,67 1 0,476 0,857 0,571 0,67 0,619
0,833 0,75 0,583 0,67 0,833 1 0,833 0,67 0,833 0,75
0,76 0,68 0,4 0,68 0,72 0,40 1 0,72 0,56 0,72
0,833 0,833 0,444 0,67 0,67 0,444 1 1 0,555 0,833
0,67 0,67 0,67 0,733 0,933 0,67 0,933 0,67 1 0,866
0,636 0,727 0,409 0,590 0,590 0,409 0,818 0,681 0,590 1
Выполним преобразование полученных матриц Рц/01\
Ок и И& в
логические матрицы отношения поглощения (включения) для пороговых значений £ =10; £ =0,65; £, =0,85 соответственно.
Рс _ Р }, О0 _ {я: }, н0 _ К } (/,к е Щ).
Элементы этих матриц определяются следующим образом:
1, если g к >£г и / ф к; 10, если < £ или / _ к;
1, если и, >£, и / ф к;
_ 1, если Р^01) <£р и I ф к; рк _ ^ 0, если Р,(01) > £ "или / _ к;
ёгк
К _
0, если Нкк < £К или / _ к;
1К1 Инженерный вестник Дона. №1 (2019) Н| ivdon.ru/ru/magazine/arcliive/nly2019/5465
где б , б , бь - выбранные граничные значения.
Полученные матрицы имеют следующий вид:
Р
(01)
0 1 1 1 1 1 1 1 10 1 0 0 0 0 1 0 0 0
1 0 1 1 1 1 1 1 11 0 0 0 0 0 0 0 0 0
0 0 0 1 1 0 1 1 00 0 0 0 0 0 0 0 0 0
1 1 1 1 1 1 1 1 10 0 0 0 0 0 1 0 0 0
1 " 0 1 0 1 1 0 0 1 0 1 0 1 1 1 1 1 г 0 0' ^0 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0'
1 1 1 1 1 0 1 1 11 0 0 1 0 0 0 1 0 0
1 1 1 1 1 1 0 1 10 0 0 0 0 0 1 0 0 0
0 0 1 1 1 0 1 0 10 0 0 0 0 0 0 0 0 0
1 1 1 1 1 1 1 1 00 0 0 0 0 0 0 0 0 0
Н
0000001000 0000000000 0000100000 0000001000 0000001000 000000000 0. 0000000000 0000001000 0 0 0 0 1 0 1 0 0 1 0000000000
Построенные по матрицам Р0, С0 и Н0 графы наглядно иллюстрируют различия в функциональных возможностях исследуемых систем. Граф превосходства (рис. 1) показывает, какие из сравниваемых систем и насколько превосходят друг друга. При пороговом значении, равном бр =10,
системы под номерами 1, 2, 7, 10 обладают наибольшей функциональной полнотой, превосходя системы 3,6 и 9. Система 5 превосходит систему 6, а системы 1,2,7 и 10 не имеют взаимного превосходства.
Рис. 1. - Граф превосходства при пороговом значении, равном Бр =10 Насколько исследуемые системы интеллектуальной видеоаналитики подобны по функциональной полноте можно оценить по матрице G= }.
Граф подобия между сравниваемыми системами представлен на рис. 2. Он построен по матрице О0 для порогового значения £ =0,65. По графу на рис. 2
видно, что группа из пяти систем имеет более высокую степень подобия: 21,
22, 24, 27, 28. Системы 24 и 27 подобны на 65,39%, а 21 и 22 - на 68%.
Степень подобия систем 27 и 28 составляет 72%, а систем 21 и 27 - 70,37%.
Остальные системы подобны между собой менее чем на 65% и не имеют в графе взаимных связей.
Рис. 2. - Граф подобия между системами видеоаналитики по реализуемым
функциям
На рис. 3 приведен граф поглощения, построенный на основе матрицы Н 0 для порогового значения £н =0,85. Анализируемые системы интеллектуальной видеоаналитики имеют достаточно высокую степень подобия. Поэтому при построении матрицы и графа поглощения использовано высокое пороговое значение (0,85).
Рис. 3. - Граф поглощения при пороговом значении, равном £н =0,85
Из рис. 3 видно: система 2 7 частично поглощает наибольшее количество систем - 21,24,25,28 и 29 .. Система 210 частично поглощает 29, а система 25 - системы 23 и 29 .
1К1 Инженерный вестник Дона. №1 (2019) Н| ivdon.ru/ru/magazine/arcliive/nly2019/5465
Помимо сравнения систем между собой для пользователя важно определить, какие из сравниваемых систем позволяют в наибольшей степени решить его задачи. Если система внедряется, например, для какого-либо предприятия из транспортной сферы, розничной торговли, сферы управления недвижимостью, банка, организации государственного сектора и т.д., то для оптимального выбора одной или нескольких систем видеоаналитики, наилучшим образом удовлетворяющих требованиям к функционалу, необходимо провести сравнительный анализ с некоторой «условной» системой видеоаналитики, для которой пользователем выделяются предпочтительные функции, исходя из условий использования и типов необходимой видеоаналитики [5]. Обозначим такую условную систему, как 2П. Допустим, что пользователем выделены в качестве предпочтительных
функции, указанные в табл. 3 для системы 211.
Таблица №3
Результаты сравнения с условной системой 211
№ функции Наименование функции 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 7 10 2 „
1 2 3 4 5 6 7 8 9 10 11 12 13
Аудио детекторы
я2 Детектор звука выстрела 0 1 0 0 0 0 0 0 0 1 1
Я3 Детектор звука разбитого стекла 0 1 0 0 0 0 0 0 0 1 1
Обнаружение дыма и огня
Я5 Детектор дыма 1 1 1 1 1 1 1 1 1 1 1
^6 Детектор огня 1 1 0 0 1 1 1 1 1 1 1
Обнаружение саботажа видеонаблюдения
я„ Детектор потери сигнала 1 1 0 1 0 0 1 1 1 1 1
1К1 Инженерный вестник Дона. №1 (2019) Н| ivdon.ru/ru/magazine/arcliive/nly2019/5465
Продолжение табл. №3
1 2 3 4 5 6 7 8 9 10 11 12 13
Анализ дорожной ситуации
*13 Модуль распознавания номерных знаков 1 1 1 0 1 1 1 1 1 1 1
^18 Детектор оставленных предметов 1 1 1 1 1 1 1 1 1 1 1
Детектор движения
К20 Отслеживание пересечения линии 1 1 1 1 1 1 1 1 1 1 1
К21 Отслеживание длительного пребывания в зоне 1 1 0 1 1 1 1 0 1 0 1
К24 Детектор выноса предметов 0 0 0 1 1 1 1 1 1 1 1
^25 Тепловая карта движения 1 0 0 1 1 0 1 0 0 0 1
Прочее
К27 Межкамерный трекинг 1 0 0 1 1 0 1 0 0 1 1
К28 Распознавание лиц 1 1 1 1 1 0 1 1 1 1 1
Выполним перерасчет матриц Р.(т), , Н к. С учетом добавления
условной системы они имеют следующий вид:
Р
(01)
0 4 4 3 7 2 6 3 5 8 3
4 0 3 6 9 3 8 3 5 6 3
13 12 0 10 9 5 15 10 5 13 8
6 9 4 0 7 4 8 6 4 9 4
7 9 0 4 0 2 7 6 1 9 3
= 11 12 5 10 11 0 15 10 5 13 6
2 4 2 1 3 2 0 0 1 4 2
6 6 4 6 9 4 7 0 5 7 5
11 11 2 7 7 2 11 8 0 9 4
7 5 3 5 8 3 7 3 2 0 2
11 11 7 9 11 5 14 10 6 11 0
1 0,68 0,32 0,625 0,50 0,434 0,703 0,625 0,384 0,482 0,416
0,68 1 0,375 0,444 0,40 0,375 0,586 0,625 0,384 0,592 0,416
0,32 0,375 1 0,363 0,571 0,411 0,370 0,363 0,588 0,36 0,25
0,625 0,444 0,363 1 0,56 0,363 0,653 0,50 0,50 0,481 0,409
0,50 0,40 0,571 0,56 1 0,434 0,642 0,444 0,636 0,433 0,416
G, = 0,434 0,375 0,411 0,363 0,434 1 0,370 0,363 0,588 0,36 0,388
0,703 0,586 0,370 0,653 0,642 0,370 1 0,72 0,538 0,620 0,407
0,625 0,625 0,363 0,50 0,444 0,363 0,72 1 0,434 0,60 0,347
0,384 0,384 0,588 0,50 0,636 0,588 0,538 0,434 1 0,541 0,473
0,482 0,592 0,36 0,481 0,433 0,36 0,620 0,60 0,541 1 0,458
0,416 0,416 0,25 0,409 0,416 0,388 0,407 0,347 0,473 0,458 1
1 0,809 0,380 0,714 0,67 0,476 0,904 0,714 0,476 0,67 0,476
0,809 1 0,428 0,571 0,571 0,428 0,809 0,714 0,476 0,761 0,476
0,67 0,75 1 0,67 1 0,583 0,833 0,67 0,833 0,75 0,416
0,833 0,67 0,444 1 0,777 0,444 0,944 0,67 0,611 0,722 0,50
0,67 0,571 0,571 0,67 1 0,476 0,857 0,571 0,67 0,619 0,476
Я, = 0,833 0,75 0,583 0,67 0,833 1 0,833 0,67 0,833 0,75 0,583
0,76 0,68 0,40 0,68 0,72 0,40 1 0,72 0,56 0,72 0,44
0,833 0,833 0,444 0,67 0,67 0,444 1 1 0,555 0,833 0,444
0,67 0,67 0,67 0,733 0,933 0,67 0,933 0,67 1 0,866 0,60
0,636 0,727 0,409 0,590 0,590 0,409 0,818 0,681 0,590 1 0,50
0,769 0,769 0,384 0,692 0,769 0,538 0,846 0,615 0,692 0,846 1
Выделим функции системы Z ., которые не предусмотрены в условной
системе Zn (табл. 4).
Таблица №4
Перечень функций, не предусмотренных в Z п, но реализуемых системой Z.
Информационные системы Идентификатор выполняемой функции
Z 1 - Macroscop R • R • R • R • R • R • R • R • R • R • R ГЦ, , J^-g, ^ю? "'Л17 ' 19' 22 7 23' 26 ' 32 '
Z 2 - Kipod3 R • R • R • R • R • R • R • R • R • R • R Л1 ' Л4 ? Л7 ? Л9 ? "'Ч0 ' 16 ' 17 ' 19 ' 22 7 26 '
Z 3 - Vocord R • R • R • R • R • R • R Л14 ' Л15 ' Л16 ' 17' 19' 26' 30'
Z4 - AgentVI R • R • R • R • R • R • R • R • R Л7 ? Л9 ? 10' 14' 17' 19 ' 22 ' 23' 30'
Z 5 - VTrack R • R • R • R • R • R • R • R • R • R • R Л14 ' Л15 ' Л16 ' 17' 19' 22' 23' 26' 29' 30' 31'
Z 6 - Axxon Next R • R • R • R • R 1' 17' 19' 30' 32'
Z 7 -Интегра-Видео R • R • R • R • R • R • R • R • R • R • R • R • R • R 1 ' Л7 ' ' 9 ' 10 ' 12 ' 14 ' 15 ' 16 ' 17 ' 19 ' 22 ' 23 ' 29
Z. - VideoNet 8.4 0 R • R • R • R • R • R • R • R • R • R ГЦ, , ГЦ, ГЦ, ГЦ0 , Л16' Л17' 22 7 23'
Z 9 - Domination R • R • R • R • R • R Л14 ' 15 ' 17 ' 19 ' 29 ' 30 '
Z10 - BSP Security VMS R • R • R • R • R • R • R • R • R • R • R ^Ц 5 ^45 ^75 8 ' 9 ' 10 ' 14 ' 15 ' 17 ' 29 ' 30 *
1К1 Инженерный вестник Дона. №1 (2019) Н| ivdon.ru/ru/magazine/arcliive/nly2019/5465
По табл. 4 пользователь может выбрать заинтересовавшие его функции, которые он на начальном этапе не обозначил для условной системы. Ими дополняется строка с условной системой 211 и процесс перерасчета матриц повторяется.
Далее формируется таблица, в которую вносят функции, отмеченные в условной системе 2Х1, но не предусмотренные в системе 2. (табл. 5).
Таблица №5
Функции, предусмотренные в Z п, но не реализуемые системой Z.
Обозначение и наименование Идентификатор не выполняемой Zфункции
Z1 - Macroscop R • R • R
Z 2 - Kipod3 R • R • R 24 ' 25 ' 27 '
Z 3 - Vocord R • R • R • R • R • R • R • R 2' Л3 ' 6' 11' 21' 24' 25' 27'
Z 4 - AgentVI R2 • R3; R6 • R13.
Z 5 - VTrack R2 • R3; Rn.
Z 6 - Axxon Next R • R • R • R • R • R Л2 ' 3 ' 11 ' 25 ' 27 ' 28 '
Z7 -Интегра-Видео R2 • R3.
Z8 - VideoNet 8.4 R • R • R • R • R 2 ' 3 ' 21 ' 25 ' 27 '
Z 9 - Domination R • R • R • R Л2 ' 3 ' 25 ' 27 '
Z10 - BSP Security VMS R • R Л21 ' 25 '
По рассчитанным матрицам Р0, Н0, G0 для выбранных пороговых
значений (е) их элементов можно также выделить и представить в виде таблицы подмножества часто реализуемых функций, т.е. сформировать перечень наиболее типичных стандартных видеодетекторов.
Таким образом, применение рассмотренной методики позволяет исключить из дальнейшего рассмотрения еще на стадии предварительного анализа системы видеоаналитики, в которых не реализуются нужные пользователю функции интеллектуального анализа видеопотока. Пользователю предоставляется возможность количественно оценить степень соответствия той или иной системы его требованиям к функциональной
полноте, сформировать группу систем, имеющих одинаковую функциональную полноту. Далее он может сопоставить их стоимость и другие характеристики. Проведенный анализ также позволяет показать разработчикам место их продукта среди существующих систем данного назначения.
1. Дергачев В.В., Александров А.А. Методы анализа и структурированного распознавания лиц в естественных условиях //
ivdon.ru/ru/magazine/archive/n4y2017/4549.
2. Пшенокова И.А., Денисенко В.А., Сундуков З.А., Макоева Д.Г., Нагоева О.В., Бова В.В. Разработка системы видеораспознавания графических образов на основе мультиагентных рекурсивных когнитивных архитектур // Инженерный вестник Дона, 2016, № 4. URL: ivdon.ru/ru/magazine/archive/n4y2016/3911.
3. Vrigkas M., Nikou C., Kakadiaris I.A. A Review of Human Activity Recognition Methods // Frontiers in Robotics and AI. 2015. Vol. 2. Article 28. DOI: doi.org/10.3389/frobt.2015.00028.
4. Guangnan Ye, Yitong Li, Hongliang Xu, Dong Liu, and Shih-Fu Chang. EventNet: A Large Scale Structured Concept Library for Complex Event Detection in Video // Proceedings of the 23rd ACM international conference on Multimedia (MM '15). 2015. ACM, New York, NY, USA. рр.471-480. DOI: doi.org/10.1145/2733373.2806221.
5. Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной полноты // Программные продукты и системы
Литература
Инженерный
вестник
Дона, 2017, №4. URL:
(SOFTWARE&SYSTEMS). 1998. №2. С.6-9.
6. Хубаев Г.Н., Велько Н.Э. Сравнительный анализ функциональной полноты информационных систем для поиска и аренды жилья // Бюллетень науки и практики. 2017. № 6 (19). С. 153-158.
7. Заславнов Д.А., Широбокова C.H., Сериков О.Н. Формализованный анализ функциональной полноты мобильных приложений для внедрения в процесс обучения иностранному языку // Российский экономический интернет-журнал / ОАО "ИТКОР"- Электронный журнал. М.: ИТКОР, 2017. №4. URL: e-rej.ru/Articles/2017/Zaslavnov_Shirobokova.pdf
8. Аручиди Н.А., Щербаков С.М. Сравнительный анализ программных систем электронной коммерции по критерию функциональной полноты // Статистика в современном мире: методы, модели, инструменты: материалы II Региональной науч.-практ. конф. 2010. Ростов-на-Дону: РГЭУ «РИНХ». С. 135-139.
9. Щербаков С.М. Метод анализа сложных систем по критерию функциональной полноты: расширение и адаптация // Системное управление. 2010. №2 (8). URL: sisupr.mrsu.ru/wp-content/uploads/2015/02/SCHERBAK0V_1.pdf
10. Хубаев Г.Н., Шевченко С.В. Методика экспресс-оценки характеристик потребительского качества веб-сайтов (на примере веб-сайтов управляющих компаний в сфере ЖКХ) // Качество и жизнь. 2016. № 1 (9). С. 77-84.
References
1. Dergachev V.V., Alexandrov A.A. Inzenernyj vestnik Dona (Rus), 2017, №4. URL: ivdon.ru/ru/magazine/archive/n4y2017/4549.
2. Pshenokova I.A., Denisenko V.A., Sundukov Z.A., Makoeva D.G., Nagoeva O.V., Bova V.V. Inzenernyj vestnik Dona (Rus), 2016. № 4. URL: ivdon.ru/ru/magazine/archive/n4y2016/3911.
3. Vrigkas M., Nikou C., Kakadiaris I. A. Frontiers in Robotics and AI. 2015. Vol. 2. Article 28. DOI: doi.org/10.3389/frobt.2015.00028.
4. Guangnan Ye, Yitong Li, Hongliang Xu, Dong Liu, and Shih-Fu Chang. Proceedings of the 23rd ACM international conference on Multimedia (MM '15). 2015. ACM, New York, NY, USA. pp.471-480. DOI: doi.org/10.1145/2733373.2806221.
5. Khubaev G.N. Programmnye produkty i sistemy (Software&Systems). 1998. No. 2. pp. 6-9.
6. Khubaev, G.N., Velko N.E. Bulletin of science and practice. 2017. №6. pp. 153-158.
7. Zaslavnov D.A., Shirobokova S.N., Serikov O.N. Russian Economics online-journal. JSC "ITKOR" Electronic journal. M.: ITKOR, 2017. №. 4. URL: e-rej.ru/Articles/2017/Zaslavnov_Shirobokova.pdf
8. Aruchidi N.A., Shcherbakov S.M. Statistika v sovremennom mire: metody, modeli, instrumenty: materialy II Regional'noj nauch.-prakt. konf. 2010. Rostov-on-Don: RSEU «RINH». pp. 135-139.
9. Shcherbakov S.M. System Management. 2010. №2 (8). URL: sisupr.mrsu.ru/wp-content/uploads/2015/02/SCHERBAK0V_1.pdf
10. Khubaev G.N., Shevchenko S.V. Quality and Life. 2016. № 1. pp. 77-84.
