CC BY
84
НАУЧНО-ТЕХНИЧЕСКИМ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2018 Том 18 № 4 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2018 Vol. 18 No 4 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.054
ПОЛНЫЙ ФАКТОРНЫЙ ЭКСПЕРИМЕНТ В ИССЛЕДОВАНИИ РАБОТЫ БЛОКА УПРАВЛЕНИЯ ПРОЕЗДА ПЕРЕКРЕСТКА БЕСПИЛОТНЫМ ТРАНСПОРТНЫМ СРЕ ДСТВОМ Д.И. Медведков"
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: dmitrymedvedkov12@gmail.com Информация о статье
Поступила в редакцию 09.04.18, принята к печати 04.06.18 doi: 10.17586/2226-1494-2018-18-4-669-676 Язык статьи - русский
Ссылка для цитирования: Медведков Д.И. Полный факторный эксперимент в исследовании работы блока управления проезда перекрестка беспилотным транспортным средством // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 4. С. 669-676. doi: 10.17586/2226-1494-2018-18-4-669-676
Аннотация
Проведена статистическая оценка компьютерной модели блока управления мультиагентных робототехнических систем. Рассмотрен алгоритм, который реализует достижение роботами-агентами единой цели - пересечь перекресток с максимальной скоростью. Такой алгоритм будем называть алгоритмом решения конфликтных ситуаций. Исследована зависимость влияния вероятности появления транспортного средства с каждой из сторон перекрестка на максимальную скорость проезда перекрестка. Произведена оценка эффективности применяемого алгоритма на перекрестках различного типа: на четырехстороннем перекрестке, Т-образном перекрестке, У-образном перекрестке. Оценка эффективности проведена с применением полного факторного эксперимента по исследованию работы алгоритма решения конфликтных ситуаций для блока управления беспилотного транспортного средства. Основная идея полного факторного эксперимента состоит в том, что исследуемый объект рассматривается как черный ящик. Таким образом, исследуется влияние входных параметров (факторов) на функцию отклика. Полный факторный эксперимент заключался в построении матрицы планирования эксперимента, которая содержала все возможные комбинации факторов. Подобный подход позволил выявить комбинации факторов, которые наибольшим и наименьшим образом влияют на функцию отклика. Полученные результаты свидетельствуют о возможности работы алгоритма решения конфликтных ситуаций для перекрестков дорог различного типа. Выявлены слабые стороны алгоритма. В дальнейшем предполагается использовать полученные результаты для оценки информационной безопасности мультиагентной робототехнической системы с децентрализованным и централизованным управлением. Ключевые слова
полный факторный эксперимент, автоконфигурируемая система управления экспериментом, мультиагентные робототехнические системы, исследование работы алгоритма, планирование эксперимента, информационная безопасность
FULL FACTORIAL EXPERIMENT IN STUDY OF CONTROL BLOCK OPERATION OF INTERSECTION PASSAGE BY UNMANNED VEHICLE
D.I. Medvedkov"
a ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: dmitrymedvedkov12@gmail.com Article info
Received 09.04.18, accepted 04.06.18 doi: 10.17586/2226-1494-2018-18-4-669-676 Article in Russian
For citation: Medvedkov D.I. Full factorial experiment in study of control block operation of intersection passage by unmanned vehicle.
Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 4, pp. 669-676 (in Russian). doi: 10.17586/2226-1494-2018-18-4-669-676
Abstract
A statistical evaluation of the control unit computer model for multi-agent robotic systems is carried out. An algorithm is considered that realizes the achievement of a single goal by robots-agents - to cross the intersection at the maximum speed. Let such algorithm be called an "algorithm for conflict solutions". The paper presents the study of the dependence of the
vehicle appearance probability effect from each intersection side on the maximum speed of the intersection crossing. The efficiency of the applied algorithm is evaluated at the intersections of various types, for example: four-way intersection, T-junction, Y-shaped intersection. The efficiency estimation was performed by a full factorial experiment on the study of the "algorithm for conflict solutions" operation by the unmanned vehicle control unit. The basic idea of a full factorial experiment is that the researched object is considered as a "black box". Thus, the effect of input parameters (factors) on the response function is studied. The main benefit of full factorial experiment application is the construction of an experiment planning matrix that contains all possible combinations of factors. This approach gave the possibility to identify those combinations of factors that have the greatest and the least effect on the response function. The received results testify to the possibility of the algorithm for conflict solutions operation for intersection of various types of roads. The algorithm shortcomings were revealed. In future it is expected to use the obtained results to assess the information security of the multiagent robotic system with decentralized and centralized control. Keywords
full factor experiment, autoconfigurable experiment control system, multi-agent robotics systems, algorithm operation study, experiment planning, information security
Введение
Проектировщики больших технических систем должны максимально обезопасить их работу от так называемого человеческого фактора. Чтобы оценить эффективность внедряемой системы до ее реализации на этапе проектирования, требуется рассмотреть процесс ее работы и взаимодействия с внешней средой. В таких случаях принято описывать систему и ее взаимодействие с внешней средой с помощью математических уравнений [1] и осуществлять математическое моделирование.
На основе предложенных математических моделей необходимо создать имитационную модель [2]. В некоторых случаях для простых систем достаточно ограничиваться регрессионными закономерностями. Но в большинстве случаев такой подход невозможен ввиду сложности создаваемой системы и влияния внешних воздействующих факторов [3]. Под внешними воздействующими факторами понимается набор параметров, влияющих на техническую систему, таких как неконтролируемые параметры (внешняя среда) и контролируемые параметры (смежные системы) [4]. Имитационная модель позволяет описать реальную систему и проходящие в ней процессы так, как если бы они проходили в реальном времени. Такую модель можно «прокрутить» на протяжении некоторого времени и тем самым выяснить, что будет происходить с системой за некоторый временной отрезок [5].
Целью работы является разработка автоконфигурируемой системы управления экспериментом. Под экспериментом будем понимать инструмент имитационного моделирования, который имеет в качестве входных параметров количество факторов, их значения и необходимую точность вычислений, а в качестве выходных данных - значения необходимого количества итераций и функции отклика, а также позволяет задавать желаемое значение функции отклика и количество факторов на входе, на выходе получая требуемые значения величин факторов. Далее планируется универсализация системы, применение большего количества парадигм имитационного моделирования. Также планируется демонстрация сильных и слабых сторон с помощью визуализированных инструментов (графики, диаграммы, гистограммы), в том числе оценка эффективности модели доверия и репутации в мультиагентных робототехнических системах и апробация ее на имитационной модели [6]. Это позволит исследователю сократить время на моделирование процесса и обработку результатов эксперимента c использованием средств обработки больших объемов данных [7].
В настоящей работе рассматривается первый этап разработки автоконфигурируемой системы планирования эксперимента, когда она принимает в качестве входных параметров набор факторов, используя метод планирования полного факторного эксперимента, который отображает возможность применения алгоритма к различным типам перекрестков дорог.
Теория планирования полного факторного эксперимента
При исследовании объекта, внутреннее устройство и механизм работы которого неизвестны, принято рассматривать объект как «черный ящик». Таким образом, исследователя не интересует внутреннее устройство объекта, а интересует лишь набор входных параметров (факторов), влияющих на выходные данные (функция отклика). При исследовании процесса, как правило, отбрасывается влияние неконтролируемых факторов, задача сводится к определению зависимостей между контролируемыми факторами и функцией отклика [8].
Под имитационным моделированием будем понимать такой метод исследования, в котором изучаемый объект или система заменяются достаточно точно описывающей копией (математической моделью). При таком подходе результаты исследования имеют случайный характер, и исследователь может получить достаточно устойчивую статистику, с которой впоследствии и будет работать.
Планирование эксперимента будем интерпретировать следующим образом: исследователь, в зависимости от своих интересов, активно вмешивается в процесс наблюдения и имеет возможность выбирать состояние системы, т.е. уровни факторов. Фактор есть независимая переменная величина, которая влияет на оптимизацию. Фактор должен быть управляемым, непосредственно воздействующим на объект иссле-
дования, независимым и совместимым (т.е. должна быть возможность комбинировать его с факторами других уровней). Такой эксперимент принято называть активным [8].
На объект исследования влияют как управляемые, так и неуправляемые факторы. Под управляемыми факторами понимаются те факторы, которые можно измерить и целенаправленно изменить. Под неуправляемыми факторами понимаются те факторы, которые измерить и изменить невозможно (например, влияние внешней среды). Неуправляемые факторы влияют на воспроизводимость эксперимента. Если воспроизводимость эксперимента не выполняется, то необходимо переходить к пассивно-активному эксперименту [9].
При планировании эксперимента под математической моделью обычно понимают уравнение, которое связывает параметр оптимизации с функцией отклика. Функция отклика имеет вид
П = ¡{х1,х2,...,хк), где х1,х2, — ,хк - контролируемые факторы.
Для проведения эксперимента исследователь должен обладать возможностью влиять на поведение исследуемого объекта или системы. Значения, которые принимает фактор, называются уровнями. Фактор может принимать как непрерывный ряд значений, так и фиксированный набор. Фиксированный набор определяет одно из возможных состояний исследуемого объекта или системы [10].
В тех случаях, когда функция отклика известна, оптимальные условия процесса устанавливаются аналитически, тем не менее чаще всего исследователь вынужден решать экстремальные задачи при неполном знании механизма процесса. Тогда выражение функции отклика становится неизвестным, и исследователь ограничивается ее представлением в виде полинома [11]:
П = Ро + РА + Рг*г + 012*1*2 + Ри + *и2 + ••• , где Ро- Р1- Рг- Р12, Ри - коэффициенты регрессии.
По результатам эксперимента можно определить только выборочные коэффициенты регрессии Ь0,Ь1,Ь2,Ь12..., которые являются оценками теоретических коэффициентов |30, р1( (32, Р12, Ри. Уравнение регрессии, полученное на основании опытов и представляющее собой выборочную оценку функции отклика у, может быть записано следующим образом: у = Ь0+ Ъ1х1 + Ь2х2 + ¿12*1*2 + Ьц*12 + •.
На первом этапе планирования эксперимента, чтобы определить направление движения к оптимуму, функцию отклика принято выражать полиномом первой степени: у = Ь0+ Ъ1х1 + й2*2 + Ь3х3 + ••■+ Ъкхк.
Чтобы найти коэффициенты Ь0,Ь1,Ь2,Ь3... Ьк, достаточно реализовать факторный эксперимент типа 2к. Эксперимент типа 2к при планировании по схеме полного факторного эксперимента представляет собой комбинации всех возможных сочетаний факторов на выбранных для исследования уровнях. В данной работе рассматривается два уровня факторов (верхний и нижний пределы вероятности появления транспортного средства с каждой из сторон перекрестка).
Для определения всех коэффициентов уравнения необходимо реализовать план эксперимента, в котором каждый фактор варьируется не менее чем на двух уровнях. Планы экспериментов называются планами первого, второго и п-го порядка, порядок определяется порядком полинома.
Параметр оптимизации должен быть доступным для измерения, определяться количественно и выражаться числом.
При планировании эксперимента можно проводить как полный, так и дробный факторный эксперимент. В соответствии с выбранным подходом строится матрица плана (табл. 1). При двухфакторном эксперименте количество опытов будет Л/опытсш = 2,с=22=4. Знаками «+» и «-» принято обозначать уровни факторов, у1,у2,у2,..-уп - значения функции отклика.
Номер опыта X, *2 у
1 + + У1
2 - - У?
3 + - у3
4 - + У4
Таблица 1. Матрица плана полного факторного эксперимента
Полный факторный эксперимент применим только в том случае, когда число факторов невелико. Такой подход объясним тем, что количество проведенных опытов равно Ык. Таким образом, при числе факторов, равном, например пяти, число опытов будет равно Л/опьггов = 2,с = 25 = 32. Так как эксперимент должен свести к минимуму влияние случайных параметров на функцию отклика, необходимо произвести несколько параллельных опытов при одних и тех же условиях. В таком случае выбирается усредненное значение функции отклика в выбранной точке по формуле:
<Y >=
SfLi Ye,
(1)
где е = 1 ...N - номер опыта; i - номер параллельного опыта в строке; Yj - значение Y, соответствующее г-му параллельному опыту в е-м номере опыта; n - номер опыта. Например, при проведении 10 параллельных опытов общее количество проведенных опытов будет равно N0UblT0B = 2к х10 = 25 х 10 = 320.
При большом количестве факторов становится необходимо сокращать количество опытов. Существуют два пути сокращения числа опытов:
- проведение дробного факторного эксперимента. Из всех случаев полного факторного эксперимента некоторые сочетания исключаются, и опыты при таких сочетаниях не производятся.
- составление композиционных планов. За основу принимают двухуровневый полный факторный эксперимент и добавляют к нему те эксперименты, которые необходимы на других уровнях.
Постановка эксперимента
На данном этапе работы в качестве объекта для проведения эксперимента рассматривается алгоритм разрешения конфликтных ситуаций (рис. 1) для блока управления беспилотным транспортным средством при проезде перекрестка [12], который реализован программным обеспечением.
Суть метода разрешения конфликтных ситуаций заключается в выборе одного маршрута участником коллаборации и в поэтапном сравнении его со всеми остальными. Если на каком-то этапе выясняется, что маршруты совпадают, то участок дороги считается конфликтным, время наступления конфликтной ситуации записывается, и дальнейший поиск конфликтных участков останавливается. Подобным образом производится поиск конфликтных участков для всех участников коллаборации. Разрешение конфликтных ситуаций происходит в порядке очереди, по принципу «первый пришел - первый ушел». Разрешение конфликтных ситуаций происходит за счет снижения скорости кого-то из участников коллабора-ции [12, 13].
В качестве входных данных (факторов) программой принимаются вероятности появления транспорта с каждой из сторон перекрестка. В качестве выходных данных (функции отклика) принимается скорость проезда перекрестка транспортным средством, где х1 — West road, х2 — North road, х3 — East road, x4 — South road, количество итераций - 1000.
Рис. 1. Визуализированная модель алгоритма разрешения конфликтных ситуаций
Для постановки эксперимента необходимо составить матрицу плана двухуровневого полного факторного эксперимента (табл. 1) с числом опытов 2к. Уровни факторов представляют собой границы исследуемой области по минимальному и максимальному значению факторов.
Для удобства принято кодировать значения матрицы планирования на «+» и «-», где «+» - максимальное значение фактора, «-» - минимальное значение фактора. Был проведен полный факторный эксперимент с 16 вариантами взаимодействия уровней факторов, для получения более точных значений функции отклика в каждом из вариантов взаимодействия факторов было проведено 10 параллельных опытов. Матрица плана полного факторного эксперимента представлена в табл. 2, где к = 4. В качестве верхней границы была принята вероятность появления транспортного средства 2тах = 0,8, в качестве нижней границы - Zmin = 0,3. Для последующего анализа вычисляются значения выборочных дисперсий около их среднего значения.
Для определения коэффициентов взаимодействия необходимо расширить матрицу планирования эксперимента (табл. 3), учитывая эффект взаимодействия экспериментов.
Для определения коэффициентов взаимодействия при обработке результатов эксперимента в целях обеспечения независимой оценки модели необходимо соблюдение независимости столбцов матрицы, т.е. построенная матрица планирования должна быть ортогональной. Матрица планирования считается ортогональной, если сумма произведений значений, приведенных в каждой строке двух любых столбцов матрицы, равна нулю [14].
С помощью проверки на ортогональность матрицы (табл. 3) был сделан вывод о том, что матрица планирования годится для независимой оценки коэффициентов полинома. Расчет коэффициентов взаимодействия производится по формуле
1 = £¿=1 Жг/Уг N .
При варьировании факторов на каждом из двух уровней число экспериментов равно 24 = 16 , а матрица планирования представлена в табл. 3.
х1 х2 х3 х4
1 + + + +
2 - + + +
3 + - + +
4 - - + +
5 + + - +
6 - + - +
7 + - - +
8 - - - +
9 + + + -
10 - + + -
11 + - + -
12 - - + -
13 + + - -
14 - + - -
15 + - - -
16 - - - -
Таблица 2. Матрица плана полного факторного эксперимента с закодированными значениями
х1х2 х1х3 х1х4 х2х3 х2х4 х3х4 х1х2х3х4 У
1 + + + + + + + 71
2 - - - + + + - 72
3 - + + - - + - 73
4 + - - - - + + 74
5 + - + - + - - 75
6 - + - - + - + 76
7 - - + + - - + 77
8 + + - + - - - 78
9 + + - + - - - 79
10 - - + + - - + 710
11 - + - - + - + 711
12 + - + - + - - 712
13 + - - - - + + 713
14 - + + - - + - 714
15 - - - + + + - 715
16 + + + + + + + 716
Таблица 3. Расширенная матрица плана полного факторного эксперимента
Матрица эксперимента является диагональной, это значит, что коэффициенты регрессии не корре-лированы между собой, поэтому значимость коэффициентов можно проводить отдельно, используя критерий Стьюдента, а исключение из уравнения регрессии незначимых коэффициентов не сказывается на остальных коэффициентах [13]. Расчетное значение критерия Стьюдента определяется по формуле:
, -М
ч — •
Полученное значение критерия Стьюдента сравнивается с табличным значением для соответствующего уровня значимости. Если расчетное значение доверительного интервала меньше табличного, то данные коэффициенты при работе с моделью исключаются из уравнения регрессии.
После этого необходимо проверить адекватность полученного уравнения регрессии, используя критерий Фишера:
Р _ °ост
^воспр
Остаточная дисперсия рассчитывается по формуле
с2 _ !.1=1(У1-уп)2
где Ь - число значимых коэффициентов в уравнении регрессии. Расчетное значение критерия адекватности сравнивают с табличным значением (при соответствующем уровне значимости). Если расчетное значение меньше табличного, то полученное уравнение регрессии адекватно описывает эксперимент.
Результаты эксперимента
Строки матрицы плана (табл. 3) представляют: № 8, 12, 14 и 15 - плотный поток транспорта с одной из сторон перекрестка (рис. 2, а), строки матрицы плана № 2, 3, 5 и 9 - Т-образный перекресток (рис. 2, б), строки № 4, 7, 10, 13 - перекресток с главной дорогой (рис. 2, в), строки № 1 и 16 - максимальный и минимальный поток транспорта соответственно.
щ щщ ш
ШШг
_
.«ж
гаЭИВшЫкШаЯНВзШ
ШШШI
Рис. 2. Строки матрицы плана: возможный поток с одной из сторон (а); Т-образный перекресток (б);
главная дорога (в)
Основная особенность применения теории планирования эксперимента заключается в сведении к минимуму влияния случайных параметров на исследуемый процесс (функцию отклика). Вследствие того, что в каждом опыте имеет место влияние неконтролируемых параметров на функцию отклика, для того чтобы свести к минимуму влияние неконтролируемых параметров, достаточно провести несколько опытов в одинаковых условиях. Для выполнения этого условия должно быть предусмотрено не менее двух параллельных опытов. В проводимом эксперименте экспериментатором было принято провести 10 параллельных опытов. В таком случае полученные результаты опытов усредняют, при анализе используют усредненное значение функции отклика, которое рассчитывается по формуле (1).
б
а
При обработке результатов полного факторного эксперимента в первую очередь оценивается дисперсия среднего арифметического в каждой строке матрицы плана (табл. 4):
Номер фактора Дисперсия экспериментальных значений около их среднего значения
1 0,003138977
2 0,000746426
3 0,000181123
4 0,000356223
5 0,00030149
6 0,000554065
7 0,00077703
8 0,000587013
9 0,000659943
10 0,000912845
11 0,000550747
12 0,001196173
13 0,000993559
14 0,001517188
15 0,000628361
16 0,001754124
Таблица 4. Результаты расчета дисперсии экспериментальных значений
Проверка воспроизводимости эксперимента производится при помощи критерия Кохрена:
2
г1 _ наибольшее
17 _ уМ п2 ■ ¿£=1СТЕ
Результатом подстановки значений в формулу (2) является табл. 5.
Номер в =0,05 в =0,01
опыта
1 — —
2 + +
16 + +
Таблица 5. Результаты проверки воспроизводимости эксперимента
Полученные результаты показывают, что в случае обычного перекрестка с наибольшей вероятно -стью появления транспортного средства эксперимент является невоспроизводимым.
Далее при помощи критерия Пирсона была произведена проверка на согласование гипотезы эмпирического и теоретического распределений. Результат проверки представлен в табл. 6.
1 гипотеза отвергается
11 гипотеза отвергается
12 гипотеза принимается
16 гипотеза принимается
Таблица 6. Результаты проверки гипотезы по критерию Пирсона
Заключение
Проведен полный факторный эксперимент исследования эффективности работы алгоритма решения конфликтных ситуаций. Подобный подход позволяет учитывать большую часть факторов, влияющих на целевую функцию, при варьировании которых возможен подбор значений факторов, экстремизирую-щих функцию отклика.
На основании полученных результатов можно сделать вывод, что исследуемый алгоритм управления может быть применим к следующим ситуациям:
- перекресток с главной дорогой;
- плотный поток транспортных средств только с одной стороны перекрестка;
- минимальная загруженность классического перекрестка.
Используемый подход к исследованию эффективности работы алгоритма позволяет использовать его в будущем как инструмент, входящий в состав автоконфигурируемой системы для оценки принятых решений по модернизации действующего алгоритма. Также предполагается на следующем этапе работы использование полученных результатов для оценки систем менеджмента информационной безопасности мультиагентной робототехнической системы с децентрализованным и централизованным управлением.
Литература
1. Кузнецов В.Л. Математическое моделирование. М.: МГТУГА, 2003. 78 с.
2. Бобков С.П., Бытев Д.О. Моделирование систем. Иваново, 2008. 156 с.
3. Гайдадин А.Н., Ефремова С.А. Применение полного факторного эксперимента при проведении исследований. Волгоград: ВолгГТУ, 2008. 16 с.
4. Мухачев В.А. Планирование и обработка результатов экспериментов. Томск: ТГУ СУР, 2007. 118 с.
5. Волкова В.Н., Козлова В.Н. Моделирование систем и процессов. М.: Юрайт, 2015. 450 с.
6. Зикратов А.А., Зикратова Т.В., Лебедев И.С. Доверительная модель информационной безопасности мультиагентных робототехнических систем с децентрализованным управлением // Научно-технический вестник информационных технологий, механики и оптики. 2014. № 2(90). С. 47-52.
7. Babiceanu R.F., Seker R. Big data and virtualization for manufacturing cyber-physical systems: a survey of the current status and future outlook // Computers in Industry. 2016. V. 81. P. 128-137. doi: 10.1016/j.compind.2016.02.004
8. Гальченко В.Г., Гладкова Т.А., Берестнева О.Г. Планирование и обработка результатов экспериментов. Томск: ТПУ, 2014. 83 с.
9. Сидняев Н.И. Статистический анализ и теория планирования эксперимента. М.: МГТУ им. Н.Э. Баумана, 2017. 195 с.
10. Сидняев Н.И., Вилисова Н.Т. Методические указания по выполнению лабораторной работы по курсу «Теория планирования эксперимента». М.: МГТУ им. Н.Э. Баумана, 2002. 32 с.
11. Сидняев Н.И., Вилисова Н.Т. Руководство к решению задач по теории планирования эксперимента. М.: МГТУ им. Н.Э. Баумана, 2002. 94 с.
12. Viksnin I.I., Zikratov I.A., Shlykov A.A., Belykh D.L., Komarov I.I., Botvin G.A. Planning of autonomous multi-agent intersection // International Conference on Big Data and its Applications. 2016. V. 6. doi: 10.1051/itmconf/20160801007
13. Исакеев Д.Г., Зикратова Т.В., Лебедев И.С., Шабанов Д.П. Оценка безопасного состояния мультиагентной робототехнической системы при информационном воздействии на отдельный элемент // Вестник компьютерных и информационных технологий. 2015. № 1(127). С. 43-49.
14. Шаго Ф.Н., Зикратов И.А. Оптимизация мероприятий аудита системы менеджмента информационной безопасности // Информация и космос. 2014. № 2. С. 59-65.
Авторы
Медведков Дмитрий Игоревич - аспирант, Университет ИТМО,
Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 00000003-2473-0289, dmitrymedvedkov12@gmail.com
References
1. Kuznetsov V.L. Mathematical Modeling. Moscow, MGTUGA Publ., 2003, 78 p. (in Russian)
2. Bobkov C.P., Bytev D.O. Modeling of Systems. Ivanovo, Russia, 2008, 156 p. (in Russian)
3. Gaidadin A.N., Efremova S.A. Application of a Full Factor Experiment in Research. Volgograd, VolgGTU Publ., 2008, 16 p. (in Russian)
4. Mukhachev V.A. Planning and Processing of Experimental Results. Tomsk, TGU SUR Publ., 2007, 118 p. (in Russian)
5. Volkova V.N., Kozlova V.N. Modeling of Systems and Processes. Moscow, Yurait Publ., 2015, 450 p. (in Russian)
6. Zikratov I.A., Zikratova T.V., Lebedev I.S. Trust model for information security of multi-agent robotic systems with a decentralized management. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 2, pp. 47-52. (in Russian)
7. Babiceanu R.F., Seker R. Big data and virtualization for manufacturing cyber-physical systems: a survey of the current status and future outlook. Computers in Industry, 2016, vol. 81, pp. 128-137. doi: 10.1016/j.compind.2016.02.004
8. Gal'chenko V.G., Gladkova T.A., Berestneva O.G. Planning and Processing of Experimental Results. Tomsk, TPU Publ., 2014, 83 p. (in Russian)
9. Sidnyaev N.I. Statistical Analysis and Theory of Experiment Planning. Moscow, MSTU named by N.E. Bauman Publ., 2017, 195 p. (in Russian)
10. Sidnyaev N.I., Vilisova N.T. Guidelines for Laboratory Practice on the Course Theory of Experiment Planning. Moscow, MSTU named by N.E. Bauman Publ., 2002, 32 p. (in Russian)
11. Sidnyaev N.I., Vilisova N.T. Guide to Solving Problems in the Theory of Experimental Design. Moscow, MSTU named by N.E. Bauman Publ., 2002, 94 p. (in Russian)
12. Viksnin I.I., Zikratov I.A., Shlykov A.A., Belykh D.L., Komarov I.I., Botvin G.A. Planning of autonomous multi-agent intersections International Conference on Big Data and its Applications, 2016, vol. 6. doi: 10.1051/itmconf/20160801007
13. Isakeev D.G., Zikratova T.V., Lebedev I.S., Shabanov D.P. The estimation of secure condition of multi-agent robotic system in case of information influence on the single component. Herald of Computer and Information Technologies, 2015, no. 1, pp. 4349. (in Russian)
14. Shago F.N., Zikratov I.A. Optimization of audit measures of the information security management system. Information and Space, 2014, no. 2, pp. 59-65. (in Russian)
Authors
Dmitriy I. Medvedkov - postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 0000-00032473-0289, dmitrymedvedkov12@gmail.com
