CC BY
14
УДК 51.77
DOI: 10.17586/0021-3454-2021-64-6-444-451
МОДЕЛИРОВАНИЕ ПРОЦЕССА ВЗАИМОДЕЙСТВИЯ В ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ СЕТИ КАК СИСТЕМЕ С МАРКОВСКИМИ ПРОЦЕССАМИ
О. А. Малафеев1, И. В. Зайцева23, Д. В. Шлаев3, С. Г. Шматко3, Н. А. Брейдер2,4
1 Санкт-Петербургский государственный университет, 199034, Санкт-Петербург, Россия 2Российский государственный гидрометеорологический университет, 192007, Санкт-Петербург, Россия E-mail: irina.zaitseva.stv@yandex.ru 3Ставропольский государственный аграрный университет, 355017, Ставрополь, Россия 4Санкт-Петербургский научно-исследовательский институт физической культуры,
191040, Санкт-Петербург, Россия
Представлена математическая модель функционирования информационно -вычислительной сети предприятия с выбором оптимальной политики работы отдела информационных технологий. Задача исследования заключается в нахождении оптимальной стратегии работы отдела информационных технологий для повышения производительности информационно-вычислительной сети. Рассмотрена информационно-вычислительная сеть предприятия как пример марковской сети массового обслуживания. Математически обоснован выбор лучшей стратегии для максимизации математического ожидания выигрыша. В качестве теоретического аппарата для исследования рассматриваемой системы применяются методы теории вероятностей, математический аппарат теории массового обслуживания и теории управляемых марковских случайных процессов. Для нахождения оптимальной политики использован итерационный алгоритм Ховарда.
Ключевые слова: моделирование, функционирование, информационно-вычислительная сеть, отдел информационных технологий, марковский процесс принятия решений
Введение. В информационно-вычислительной сети предприятия рассмотрим отдел информационных технологий, состоящий из трех подразделений (ремонтных бригад), сотрудники которых различаются уровнем квалификации. Каждая бригада включает специалистов широкого профиля, способных в той или иной мере устранить проблемы в работе каждого из объектов информационно-вычислительной сети. При возникновении неполадок в функционировании любого объекта сети создается заявка на ремонт. Управляющее устройство согласно заданному оптимизационному критерию распределяет заявки из общей очереди по бригадам, имеющим различные скорость обслуживания и стоимость проведения работ. Задача состоит в поиске оптимальной стратегии, согласно которой заявки будут назначаться на ту или иную ремонтную бригаду в зависимости от состояния системы. Процесс нахождения оптимальной стратегии и будет описан математической моделью функционирования отдела информационных технологий на предприятии. Цели настоящей статьи: математическое моделирование и исследование работы информационно-вычислительной сети на предприятии, включающей в себя разного рода оборудование, программный комплекс, каналы связи, и отдела информационных технологий, который занимается ее обслуживанием.
Формальная постановка задачи. Информационно-вычислительная сеть предприятия состоит из программного комплекса (ПК), включающего программное обеспечение, оборудование и каналы связи (внешние и внутренние). Каждый из перечисленных объектов инфор-
мационно-вычислительной сети предприятия может находиться в одном из следующих состояний: ПК работает (1), не работает (2), частично работает (3); оборудование работает (1), не работает (2), частично работает (3); каналы связи работают (1), не работают (2).
Задачей настоящей работы является обоснование выбора бригады для устранения неисправности на основании разработанной математической модели. В результате принятия того или иного решения система переходит в следующее состояние в соответствии с набором переходных вероятностей, полученных эмпирически. Можно составить таблицу ожидаемого выигрыша для каждой переходной вероятности. Таблица будет демонстрировать, какой выигрыш получит предприятие в случае верной диагностики и дальнейшего выбора одной из бригад для решения проблемы.
Для решения задачи обратимся к математическим инструментам марковских управляемых процессов. В частности, задачу с бесконечным временем будем решать итеративным методом Ховарда в пространстве политик.
Информационно-вычислительная сеть рассматривается как система £, состоящая из трех подсистем, т.е. £ = {А, В, С}. Каждая подсистема системы £ в любой фиксированный
А: «1 «2, аз
момент времени может находиться в одном из конечного числа состояний: \ В : Ь ¿2, ¿3 .
С: с1} С2
Число состояний, в которых может находиться система, равно произведению числа состояний всех подсистем, т.е. г = 3х3х2 = 18. Вектор X = (х1,Х2,...,х^) описывает все со-
Х1 : a1, b\, С1;
. : а2, ¿1, С1;
стояния системы £ = { А, В, С} : ■<.
х18 : а3, b3, С2.
Состоянию системы соответствует конечное множество решений (или альтернатив).
Для устранения неполадок в рассматриваемой системе может быть направлена одна из трех
ремонтных бригад. Значит, для каждого состояния системы имеется три решения. Таким об--5 18
разом, имеется 3 возможных политик.
В любой момент времени система может находиться только в одном из перечисленных восемнадцати состояний, с течением времени последовательно переходя из одного состояния в другое. Каждый такой переход называется шагом.
Пусть процесс перехода из состояния в состояние происходит не детерминированно, а
стохастически, и управляется матрицей перехода Рч = рг]-, Р = {Рд}, где Ру — вероятность
того, что система в момент времени (I+1) находится в состоянии ], если известно, что в момент времени I она была в состоянии г, а q — оптимальная политика выигрыша, принадлежащая множеству Q. Rq = г(]-, матрица выигрыша Я = } показывает, с каким выигрышем
система перейдет из одного состояния в другое [1—5].
Рассмотрим случай, когда матрица не зависит от времени, и решения принимаются
на каждом шаге. Предположим, что на каждом шаге в качестве переходной может быть выбрана одна из множества матриц Р^ Р, и обозначим матрицу состояний, соответствующую
политике qe Q, через Рч = (р^ .
/п (0 = тах
(1)
Предположим далее, что меняется не только состояние на каждом шаге, но и выигрыш, который является функцией начального и конечного состояний и решения. Пусть = (г^ (я))
означает соответствующую матрицу выигрыша. Составление этой матрицы описывается марковским процессом [6].
Рассмотрим здесь задачу о выборе последовательности решений, максимизирующих математическое ожидание выигрыша, получаемого в п-шаговом процессе, при заданном начальном состоянии системы [7].
Используем теперь аппарат функциональных уравнений для получения аналитической формулировки поставленной задачи [8—11]. Пусть гп (г) — ожидаемый выигрыш при п-шаговом
процессе (п = 0, 1, ...), если начать из состояния г (г = 1, 2,..., 18) и использовать оптимальную политику. Тогда на основании принципа оптимальности получим рекуррентное соотношение
" N '
Е Рч (я)(Гу (Я) + ЛчО')) .1=1 ] для п=1,2, ... и /о(0 = 0; г = 1,2,..., N.
Оптимальная политика задается вектором, определяющим выбор, который надлежит сделать в г-м состоянии, когда осталось п шагов, и максимизирует средний ожидаемый выигрыш. Для того чтобы найти этот вектор, воспользуемся итеративным методом Ховарда в пространстве политик [1, 2].
Алгоритм нахождения оптимальной стратегии выбора. Итеративный метод в пространстве политик, основанный на предшествующих идеях, детально разработан Р. Ховардом [1, 2], он дает оптимальную политику для процессов большой длительности, где решения зависят только от состояния, а не от номера шага.
Если определить У™ (*) как математическое ожидание суммарного выигрыша при п-
шаговом процессе, начинающемся в состоянии г, при использовании фиксированной политики, то можно видеть, что V удовлетворяет рекуррентному соотношению
N
= Е Р1 г + V1-1). (2)
1=1
Для больших п также имеет место равенство
Vп = V. + ^ (3)
Из уравнения (3) видно, что выигрыш будет в целом складываться из двух частей: стационарной ng , обусловленной поведением при п и переходной у. , зависящей только от
начального состояния [12, 13].
Подстановка предельного выражения (3) в соотношение (2) дает:
N
V + ^ = Е Рч \_гч + у1 +(п -1) g] , (4)
1=1
N
поскольку Е Ру = 1 ,
1=1
N
g + V. =Е Рч г + VI), /=1,2,...Д(5)
г=1
Для системы (5) N уравнений с (N+1) неизвестными, у. (г = 1,...., Ы) и g важны лишь относительные значения у. , а не абсолютные. Очевидно, что прибавление постоянной ко всем
V не изменяет уравнений. Следовательно, величина vt может быть выбрана произвольно, и для рассмотрения останется N уравнений с N неизвестными.
Если положить Vn = 0, то решение уравнений дает средний прирост g за длительное время и относительные значения различных начальных состояний Vj для фиксированной политики. Хо-вард называет указанный выше прием нахождения выигрыша и переходных значений для заданной политики операцией определения значения VDO (value determination operation).
Теперь рассмотрим основную задачу — нахождение лучшей политики. Под „лучшей" будем понимать политику, дающую большее математическое ожидание выигрыша g.
Вернемся к уравнению (5). Решив его относительно g, получим:
N
g = Е Pij (rij + Vj ) - Vj, i = 1,2,..., N, (6)
j=1
где Pjj и rtj зависят от конкретной политики.
Используя значения Vj, связанные со старой политикой, можно выбрать новую политику, максимизирующую правую часть равенства (6). Обозначив индексом к характеристики,
N
связанные с этой политикой, выберем такое к, при котором сумма ^ pjj) (rj) + Vj ) - Vi обра-
j=1
щается в максимум, где pj) обозначают переходные вероятности, связанные с выбором политики к в состоянии i.
Если для заданной политики определены значения g и V, то нахождение максимального значения определяет правило построения новой политики (PIR, policy improvement routine).
Практический пример решения задачи нахождения оптимальной стратегии выбора. Пусть отдел информационных технологий состоит из нескольких подразделений: инженеры начальной категории, инженеры средней категории и инженеры высокой категории. Обращения в отдел представляют собой непрерывный поток заявок разного рода.
Обращения, связанные с проблемами функционирования программного комплекса, оборудования или каналов связи, могут быть направлены одному из указанных подразделений отдела информационных технологий с разными вероятностями и уровнями выигрыша. Эмпирически получены матрицы переходных вероятностей и выигрыша для каждого состояния системы. Математически обоснуем выбор лучшей стратегии для максимизации математического ожидания выигрыша. Выбор стратегии будет обозначать, какую из трех бригад отдела информационных технологий стоит направлять для решения проблем. Составим таблицу переходных вероятностей следующим образом. Например, система находится в состоянии 121, из чего следует, что все сервисы, кроме некоторого оборудования, функционируют в штатном режиме. Один из видов оборудования находится в состоянии „не работает". Если для устранения неполадок в работе системы, и оборудования в частности, будет отправлена первая ремонтная бригада, с вероятностью 0,5 работа всех сервисов будет полностью восстановлена, т.е. система будет переведена в состояние 111; с вероятностью 0,4 состояние системы не изменится; с вероятностью 0,1 сервис будет переведен в состояние „частично работает", т.е. система перейдет в состояние 131.
Например, из матрицы переходных вероятностей получим, что, если первая бригада переведет систему из состояния 121 („не работает только оборудование") в 111 („все работает"), а из матрицы выигрыша видно, что будет получен выигрыш в размере 30 единиц, если состояние системы останется неизменным (121), выигрыш составит 10 единиц, из 121 в 131 („оборудование частично работает") — 25 единиц.
Рассматриваемая система имеет восемнадцать состояний, т.е. N=18, и по три альтернативы для каждого состояния, т.е. n=3.
В качестве начального приближения выберем вектор политики согласно которому
для устранения неполадок в системе, находящейся в любом из восемнадцати состояний, будем отправлять первую ремонтную бригаду:
А =
Это выражение описывает политику, максимизирующую математическое ожидание непосредственного выигрыша. В соответствии с выбранной стратегией из таблицы переходных вероятностей составляем матрицу р^ для этой стратегии.
Представим вектор непосредственного выигрыша
"4,21 " "3,56 " "2,83 "
9,2 20,8 20,7
21,5 22,8 21,7
13,2 10,5 9,95
9,3 10,5 20,05
21 20,9 18,9
13,5 11 9,1
13,5 10,7 7,9
10,55 9,61 ; q2 = 11,55 11,38 ; qз = 6,35 10,95
12,7 12,6 9,85
9,9 11,1 12,44
16,5 17,45 17,2
17,09 11,84 11,32
15,25 13,2 23,62
8,3 9,67 7,5
16,3 18,1 17,7
8,64 _ 19,61 _ 13,35 _
N
Обозначим сумму ^РуГу через qi, так как ожидаемый выигрыш зависит только от г.
] =1
Вычисления для системы из восемнадцати линейных уравнений с 18 неизвестными могут быть выполнены в пакете прикладных программ, например, Matlab.
Стратегия, при которой для устранения неполадок в любом состоянии системы направляется первая ремонтная бригада, принесла в среднем 8,93 единиц выигрыша. Вычислим ве-
N
личины qj + Е pijvj для всех i и к:
j=1
Выбрав максимальные значения для каждого состояния, получим следующий вектор D2, определяющий новую политику. Данная политика обозначает, что первую ремонтную бригаду следует направлять для устранения неполадок в системе, находящейся в следующих состояниях: {111; 121; 122; 132; 211; 212; 231; 312; 331}, вторую бригаду в {112; 221; 222; 311; 322; 332}, третью — в {131; 232; 321}.
Для выбранной стратегии получим новую матрицу переходных вероятностей и вектор
N
непосредственного выигрыша. Обозначим сумму Е Pijrij через qt, так как ожидаемый уро-
j=1
вень выигрыша зависит только от i. Найдем решения уравнений для определения значений Vi в предположении v^ =0. Используя эту стратегию, получим средний выигрыш 9,6206 единиц. Заметим, что полученный выигрыш больше предыдущего. Продолжив, составим вектор D3, получим средний выигрыш 9,6234. Вектор новой политики совпадает с вектором предыдущей. Процесс сошелся, и выигрыш достиг максимума — 9,6234, D4 — искомый вектор оптимальной политики.
Выводы. Рассмотрев поставленную задачу как марковский процесс решения, получили вектор, задающий оптимальную политику. Вектор оптимальной политики определяет выбор, которой надлежит сделать для каждого состояния системы.
Теоретическая и практическая значимость работы заключаются в том, что структура исследуемых информационно-вычислительной сети и отдела информационных технологий типична для многих современных предприятий. Используемый в работе алгоритм нахождения оптимальной стратегии является универсальным и может быть использован повсеместно для повышения качества предоставляемого ИТ-сервиса на предприятиях.
список литературы
1. Беллман Р., Дрейфус С. Прикладные задачи динамического программирования. М.: Наука, 1965. 458 с.
2. Юшкевич А. А., Дынкин Е. Б. Управляемые марковские процессы и их приложения. М.: Наука, 1975. 338 с.
3. Беллман Р. Динамическое программирование. М.: ИЛ, 1960. 232 с.
4. Kaufmann A. Graphs, dynamic programming, and finite games. NY—London: Academic press, 1967. 484 р.
5. Колокольцов В. Н., Малафеев О. А. Математическое моделирование многоагентных систем конкуренции и кооперации (Теория игр для всех): учеб. пособие. СПб: Лань, 2012. 624 с.
6. Кофман А., Анри-Лабордер А. Методы и модели исследования операций. М.: Мир, 1977. 432 с.
7. Малафеев О. А., Зубова А. Ф. Математическое и компьютерное моделирование социально-экономических систем на уровне многоагентного взаимодействия (Введение в проблемы равновесия, устойчивости и надежности). СПб, 2006. 1006 с.
8. Kutuzov O. I., Tatarnikova T. M. On the acceleration of simulation modeling // Proc. of 2019 22nd Intern. Conf. on Soft Computing and Measurements, SCM-2019. 2019. P. 45—47.
9. Татарникова Т. М., Елизаров М. А. Имитационная модель виртуального канала // Науч.-техн. вестн. информационных технологий, механики и оптики. 2016. Т. 16, № 6. С. 1120—1127.
10. Сикарев И. А., Сахаров В. В., Чертков А. А. Автоматизация поиска оптимальных маршрутов и грузовых потоков в транспортных сетях средствами целочисленного линейного программирования // Вестн. гос. ун-та морского и речного флота им. адмирала С. О. Макарова. 2018. № 3(49). C. 647—657.
11. Sikarev I. A., Shakhnov S. F. Data Protection in Radio Channels of Local Differential Satellite Navigation Subsystems // Automatic Control and Computer Sciences. 2017. Vol. 51, N 8. P. 921—927.
12. Zaitseva I. Numerical method of distribution of labor resources by game-theoretic model // AIP Conf. Proc. 2019. Vol. 211. Р. 450057.
13. Malafeyev O., Zaitseva I., Onishenko V., Zubov A., Bondarenko L., Orlov V., Petrova V., Kirjanen A. Optimal location problem in the transportation network as an investment project: A numerical method // AIP Conf. Proc. 2019. Vol. 2116. Р. 450058.
Сведения об авторах
Олег Алексеевич Малафеев — д-р физ.-мат. наук, профессор; Санкт-Петербургский государственный
университет, кафедра моделирования социально-экономических систем; заведующий кафедрой; E-mail: malafeyevoa@mail.ru Ирина Владимировна Зайцева — канд. физ.-мат. наук, доцент; РГГМУ, кафедра высшей математики и
теоретической механики; заведующий кафедрой; Ставропольский государственный аграрный университет, кафедра информационных систем; доцент; E-mail: irina.zaitseva.stv@yandex.ru Дмитрий Валерьевич Шлаев — канд. техн. наук, доцент; Ставропольский государственный аграрный
университет, кафедра информационных систем; E-mail: shl-dmitrij@yandex.ru Сергей Геннадьевич Шматко — канд. экон. наук, доцент; Ставропольский государственный аграрный
университет, кафедра информационных систем; заведующий кафедрой; E-mail: sshmatko@yandex.ru Наталья Андреевна Брейдер — канд. экон. наук, доцент; РГГМУ, учебно-методическое управление;
начальник; Санкт-Петербургский научно-исследовательский институт физической культуры; старший научный сотрудник; E-mail: nata197910@yandex.ru
Поступила в редакцию 06.02.2021 г.
Ссылка для цитирования: Малафеев О. А., Зайцева И. В., Шлаев Д. В., Шматко С. Г., Брейдер Н. А. Моделирование процесса взаимодействия в информационно-вычислительной сети как системе с марковскими процессами // Изв. вузов. Приборостроение. 2021. Т. 64, № 6. С. 444—451.
MODELING THE PROCESS OF INTERACTION IN AN INFORMATION AND COMPUTING NETWORK AS A SYSTEM WITH MARKOV PROCESSES
O. A. Malafeyev1, I. V. Zaitseva2, D. V. Shlaev3, S. G. Shmatko3, N. A. Breider2,4
1St. Petersburg State University, 199034, St. Petersburg, Russia 2Russian State Hydrometeorological University, 192007, St. Petersburg, Russia E-mail: irina.zaitseva.stv@yandex.ru 3Stavropol State Agrarian University, 355017, Stavropol, Russia Scientific-Research Institute for Physical Culture, 191040, St. Petersburg, Russia
A mathematical model of an enterprise information-computing network functioning with the choice of the optimal policy for the work of the information technology department is presented. The task of the research is to find the optimal strategy for the work of the information technology department to improve the information and computer network performance. The information-computer network of an enterprise is considered as an example of Markov network of mass service. The choice of the best strategy to maximize the mathematical expectation of a payoff is mathematically substantiated. The methods of probability theory, the mathematical apparatus of the theory of mass service and the theory of controlled Markov random processes are used as a theoretical apparatus for studying the system under consideration. Howard's iterative algorithm is used for finding the optimal policy.
Keywords: modeling, functioning, information and computing network, information technology department, Markov decision-making process
REFERENCES
1. Bellman R.E., Dreyfus S.E. Applied Dynamic Programming, Princeton University Press, 1962.
2. Yushkevich A.A., Dynkin E.B. Upravlyayemyye markovskiye protsessy i ikh prilozheniya (Guided Markov Processes and Their Applications), Moscow, 1975, 338 p. (in Russ.)
3. Bellman R.E. Dynamic programming, Princeton, 1957, 365 p.
4. Kaufmann A. Graphs, dynamic programming, and finite games, NY, London, Academic press, 1967, 484 p.
5. Kolokoltsov V.N., Malafeev O.A. Matematicheskoye modelirovaniye mnogoagentnykh sistem konkurentsii i kooperatsii (Teoriya igr dlya vsekh) (Mathematical Modeling of Multi-Agent Systems of Competition and Cooperation (Game Theory for All)), St. Petersburg, 2012, 624 p. (in Russ.)
6. Kaufmann A., Henry-Labordere A. Methodes et modeles de la recherché operationnelle: programmation en nombres entiers, 1974.
7. Malafeev O.A., Zubova A.F. Matematicheskoye i komp'yuternoye modelirovaniye sotsial'no-ekonomicheskikh sistem na urovne mnogoagentnogo vzaimodeystviya (Vvedeniye v problemy ravnovesiya, ustoychivosti i nadezhnosti) (Mathematical and Computer Modeling of Socio-Economic Systems at the Level of Multi-Agent Interaction (Introduction to the Problems of Equilibrium, Stability and Reliability)), St. Petersburg, 2006, 1006 p. (in Russ.)
8. Kutuzov O.I., Tatarnikova T.M. Proceedings of 2019 22nd International Conference on Soft Computing and Measurements, SCM 2019, 2019, pp. 45-47.
9. Tatarnikova T.M., Elizarov M.A. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, no. 6(16), pp. 1120-1127. (in Russ.)
10. Sikarev I.A., Sakharov V.V., Chertkov A.A. Vestnik Gosudarstvennogo universiteta morskogo i rechnogo flota imeni admirala S.O. Makarova, 2018, no. 3(49), pp. 647-657. (in Russ.)
11. Sikarev I.A., Shakhnov S.F. Automatic Control and Computer Sciences, 2017, no. 8(51), pp. 921-927.
12. Zaitseva I. AIP Conference Proceedings, 2019, vol. 2116, pp. 450057.
13. Malafeyev O., Zaitseva I., Onishenko V., Zubov A., Bondarenko L, Orlov V., Petrova V., Kirjanen A. AIP Conference Proceedings, 2019, vol. 2116, pp. 450058.
Data on authors
Dr, Sci., Professor; St. Petersburg State University, Department of Modeling of Socio-economic Systems; Head of the Department; E-mail: malafeyevoa@mail.ru
PhD, Associate Professor; Russian State Hydrometeorological University, Department of Higher Mathematics and Theoretical Mechanics; Head of the Department; Stavropol State Agrarian University, Department of Information Systems; Associate Professor; E-mail: irina.zaitseva.stv@yandex.ru
PhD, Associate Professor; Stavropol State Agrarian University, Department of Information Systems; E-mail: shl-dmitrij@yandex.ru PhD, Associate Professor; Stavropol State Agrarian University, Department of Information Systems; Head of the Department; E-mail: sshmatko@yandex.ru
PhD, Associate Professor; Russian State Hydrometeorological University, Educational and Methodological Management; Head of the Department; St. Petersburg Scientific-Research Institute for Physical Culture; Senior Scientist; E-mail: nata197910@yandex.ru
For citation: Malafeyev O. A., Zaitseva I. V., Shlaev D. V., Shmatko S. G., Breider N. A. Modeling the process of interaction in an information and computing network as a system with Markov processes. Journal of Instrument Engineering. 2021. Vol. 64, N 6. P. 444—451 (in Russian).
DOI: 10.17586/0021-3454-2021-64-6-444-451
Oleg A. Malafeyev Irina V. Zaitseva
Dmitry V. Shlaev Sergey G. Shmatko
Nataliia A. Breider
