CC BY
31
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ
ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT
УДК 004.023 DOI 10.23947/1992-5980-2018-18-2-223-229
Исследование модифицированной модели Уитли с различным количеством и различными методами формирования элитных особей *
H. С. Кривошей 1, В. Г. Кобак 2"
I,2Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация
Study on modified Whitley model with different number and various methods of forming elite individuals *** N. S. Krivoshey1, V. G. Kobak2**
1,2Don State Technical University, Rostov-on-Don, Russian Federation
Введение. Представлен сравнительный анализ решений модифицированной модели Уитли при различных способах формирования элитных особей. В данном исследовании для формирования элитных особей используются алгоритмы Крона и Плотникова-Зверева. Целями работы являлись разработка модифицированной модели Уитли с применением алгоритмов Крона и Плотникова-Зверева для формирования элитных особей, а также программного средства для решения задачи теории расписаний. Необходимо было получить лучшее решение этой задачи при различных исходных данных с последующей обработкой результатов и выявлением модификации модели Уитли. Описана задача, которая подразумевает поиск оптимального распределения работ по процессорам с минимизацией максимального времени выполнения работ. Материалы и методы. Приведено описание всех алгоритмов, которые были реализованы при разработке программного средства решения задачи оптимизации построения расписания. Разработаны следующие алгоритмы: модифицированная модель Уитли, применение стратегии элитизма, алгоритм Крона, алгоритм Плотникова-Зверева. Результаты исследования. Разработано программное средство, с помощью которого проведён вычислительный эксперимент при различных исходных данных, с использованием одной, двух, трёх и четырёх элитных особей. Вычислительный эксперимент проведён для наиболее распространённых наборов данных при различном количестве элитных особей. Каждая модификация модели Уитли запускалась сто раз с каждым набором исходных данных. В результате сравнительного анализа было выявлено, какое влияние оказывает использование рассмотренных стратегий элитизма в разработанных модификациях генетического алгоритма (модели Уитли) на точность решения однородной минимаксной задачи при различном количестве элитных особей.
Обсуждение и заключения. Определены лучшие результаты работы алгоритмов, выявлена эффективность применения элитизма в модифицированной модели Уитли при
* Работа выполнена в рамках инициативной НИР.
** E-mail: krins.work@gmail.com, valera33305@mail.ru
*** The research is done within the frame of the independent R&D.
Introduction. A comparative analysis of the modified Whitley model solutions through different methods of forming elite individuals is presented. The algorithms of Kron and Plot-nikov-Zverev are used in the study for the formation of elite individuals. The work objectives are the development of the modified Whitley model involving the Kron's and Plotnikov-Zverev's algorithms to form elite individuals, as well as a software tool for solving the scheduling theory problem. It was necessary to obtain the best solution to this problem with various initial data followed by processing the results and identifying a modification of the Whitley model. The distribution problem which implies the search for the optimal distribution of work to the processors with the minimization of the maximum execution time is described.
Materials and Methods. All the algorithms implemented under the development of the software tool for solving the optimization scheduling problem are considered. The following algorithms are presented: the modified Whitley model, the application of the elitism strategy, the Kron's algorithm, the Plot-nikov-Zverev's algorithm.
Research Results. A software tool is developed. It was applied to conduct a computational experiment with various initial data using one, two, three, and four elite individuals. The experiment was carried out for the most common data sets with a different number of elite individuals. Each Whitley model modification was launched a hundred times with each set of the source data. The comparative analysis of the results shows how the application of the considered elitism strategies in the developed modifications of the genetic algorithm (Whitley model) affects the accuracy of the solution to the homogeneous minimax problem with a different number of elite individuals.
Discussion and Conclusions. The best results of the algorithms are determined; the utilization of elitism in the modified Whit-
(U S X
<u
«
(U
и о X
s 3
eö
(U S X <u О
a
H о о X
s 3
eö
решении однородной минимаксной задачи теории расписаний. Проведено сравнение результатов работы алгоритма при одной, двух, трёх и четырёх элитных особях.
Ключевые слова: генетические алгоритмы, модифицированная модель Уитли, элитизм, теория расписаний, алгоритм Крона, алгоритм Плотникова-Зверева, №-полные задачи, однородная минимаксная задача, эвристические алгоритмы, вычислительный эксперимент.
ley model when solving a homogeneous minimax problem of scheduling theory is estimated. The algorithm results are compared for one, two, three and four elite individuals.
Keywords: genetic algorithms, modified Whitley model, elitism, scheduling theory, Kron's algorithm, Plotnikov-Zverev's algorithm, NP-complete problems, homogeneous minimax problem, heuristic algorithms, computational experiment.
Образец для цитирования: Кривошей, Н. С. Исследование модифицированной модели Уитли с различным количеством и различными методами формирования элитных особей / Н. С. Кривошей, В. Г. Кобак // Вестник Дон. гос. ун-та. — 2018. — Т.18, № 2. — С.223-229 Б01 : 10.23947/1992-5980-2018-18-2-223-229
For citation: N. S. Krivoshey, V. G. Kobak' Study on modified Whitley model with different number and various methods of forming elite individuals. Vestnik of DSTU, 2018, vol. 2, no.2, pp. 223-229. DOI : 10.23947/1992-5980-2018-18-2223-229
Введение. Одними из наиболее часто решаемых задач теории расписаний являются NP-полные задачи. Для них практически невозможно подобрать решение за полиноминально быстрое время [1]. Так как в последние годы все более широкое распространение получают многопроцессорные, многомашинные вычислительные комплексы, объединённые в единую вычислительную систему, необходимость поиска наилучшего распределения заданий между процессорами является актуальной и обосновывается возможностью существенной экономии машинного времени. Теоретическая сложность нахождения наилучшего распределения связана с решением экстремальных задач комбинаторного типа, требующих больших вычислительных ресурсов. Генетические алгоритмы, моделирующие эволюционные процессы, являются перспективным способом решения подобных задач [2]. Основным механизмом эволюции является сочетание генетического механизма передачи наследственности, механизма мутаций, обеспечивающих разнообразие видов, и естественного отбора, который обеспечивает с течением времени формирование особей популяции, наиболее приспособленных для данной среды. Более приспособленные особи имеют большую вероятность передать свою наследственную информацию. Наследственная информация в виде хромосомы полностью определяет развитие особи в ее жизненном цикле, и с помощью обмена генами хромосом происходит передача наследственной информации потомкам. Случайные изменения в генофонд вносятся во время мутаций, если новые признаки увеличивают приспособленность особи, то такие признаки скорее всего закрепятся и перейдут к потомкам [3].
Применение стратегии элитизма позволяет дополнительно увеличить скорость схождения алгоритма и, во многих случаях, точность решения [4]. Хотя сама концепция элитизма по сей день является спорной из-за возможности обнаружения алгоритмом решения в локальном экстремуме, во многих случаях она оправдана, и эти случаи можно определить путём сравнения результатов с результатами алгоритма без элитизма в тех же исходных условиях. Обычно в качестве элитной особи выбирается особь с наилучшим значением целевой функции, а модификации алгоритма с применением различных способов формирования элит изучены крайне мало.
Постановка задачи. В вычислительную систему (ВС) из N несвязанных идентичных устройств: P = {p1, p2,..., p„} поступает набор из M независимых параллельных заданий: T = {t1, t2,..., tm}. Известно время решения r(t,-) задания t,. При этом каждое задание может выполняться на любом из устройств. В каждый момент времени отдельный процессор обслуживает не более одного задания, выполнение задания не прерывается для передачи на другой процессор. Требуется найти такое распределение заданий по процессорам, при котором суммарное время выполнения заданий на каждом из процессоров было бы минимальным.
Для решения этой задачи хорошо подходят генетические алгоритмы [1, 2]. В данной работе рассматривается решение задачи с помощью модифицированной модели Уитли с использованием элитизма. Комплекто-§ вание элитных особей реализовывается несколькими различными способами. Задача решается для различных
значений параметров M, N и постоянного диапазона времени выполнения заданий, "й Краткое описание алгоритмов. Рассматриваемый в данной статье генетический алгоритм (ГА) был
<3 описан Уитли (D. Whitley) [5]. Он отличается от классического ГА следующими тремя свойствами: «На каждой итерации только одна случайная родительская пара создает одного потомка.
• Ребенок заменяет собой не своего родителя, а одну из наименее приспособленных особей в популяции (первоначально — наихудшую).
• Отбор особи для замены производится по ее ранку (рейтингу), а не по приспособленности. Таким образом, алгоритм включает следующие шаги:
224 1. Формирование начального поколения;
й
2. Пропорциональный отбор и последующее применение генетических операторов (в данной модификации — это одноточечная мутация и одноточечный кроссовер с выбранной вероятностью);
3. Проверка условия останова алгоритма (если неуспешна, переход на шаг 2);
4. Лучшая особь является решением задачи.
В исследуемой модификации алгоритм завершает работу, если в течение заданного количества поколений не происходит никаких улучшений показателей приспособленности.
В разработанной в рамках исследования модифицированной модели алгоритма Уитли применяется стратегия элитизма. Элита — это лучшая по приспособленности особь текущего поколения, переходящая в следующее поколение без изменений, она не участвует в селекции и последующем скрещивании [6, 7].
Алгоритм Крона. Принцип работы данного алгоритма заключается в случайном распределении всех заданий на множество процессоров, вычислении общего времени загрузки по каждому процессору {Т/'}(/'=1..п) и выполнении обмена заданиями между процессорами с максимальным Tmax и минимальным Tmin значениями из набора {7} при выполнении условия \qkmax - qjmin\ < D, где D = Tmax - Tmin, k,у = 1,2..т. После каждой из операций обмена значения { Тк} пересчитываются, снова выбираются два процессора с Tmax и Tmin и алгоритм проверки описанного выше условия повторяется. Алгоритм завершится, когда условие ни разу не выполнится [8, 9]. Таким образом, первый этап алгоритма включает шаги:
1. Генерация случайного числа pi — номер прибора равномерно распределённого на интервале [1,Л/]. Инициализация у = 1.
2. Назначение на прибор с номером pi у-ого задания. Увеличение счётчика у = у + 1.
3. Проверка, является ли значение у большим, чем количество заданий М, если условие выполняется, то завершить распределение, иначе перейти к шагу 1.
Второй этап включает следующие шаги:
1. Вычисление времени загрузки каждого процессора {Ту} (У = 1,.,^) путем суммирования времен выполнения заданий загруженных в каждый у-й прибор.
2. Из итогового множества {Т^ выбираются номера процессоров с максимальным Ттах и минимальным Ттт значениями из{Т^ соответственно.
3. Для каждого из процессоров с минимальной и максимальной загрузкой проверяется условие по принципу каждый с каждым: 1ктах - йтт < Д, где Д = Ттах - Ттт, k,l = 1,.., М. При этом > йтт.
Если оно выполняется, то происходит переход к следующему шагу, а иначе выполнение алгоритма прекращается.
4. Обмен значения tk и II местами и переход к шагу 1.
Блок схема алгоритма представлена на рис. 1.
^^ Начало ^^
Формирование матрицы загрузки случайным образом
Пересчет суммарной загрузки по каждой строке
Вычисление времени загрузки no каждой строке
иШёи между npt максимг миним загру ДаниЯми 1борами с льнойи эльний зкой
^--7
\ Пока /_
Vqkmax- qjmin| < Or
^ I
^^ Конец ^^
<и К X <и
<и ю о X
к
3
й
<и К X <и О Л
н о о X
к
3
й
Рис.1. Блок-схема алгоритма Крона / Fig. 1. Flowchart of Kron 's algorithm
Ö О T3
M
"¡3
и (U
Ü С Л
Алгоритм В. Н. Плотникова-В. Ю. Зверева. Широкое распространение имеют простые и достаточно эффективные списочные алгоритмы построения расписаний, основанные на эвристических алгоритмах. Одним из них является алгоритм, предложенный В. Н. Плотниковым и В. Ю. Зверевым. Это приближенный метод для поиска близкого к оптимальному решению, использующий минимаксный критерий [10]. Он выключает следующие шаги:
1. Упорядочить строки матрицы по убыванию сумм всех элементов строки
п п п
^(ЖР;)) > ^ (т(с2Р>)) > ••• > ^ (т({тРу)).
7 = 1 7 = 1 7 = 1
2. В преобразованной матрице выделить первую строку /-1 и найти в ней тт(т (^ р)) — минимальный элемент. Этот элемент принимается за элемент распределения и прибавляется к соответствующему элементу второй строки тт(т ^1 р))+ (т (^р-)).
3. Вторая строка теперь учитывает предыдущее решение. Из нее выбирается минимальный min(т (^р-)), нужно прибавить его к соответствующему элементу третьей строки тт(т (^р-))+ (т ^3р) и т.д., в результате получим матрицу Тт".
4. На выполнение передаётся минимальный элемент строки тт(т" р.)), такой что min(т (tiр) Ф 0.
Данный алгоритм отличается наибольшим по сравнению с точными быстродействием, простотой и
позволяет получить приемлемые по точности решения [10]. Блок-схема алгоритма представлена на рис. 2.
Рис. 2. Блок-схема алгоритма Плотникова-Зверева Fig. 2. Flowchart of Plotnikov-Zverev 's algorithm
Результаты исследования. Аналитическое определение степени влияния способа формирования элитных особей на результат работы генетического алгоритма не представляется возможным, поэтому с помощью программного обеспечения, реализованного в среде Microsoft Visual Studio 2012 на языке Visual C++, был проведен вычислительный эксперимент.
Разработаны 3 модификации модели Уитли:
1. Элитой полагается лучшая особь исходного поколения;
2. Элита формируется алгоритмом Крона;
3. Элита формируется алгоритмом Плотникова-Зверева.
Массив заданий случайным образом генерируется из заданного диапазона значений (20-30). Вероятности кроссовера и мутации равны 100%. Условие остановки (количество поколений c неизменным Tmax) — 10. Эксперимент был проведён для наиболее часто встречающегося количества процессоров (N) — 2-4 и количества задач (M) — 19, 119, 519. Результаты работы при 1-4 элитных особях приведены в таблицах 1-4. Tmaxm — среднее значение из 100 повторений алгоритма.
Таблица 1
Table 1
Средние значения Ттах (1 элита)
Average values of Tmax (1 elite)
М N Алг. Плотникова-Зверева Алг. Крона Лучшая особь
Ттахт t, c Ттахт t, c Ттахт t, c
19 2 241,55 0,007 241,03 0,009 245,25 0,005
3 167,81 0,006 165,19 0,013 168,34 0,006
4 124,19 0,008 124,57 0,012 125,25 0,005
119 2 1520,14 0,025 1517,62 0,051 1519,91 0,035
3 1014,28 0,070 1014,75 0,081 1016,79 0,039
4 767,33 0,051 766,98 0,073 769,19 0,030
519 2 5510,22 0,199 5513,19 0,211 5517,09 0,105
3 4409,15 0,179 4409,99 0,199 4416,21 0,109
4 3325,71 0,199 3324,99 0,407 3325,97 0,149
Таблица 2
Table 2
Средние значения Ттах (2 элиты)
Average values of Tmax (2 elites)
М N Алг. Плотникова-Зверева Алг. Крона Лучшая особь
Ттахт t, c Ттахт t, c Ттахт t, c
19 2 240,52 0,007 240,07 0,011 242,29 0,005
3 161,31 0,006 162,11 0,013 162,54 0,006
4 122,59 0,007 122,57 0,014 123,25 0,006
119 2 1520,44 0,028 1518,69 0,057 1520,94 0,041
3 1012,22 0,087 1012,72 0,089 1025,72 0,042
4 763,31 0,056 763,93 0,093 764,15 0,035
519 2 5509,25 0,211 5508,02 0,261 5510,09 0,111
3 4406,55 0,176 4407,96 0,237 4407,91 0,117
4 3318,75 0,195 3317,95 0,426 3318,98 0,145
Таблица 3
Table 3
Средние значения Ттах (3 элиты)
Average values of Tmax (3 elites)
М N Алг. Плотникова-Зверева Алг. Крона Лучшая особь
Ттахт t, c Ттахт t, c Ттахт t, c
19 2 242,85 0,006 242,53 0,009 242,85 0,006
3 168,88 0,006 168,18 0,017 168,94 0,006
4 125,15 0,008 126,58 0,015 127,95 0,006
119 2 1524,16 0,027 1514,12 0,058 1516,31 0,036
3 1016,26 0,075 1016,25 0,071 1019,19 0,036
4 767,31 0,055 767,18 0,079 768,69 0,038
519 2 5515,24 0,193 5515,18 0,251 5517,19 0,115
3 4409,96 0,178 4409,91 0,199 4410,25 0,106
4 3326,76 0,159 3326,95 0,409 3326,99 0,141
(U К X <u
(U
и о X
к 3
eö
(U К X <u О Л
н о о X
к 3
CÖ
Таблица 4
Table 4
Средние значения Tmax (4 элиты)
Average values of Tmax (4 elites)
М N Алгоритм Плотникова-Зверева Алгоритм Крона Лучшая особь
Tmaxm t, c Tmaxm t, c Tmaxm t, c
19 2 243,43 0,007 242,73 0,009 245,24 0,006
3 168,78 0,006 167,15 0,011 168,39 0,006
4 126,15 0,009 126,27 0,011 126,29 0,005
119 2 1525,17 0,026 1524,68 0,031 1525,34 0,022
3 1017,27 0,049 1017,96 0,081 1017,29 0,034
4 769,35 0,037 767,93 0,071 771,49 0,034
519 2 5512,21 0,159 5510,59 0,201 5515,44 0,185
3 4415,13 0,158 4411,09 0,161 4415,29 0,169
4 3327,77 0,168 3329,19 0,372 3331,47 0,209
Заключение. Из полученных результатов видно, что средние значения Tmax, полученные с использованием алгоритмов Крона и Плотникова-Зверева для формирования элиты, во всех случаях являются лучшими по отношению к результатам работы алгоритма с обычным элитизмом. С увеличением количества элит эффективность алгоритма Крона становится более выраженной, при этом время работы генетического алгоритма увеличивается не слишком существенно.
Библиографический список
1. Алгоритмы: построение и анализ / Т. Кормен [и др.]. — Москва : Вильямс, 2013. — 1328 с.
2. Гладков, Л. А. Генетические алгоритмы / Л. А. Гладков, В. В. Курейчик, В. М. Курейчик. — Москва: Физматлит, 2006. — 320 с.
3. Емельянов, В. В. Теория и практика эволюционного моделирования / В. В. Емельянов, В. В. Курейчик, В. М. Курейчик. — Москва : Физматлит, 2003. — 432 с.
4. Чернышев, Ю. О. Адаптивный генетический алгоритм для решения задач оптимизации на основе стратегии элитизма / Ю. О. Чернышев, А. Ю. Полуян // Известия Южного Федерального университета. Технические науки. — 2008. — № 4 (81). — С. 36-39.
5. Whitley, D. A genetic algorithm tutorial / Computer science department, Colorado State University. — Режим доступа: https://www.cs.colostate.edu/pubserv/pubs/Whitley-genitor-MiscPubs-tutorial.pdf (дата обращения: 20.10.2017).
6. Пантелеев, А. В. Методы глобальной оптимизации. Метаэвристические стратегии и алгоритмы / А. В. Пантелеев, Д. В. Метлицкая, Е. А. Алешина. — Москва : Вузовская книга, 2013. — 244 с.
7. Пантелеев, А. В. Применение эволюционных методов глобальной оптимизации в задачах оптимального управления детерминированными системами / А. В. Пантелеев. — Москва : Издательство МАИ, 2013. — 160 с.
8. Кобак, В. Г. Исследование алгоритма Крона и его модификации при различных исходных данных / 5 В. Г. Кобак, Д. В. Титов, О. А. Золотых // Вестник Дон. гос. техн. ун-та. — 2012. — № 8 (69). — С. 62-67.
9. Кобак, В. Г. Использование алгоритма Крона для формирования элит при решении однородной ми-о нимаксной задачи моделью Голдберга / В. Г. Кобак, О. А. Золотых, А. Ю. Гущин // Символ науки. — 2016. 3 №4-3(16). — С. 79-83.
й 10. Кобак, В. Г. Перспективные алгоритмы решения неоднородной распределительной задачи теории
ш расписаний / В. Г. Кобак, Д. Г. Красный, Р. А. Нейдорф // Известия Южного Федерального университета. Технические науки. — 2008. — № 9 (86). — С. 152-156.
о, £ л
References
1. Cormen, T., et al. Algoritmy: postroenie i analiz. [Algorithms: construction and analysis.] Moscow: Vil'yams, 2013, 1328 p. (in Russian).
2. Gladkov, L.A., Kureychik, V.V., Kureychik, V.M. Geneticheskie algoritmy. [Genetic algorithms.] Moscow: Fizmatlit, 2006, 320 p. (in Russian).
3. Emelyanov, V.V., Kureychik, V.V., Kureychik, V.M. Teoriya i praktika evolyutsionnogo modelirovaniya. [Theory and practice of evolutionary modeling.]. Moscow: Fizmatlit, 2003, 432 p. (in Russian).
4. Chernishev, Y.O., Poluyan, A.Y. Adaptivnyy geneticheskiy algoritm dlya resheniya zadach optimizatsii na osnove strategii elitizma. [Adaptive genetic algorithm for the decision of problems of optimization on the basis of strategy of elite.] Izvestiya SFedU. Engineering Sciences, 2008, no. 4 (81), pp. 36-39 (in Russian).
5. Whitley, D. A genetic algorithm tutorial. Computer science department, Colorado State University. Available at: https://www.cs.colostate.edu/pubserv/pubs/Whitley-genitor-MiscPubs-tutorial.pdf (accessed: 20.10.2017).
6. Panteleev, A.V., Metlitskaya, D.V., Aleshina, E.A. Metody global'noy optimizatsii. Metaevristicheskie strategii i algoritmy. [Methods of global optimization. Meta-heuristic strategies and algorithms.] Moscow: Vuzovskaya kniga, 2013, 244 p. (in Russian).
7. Panteleev, A.V. Primenenie evolyutsionnykh metodov global'noy optimizatsii v zadachakh optimal'nogo upravleniya determinirovannymi sistemami. [Application of evolutionary methods of global optimization in problems of optimal control of determined systems]. Moscow: MAI Publ. House, 2013, 160 p. (in Russian).
8. Kobak, V.G., Titov, D.V., Zolotykh, O.A. Issledovanie algoritma Krona i ego modifikatsii pri razlichnykh iskhodnykh dannykh. [Investigation of Krohn's algorithm and its modification for various basic data.] Vestnik of DSTU, 2012, no. 8 (69), pp. 62-67 (in Russian).
9. Kobak, V.G., Zolotykh, O.A., Gushchin, A.Y. Ispol'zovanie algoritma Krona dlya formirovaniya elit pri reshenii odnorodnoy minimaksnoy zadachi model'yu Goldberga. [Application of the Krohn's algorithm for elite formation in solving homogeneous minimax problem by Goldberg model.] Symbol of Science, 2016, no. 4-3(16), pp. 7983 (in Russian).
10. Kobak, V.G., Krasniy, D.G., Neydorf, R.A. Perspektivnye algoritmy resheniya neodnorodnoy raspredeli-tel'noy zadachi teorii raspisaniy. [Perspective algorithms of the decision of a non-uniform distributive problem of the theory of schedules.] Izvestiya SFedU. Engineering Sciences, 2008, no. 9 (86), pp. 152-156 (in Russian).
Поступила в редакцию 14.12.2017 Сдана в редакцию 15.12.2017 Запланирована в номер 15.03.2018
Received 14.12.2017 Submitted 12.12.2017 Scheduled in the issue 15.03.2018
Об авторах:
Authors:
Кривошей Наталия Сергеевна,
аспирантка кафедры «Программное обеспечение вычислительной техники и автоматизированных систем» Донского государственного технического университета (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1),
ОЯСГО: https://orcid.org/0000-0002-8805-3582 krins.work@gmail.com
Кобак Валерий Григорьевич,
профессор кафедры «Программное обеспечение вычислительной техники и автоматизированных систем» Донского государственного технического университета, доктор технических наук, профессор, (РФ, 344000, г. Ростов-на-Дону, пл. Гагарина, 1), ОЯСГО: https://orcid.org/0000-0002-1001-0574 уа1ега33305@таЦ. ги
Krivoshey, Natalia S.,
postgraduate student of the Computer and Automated Systems Software_Department, Don State Technical University (RF, 344000, Rostov-on-Don, Gagarin sq., 1), ORCID: https://orcid.org/0000-0002-8805-3582 krins.work@gmail.com
Kobak, Valery G.,
professor of the Computer and Automated Systems Soft-ware_Department, Don State Technical University (RF, 344000, Rostov-on-Don, Gagarin sq., 1), Dr.Sci. (Eng.), professor,
ORCID: https://orcid.org/0000-0002-1001-0574 valera33305@mail.ru
и К X
<u
«
и rn о X
к 3
и
к
X <и О Л
н о о X
к
3
Й
