CC BY
197Путивцева Н.П., Пусная О.П., Игрунова С.В., Зайцева Т.В., Нестерова Е.В. Сравнительный анализ применения многокритериальных методов //Научный результат.
Информационные технологии. - Т.2, №1,2017.
УДК 004.62
DOI: 10.18413/2518-1092-2017-2-1-40-47
Путивцева Н.П. Пусная О.П. Игрунова С.В. Зайцева Т.В. Нестерова Е.В.
СРАВНИТЕЛЬНЫЙ АНАЛИЗ ПРИМЕНЕНИЯ МНОГОКРИТЕРИАЛЬНЫХ МЕТОДОВ
Белгородский государственный национальный исследовательский университет, ул. Победы д.85,
г. Белгород, 308015, Россия
e-mail: [email protected], [email protected], [email protected], [email protected], [email protected] Аннотация
В работе определены характеристики методов многокритериального выбора при нечетких исходных данных, поскольку задачи принятия решений возникают как в научной, так и в повседневной деятельности. Одна и та же задача по выбору места для строительства аэропорта решена в теории нечетких множеств, методом ELECTRE, методом анализа иерархий и методом учета информационных параметров для формализуемой оценки. Приведены сравнительные характеристики и выделены достоинства каждого из методов. На основании проведенного анализа доказано, что для получения более обоснованных результатов сравнения предпочтительней использовать МАИ либо формализованную оценку. Но если необходимо получить не только ранжирование альтернатив по предпочтительности, но и количественные оценки этих предпочтений, то наиболее целесообразно использовать именно метод анализа иерархий.
Ключевые слова: принятие решений; многокритериальный выбор; теория нечетких множеств; ELECTRE; метод анализа иерархий.
UDC 004.62
Putivtseva N.P.
Pusnaya O.P. Igrunova S.V. Zaitseva T.V. COMPARATIVE ANALYSIS
OF THE USE MULTI-CRITERIA METHODS
Nesterova E.V.
Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia e-mail: [email protected], [email protected], [email protected], [email protected], [email protected]
Abstract
The paper defines the characteristics of methods of multi-criteria selection in fuzzy initial data because the decision-making problems appear both in scientific, and in daily activities. The same task of choosing a location for the construction of the airport is solved with the use of the theory of fuzzy sets, the ELECTRE method, the analytical hierarchical procedure and method of accounting of information parameters for formalized assessment and obtained results differ. Comparative characteristics and featured of each of the method were described. On the basis of carried analysis it was proved that for a reasonable comparison of the results it is preferable to use the formal assessment or the AHP. But if you need to get not only the ranking of the alternatives according to their preference, but the quantitative assessment of these preferences, it is more advisable to use the analytical hierarchical procedure.
Keywords: decision making; multi-criteria selection; theory of fuzzy sets; ELECTRE; Analytical Hierarchical Procedure.
ВВЕДЕНИЕ
Задачи принятия решений, в частности, многокритериального выбора возникают как в повседневной жизни, так и при проведении каких-либо исследований либо отборе каких-то объектов, процессов и/или их параметров довольно часто.
RESEARCH RESULT
Путивцева Н.П., Пусная О.П., Игрунова С.В., Зайцева Т.В., Нестерова Е.В. Сравнительный анализ применения многокритериальных методов //Научный результат.
Информационные технологии. - Т.2, №1,2017.
Методы многокритериального выбора при нечетких исходных данных отличаются следующими характеристиками [3]:
- тип представления нечетких исходных данных (критериальных оценок альтернатив, коэффициентов важности критериев и экспертов), т.е. вид представления знаний;
- возможность применения различных шкал для оценки;
- возможность учета разной значимости критериев;
- возможность проведения коллективной экспертизы;
- возможность учета различий (важности) экспертов;
- ограничения по количеству критериев оценки и экспертов;
- точность полученных оценок;
- трудоемкость и др.
Существует ряд методов многокритериального оценивания, отличающихся методиками проведения сравнения и оценки, а также рядом допущений в каждом методе. Каждый из них имеет свои достоинства и недостатки. В рамках данной статьи рассмотрено 4 подхода, решающие одну и ту же задачу выбора:
• Теория нечетких множеств
• ELECTRE
• Метод анализа иерархий
• Метод учета информационных параметров для формализуемой оценки
Достоинством метода построения нечеткой функции предпочтения, описанного в [7], является возможность использовать лингвистические переменные для оценки альтернатив по критериям, учитывать взаимное влияние различных факторов. Для того чтобы оценить и проранжировать альтернативы рассчитываются значения функций предпочтения для каждой альтернативы с учетом значимости критериев. При использовании такой многокритериальной функции предпочтения ЛПР должен обладать необходимым опытом и знаниями, уметь проводить критериальный анализ ситуации, строить базовые шкалы, выбирать критерии и оценивать их важность и строить функцию предпочтения.
В методах парных сравнений итоговое упорядочение альтернатив строится на основе сравнения всех пар альтернатив. В классическом варианте метода парных сравнений, к которому относится метод анализа иерархий (МАИ) Т. Саати, анализ проблемы основан на моделировании знаний в форме оценок важности одной альтернативы по отношению к другой, выражаемых четкими числами [6]. В распоряжение ЛПР дается шкала словесных определений уровня сравнительной важности, каждому уровню важности ставится в соответствие число (от 1 до 9). В матрицах парных сравнений полученные числа используются для определения весов (коэффициентов важности) сравниваемых объектов (критериев, целей, альтернатив) [5]. На заключительном этапе МАИ полезность альтернативы определяется путем синтеза относящихся к ней весов целей и критериев с использованием либо аддитивной, либо мультипликативной формулы.
Достоинством МАИ является представление исследуемой проблемы в виде хорошо структурированной иерархии цели, критериев и подчиненных им альтернатив. Среди недостатков метода выделяют тот факт, что введение новой альтернативы может, в общем случае, привести к изменению отношений предпочтения между двумя другими альтернативами. МАИ весьма чувствителен к человеческим ошибкам в измерениях, не исключает появление циклов на множестве сравниваемых альтернатив. К тому же если эксперт считает некоторые из альтернатив несравнимыми, то упорядочение будет частичным.
В группе методов ELECTRE упорядочение многокритериальных альтернатив осуществляется их попарным сравнением с использованием специальных индексов согласия (конкорданса) и несогласия (дискорданса), рассчитываемых на основе предпочтений ЛПР. Речь идет о согласии или несогласии с гипотезой, что одна альтернатива превосходит другую. От ЛПР требуется определение критериальных значений альтернатив и назначение весов критериев. В результате две альтернативы могут находиться в одном из трех отношений: превосходства, безразличия, несравнимости.
Задавая разные значения уровней коэффициентов согласия и несогласия, эксперты исследуют имеющееся множество альтернатив. В общем случае целью анализа, проводимого с помощью методов ELECTRE, является выделение ядра, состоящего из сложных для сравнения альтернатив. Недостаток данного подхода - произвол в выборе уровней согласия и несогласия и отсутствие количественных значений весомостей критериев, вследствие чего может быть получено несколько альтернативных решений при разных заданных уровнях, в том числе могут быть получены противоречивые результаты.
Путивцева Н.П., Пусная О.П., Игрунова С.В., Зайцева Т.В., Нестерова Е.В. Сравнительный анализ применения многокритериальных методов //Научный результат.
Информационные технологии. - Т.2, №1,2017.
Существуют различные модификации метода ELECTRE, которые дают возможность учесть неточности в данных и измерениях, совершаемых экспертами. Однако, как и в случае с четкими данными, эти методы требуют от ЛПР задавать пороговые значения для определения отношений эквивалентности, предпочтения и значительного предпочтения. Подход методов ELECTRE не гарантирует выполнения двух важных требований: полноты сравнений и транзитивности.
Методы ELECTRE направлены на решение задач с уже заданными многокритериальными альтернативами. В отличие от метода АНР (МАИ) в методах ELECTRE не определяется количественно показатель качества каждой из альтернатив, а устанавливается лишь условие превосходства одной альтернативы над другой.
Метод учета информационных параметров для формализуемой оценки позволяет повысить степень объективности проводимой оценки [1]. С этой целью выделяется ряд характеризующих информационных параметров, которые влияют на повышение эффективности их использования. Последнюю предлагается представлять в виде обобщенной функции (Э) в зависимости от количественных значений оценок выбранных для анализа параметров:
Э = fP ), (1)
Каждый параметр экспертными методами разбивается на ряд градаций, которые определяют на качественном уровне его степень влияния на вычисляемую эффективность, т.е. устанавливают для каждого параметра шкалу градаций. Это позволяет провести формализацию процедуры оценки, в том числе определить критериальные значения обобщенной функции оценки. Для того, чтобы учесть степень влияния каждого значимого параметра по отношению к остальным необходимо ввести коэффициенты весомости, повышающие количественную оценку признака и определяемые экспертным путем по известным методикам проведения экспертизы [2].
Обобщенную функцию оценки эффективности целесообразно выразить в нормированном виде величиной, находящейся в диапазоне:
0 % < Э < + 100 % (2)
Используя в качестве критериального параметра количественную оценку Э, можно установить четкие критериальные значения для вывода о выбора варианта из предложенных.
Данная методика предусматривает определение меры оценки каждого информационного параметра, на основе которых можно количественно оценивать степень их влияния на конечный результат. При этом предполагается ранжирование параметров, вычисление соответствующих рангов, нормирование последних и расчет количественных значений оценок соответствующих параметров.
Методика включает ряд следующих этапов. На первом этапе выделяются отдельные параметры, влияющие на выбор оптимального варианта. На втором этапе для выделенного информационного параметра устанавливается градационная шкала, каждый уровень которой отражает степень влияния этого параметра на общий вывод. На третьем этапе определяются количественные значения каждого уровня шкалы градационного разбиения отдельных информационных параметров. На четвертом, заключительном, этапе на основании выбранных для анализа информационных параметров и полученных значений градаций составляется лист экспертной оценки.
Рассмотрим задачу по выбору места для строительства аэропорта. [8]
Постановка задачи.
Возникла необходимость в построении еще одного аэропорта около города М. Правительство этой страны назначило комиссию по выбору места для аэропорта, которая приступила к работе. Были обследованы различные площадки около города, где постройка аэропорта нужного размера представлялась возможной. После многочисленных дискуссий комиссия определила три основных критерия для оценки вариантов расположения аэропорта.
1. Стоимость постройки. Желательно построить аэропорт с заданной пропускной способностью за наименьшую возможную цену.
2. Расстояние от города. Желательно, чтобы поездка пассажиров от аэропорта в город и обратно занимала наименьшее время.
3. Минимальн е шум вое воздействие. Количество людей, подвергающихся нежелательным шумовым воздействиям, должно быть, по возможности, минимальным.
Рассмотрим альтернативные варианты расположения аэропорта: A ($180млн., 70 мин, 10 тыс.);
Путивцева Н.П., Пусная О.П., Игрунова С.В., Зайцева Т.В., Нестерова Е.В. Сравнительный анализ применения многокритериальных методов //Научный результат.
Информационные технологии. - Т.2, №1,2017.
B ($170млн., 40 мин, 15 тыс.); C ($160млн., 55 мин, 20 тыс.); D ($150млн., 50 мин, 25 тыс.); Решение задачи с помощью метода ELECTRE
Веса критериев со1 = 3,ю2 = 2,ю3 = 1; = 6
i
Длины шкал Ц = 100, Ц = 50, Ц = 45 Составляем матрицы и несогласия
индексы согласия A,B: I+: -,-,+ (вес=1)
I=: -,-,-C(A,B)=1/6
B,F: I+: + (вес=3),+ (вес=2),-
I=: -,-,-C(B,A)= (3+2)/6=5/6 И т.д.
Индексы согласия и несогласия
Indices of agreement and disagreement
Таблица 1 Table 1
Индексы согласия Индексы несогласия
A B C D A B C D
A * 1/6 1/6 1/6 A * 0,6 0,3 0,4
B 5/6 * 3/6 3/6 B 0,11 * 0,1 0,2
C 5/6 3/6 * 1/6 C 0,22 0,3 * 0,1
D 5/6 3/6 5/6 * D 0,33 0,22 0,11 *
индексы несогласия
li - li
dAB = max-V^
ie I- Li
A, B: А доминирует над B по 1-му и 2-му критерию
dAB=max {(180-170)/100; (70-40)/50}=0,6 A, С: А доминирует над С по 1-му и 2-му критерию dAC=max {(180-160)/100; (70-55)/50}=0,3
и т.д.
В методе ELECTRE I бинарное отношение превосходства задается уровнями согласия и несогласия. Если Ci > C; и di <di, где Ci, di - заданные уровни согласия и несогласия, то альтернатива А объявляется лучшей по сравнению с альтернативой В. Если же при этих уровнях сравнить альтернативы не удалось, то они объявляются несравним ыми.
Зададим первые уровни согласия и несогласия: c; > 5/6 и d; < 0,11. Отношения между альтернативами представлены на рисунке.
Рис. Отношения между альтернативами Fig. Relationship between alternatives
Путивцева Н.П., Пусная О.П., Игрунова С.В., Зайцева Т.В., Нестерова Е.В. Сравнительный анализ применения многокритериальных методов //Научный результат.
Информационные технологии. - Т.2, №1,2017.
В первое ядро входят альтернативы В и С, исключаются альтернативы А и D, что устанавливается с помощью таблиц индексов согласия и несогласия. Альтернативы В и С, входящие в ядро, несравнимы при введенных уровнях ci и di (согласия и несогласия). Их оценки противоречивы: альтернатива С превосходит альтернативу В по первому критерию, но существенно уступает по двум другим критериям. Изменим уровни согласия и несогласия: c2 > 0,5; d2 < 0,2. При данных уровнях альтернатива В оказывается наилучшей из четырех альтернатив.
Рассмотрим, как осуществляется выбор наилучшей альтернативы с использованием Метода анализа иерархий (МАИ) [4].
Заполним матрицы парных сравнений, сравнивая сначала попарно критерии по их значимости в выборе площадки для аэропорта, а потом площадки попарно по степени предпочтительности относительно каждого из сформулированных критериев.
Таблица 2
Сравнение критериев по значимости в выборе площадки
Table 2
Comparison of criteria for significance in the choice of site
Строительство Стоимость Время в пути Количество людей Вектор взвешенных весов критериев
стоимость 1 5 3 0,650648
Время в пути 1/5 1 3 0,222518
Количество людей 1/3 1/3 1 0,126834
Таблица 3 Table 3
Стоимость A B C D Вектор взвешенных весов альтернатив
A 1 1/2 1/3 1/4 0,095295
B 2 1 1/2 1/3 0,160267
C 3 2 1 1/2 0,27759
D 4 3 2 1 0,466849
Сравнение площадок по степени предпочтительности относительно стоимости Comparison sites on preference degree relative value
Таблица 4 Table 4
Время в пути A B C D Вектор взвешенных весов альтернатив
A 1 1/6 1/5 1/4 0,056137
B 6 1 4 3 0,541228
C 5 1/4 1 1/2 0,165203
D 4 1/3 2 1 0,237432
Сравнение площадок по степени предпочтительности относительно времени в пути Comparing areas under the degree of preference of travel time with respect to
Таблица 5
Сравнение площадок по степени предпочтительности относительно количества человек
Table 5
Comparison sites on the degree of preference with respect to the number of persons
Количество людей A B C D Вектор взвешенных весов альтернатив
A 1 3 5 7 0,563813
B 1/3 1 3 5 0,263378
C 1/5 1/3 1 3 0,117786
D 1/7 1/5 1/3 1 0,055022
I—I А Ц I—I I—» I 1/1 Путивцева Н.П., Пусная О.П., Игрунова C.B., Зайцева Т.В., Нестерова Е.В. Сравнительный
Л. -Я--Л- ^L J- Л. J. 1 J М- Л л. л / / г г
7-7—гт гтп д i-p> анализ применения многокритериальных методов//Научный результат.
I П,i") У _/ I I ) J. X Информационные технологии. - Т.2, №1,2017.
RESEARCH RESULTl
Вектор глобальных приоритетов
Таблица 6 Table 6
Альтернатива A B C D
Приоритет 0,146006 0,258116 0,232313 0,363566
Таким образом, наиболее предпочтительной является альтернатива D. Рассмотрим применение теории нечетких множеств к решению данной задачи.
Пусть x1 - стоимость, x2 - время в пути, x3 - количество людей - критерии для выбора лучшей альтернативы.
Запишем нечеткие множества. Весомости критериев уже ранее были найдены в методе Саати и составляют соответственно 0,65; 0,22 и 0,13.
Минимальная (стоимость) x1={0,6/u1, 0,7/u2, 0,8/u3, 0,9/u4} Минимальное (время в пути) x2={0,4/u1, 0,9/u2, 0,6/u3, 0,5/u4} Минимальное (количество людей) x3={0,9/u1, 0,8/u2, 0,7/u3, 0,6/u4} Лучшая альтернатива определяется следующим образом ц = max {{ min {0,60,65; 0,40,22; 0,9013 }; min {0,70 65; 0,9а22; 0,8°Д3}; min {0,80'65; 0,6а22; 0,70Д3}; min {0,90'65; 0,5а22; 0,60Д3}}
ц = max {{ min {0,72; 0,82; 0,99}; min {0,79; 0,98; 0,97}; min {0,86; 0,89; 0,95}; min {0,93; 0,86; 0,94}}
ц = max {0,72; 0,79, 0,86, 0,86}
ц (a)= {0,72/u1; 0,79/u2, 0,86/u3, o,86/u4}
Таким образом, наилучшие альтернативы 3 и 4, наихудшая 1.
Рассмотрим применение метода учета информационных параметров для формализуемой оценки. На первом этапе определяется набор отдельных информационных параметров, которые принимаются для последующей их оценки в процессе общей комплексной оценки предложенных вариантов. В качестве информационных параметров приняты для оценки следующие: стоимость постройки, расстояние от города, минимальное шумовое воздействие.
На втором этапе для каждого параметра устанавливаются градационные шкалы, позволяющие оценить степень влияния каждого на эффективность выбора:
- стоимость постройки - 4 градации ($180млн., $170млн., $160млн., $150млн.)
- расстояние от города - 4 градации (70 мин, 55 мин, 50 мин, 40 мин)
- минимальное шумовое воздействие - 4 градации (25 тыс., 20 тыс., 15 тыс., 10 тыс.)
На третьем этапе определяются количественные значения каждого уровня шкалы градационного разбиения отдельных параметров качества с учетом назначенных коэффициентов их весомости. Для каждого параметра экспертным путем установлены следующие коэффициенты весомости:
- стоимость постройки - k1=3
- расстояние от города - k2=2
- минимальное шумовое воздействие - k3=1 Коэффициент нормирования параметров - N = 100 / 6 ~ 16 Ранги для каждого параметра
- стоимость постройки - г1=50
- расстояние от города - г2=33
- минимальное шумовое воздействие - г3=17
На четвертом этапе на базе полученных данных формируется лист экспертной оценки эффективности использования ИР, который представлен в таблице 7. Вычисленные эффективности для возможных вариантов A ($180млн., 70 мин, 10 тыс.) - 17; B ($170млн., 40 мин, 15 тыс.) - 61; C ($160млн., 55 мин, 20 тыс.) - 49; D ($150млн., 50 мин, 25 тыс.) - 72. Лучший вариант - D.
Путивцева Н.П., Пусная О.П., Игрунова С.В., Зайцева Т.В., Нестерова Е.В. Сравнительный анализ применения многокритериальных методов //Научный результат.
Информационные технологии. - Т.2, №1,2017.
Таблица 7
Лист экспертной оценки
Table 7
Expert evaluation sheet__
Признак стоимость постройки Оценка, %
Градация 1S0 170 160 150
Значение 0 16 32 50
Признак расстояние от города Оценка, %
Градация 70 55 50 40
Значение 0 11 22 33
Признак минимальное шумовое воздействие Оценка, %
Градация 25 20 15 10
Значение 0 6 12 17
ЗАКЛЮЧЕНИЕ
Таким образом, сравнивая результаты, полученные с использованием разных многокритериальных методов, можно сделать следующие выводы. Метод анализа иерархий обычно дает результаты, хорошо согласующиеся с интуитивными представлениями экспертов при рациональном подходе к принятию решений. Несовпадение результатов, полученных разными методами, объясняется разными способами представления экспертной информации и различием подходов к принятию решений. Например, в МАИ и в формализованном методе заложен рационально-взвешенный подход, основанный на попарных сравнениях объектов и нормированных весовых коэффициентах. Максиминная свертка является реализацией пессимистического подхода, когда лучшей является альтернатива, имеющая минимальные недостатки по всем критериям.
Положительным моментом использования многокритериальных методов на нечетких моделях и формализованного метода в отличие от МАИ является тот факт, что при добавлении новых альтернатив не изменяется порядок ранее ранжированных наборов.
Таким образом, для получения более обоснованных результатов сравнения предпочтительней использовать МАИ либо формализованную оценку. Но если необходимо получить не только ранжирование альтернатив по предпочтительности, но и количественные оценки этих предпочтений, то наиболее целесообразно использовать именно метод анализа иерархий.
Список литературы
1. Блюмин С. Л., Шмырин А. М., Шмырина О.А. Представление нелинейных нечетко-окрестностных систем. // Проблемы управления. 2005. №2. 37-40.
2. Блюмин С.Л., Шмырин А. М. Применение нечетких мер и интегралов к описанию нечетких динамических систем // Проблемы управления. 2005. №3. С. 20-22.
3. Кузьменко О.Л. Многокритериальный выбор и принятие решений на основе экспертных знаний и нечеткого распознавания ситуаций: Дис. к-та технических наук. Таганрог, 2008, 175 с.
4. Ларичев О. И. Теория и методы принятия решений, а также Хроника событий в Волшебных Странах. М.: Логос, 2000, 296 с.
5. О разработке пакета компьютерной поддержки принятия решений для выбора корреляционно-регрессионных моделей анализа и прогнозирования эмпирических данных. / Путивцева Н.П., Зайцева Т.В., Игрунова С.В., Нестерова Е.В., Пусная О.П. // Научные ведомости БелГУ Серия Экономика. Информатика. Белгород: Изд-во БелГУ. 2015. №197(216). Выпуск 36/1. С. 126-131.
6. Саати. Т. Принятие решений. Метод анализа иерархий. Перевод с английского Р. Г. Вачнадзе. Москва. Радио и связь, 1993.
7. Ухоботов В. И. Избранные главы теории нечетких множеств. Челябинск: Изд-во Челяб. гос. ун-та. 2011. 245 с.
8. Шамышева О.Н. Теория принятия решений. Владимир: Владим. Гос. Унив-т. 2005. 27 с.
References
1. Bljumin S.L., Shmyrin A.M., Shmyrina O.A. Presentation of non-linear fuzzy-neighborhood systems. // Management Issues. 2005. №2. 37-40.
2. Bljumin S.L., Shmyrin A. M. Application of fuzzy measures and integrals to the description of fuzzy dynamic systems // Management Issues. 2005. №3. P. 20-22.
3. Kuz'menko O.L. Multi-criteria selection and decision-making based on expert knowledge and fuzzy recognition of situations: the Dissertation of the candidate of technical sciences. Taganrog, 2008, 175 p.
RESEARCH RESULT
Путивцева Н.П., Пусная О.П., Игрунова С.В., Зайцева Т.В., Нестерова Е.В. Сравнительный анализ применения многокритериальных методов //Научный результат.
Информационные технологии. - Т.2, №1,2017.
4. Larichev O. I. Theory and methods of decision-making, as well as the chronicle of events in a magical land. Moscow: Logos, 2000, 296 p.
5. On the development computer support package decision to select the correlation-regression model analysis and prediction of empirical data / Putivceva N.P., Zajceva T.V., Igrunova S.V., Nesterova E.V., Pusnaja O.P. // Belgorod State University Scientific Bulletin. Economics Information technologies: Izd-vo BelGU. 2015. #197(216). Vypusk 36/1 P.126-131.
6. Saati. T. Making decisions. The method of analysis of hierarchies R. G. Vachnadze. Moscow: Radio i svjaz', 1993.
7. Uhobotov V. I. Selected chapters of fuzzy set theory. Chelyabinsk: Izd-vo Cheljab. gos. un-ta. 2011. 245 p.
8. Shamysheva O.N. Decision theory. Vladimir: Vladim. Gos. Univ-t. 2005. 27 p.
Путивцева Наталья Павловна, доцент кафедры прикладной информатики и информационных технологий, кандидат технических наук
Пусная Ольга Петровна, старший преподаватель кафедры прикладной информатики и информационных технологий
Игрунова Светлана Васильевна, доцент кафедры информационных систем, кандидат социологических наук
Зайцева Татьяна Валентиновна, доцент кафедры прикладной информатики и информационных технологий, кандидат технических наук, доцент
Нестерова Елена Викторовна, старший преподаватель кафедры информационных систем
Putivtseva Natalia Pavlovna, Associate Professor, Department of Applied Informatics and Information Technologies, PhD in Technical Sciences
Pusnaya Olga Petrovna, Senior Lecturer, Department of Applied Informatics and Information Technologies
Igrunova Svetlana Vasilievna, Associate Professor, Department of Information Systems, PhD in Sociology
Zaitseva Tatyana Valentinovna, Associate Professor, Department of Applied Informatics and Information Technologies, PhD in Technical Sciences
Nesterova Elena Victorovna, Senior Lecturer, Department of Information Systems
