CC BY
29НЕЙРО-НЕЧЕТКАЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ УПРАВЛЕНИЯ РИСКАМИ ПРОЕКТОВ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ NEURO-FUZZY RISK MANAGEMENT DECISION-MAKING SYSTEM OF PROJECTS IN CONDITIONS OF UNCERTAINTY
С.А. ГЛУШЕНКО
К.э.н., доцент кафедры «Информационных систем и прикладной информатики». Ростовский государственный экономический университет (РИНХ).
S.A. GLUSHENKO
Candidate of Economic Sciences, associate professor of the department "Information Systems and Applied Computer Science".Rostov State University of Economics.
482
Научный руководитель: А.И. Долженко - профессор кафедры «Информационных систем и прикладной информатики» Ростовского государственного экономического университета (РИНХ), д.э.н., доцент. Research supervisor: A.I. DoLjenko - professor of the "Information Systems and Applied Computer Science" of the Rostov State University of Economics, doctor of economic sciences.
АННОТАЦИЯ
В работе утверждается, что системы принятия решений управления рисками достаточно часто оперируют с моделями предметных областей, которые характеризуются существенной неопределенностью. Традиционные модели систем принятия решений не позволяют учитывать комплексно как количественные, так и качественные характеристики объектов. Кроме того, достоверные данные для построения традиционных аналитических, вероятностных и имитационных моделей часто отсутствуют, или такие данные недоступны. Решение таких задач предлагается получать на базе теории нечетких множеств. Предлагается нечеткая самонастраивающаяся модель (НСМ) и подход ее обучения, который предполагает, что обучающая выборка формируется на основе представления обучающих примеров множествами а-уровней нечетких чисел. Описывается процесс реализации нечеткого моделирования проектных рисков посредством разработанной системы поддержки принятия решений. ABSTRACT
The paper states that risk management decision-making systems often operate on models of subject areas that are characterized by significant uncertainty. Traditional models of decision-making systems do not aLLow to take into consideration both quantitative and qualitative characteristics of objects in a complex manner. In addition, for the construction of traditional analytical, probable and simulation models, there is often no reliable data. The solution of these problems is proposed to be ob-
tained on the basis of the theory of fuzzy sets. A fuzzy self-tuning model and its training approach is proposed, which assumes that presented sample is formed on the basis of the learning examples presented by sets of a-levels of fuzzy numbers. The paper describes the process of fuzzy modeling of project risks through the developed decision support system.
КЛЮЧЕВЫЕ СЛОВА
Риск, нечеткое множество, нейро-нечеткая сеть, система поддержки
принятия решений, проект.
KEYWORDS
Risk, fuzzy set, neuro-fuzzy network, decision support system, project.
В настоящее время системы принятия решений поддерживаются различными информационными технологиями: так, в технических и экономических проектах создаются и внедряются математические модели для принятия решений, широкое использование которых позволяет дать количественную характеристику проблемы и найти оптимальный вариант ее решения. Однако при управлении сложными системами возникают трудности, а именно, процессы принятия управленческих решений происходят в условиях существенной неопределенности, которая проявляется в виде ограниченности или нечеткости информации об условиях реализации проектного продукта (ПП) и может привести к появлению неблагоприятных ситуаций, характеризуемых риском [1].
В рамках исследования проектный риск рассматривается как «неопределенное событие или условие, которое может оказать негативное воздействие, по меньшей мере, на одну из целей проекта» [2].
484
В настоящее время методики, использующиеся для анализа и управления рисками в экономических проектах, основываются на применении вероятностных конструкций [3-6]. Однако в большинстве случаев не удается получить достаточный объем выборки для проведения достоверного анализа ввиду уникальности большинства проектов. Применяются также методики идентификации проектных рисков, основанные на сложной работе с контрольными списками [7]. Они могут включать в себя более сотни позиций и требуют дополнительного привлечения опытных экспертов в предметной области. Кроме того, достаточно трудно объединить в одной модели количественные и качественные факторы.
Применение аппарата нечеткой математики является альтернативой в тех случаях, когда классические методы не могут дать достаточно адекватного результата [8]. Методы и модели нечеткой логики позволяют выполнить формализацию и преобразование нечетких количественных (качественных) понятий, которыми оперируют менеджеры и эксперты в процессе реализации проекта.
Нами была разработана нечеткая продукционная модель (НПМ) управления рисками проектов информационных систем, в которой определены тринадцать входных лингвистических переменных (ВхЛП), которые характеризуют показатели риска, семь выходных лингвистических переменных (ВыхЛП), которые характеризуют методы реагирования на риски различных областей проекта, а также семь баз правил.
Модель основана на экспертных знаниях о моделируемых системах. Сбор сведений о системах проводился с привлечением экспертов в предметной области, после чего была
выполнена трансформация полученной информации в нечеткую модель. Такой подход может считаться эффективным только в том случае, если эксперт владеет всей полнотой знаний о системе. В реальности знания экспертов зачастую содержат неточности, а иногда даже могут быть противоречивыми. Поэтому необходимо, чтобы модель базировалась на достоверной информации о системе. Такими сведениями могут выступить результаты измерений, содержащие значения входов и выходов системы [9].
Данные обстоятельства предопределяют актуальность разработки нечеткой самонастраивающейся модели анализа проектных рисков. Под настройкой нечеткой модели необходимо понимать процесс минимизации ошибки выходов модели за счет оптимизации параметров функций принадлежности входных и выходных лингвистических переменных.
Настройку модели, т.е. определение оптимальных ее параметров, предлагается проводить методами, основанными на использовании нейро-нечетких сетей (ННС), т.к. в настоящее время они являются наиболее изученными [10].
Трансформация нечеткой продукционной модели в ней-ро-нечеткую сеть предполагает поочередное преобразование блоков фаззификации, базы правил и дефаззификации во фрагменты ННС. В результате нейро-нечеткая сеть, соответствующая некоторой нечеткой модели, будет иметь структуру, схожую с той, которая приведена на рисунке 1.
Существующие методы обучения нейро-нечеткой сети предполагают, что будет сформирована обучающая выборка, представляющая собой вектор из точных значений входных и выходной ЛП.
Однако экспертам, оценивающим уровни факторов риска, сложно придать точное (объективное) количе-
486
ственное значение лингвистическим переменным, что затрудняет формирование обучающих наборов [11]. Решением данной задачи может быть подход, в основе которого лежит представление обучающих наборов с помощью множеств а-уровней нечетких чисел, а обучение ННС может быть осуществлено методом обратного распространения ошибки.
Фаззификация База правил Дефаззификация
Рис. 1. Нейро-нечеткая сеть
В нечеткой продукционной модели база нечетких правил задана следующим образом:
Пк: если х есть Ак, то у = Вк, к = 1, ..., п, (1)
где Ак и Вк нечеткие числа.
Обучающая выборка формируется путем представления каждого из правила 2 как обучающего примера ней-ро-нечеткой сети, в котором антецедент правила является входным значением, а консеквент — требуемым выходным значением.
Обозначим [Ак]а как множество а.-уровня нечетких чисел Ак, а [Вк]а множество а {-уровня нечетких чисел:
[АкГ ={х\Ак(х)>а1}=[4,4],
Тогда обучающая выборка нейронной сети, т.е. ее дискре-тизированная версия, будет состоять из нижеследующих наборов входных-выходных значений:
{« ..., ..., £)}, к=\,п. (3)
Представление наборов входных-выходных значений (множествами а-уровней нечетких чисел) относительно нейро-нечеткой сети показано на рисунке 2.
Согласно базе правил, представленной в ННС, функции принадлежности лингвистических переменных определяются по формулам:
1, если 0 < х < 0.2 Мни. (*) = '!-(*- °-2) / °-3>0.2<х< 0.5 (4) 0, если я; > 0.5
488
Рис. 2. Представление значений наборов множествами а-уровней нечетких чисел
1, если 0.8 < х < 1
1- (0.8 -*)/ 0.3, если 0.5 < л: <0.8 0, если х < 0.5
(1 -4|х- 0.5| если 0.25 < л; < 0.75 [0, если х < 0.25 и х > 0.75
(6)
Графики функций принадлежности лингвистических переменных представлены на рисунке 3.
Рис. 3. Функции принадлежности лингвистических переменных
Пусть количество а-уровней будет т = 6, тогда:
=--,1 = 1,..., 6,
т—1
(7)
в интервале [0, 1]. Тогда дискретный вариант обучающего набора, состоящий из трех следующих пар входа/выхода, будет выглядеть следующим образом:
{ («л > ■«л > ■• ■• ■■»аы. аи) » (аи > «й»■• • •. а\б. аы ), (Ь^Ь*,..., Ь^
{(Я21' Я21' •' •' а26 ' а26 )' (а21' °21' •' •' а26 ' °26 )' (^21'
<у £ Л £ Л \ / £ Я £ Я \ /I£ гЛ I £ т Д
490
где
[4,^]=[4,4]=[¿¿А*]=[С]1
(9)
Представляя обучающий набор в числовом выражении, получим следующее:
{(0, 0.5, 0, 0.44, 0, 0.38, 0, 0.32, 0, 0.26, 0, 0.2), (0, 0.5, 0, 0.44, 0, 0.38, 0, 0.32, 0, 0.26, 0, 0.2), (0, 0.5, 0, 0.44, 0, 0.38, 0, 0.32, 0, 0.26, 0, 0.2)}
{(0.5, 1, 0.56, 1, 0.62, 1, 0.68, 1, 0.74, 1, 0.8, 1), (0.5, 1, 0.56, 1,
0.62, 1, 0.68, 1, 0.74, 1, 0.8, 1), (0.5, 1, 0.56, 1, 0.62, 1, 0.68, 1, 0.74,
1, 0.8, 1)}
{(0.25, 0.75, 0.3, 0.7, 0.35, 0.65, 0.4, 0.6, 0.45, 0.55, 0.5, 0.5), (0.25, 0.75, 0.3, 0.7, 0.35, 0.65, 0.4, 0.6, 0.45, 0.55, 0.5, 0.5), (0.25, 0.75, 0.3, 0.7, 0.35, 0.65, 0.4, 0.6, 0.45, 0.55, 0.5, 0.5)}.
Представленный обучающий набор может быть использован в качестве исходных данных для настройки параметров нечеткой модели методом обратного распространения ошибки [9].
Средняя ошибка обучаемого слоя ННС для )'-го обучающего образа вычисляется по формуле:
(10)
где п — количество нейронов слоя, а для всей обучающей выборки, содержащей т примеров, ошибка выхода сети будет рассчитываться следующим образом:
(11)
Ошибка Е°и1 используется для проверки результатов обучения сети целиком и сравнивается с ошибкой DE, которая задается в ходе выбора параметров обучения в начале работы. При Е°и1 функции принадлежности нейронов настроены на заданном уровне, и процесс обучения останавливается (рисунок 4).
Рис. 4. Скорректированные функции принадлежности для трех нечетких множеств оценки уровня риска
Таким образом, разработанная нечеткая самонастраивающаяся модель анализа проектных рисков позволила провести настройку параметров НПМ (параметров функций принадлежности лингвистических переменных) для исследуемых систем и получить более адекватную модель по отношению к предложенным нечетким продукционным моделям, которые были первым приближением для рассматриваемых предметных областей.
Апробация нечеткой продукционной модели управления рисками проектов ИС происходила в ООО «Электронная медицина». Данная организация-разработчик специализируется на создании и внедрении информационных систем в медицинские учреждения.
н
с
в
о
492
После согласования всех требований по проекту медицинской информационной системы (МИС) между заказчиком и разработчиком было сформировано техническое задание (ТЗ). В процессе реализации фазы «Формирование технического задания» данного программного проекта лицу, принимающему решения, необходимо выполнить анализ проектных рисков. На данном этапе актуальными являются такие риски, как «достижение цели проекта», «объем проекта» и «менеджмент проекта», которые определяют организационную стабильность проекта по созданию и внедрению МИС.
Командой проекта с помощью экспертов предметной области были детерминированы уровни факторов риска, которые оказывают влияние на идентифицированные риски (таблица 1).
Таблица 1
Идентис жцированные факторы риска проекта ИС
Обозначение Наименование фактора риска Значение и описание уровня фактора риска Степень уверенности
Х1 (ЛП01) Цель проекта Высокий - полностью соответствует целям и задачам организации 0,8ц
х2 (ЛП02) Границы проекта Высокий - имеют избыточную или неточно определенную функциональность 0,9ц
Х3 (ЛП04) Уровень зрелости организации- разработчика Низкий - повторяемый, когда процедуры для выполнения основных элементов процесса разработки формальны 0,7ц
Х4 (ЛП05) Сложность Средний - средняя (50-100 задач, подпроектов - единицы, связанность работ низкая или средняя) 1,0ц
Х5 (ЛП07) Менеджер проекта Высокий - имеет большой опыт работы 0,9ц
Х6 (ЛП08) Руководство проекта Средний - проводится планирование и мониторинг по совершенствованию технических заданий 0,8ц
Полученные данные были использованы в качестве входов для нечеткой продукционной модели анализа рисков (рисунок 5).
Рис. 5. Нечеткая продукционная модель оценки рисков проекта ИС
Модель была построена в разработанной системе поддержки принятия решений (СППР), которая позволяет получить как качественные, так и количественные оценки рисков, строить многоуровневые модели НПМ и выполнять обучение моделей с алгоритмом нечеткого вывода Мамда-
494
ни, что является важным отличием от существующих систем [12, 13].
В результате проведенного нечеткого моделирования каждой выходной лингвистической переменной (показателя риска), были получены значения, представленные в таблице 2.
Таблица 2
Результаты моделирования показателей риска проекта ИС
Обозначение Наименование лингвистической переменой Ранг Значение терма Значение показателя риска Степень уверенности
(ЛП03) Достижение цели проекта 4 СОР 50 0,79ц
(ЛП06) Объем проекта 3 СОР 50 0,7ц
(ЛП09) Управленческий риск 3 НОР 19,5 0,8ц
Зная уровень рисков на конкретной фазе (в данном случае — средняя очевидность риска недостижения цели проекта, средняя очевидность риска объема проекта и низкая очевидность риска неверного управления проектом), лицо, принимающее решение (ЛПР), может сформировать отчет по каждому показателю и оценить их возможное воздействие на проект: ущерб — от 200 тыс. до 2 млн руб.; сроки — увеличение времени на 10-20%.
Принимая во внимание полученные сведения, ЛПР должен сформировать план управления рисками проекта, включив в него возможные реакции на идентифицированные события. Для этого ЛПР необходимо выполнить последовательность действий, описанную далее:
Шаг 1. Посредством системы поддержки принятия решений сформировать НПМ управления рисками проекта информационной системы для фазы «Формирование технического задания» (рисунок 6).
Рис. 6. Нечеткая продукционная модель управления рисками для фазы «Формирование технического задания»
Шаг 2. Фаззификация — введение нечеткости Для входной переменной ЛП01 — «Риск недостижения цели проекта» используется терм-множество, которое состоит из пяти термов Т = {Очень низкая очевидность риска (ОчНОР); Низкая очевидность риска (НОР); Средняя очевидность риска (СОР); Высокая очевидность риска (ВОР); Очень высокая очевидность риска (ОчВОР)}, определяющих уровень риска. Функции принадлежности переменной ЛП01 являются треугольными и будут выглядеть следующим образом:
<Я0Р(х; 0; 15; 30), ц™р{х-15; 30; 45), //дС0Р(х; 30; 50; 70), ц10Р{х\ 55; 70; 85), 70; 85; 100).
496
Для входной переменной ЛП02 — «Управленческий риск» используется терм-множество, состоящее из пяти термов Т = {ОчНОР, НОР, СОР, ВОР, ОчВОР}, которые характеризуют уровень риска неквалифицированных решений руководства при реализации проекта ИС. Функции принадлежности переменной ЛП02 являются треугольными и будут выглядеть следующим образом:
¿и?нор(х; 0; 0; 30), цЧ°р{х- 5; 25; 45), //дС0Р(х; 25; 50; 75), ц10Р{х\ 55; 75; 95), 1л™0Р{х\ 70; 100; 100).
Для входной переменной ЛП03 — «Риск объема проекта» используется терм-множество, состоящее из пяти термов Т={ОчНОР, НОР, СОР, ВОР, ОчВОР}, которые характеризуют уровень риска невозможности детально проанализировать этапы работ, обеспечить взаимодействие участников и организацию работ. Функции принадлежности переменной ЛП03 являются треугольными и будут выглядеть следующим образом:
МаН0Р(Ъ 0; 15; 30), ц10Р{х-15; 30; 45), цс°р{х, 30; 50; 70), ц10Р{х\ 55; 70; 85), ^ор(х; 70; 85; 100).
Для выходной переменной ЛП04 — «Техническое задание» используется терм-множество, состоящее из пяти термов T = {Очень низкий уровень воздействия (ОНУВ), Низкий уровень воздействия (НУВ), Средний уровень воздействия (СУВ), Высокий уровень воздействия (ВУВ), Очень высокий уровень воздействия (ОВУВ)}, которые характеризуют уровень воздействия на риски фазы «Формирование технического задания». Функции принадлежности переменной ЛП04 являются треугольными и будут выглядеть следующим образом:
0; 0; 40), ¡л™ {г, 10; 30; 50), //дот(х; 30; 50; 65), /О.х; 50; 65; 85), 60; 90; 100).
Шаг 3. Задание нечетких правил. Принцип формирования правил модели основывается на общих закономерностях, которые проявляются в поведении исследуемой системы, позволяющих интегрировать в алгоритм нечеткого вывода логическую модель прикладного уровня.
Шаг 4. Дефаззификация — преобразование нечеткого множества в четкое число.
Результаты расчетов уровней проектных рисков предыдущего этапа были использованы в качестве входных данных нечеткого моделирования выходной ЛП04. По заданным исходным условиям результирующее значение выходной переменной ЛП04 соответствует значению 48, что определяет значение лингвистической переменой риска проекта уз — «Формирование технического задания», равное СУВ — «Выполнить планирование резервов, страхование наиболее уязвимых зон проекта» с уровнем уверенности цСУВу3 = 0,7ц.
Шаг 5. Оптимизация модели — настройка параметров функций принадлежности входных и выходных лингвистических переменных. Обучение модели выполнено в соответствии с подходом, который был предложен в работе.
Сформированный отчет по результатам нечеткого моделирования лингвистической переменной ЛП04 приведен на рисунке 7.
Полученные способы воздействия на проектные риски были внесены в план управления рисками, который был передан стейкхолдерам — представителям заказчика разработчика проекта.
498
Рис. 7. Отчет о результатах нечеткого моделирования выходной лингвистической переменной «Формирование технического задания»
По результатам совещания были приняты следующие решения:
• включить в команду проекта эксперта предметной области со стороны заказчика;
• привлечь дополнительный персонал в команду разработчиков;
• выполнить планирование времени на проектирование, разработку и тестирование прототипа системы.
Таким образом, принятые меры позволили снизить уровень риска проекта и продолжить его реализацию на данной стадии в нормальном режиме, однако мониторинг и контроль уровней риска необходимо проводить на каждой из последующих фаз и итераций проекта, а в случае необходимости — также разработать и применить план по снижению или передаче риска.
Реализованная нечеткая самонастраивающаяся модель позволяет проводить непрерывный анализ проектных рисков, что повышает эффективность принятия решений в условиях неопределенности, позволяет учитывать как качественные, так и количественные показатели и отличается возможностью представления шкалы рисков в естественно-языковых категориях, а полученные в результате нечеткого моделирования сведения позволяют менеджерам проектов определить приоритеты рисков (от «очень высокого» до «очень низкого») и разрабатывать эффективные планы мероприятий по снижению влияния наиболее опасных угроз.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 16-31-00285 мол_а «Методы и модели нечеткой логики в системах принятия решений управления рисками».
Библиографический список
1. Долженко А.И. Модель анализа риска потребительского качества проектов экономических информационных систем // Вестник Се-
00
веро-Кавказского государственного технического университета, Т. 18, № 1, 2009. С. 129-134.
2. Уокер Р. Управление проектами по созданию программного обеспечения. Унифицированный подход. М.: Лори, 2002. 424 с.
3. Руководство по управлению проектами (A Guide to the Project Management Body of Knowledge) // Project Management Institute. 2009. URL: http://www.sovnet.ru/pages/public/pm_risk.htm (дата обращения: 06.08.2017).
4. Национальный стандарт РФ «Проектный менеджмент. Требования к управлению проектом» (ГОСТ Р 54869-2011) от 22 декабря 2011 г.
5. Thipwiwatpotjana P., Lodwick W.A. Pessimistic, optimistic, and minimax regret approaches for linear programs under uncertainty // Fuzzy Optimization and Decision Making, Vol. 13, № 2, 2014. pp. 151-171.
6. Huang X. Mean-risk model for uncertain portfolio selection // Fuzzy Optimization and Decision Making, Vol. 10, № 1, 2011. pp. 71-89.
7. Хубаев Г.Н. Сложные системы: экспертные методы сравнения // Известия вузов. Северокавказский регион. Общественные науки, № 3, 1999. С. 7-24.
8. Попова А.Ю. Оценка риска инвестиционного проекта // Научный журнал КубГАУ, № 19, 2006. С. 73-98.
9. Борисов В.В., Круглов А.С., Федулов А.С. Нечеткие модели и сети. — 2-е изд., стереотип. М.: Горячая линия — Телеком, 2012. 284 с.
10. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия— Телеком, 2006. 452 с.
11. Muñoz-Velasco E., Ojeda-Aciego M., Burrieza A. A logic framework for reasoning with movement based on fuzzy qualitative representation // Fuzzy Sets and Systems, Vol. 242, 2014. pp. 114-131.
12. Атанов С.К. Программные средства реализации адаптивных моделей с нечеткой логикой // Вестник науки КазАТУ им. С. Сейфул-лина, № 2, 2009. С. 27—31.
13. Глушенко С.А. Анализ функциональной полноты программных систем управления рисками // Вестник Ростовского государственного экономического университета (РИНХ), № 38, 2012. С. 53-62.
Bibliographical list
1. Dolzhenko A.I. Model' analiza riska potrebitel'skogo kachestva proektov ekonomicheskikh informatsionnykh sistem // Vestnik Severo-Kavkazskogo gosudarstvennogo tekhnicheskogo universiteta, T. 18, № 1, 2009. S. 129-134.
2. Uoker R. Upravlenie proektami po sozdaniyu programmnogo obespecheniya. Unifitsirovannyi podkhod. M.: Lori, 2002. 424 s.
3. Rukovodstvo po upravleniyu proektami (A Guide to the Project Management Body of Knowledge) // Project Management Institute. 2009. URL: http://www.sovnet.ru/pages/public/pm_risk.htm (data obrashcheniya: 06.08.2017).
4. Natsional'nyi standart RF. «Proektnyi menedzhment. Trebovaniya k upravleniyu proektom» (GOST R 54869-2011). ot 22 dekabrya 2011.
5. Thipwiwatpotjana P., Lodwick W.A. Pessimistic, optimistic, and minimax regret approaches for linear programs under uncertainty // Fuzzy Optimization and Decision Making, Vol. 13, № 2, 2014. pp. 151-171.
6. Huang X. Mean-risk model for uncertain portfolio selection // Fuzzy Optimization and Decision Making, Vol. 10, № 1, 2011. pp. 71-89.
7. Khubaev G.N. Slozhnye sistemy: ekspertnye metody sravneniya // Izvestiya vuzov. Severokavkazskii region. Obshchestvennye nauki, № 3, 1999. S. 7-24.
8. Popova A.Yu. Otsenka riska investitsionnogo proekta // Nauchnyi zhurnal KubGAU, № 19, 2006. S. 73-98.
9. Borisov V.V., Kruglov A.S., Fedulov A.S. Nechetkie modeli i seti. — 2-e izd., stereotip. M.: Goryachaya liniya-Telekom, 2012. 284 s.
02
10. Rutkovskaya D., Pilin'skii M., Rutkovskii L. Neironnye seti, geneticheskie algoritmy i nechetkie sistemy. M.: Goryachaya liniya-Telekom, 2006. 452 s.
11. Munoz-Velasco E., Ojeda-Aciego M., Burrieza A. A logic framework for reasoning with movement based on fuzzy qualitative representation // Fuzzy Sets and Systems, Vol. 242, 2014. pp. 114-131.
12. Atanov S.K. Programmnye sredstva realizatsii adaptivnykh modelei s nechetkoi logikoi // Vestnik nauki KazATU im. S.Seifullina, № 2, 2009. S. 27-31.
13. Glushenko S.A. Analiz funktsional'noi polnoty programmnykh sistem upravleniya riskami // Vestnik Rostovskogo gosudarstvennogo ekonomicheskogo universiteta (RINKh), № 38, 2012. S. 53-62.
Контактная информация:
Служебный адрес: 344002, г. Ростов-на-Дону, ул. Большая Садовая, д. 69, офис 308, ФГБОУ ВПО Ростовский государственный экономический университет (РИНХ), кафедра Информационных систем и прикладной информатики. e-mail: [email protected]
Contact links:
Office address: 344002, Rostov-on-Don, Bolshaya Sadovaya street 69, office 308, Rostov State University of Economics, chair of the "Information Systems and Applied Computer Science". e-mail: [email protected]
