Научная статья на тему 'Интеллектуальная поддержка принятия решений при анализе рисков инновационного проекта'

Интеллектуальная поддержка принятия решений при анализе рисков инновационного проекта Текст научной статьи по специальности «Экономика и бизнес»

CC BY
438
69
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНОЛОГИИ / ИННОВАЦИОННЫЙ ПРОЕКТ / ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ / ПРОБЛЕМНАЯ СИТУАЦИЯ / ОНТОЛОГИЯ / ПРЕЦЕДЕНТ / АНАЛИЗ РИСКОВ / INTELLIGENT TECHNOLOGIES / INNOVATIVE PROJECT / DECISION MAKING SUPPORT / PROBLEM SITUATION / ONTOLOGY

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Никулина Н. О., Малахова А. И., Иванова И. Ф.

Рассмотрены вопросы управления инновационными проектами, реализуемыми на производственных предприятиях. Актуальной задачей является своевременное оказание поддержки в принятии решений всем участникам проекта. Целью исследования является изучение возможностей использования интеллектуальных технологий управления знаниями для поддержки принятия решений при выполнении инновационных проектов, разработка методологических и теоретических основ управления инновационными проектами в условиях неопределѐнности и риска на основе онтологического анализа и обработки знаний. По результатам анализа рисков сформированы уровни проблемных ситуаций, возникающих в ходе реализации инновационных проектов в среде производственных предприятий. Выделены основные проблемные ситуации, для решения которых участники инновационного проекта обращаются к онтологии. Предложен подход к управлению инновационными проектами, основанный на системной интеграции онтологии управления инновационными проектами и онтологии поддержки принятия решений. Построены интегрированная онтология поддержки принятия решений при управлении инновационными проектами. Новизна предложенной онтологии заключается в отображении понятий процессов управления проектами для формирования описаний различных ситуаций, требующих принятия решений

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DECISION-MAKING INTELLIGENT SUPPORT IN THE RISK ANALYSIS OF INNOVATIVE PROJECT

The article deals with the innovative project management aspects, implemented at industrial enterprises. An actual task is to provide decision-making support timely to all its participants. A purpose of the research is to explore possibilities to use the intelligent knowledge management technologies in innovative projects, as well as to develop methodological and theoretical principals of innovative project management in conditions of uncertainty and risk based on ontological analysis and knowledge processing. The levels of problem situations during the implementation of the innovative pro-ject in industrial environment are formed based on the results of project risk analysis. The main problem situations in which the innovative project participants appeal to the ontology are identified. A unified approach to innovative projects management is proposed based on system integration of innovative project management ontology and decision-making support ontology. The integrated decision-making support ontology in innovative project management is the result of the research. A novelty of the proposed integrated ontology lies in displaying the concepts of project management pro-cesses and its individuals for forming the various situations descriptions which require decision-making

Текст научной работы на тему «Интеллектуальная поддержка принятия решений при анализе рисков инновационного проекта»

УДК 004.83+005.336.4: 004.9

ИНТЕЛЛЕКТУАЛЬНАЯ ПОДДЕРЖКА ПРИНЯТИЯ РЕШЕНИЙ ПРИ АНАЛИЗЕ РИСКОВ ИННОВАЦИОННОГО ПРОЕКТА

Н.О. Никулина1'3, А.И. Малахова1^, И.Ф. Иванова2'0

'Уфимский государственный авиационный технический университет, Уфа, Россия anikulinano@outlook. сот, baimalakhova@gmail. сот

2 Объединённая двигателестроительная корпорация - Уфимское моторостроительное производственное объединение (ПАО «ОДК-УМПО»), Уфа, Россия civanovaif@yandex. ги

Аннотация

Рассмотрены вопросы управления инновационными проектами, реализуемыми на производственных предприятиях. Актуальной задачей является своевременное оказание поддержки в принятии решений всем участникам проекта. Целью исследования является изучение возможностей использования интеллектуальных технологий управления знаниями для поддержки принятия решений при выполнении инновационных проектов, разработка методологических и теоретических основ управления инновационными проектами в условиях неопределённости и риска на основе онтологического анализа и обработки знаний. По результатам анализа рисков сформированы уровни проблемных ситуаций, возникающих в ходе реализации инновационных проектов в среде производственных предприятий. Выделены основные проблемные ситуации, для решения которых участники инновационного проекта обращаются к онтологии. Предложен подход к управлению инновационными проектами, основанный на системной интеграции онтологии управления инновационными проектами и онтологии поддержки принятия решений. Построены интегрированная онтология поддержки принятия решений при управлении инновационными проектами. Новизна предложенной онтологии заключается в отображении понятий процессов управления проектами для формирования описаний различных ситуаций, требующих принятия решений.

Ключевые слова: интеллектуальные технологии, инновационный проект, поддержка принятия решений, проблемная ситуация, онтология, прецедент, анализ рисков.

Цитирование: Никулина, Н.О. Интеллектуальная поддержка принятия решений при анализе рисков инновационного проекта / Н.О. Никулина, А.И. Малахова, И.Ф. Иванова // Онтология проектирования. - 2019. - Т.9, №3(33). - С.382-397. - БО!: 10.18287/2223-9537-2019-9-3-382-397.

Введение

На данный момент действует ряд законодательных и нормативных актов, направленных на стимулирование инновационной деятельности, на реализацию инновационных проектов, на создание инновационной инфраструктуры и обеспечение её деятельности [1, 2]. Практика показывает, что они недостаточно согласованы между собой, а использованные инструменты инновационной политики применимы в других социально-экономических условиях. Заимствованные механизмы действуют в иной институциональной, организационной, управленческой, инфраструктурной и ментальной среде и не всегда применимы в российских сложившихся традициях [2].

Основными целями государственного стимулирования инновационной деятельности в Российской Федерации является «... обеспечение долгосрочного устойчивого развития государства, формирование экономики знаний в Российской Федерации, развитие и эффективное использование инновационного потенциала, а также материальных и финансовых ресурсов, направляемых на создание наукоёмких технологий, товаров (работ, услуг), выпуск наукоем-

кой, конкурентоспособной продукции» [3]. Активная инновационная деятельность необходима и для успешного выполнения программ импортозамещения [4].

Для повышения эффективности выполнения проектов разработаны и успешно применяются методы проектного менеджмента, математического моделирования и принятия решений [5]. Тем не менее, лишь около половины всех проектов завершаются в срок, с заданным качеством и в рамках согласованного бюджета [6, 7]. Около 60% организаций в полной мере осознают ценность проектного менеджмента, а более 90% организаций уже используют стандартные практики в управлении проектами. Судя по результатам выполнения проектов, использования только лишь стандартов и методов проектного управления недостаточно для достижения поставленных целей. Необходимо искать причинно-следственные связи, приводящие к неудачам проектов на различных стадиях их жизненного цикла, и устранять вероятные проблемы ещё до их возникновения.

1 Основные особенности и проблемы инновационных проектов, реализуемых в среде производственных предприятий

Статистика свидетельствует о росте количества организаций, имеющих в своём составе научно-исследовательские, проектные и конструкторские подразделения, а также об увеличении доли инновационных товаров и услуг (рисунок 1) [7]. В основном инновационные проекты выполняются в городах, где высока доля наукоёмких производств. Так, в Республике Башкортостан на столицу, г. Уфу, приходится более половины всех инновационных проектов, при этом доля проектов, выполняемых на базе промышленных предприятий, составля-

ет более трети (рисунок 2) 12

11,3

2000 2001 2002 2003 2004 2006 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

■О - доля организаций, внедряющих технологические инновации, в общем числе организаций, %;

■"П"" - доля инновационных товаров, работ и услуг в общем объёме отгруженных товаров и оказанных услуг, %;

- доля затрат на технологические инновации в общем объёме отгруженных товаров и оказанных услуг, %;

—О- - доля организаций, имеющих научно-исследовательские, проектные и конструкторские подразделения, %.

Рисунок 1 - Инновационная деятельность промышленных предприятий РФ

Промышленные предприятия, расположенные в городской черте, имеют необходимую производственно-техническую базу и доступ к развитой инфраструктуре, что позволяет обеспечить техническую, технологическую и организационную поддержку выполняемых ими инновационных проектов.

Другой особенностью таких проектов является возможное включение в число его участников представителей государственных структур - министерств и ведомств, органов государственной власти и управления, государственных контролирующих организаций. Инновационные проекты, особенно выполняющиеся на базе различных государственных корпораций, обычно являются составными частями государственной программы.

Районы с Белебеевский единичным район; 9

проектом; 8

г. Уфа; 149

Белорецкий Благовещенский район; 6 район; 14

Буздякский

район; 2_ Ишимбайский район; 4 Кармаскалински

й район;3 г. Кумертау; 7 Куюргазинский район; 2

Мелеузовский район; 8

г. Нефтекамск; 8 г. Октябрьский;

Салават; 3 Стерлитамак;

Услуги Прочее 5% ^ 3%

Сельское хозяйство 11°%

Промыш ленность 37%

ВУЗы, НИИ 44%

а) б)

Рисунок 2 - Распределение инновационных проектов в Республике Башкортостан: а) - по административным единицам; б) - по отраслям

Одним из примеров инновационных проектов, реализуемых в производственной среде, может служить проект «Реконструкция и техническое перевооружение производственной базы ПАО «ОДК-УМПО» для производства компонентов и агрегатов вертолётных двигателей типа ТВ3-117 и ВК-2500», который является одним из этапов Программы по организации серийного производства вертолётных двигателей [8].

Целью Программы является организация серийного производства компонентов вертолётных двигателей ВК-2500 исключительно из отечественных комплектующих в обеспечение реализации государственной программы импортозамещения, а также создание ресурсной базы и технологической платформы для организации конкурентоспособного серийного производства, ориентированного на выпуск перспективных вертолётных двигателей. Программой предусмотрена реконструкция существующих зданий и сооружений, прокладка новых и модернизация существующих инженерных сетей, замена и приобретение нового высокопроизводительного оборудования, формирование производственно-технологических центров (ПТЦ) с инженерно-техническим обеспечением и освоение на новых площадях производства компонентов вертолётных двигателей ВК-2500.

Программа предполагает создание четырёх ПТЦ, где будет сосредоточена основная работа по изготовлению узлов двигателей ВК-2500. Совокупный объём инвестиций в создание ПТЦ составляет более 7 млрд. рублей. ПТЦ спроектированы с учётом лучших мировых стандартов и практик, в том числе с применением принципов бережливого производства [9].

Всё это позволяет отнести выполняющуюся в течение пяти лет Программу по созданию серийного производства вертолётных двигателей к крупному инновационному проекту.

Решению проблем, возникающих при управлении инновационными проектами, обычно помогает их классификация, когда каждому классу проблемных ситуаций поставлен в соот-

ветствие класс типовых решений. Таким образом, одной из задач организации поддержки принятия решений является классификация проблемных ситуаций, возникающих в ходе реализации инновационного проекта в заданной предметной области (ПрО).

Для инновационных проектов характерна высокая степень неопределённости как в оценке текущей ситуации, так и в прогнозировании последствий принимаемых решений. Инновационные проекты, входящие в состав долгосрочной государственной программы, часто имеют более высокую степень неопределённости, чем индивидуальные проекты, чем протяжённее проект во времени, тем более труднопредсказуемой становится его реализация. Это связано с высокой изменчивостью внешней среды проекта, обусловленной возможным изменением государственной политики, внешнеполитической ситуации, приоритетов финансирова-

ния, а также появлением новых технологий. При этом сжатые сроки, устанавливаемые заказчиком, зависимость от множества смежных участников вынуждают руководителя проекта принимать решения, основанные лишь на собственном опыте реализации предыдущих проектов (не всегда схожих по своей сути) и приводящие к серьезным нежелательным последствиям. При включении в число участников проекта представителей государственных структур существенно удлиняется цепочка лиц, принимающих решения (ЛИР), а взаимодействие между участниками усложняется.

Для инновационных проектов особенно остро стоит проблема подбора и назначения исполнителей, обладающих не только определёнными профессиональными знаниями и навыками, но и качествами, необходимыми для работы в команде. Наиболее сложной ситуация представляется для ЛИР, который одновременно является исполнителем, ответственным за получение одного из результатов проекта, и руководителем, который должен определить состав исполнителей проекта. Далеко не всегда в одном человеке сочетаются качества хорошего руководителя и профессионала в ПрО. В этом случае обобщённые знания и опыт помогут избежать ошибок или хотя бы снизить негативные последствия от неверных решений.

И наконец, проблема доступа к информации о ходе выполнения смежных проектов. Взаимодействие ЛПР смежных проектов ограничено, во-первых, рамками существующих организационных структур как самих проектов, так и предприятия в целом, а во-вторых, субординацией, когда руководители смежных проектов находятся на разных уровнях иерархии, хотя и не в прямом подчинении друг у друга. Кроме того, часто смежные проекты конкурируют за доступ к одним и тем же ресурсам производственно-технической базы и персонала.

Поэтому следует обратить внимание на оказание поддержки принятия решений для лиц, находящихся на различных уровнях организационной структуры проекта.

2 Анализ рисков и проблемных ситуаций в инновационных проектах, реализуемых в среде производственных предприятий

Информационная поддержка ЛПР направлена на снижение неопределённости при принятии решений, что влечёт за собой уменьшение вероятности наступления рисковых событий и сокращение количества проблемных ситуаций. Прежде всего, для организации информационной поддержки необходимо обеспечить сбор и классификацию данных о проблемных ситуациях, возникновение которых связано с организационными, производственными и финансово-экономическими рисками. Риски, наиболее сильно влияющие на выполнение работ по проекту, имеют наивысший приоритет при выделении ресурсов на мероприятия по их предупреждению и предотвращению. Например, на стадии инициации инновационного проекта рассматривается около 20 часто идентифицируемых рисков [10]. Описание части рисков представлено в таблице 1.

Таблица 1 - Идентификация и количественная оценка рисков проекта (начало)

Риск Возможная при- Возможное по- Кп Меры по об- КИ Меры по преду- К0 К

чина отказа следствие отказа наружению преждению

Производственные риски

Задержка вы- Нарушение сро- Ухудшение по- 8 Мониторинг 4 Применение 5 160

полнения ков конкретных казателей эф- плана- внутренней си-

этапов работ, в том числе по вине поставщиков и подрядчиков, несвоевременное финансирование фективности проекта, срыв сроков реализации проекта и неисполнение обязательств перед потребителями графика реализации проекта стемы организационного контроля

Отсутствие не- Недостаточная Рост затрат на 5 Проверка 5 Предпроектный 5 125

обходимого обо- проработка по- реализацию про- наличия всей анализ потреб-

рудования требности в оборудовании: неверная оценка пропускной способности оборудования граммы за счет необходимости закупки дополнительного оборудования номенклатуры и количества оборудования с учетом пропускной способности после расце-ховки деталей и узлов ных производственных мощностей и определение номенклатуры оборудования

Организационные риски

Отсутствие не- Ошибки в расче- Невозможность 8 Анализ 3 Предпроектная 5 120

обходимых ква- тах потребности в выполнения или наличия ква- оценка требуе-

лифициро- персонале, его выполнение с лифициро- мой квалифика-

ванных кадров квалификации худшим качеством отдельных операций ванных кадров ции и численно -сти персонала, организация работ с учебными заведениями

Ошибки в стра- Недостаточный Нарушение ло- 8 Анализ объ- 3 Привлечение 4 96

тегии производ- уровень прора- гистики произ- емов, сроков инжиниринго-

ства ботки технологии и логистики производства водства(локаль-ное и внутри-кооперационное), как следствие рост затрат на производство, приводящий к росту цены на продукцию или снижению рентабельности производства производства и текущего уровня затрат на единицу продукции вых компаний для оценки технологии и логистики серийного производства

Несогласование Несогласование Увеличение сто- 7 Мониторинг 3 Юридическое 6 126

и неисполнение сроков и стоимо- имости и сроков исполнения сопровождение

договорных от- сти работ выполняемых договорных и контроль вы-

ношений с раз- работ обязательств шестоящих ор-

работчиком кон- ганизаций

структоркой до-

кументации

Таблица 1 - Идентификация и количественная оценка рисков проекта (окончание)

Риск Возможная при- Возможное по- Кп Меры по об- Кн Меры по преду- Ко Кр

чина отказа следствие отказа наружению преждению

Финансово-экономические риски

Увеличение затрат на проект Неверная оценка объёмов и структуры инвестиций Увеличение периода окупаемости, уменьшение доходности проекта 6 Мониторинг бюджета проекта 4 Стоимостной контроль выполнения программы 6 144

Изменение цен на комплектующие и материалы Недостаточная проработка договоров с поставщиками, изменение внутренней и/или внешней экономической обстановки в стране Рост себестоимости производства, как следствие снижение рентабельности или рост цены продукции 5 Анализ и прогноз состояния рынка по всей номенклатуре материалов и комплектующих 4 Поиск альтернативных поставщиков 4 80

Каждый риск получает количественную экспертную оценку по методу анализа причин и последствий отказов (Failure Mode and Effect Analysis -FMEA) в соответствии с формулой

(1) Кр = Кп * Кн * К0,

где Кр - коэффициент риска; Кп - коэффициент тяжести последствий отказов (степень влияния возможного последствия отказа, связанного с риском, на ход проекта); Кн - коэффициент, учитывающий вероятность, с которой отказ или его причина не могут быть обнаружены до возникновения его последствий; К0 - коэффициент, учитывающий вероятность отказа.

Каждый коэффициент в формуле (1) оценивается по десятибалльной шкале, поэтому коэффициент риска Кр по каждой строке может принимать значение от 1 до 1000. Уровень риска Lp определяется как отношение величины суммарного риска по всем строкам к максимально возможной величине суммарного риска по этим строкам, выраженное в процентах

(2) Lp = Кр/ Кр max * 100.

Для приведённого в таблице 1 перечня рисков уровень риска в соответствии с (2) составил 12,2%, что по оценкам авторов укладывается в диапазон допустимых значений уровня риска инновационных проектов для России.

Количественные оценки позволяют ранжировать риски по степени их негативного воздействия на проект. Риски с наивысшим приоритетом регулярно отслеживаются с целью своевременного реагирования при изменении степени угрозы, и проводятся мероприятия, которые приводят к предотвращению причин отказов, снижению вероятности появления отказа, повышению вероятности обнаружения отказа.

Риски могут быть типовыми для группы проектов (проекты по созданию центров специализации, проекты реконструкции и технического перевооружения, проекты в сфере информационных технологий и др.), что даёт возможность распространить методы их анализа на другие инновационные проекты.

В ходе исследований в «ОДК-УМИО» проведена работа по упорядочению информации о возможных рисках и о проблемных ситуациях, которые могут возникать в результате наступления рисковых событий. В таблице 2 определены три уровня проблемных ситуаций, соответствующих уровням ЛИР в организационной структуре проекта.

Таблица 2 - Уровни проблемных ситуаций инновационного проекта

Уровень про- Место возникновения Характеристика уровня проблемной Уровень ЛПР

блемной ситуации ситуации

1 Локальная Управляемая (не требует эскалации) Руководитель проекта

2 Затрагивает смежные проекты или подразделения предприятия Мешает оперативной работе Руководство предприятия

3 Глобальная Критическая (возможна полная остановка проекта) Руководство корпорации

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Уровень проблемы, которую оценивает руководитель проекта, свидетельствует о необходимой срочности принимаемых мер. Фиксируется и статус решения проблемной ситуации, благодаря чему можно отслеживать её жизненный цикл. Определено четыре возможных статуса решения проблемной ситуации:

1 - проблемная ситуация находится на стадии обсуждения;

2 - определены задачи по решению проблемной ситуации, назначены исполнители;

3 - выявлена задержка решения проблемной ситуации;

4 - проблемная ситуация решена.

Описание возникающих проблемных ситуаций и фиксация решений, принимаемых на проектных комитетах или координационных совещаниях на уровне куратора проекта, управляющего директора или генерального директора корпорации, может выполняться в слабоструктурированном неформализованном виде, например, может представлять собой таблицу, ячейки которой заполняются администратором проекта и согласовываются руководителем проекта. Пример такого описания приведён в таблице 3.

Таблица 3 - Описание проблемных ситуаций инновационного проекта

Уровень Описание проблемы Дата реги- Предложение по Должностное лицо, Срок Статус

проблемы страции решению помощь или решение реше- реше-

которого требуется ния ния

2 Отсутствие уточнённого плана производства, что не позволяет запланировать приобретение материалов и покупных полуфабрикатов для запуска материальной части в производства 20.01.19 Уточнить план производства на год и текущий квартал. Директор по производству, Директор по продажам 31.01.19 2

2 Риск срыва сроков поставки оборудования со стороны поставщика, что может повлиять на срок ввода объекта в эксплуатацию 20.01.19 Направление специалистов на завод-изготовитель оборудования для инспектирования его производства Технический директор 15.02.19 1

Подобная таблица формируется в рамках презентации для проектного комитета или совещания. К ней имеет доступ ограниченное число лиц: команда проекта и участники проектного комитета или координационного совета, на котором рассматривается проблема. Члены проектной команды, непосредственно не принимающие участия в совещании, не имеют доступа к этой информации, что затрудняет взаимодействие участников проекта и мешает давать адекватную оценку сложившейся ситуации. Руководителям других проектов и их ко-

мандам, в случае возникновения похожей проблемы, данная информация также была бы очень полезной, если бы они имели к ней доступ. Обеспечение слаженного взаимодействия множества участников проекта представляет собой отдельную задачу.

В ходе выполнения инновационного проекта ЛПР необходимо оказывать все виды поддержки принятия решений - информационную, вычислительно-аналитическую, интеллектуальную. С первыми двумя видами поддержки успешно справляются системы управления проектами, предоставляя в наглядном виде графики и отчёты, отражающие ход выполнения работ. Для принятия решений в проблемных ситуациях необходимо использование алгоритмов, основанных на знаниях и опыте не только ЛПР, ведущих текущий проект, но и ЛПР других проектов.

3 Интеграция онтологии поддержки принятия решений и онтологии управления инновационным проектом

Знания - это закономерности ПрО (принципы, связи, законы), полученные в результате практической деятельности и профессионального опыта, позволяющие специалистам ставить и решать задачи в этой области [11]. Одной из ключевых задач при формировании баз знаний (БЗ) является структурирование и представление знаний. Знания могут быть извлечены из множества разнородных источников: нормативных и регламентирующих документов различного уровня, проектной документации, баз данных, а также получены вербально от лиц, имеющих достаточный опыт практической деятельности в области инновационного и проектного менеджмента и выступающих в качестве экспертов ПрО. Эффективным средством интеграции знаний является онтологический инжиниринг, который позволяет создать абстрактную модель ПрО, описывающую систему понятий ПрО и отношений между ними. При этом для более точной формализации ПрО можно использовать модели процессов управления инновационными проектами, разработанные в различных нотациях [12]. Разработанная в результате онтология является удобным способом создания унифицированной, детальной и непротиворечивой терминологии с учётом контекста ПрО [13].

Специфика реализации инновационного проекта требует представления различных областей знаний, необходимых для успешного управления проектом, что подразумевает возможность существования нескольких онтологий, представляющих концептуализацию содержания конкретного проекта, а также областей знаний проектного менеджмента (управление расписанием проекта, стоимостью, сроками выполнения, качеством, ресурсами и др.). При построении онтологии управления инновационными проектами за основу приняты понятия из Руководства к своду знаний по управлению проектами [14]. В зависимости от специфики конкретного инновационного проекта и ПрО онтология подлежит последующему наполнению и корректировке.

Так, область знаний по управлению рисками проекта включает в себя [14]:

■ процессы, связанные с осуществлением планирования управления рисками, их идентификацией и анализом, планированием реагирования на риски, а также контролем рисков в проекте;

■ методы и инструменты, применяемые в ходе выполнения каждого процесса;

■ перечень входных и выходных данных, необходимых для успешного выполнения процессов.

Целями управления рисками проекта являются повышение вероятности возникновения и усиление воздействия благоприятных событий, снижение вероятности возникновения и ослабление воздействия неблагоприятных событий в ходе реализации проекта.

Описание онтологии производится на языке OWL DL (Web Ontology Language based on Description Logic). Разработка онтологий ведется в онтологическом редакторе Protégé 5.2.0 [15]. Фрагмент онтологии управления инновационным проектом представлен на рисунке 3.

Active Ontology х Entities х Classes х Object Properties х Data Properties х Annotation Properties x Individuals by class x OWLViz x DLQueiy x OntoGraf x SPARQL Queiy x

Рисунок 3 - Фрагмент онтологии управления инновационным проектом

С целью обеспечения объективного представления знаний, а также отображения понятий из одной области знаний в другую при формировании правил принятия решений, выполняется объединение онтологии задач, моделей и методов поддержки принятия решений и онтологии проектного менеджмента в интегрированную онтологию. Объединение онтологий осуществляется с применением встроенной функции объединения онтологий merge ontologies, которая предусматривает реализацию операции объединения эквивалентных классов, сущностей и синонимов (в рассматриваемом контексте ПрО) с участием экспертов. В результате в семантической сети интегрированной онтологии отображаются объектные отношения между классами объектов из онтологии управления разрабатываемым инновационным проектом и онтологии задач, моделей и методов принятия решений. Фрагмент предложенной интегрированной онтологии представлен на рисунке 4.

Исходя из предложенного подхода интегрированная онтология управления знаниями Onto может быть описана как набор объединённых онтологий в соответствии с формулой

(3) Onto = < OpM, ODM, InfF>,

где OPM - онтология управления инновационным проектом; ODM - онтология поддержки принятия решений; Inf - модель машины логического вывода.

Рисунок 4 - Фрагмент интегрированной онтологии

Модель машины вывода выполняет функцию активации сущностей и отношений, описывающих конкретную задачу, то есть организации динамической компоненты БЗ. Схема использования онтологии заинтересованными сторонами инновационного проекта представлена на рисунке 5.

/ Заказчик Л I проекта 1

Рисунок 5 - Схема использования онтологии заинтересованными сторонами инновационного проекта

Потенциальными пользователями интегрированной онтологии являются заинтересованные стороны разрабатываемого инновационного проекта, такие как заказчики, спонсоры, партнёры проекта, руководство предприятия с одной стороны, а также участники команды проекта, пользователи проекта, проектный офис, эксперты ПрО и области инженерии знаний с другой. У каждой из представленных на рисунке 5 заинтересованных сторон в ходе выполнения проекта возникают определённые вопросы или проблемы, особенно это касается ЛПР, участвующих одновременно в нескольких проектах [16]. Своевременная и точная оценка сложившейся ситуации позволяет правильно организовать процедуры проектного управления, связанные с принятием решений и их фиксацией в проектной документации.

В таблице 4 представлены потребности в информации, которая запрашивается заинтересованными сторонами проекта чаще всего [17].

Онтология может быть представлена в качестве центрального компонента информационных систем и приложений предприятия для совместного использования персоналом организации и аннотирования информации. При этом онтология выполняет две основные функции: определяет общую терминологическую базу для всех ЛПР и позволяет формулировать правила и прецеденты, используя одни и те же понятия ПрО.

Семантический подход к анализу ситуаций позволяет эксперту или группе экспертов описать при помощи единого стандартизованного языка общую модель исследуемой ПрО, а также задать способ обработки исходных данных, поступающих в онтологическую модель, в виде используемого системой набора продукционных правил. Таким образом, на основе полученной интегрированной онтологии управления знаниями строятся модели представления знаний в виде правил и прецедентов принятия решений в проблемных ситуациях, которые вместе с онтологией составляют основу БЗ. Использование БЗ позволяет её пользователям получать ответы на вопросы, подобные сформулированным в таблице 4.

Для формирования правил в онтологии используется стандартизованный язык описания продукционных правил для машин вывода на онтологиях Semantic Web Rule Language (SWRL) [15]. Язык SWRL является расширением языка OWL DL и поддерживает разработку правил в соответствии с принципами дескриптивной логики. При разработке правил применяются предикаты, определённые в онтологии в части формирования аксиом иерархии классов, описания отношений ассоциации и аксиомы, накладываемые на свойства. Полученные правила записываются на языке формализации онтологических правил SWRL.

Правила, сформулированные в онтологии выражают причинно-следственные отношения между определёнными классами событий, являющихся причинами возникновения проблемных ситуаций, решениями, принимаемыми ЛПР, проблемными ситуациями и действиями, выполняемыми для разрешения проблемных ситуаций. Таким образом, приведённые в таблице 1 типовые риски проекта, принадлежащие к различным группам рисков, последствия и причины отказа, меры по обнаружению и предотвращению данных рисков могут быть представлены в онтологии в виде набора правил (рисунок 6).

В рамках предложенного подхода к оказанию поддержки принятия решений предлагается фиксировать в интегрированной онтологии имеющие место проблемные ситуации и принятые по ним решения, приведённые в таблице 3, в виде прецедентов принятия решений, что позволит руководителям и членам команд последующих проектов обращаться к ним в случае возникновения схожих проблем. Выбор наиболее подходящего в конкретной ситуации прецедента либо позволит сформировать на его основе решение, либо потребует адаптации к текущей ситуации с учётом различий в признаках и контекстах текущей ситуации и ситуации, имевшей место в прошлом.

Таблица 4 - Потребности заинтересованных сторон в информации

Заинтересо- Потребности в информации

ванная сторона

Заказчик, куратор, партнёр проекта Как получить общую информацию о ходе выполнения работ проекта? Как определить, не нарушены ли ограничения проекта (стоимость, сроки, качество)? Какие проблемы в настоящее время есть у проекта (срывы сроков поставки оборудования и материалов или выполнения работ, задержка согласования платежей, внутренние нестыковки в бизнес-процессах, препятствующие реализации проекта и т.п.) ?

Проектный комитет, координационный совет Как организовать взаимодействие между участниками проекта? Какие проблемные ситуации эскалировать на вышестоящий уровень принятия решений? Как распределить ресурсы между проектами? Как определить область реализации проекта? Как сопоставить цели проекта со стратегией развития предприятия? Кого назначить руководителем проекта? На каких стадиях проекта информировать руководство предприятия? Каковы сроки утверждения проектной документации?

Руководство предприятия Как планировать и контролировать ресурсы портфеля проектов? Какие критерии и KPI (Key Performance Indicator) задать с целью оценки эффективности реализации проекта и мотивации проектной команды? Как распределить накладные расходы между проектами? Как распределить оборудование между проектами и учесть его амортизацию при закрытии проекта? Как организовать конкурсные процедуры по проекту без увеличения сроков выполнения проекта? Как выбрать поставщиков? Все ли сертификаты есть у предприятия для выполнения проекта?

Руководитель проекта Какая последовательность инициации проекта и разработки базовых документов, распределение ответственности между подразделениями? Какие проблемы и ограничения в настоящее время есть у проекта? Какие риски срыва сроков проекта существуют и как их минимизировать? Какими способами можно ускорить реализацию проекта? Каков механизм защиты проекта и утверждения/ корректировки бюджета? Какие современные средства применимы для мониторинга команды проекта? Как устранить противоречия между командой проекта и его пользователями? Как организовать обучение персонала? Как оптимально подобрать кадры проекта? Как часто проводить координационные совещания? Как предупредить отставание от сроков выполнения проекта? Какую методологию выбрать для выполнения проекта? Как разработать смету трудозатрат проекта? Из чего складывается и в какой форме описывается бюджет проекта? Как переводить трудозатраты в финансы и наоборот? Как управлять стоимостью проекта, какие показатели отслеживать? Что делать в случае возникновения конфликта ресурсов? Как рассчитать прибыль проекта и премии сотрудников?

Команда проекта (исполнители задач) От кого и в какой форме получать задания? Что делать, если задания накладываются по срокам? Как выстроить приоритеты выполнения заданий? В какой форме и кому отчитываться о выполнении заданий? Что считать проблемой и кому сообщать об их возникновении? Перед кем и в какой форме ставить вопрос о необходимости пересмотра объёма и/или сроков выполнения работ? Как рассчитать свой бонус от участия в проекте?

Проектный офис Как открыть/закрыть проект? Какие базовые документы необходимо оформить? Есть ли шаблоны? Как составить сводный и оперативный план проекта, есть ли шаблоны? Как сформировать плановый фонд рабочего времени? Как фиксировать в учётной системе проектные затраты и процент выполнения работ? Какова процедура начисления премии по проектам? Как и какие отчёты формировать по проектам?

пи

Неисполнени е о бя за тел ь ствп е редп отребителя м и (), Задержка выполнения этапов(?у), Риск_является(?х, ?у), Производственныйриск(?х) > ^ Риск_содержит_Возможное_последствие_отказа(?у, ?г) Увеличен ие_затрат_на_проекг(?у)г Риск_является(?хг ?у), Финансово-экономический_риск(?х), Мониторинг_6юджета_проекта(?г) > Риск_содержит_Мера_по_обн аружени ю( ?уг ) Огсутствие_необходимых_квалифицированных_кадров(?у)л Риск_является(?х, Ту), Организационный_риск(?х)л Организация работ_с_учебными за ведения ми > Риск_содержит_Мера_по_предупреждению(?у,

Задержка_выполнения_этапов(?у), Риск_является(?х, ?у), Производственный_риск(?х), Ухудшение_показателей_эффективности_проекта(?г) -> I Риск_содержит_Возможное_последствие_атказа(?уГ ?г) Увеличение_затрат_на_проект(?у), Риск_является(?хг ?у), Финансово-экономический_риск(?х)г Уненьшение_доходности_проекта(?2) -> Риск_содержит_Возможное_последствие_отказа(?уГ ?г) Задержка_выполнения_этапов(?у), Риск_является(?х, ?у), Производственный_риск(?х), Срыв_сроков_реализации_проекта(?г) -> Риск_содержит_Возможное_последствие_отказа(?уг Огсутствие_необходимых_квалифицированных_кадров(?у)л Риск_является(?х, ?у), Организационный_риск(?х)л Анализ_наличия_квалифицированных_кадров(?г) -> Риск_содержит_Мера_по_о6наружению(?у, ?±) Отсугствие_нео6ходимых_квалифицированных_кадров(?у), Риск_является(?х, ?у), Организационный_риск(?х), Ошибки_в_расчетах_потребности_в_персонале_и_его_квалификации(?г) > Риск_содержит_Возможная_причина_отказа(?у, ?г) Увеличение_затрат_на_проект(?у), Риск_является(?хг ?у), Финансово-экономический_риск(?х)г Увеличение_периода_окупаемости_проекта(?г) > ^ Риск_содержит_Возможное_последствие_отказа(?уГ ?г) Отсутствие_нео6ходимых_квалифицированных_кадров(?у), Риск_является(?х( ?у), Организационный_риск(?х),

Предпроекгная_оценка_тре6уемой_квалификации_и_численносги_персонала(?г) -> Риск_содержит_Мера_по_предупреждению(?у, ?г) Увелимение_затрат_на_проект(?у), Риск_является(?х, ?у), Финансово-экономический_риск(?х), Сгоимостной_контроль_выполнения_проекга(?г) > Риск_содержит_Мера_по_предупреждеиию(?у, ?г) Увеличен ие_затрат_на_проекг(?у), Риск_является(?х, ?у), Финансово-экономический_риск(?х), Неверная_оценка_объемов_и_струюуры_инвесгиций(?г) > Риск_содержит_Возможная_причина_отказа(?ул ?г) Мониторинг плана-графика_реализации проекта(?г). Задержка выполнения этаповС?у), Риск_является(?хг ?у). Производственный_риск(?х) -> Риск_содержит_Мера_по_обн аружени ю( ?у, Применение_внутренней_систекы_организационного_контроля(?г)/ Задержка_выполнения_этапов(?у)1, Риск_является{?х, ?у), Производственный_риск(?х) -> Риск_содержит_Мера_по_предупреждению(?у, ?г) Несвоевременное_финансирование(?г), Задержка_выполнения_этапов(?у), Риск_является(?х, ?у), Производственный_риск(?х) > Риск_содержит_Возможная_причина_отказа(?у, ?г) Отсутствие_нео6ходимых_квалифицированных_кадров(?у), Риск_является(?х, ?у), Организационный_риск(?х),

Невозможность_выполнения_или_выполнение_с_худшим_камеством_отдельных_операций(?г) > Риск_содержит_Возможное_последствие_отказа (?У/

Нарушение_сроков_конкретных_ра6от(?г), Задержка_выполнения_зтапов(?у), Риск_является(?х, ?у), Производственный_риск(?х) -> Риск_содержит_Возможная_причина_отказа(?у, ?г)

П ЗупсЬгопЫпд

Рисунок 6 - Правила поддержки принятия решений в интегрированной онтологии (здесь x, у, z - переменные или экземпляры)

Заключение

Разработка БЗ как средства интеллектуальной и информационной поддержки принятия решений при выполнении инновационных проектов является актуальной. Использование онтологической БЗ позволит осуществлять поиск способов решения проблем на основе описания сложившейся ситуации. При этом БЗ должна содержать детальную и хорошо структурированную информацию о ресурсах, параметрах задач и других свойствах проекта.

Практическая ценность представленных результатов состоит в разработке и использовании компонентов системы управления знаниями для обнаружения и прогнозирования проблемных ситуаций в инновационном проекте. Предлагаемая интегрированная онтология может быть использована при управлении инновационными проектами в различных ПрО, поскольку содержит в себе классы понятий, закреплённых в РМВоК, имеющего (де-факто) статус стандарта проектной деятельности.

Другая часть интегрированной онтологии - онтология поддержки принятия решений -включает классы понятий, отражающие известные задачи принятия решений на соответствующие им модели и методы поиска решений. Объединение онтологии управления инновационным проектом и онтологии поддержки принятия решений позволяет на основе собранного опыта принятия решений в рамках управления инновационным проектированием находить решения в проблемных ситуациях конкретного проекта.

з94

№3(зз)/2019, у.9, Ontology of Designing

Благодарности

Исследования выполнены при финансовой поддержке гранта Российского фонда фундаментальных исследований № 18-00-00345 (18-00-00238) «Методы и модели поддержки принятия решений при управлении инновационными проектами на основе инженерии знаний».

Список источников

[1] Федеральный закон от 23.08.1996 № 127-ФЗ «О науке и государственной научно-технической политике» (ред. от 23.05.2016) - Шр8://минобрнауки.рф/документы/817/файл/8375/127-фз.р^.

[2] Закон об инновационной деятельности // Журнал «Аккредитация в образовании», №44, декабрь 2010 г. -http ://akvobr. ru/j ournal_akkreditacia_v_obrazovanii_44.htm.

[3] Проект Федерального закона «О научной, научно-технической и инновационной деятельности в Российской Федерации» (от 28.03.2018) - http://www.consultant.ru/law/hotdocs/ 53106.html.

[4] Указ Президента РФ № 899 от 07.07.2011 «Об утверждении приоритетных направлений развития науки, технологий и техники в Российской Федерации и перечня критических технологий Российской Федерации» (с изменениями на 16.12.2015) - http://docs.cntd.ru/document/902287707.

[5] Новиков, Д.А. Модели и методы организационного управления инновационным развитием фирмы / Д.А. Новиков, А.А. Иващенко. - М.: ЛЕНАНД, 2006. - 336 с.

[6] Pulse of the Profession®: Success in disruptive times. Expanding the value delivery landscape to address the high cost of low performance, February 2018. - https://www.pmi.org/learning/thought-leadership/pulse/pulse-of-the-profession-2018.

[7] Индикаторы инновационной деятельности: 2018: статистический сборник / Н.В. Городникова, Л.М. Гохберг, К.А. Дитковский и др. - М.: НИУ ВШЭ, 2018. - 344 с.

[8] Организация производства компонентов вертолетных двигателей ВК-2500 в ОДК-УМПО. Официальный сайт ПАО «ОДК-УМПО». - http://umpo.ru/products/perspektivnye-izdeliya/vk-2500.

[9] Узлы стремятся к серии // Отраслевое информационно-аналитическое агентство «АвиаПорт». -https://www.aviaport.ru/news/2018/02/06/522101.html.

[10] Никулина, Н.О. Проектный менеджмент в управлении бизнес-процессами / Н.О. Никулина, И.Ф. Иванова, О.В Бармина // Уфимск. гос. авиац. техн. ун-т. - Уфа: РИК УГАТУ, 2017. - 260 с.

[11] Базы знаний интеллектуальных систем / Т.А. Гаврилова, В.Ф. Хорошевский. - СПб: Питер, 2000. - 384 с.

[12] Поддержка принятия решений при стратегическом управлении предприятием на основе инженерии знаний /под редакцией Черняховской Л. Р. - Уфа: Гилем, 2010. - 180 с.

[13] Черняховская, Л.Р. Разработка моделей и методов интеллектуальной поддержки принятия решений на основе онтологии организационного управления программными проектами / Л.Р. Черняховская, А.И. Малахова // Онтология проектирования, 2014. - № 4 (10). - С.42-50.

[14] A Guide to the Project Management Body of Knowledge (PMBoK Guide). Project Management Institute. 2017. Pensylvanya: Sixth Edition. PMI Publications, 2017.

[15] Официальная документация по Protégé. - http://protrgrwiki.stanfotd.edu/index.php/ProtegeUserDocs.

[16] Черняховская, Л.Р. Оценка эффективности поддержки принятия решений при реализации проекта по разработке программного обеспечения / Л.Р. Черняховская, Н.О. Никулина, О.В. Бармина // Информационные технологии интеллектуальной поддержки принятия решений: труды 6 Всеросс. конф. (с междунар. участием) ITIDS'2018, Т.2. Уфа-Ставрополь, Россия, 28-31 мая 2018. - С.16-22.

[17] Товб, А.С. Управление проектами: стандарты, методы, опыт / А.С. Товб, Г.Л. Ципес. - М.: ЗАО «Олимп -Бизнес», 2003. - 240 с.

DECISION-MAKING INTELLIGENT SUPPORT IN THE RISK ANALYSIS OF INNOVATIVE PROJECT

N.O. Nikulina1'3, A.I. Malakhova1,b, I.F. Ivanova 2,c

1 Ufa State Aviation Technical University, Ufa, Russia anikulinano@outlook. com, [email protected] 2PJSC "UEK - Ufa Motor-building Production Association", Ufa, Russia civanovaif@yandex. ru

Abstract

The article deals with the innovative project management aspects, implemented at industrial enterprises. An actual task is to provide decision-making support timely to all its participants. A purpose of the research is to explore possibilities to use the intelligent knowledge management technologies in innovative projects, as well as to develop methodological and theoretical principals of innovative project management in conditions of uncertainty and risk based on ontological analysis and knowledge processing. The levels of problem situations during the implementation of the innovative project in industrial environment are formed based on the results of project risk analysis. The main problem situations in which the innovative project participants appeal to the ontology are identified. A unified approach to innovative projects management is proposed based on system integration of innovative project management ontology and decision-making support ontology. The integrated decision-making support ontology in innovative project management is the result of the research. A novelty of the proposed integrated ontology lies in displaying the concepts of project management processes and its individuals for forming the various situations descriptions which require decision-making.

Key words: intelligent technologies, innovative project, decision making support, problem situation, ontology.

Citation: Nikulina NO, Malakhova AI, Ivanova IF. Decision-making intelligent support in the risk analysis of innovative project [In Russian]. Ontology of designing. 2019; 9(3): 382-397. - DOI: 10.18287/2223-9537-2019-9-3-382-397.

Acknowledgments

The work is supported by RFBR grant № 18-00-00345 (18-00-00238) "Methods and models of decision making support in innovative projects management based on knowledge engineering".

References

[1] Federal law № 127-FL dated 23.08.1996 "On science and state scientific and technical policy" (ed. dated 23.05.2016) [in Russian]. - https://MHHo6pHayKH.p$/goKyMeHTbi/817/$aH^/8375/127-$3.pdf.

[2] Law on innovation activity [in Russian]. Journal "Accreditation in education", № 44, December 2010. -http://akvobr. ru/j ournal_akkreditacia_v_obrazovanii_44.htm.

[3] Draft Federal law "On scientific, technical and innovative activity in Russian Federation" (28.03.2018) [in Russian]. - http://www.consultant.ru/law/hotdocs/ 53106.html.

[4] Decree of the President of Russian Federation № 899 dated 07.07.2011 "On approving the priority directions of science, technologies and techniques progress in Russian Federation and the list of critical technologies in Russian Federation" (with amendments dated 16.12.2015) [in Russian]. Electronic Fund of legal,.regulatory and technical documentation. - http://docs.cntd.ru /document/902287707.

[5] Novikov DA, Ivashchenko AA. Models and methods of organization management of the firm innovative development [in Russian]. - M.: LENAND, 2006. - 336 p.

[6] Pulse of the Profession®: Success in disruptive times. Expanding the value delivery landscape to address the high cost of low performance, February 2018. - https://www.pmi.org/learning/thought-leadership/pulse/pulse-of-the-profession-2018.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

[7] Indicators of Innovation in Russian Federation: 2018: Data book [in Russian]. N. Gorodnikova, L. Gokhberg, K. Ditkovskiy et al.; National Research University Higher School of Economics. - Moscow: HSE, 2018. - 369 p.

[8] Organization of the helicopter engine components production VK-2500 in UEK-UMPA [in Russian]. Official website of the PJSC "UEK - UMPA". - http://umpo.ru/products/perspektivnye-izdeliya/vk-2500.

[9] The unites are committed to the series [in Russian]. Sectorial informational-analytical agency "AviaPort". -https://www.aviaport.ru/news/2018/02/06/522101 .html.

[10] Nikulina NO, Ivanova IF, Barmina OV. Project management in business process management [in Russian]. Ufa State Aviation Technical Univercity. - Ufa: USATU RPC, 2017. - 260 p.

[11] Gavrilova TA, Khoroshevsky VF. Knowledge bases of the intellectual systems [in Russian].- St. Petersburg: Piter, 2000. - 384 p.

[12] Chernyakhovskaya LR. Decision-making support at strategic business management on the basis of knowledge engineering [in Russian]. - Ufa: ANRB, Gilem, 2010. - 128 p.

[13] Chernyakhovskaya LR, Malakhova AI. Developing the methods and models of intellectual decision making support on the base of software projects organization management ontology [in Russian]. Ontology of Designing. 2014; 4(10): 42-50.

[14] A Guide to the Project Management Body of Knowledge (PMBoK Guide) / Project Management Institute. 2017. -Pensylvanya: Sixth Edition, PMI Publications, 2017.

[15] Official doumentation on Protégé. - http://protrgrwiki.stanfotd.edu/index.php/ProtegeUserDocs.

[16] Chernyakhovskaya LR, Nikulina NO, Barmina OV. Decision making support effectiveness evaluation in software project realization [in Russian]. Information Technologies of Intellectuall Decision Support: Proceedings of the 6th national conference (with international participation) ITIDS'2018, Ufa-Stavropol, Russia, May 28-31, 2018. - Ufa: USATU RPC, 2018. - V. 2, p.16-22.

[17] Tovb AS, Scipes GL. Project Management: standards, methods, experience [in Russian]. - M.: CJSC "OlympusBusiness", 2003. - 240 p.

Сведения об авторах

Никулина Наталья Олеговна, 1971 г. рождения. Окончила Уфимский государственный авиационный технический университет в 1994 г., к.т.н. (1998). Доцент кафедры автоматизированных систем управления. Научные интересы: управление проектами, системное моделирование и проектирование информационных систем в организационном управлении. В списке трудов более 40 работ в указанных областях. Natalya Olegovna Nikulina (b. 1971) graduated from the Ufa State Aviation Technical University in 1994, PhD (1998).She is an associate professor at Ufa State Aviation Technical University (Department of automated and management systems). Researching fields are project management, system modeling and designing information-systems in organizational management. She is co-author more 40 scientific articles and abstracts.

Малахова Анна Ивановна, 1987 г. рождения. Окончила Уфимский государственный авиационный технический университет (2009), к.т.н. (2013). Доцент кафедры автоматизированных систем управления Уфимского государственного авиационного технического университета. В списке научных трудов около 30 работ в области построения интеллектуальных систем поддержки принятия решений.

Anna Ivanovna Malakhova (b. 1987) graduated from the Ufa State Aviation Technical University in 2009, Ph.D. (2013). Associate professor of Ufa State Aviation Technical University (Department of automated and management systems). Co-author of about 30 scientific publications in the field of intellectual decision support systems development. Иванова Ирина Фанилевна, 1981 г. рождения. Окончила Уфимский государственный авиационный технический университет в 2002 г., к.т.н. (2012). Начальник отдела проекта вертолётных двигателей Уфимского моторостроительного производственного объединения. Научные интересы: управление проектами в машиностроительной отрасли, анализ бизнес-процессов промышленного предприятия и системное моделирование. В списке трудов более 20 работ в указанных областях.

Irina Fanilevna Ivanova (b. 1981) graduated from the Ufa State Aviation Technical University in 2002, PhD (2012). She is a Head of the project Department of helicopter engines at Ufa engine-building production association. Researching fields are project management in the engineering industry, analysis of business processes and system modeling. She is co-author more 20 scientific articles and abstracts.

i Надоели баннеры? Вы всегда можете отключить рекламу.