CC BY
59
Экономические науки
Economic sciences
УДК 330.47
МЕТОДИКА ЭКСПЕРТНОЙ ОЦЕНКИ РИСКОВ ПРИ ВНЕДРЕНИИ КОРПОРАТИВНЫХ ИНФОРМАЦИОННЫХ СИСТЕМ
Е.С. Авдеева, В.Г. Чернов, Д.А. Градусов
Владимирский государственный университет
В статье предложена методика проведения экспертной оценки рисков, возникающих при внедрении корпоративных информационных систем на предприятиях. Рассмотрен анализ согласованности оценок факторов риска.
Ключевые слова: риски проекта внедрения корпоративных информационных систем, экспертная оценка рисков внедрения КИС, анализ согласованности оценок.
Внедрение корпоративной информационной системы как самостоятельно разработанной предприятием, так и готовой разработки (например, SAP R/3, Oracle Applications, MBS Navision и др.), представляет собой достаточно трудоемкий и сложный процесс, состоящий из нескольких этапов и сопровождающийся множеством рисков, которые необходимо заранее определять, оценивать и которыми нужно управлять. Поэтому любой проект внедрения должен включать в себя управление рисками, состоящее из идентификации рисков, их оценки и принятия решения об их минимизации. Целью управления рисками является не только устранение рисков и их факторов, но и повышение эффективности проекта.
Основными показателями проекта внедрения КИС, с помощью которых можно оценить его успех или неудачу, являются бюджет, сроки и качество. Главная задача руководителя проекта внедрения - уложиться в выделенный бюджет и заданные сроки и обеспечить
требуемое качество имеющимися ресурсами. Сбалансировать эти показатели всегда довольно трудно, поэтому общими рисками, характерными для любого проекта внедрения КИС, являются риск низкого качества результатов проекта; риск превышения сроков проекта; риск увеличения бюджета проекта. В самом худшем случае возникает риск остановки проекта, когда кардинальным образом изменяются условия и масштабы проекта.
Кроме общих рисков, можно выделить частные риски, характерные для конкретного проекта внедрения и которые также влияют на бюджет, сроки и качество проекта. К частным рискам можно отнести такие наиболее часто встречающиеся риски, как риск непринятия системы пользователями, риск, связанный с поддержкой руководства, а также риск несоответствия поставленным целям проекта и др.
Каждый из частных рисков имеет соответствующие ему факторы или причины возникновения. Так, например,
основными факторами риска перехода на новую систему являются слабое участие операционного персонала (либо он вообще не участвует в проекте); отсутствие или слабая информированность сотрудников предприятия; недостаточное обучение персонала или оно вообще не проводится, а также низкая мотивация.
Одним из главных этапов управления рисками является их оценка. Основными методами оценки проектных рисков являются вероятностный анализ, экспертный анализ, метод аналогов, анализ чувствительности, анализ сценариев развития проекта, метод построения дерева решений проекта и имитационное моделирование с помощью метода Монте-Карло. Анализ особенностей перечисленных методов оценки рисков позволяет сделать вывод, что наиболее подходящими методами для оценки рисков, возникающих при внедрении КИС на предприятиях, являются экспертный анализ, анализ чувствительности, анализ сценариев развития проекта и метод построения деревьев решений проекта. Вероятностный анализ, метод аналогов и имитационное моделирование с помощью метода Монте-Карло трудно использовать для оценки рисков внедрения КИС потому, что для реализации этих методов необходимы статистические данные, которые отсутствуют, поскольку при внедрении КИС на предприятиях используется информация, актуальная на момент внедрения.
Исследование основных методов оценки рисков также позволяет сделать вывод о следующей закономерности: во всех методах, которые можно применять для оценки рисков внедрения корпоративных информационных систем, используются экспертные оценки. Например, в анализе чувствительности для оценки прогнозируемости значений риск-факторов и построения матрицы чувствительности и предсказуемости используется экспертный метод. При анализе сцена-
риев развития проекта экспертным путем оценивается вероятность наступления каждого сценария. Экспертный метод применяется и при построении дерева решений проекта для оценки вероятности наступления возможных результатов того или иного случайного события. Поэтому рассмотрим подробно метод экспертных оценок, как наиболее подходящий и быстрый метод оценки рисков, возникающих при внедрении корпоративных информационных систем на предприятиях, который позволит получить комплексную оценку рисков.
Любой проект внедрения корпоративной информационной системы сопровождается различными рисками. Каждый риск состоит из множества факторов, причем количество факторов в каждом риске может быть разным. Методика проведения экспертной оценки рисков, возникающих при внедрении КИС на предприятиях, состоит из следующих последовательных шагов [2]:
1. Каждый эксперт оценивает все факторы каждого риска. Факторы оцениваются экспертами с точки зрения вероятности наступления фактора и опасности данного фактора для успешного завершения проекта. Каждый эксперт заполняет таблицу 1.
Важность фактора риска находится как произведение вероятности наступления рискового фактора на опасность данного фактора:
У?=Р£хО$, (1)
где У" - важность у -го фактора i -го
риска, выставленная п -м экспертом;
Р" - вероятность наступления ] -го
фактора /-го риска, выставленная п-м экспертом;
О" - опасность или угроза у -го фактора
/ -го риска, выставленная п -м экспертом;
/ - номер риска (/ = 1,2... М);
М - число рисков;
- номер фактора риска = 1, 2... Ц);
Ц - количество факторов і -го риска;
п - номер эксперта (п = 1, 2... Ы);
N - число экспертов.
Вероятность наступления факторов риска может определяться в долях единицы или в процентах по разным шкалам: трех-, пяти- или семиуровневой шкале. Опасность факторов рисков
оценивается в баллах, например, по 10 или 100 балльной шкале.
2. Оценки, проставленные экспертами по каждому фактору риска, сводятся в таблицы, в которых определяется интегральный уровень по каждому фактору риска с учетом уровня компетентности экспертов (таблица 2).
Таблица 1
Наименование рисков Наименование факторов рисков Опасность Вероятность Важность
Риск 1 Фактор 1 оп 1 / рп 1 11 уп у 11
Фактор Ь О" ^11 рп 1 1Ь уп у 1Ь
Риск 2 Фактор 1 оп 21 рп 21 уп г 21
Фактор Ь2 О" 2Ь рп 1 2Ь уп г 2Ь
Риск М Фактор 1 О" ^М1 рп М1 уп г М1
Фактор Ьм О" ^мь рп мь уп г мь
Таблица 2
Интегральная оценка у -го фактора і -го риска
№ п/п ФИО эксперта Уроне ш, компетентности эксперта Нормированный уровень компетентности эксперта Важность j -го фактора і -го риска 11II1 ЄІ |)Л. 11,111,1 II уровень у-го фактора і -го риска
1 Эксперт 1 к1 V.1. и V- 7 У
2 Эксперт 2 к2 К2 V2. и п ■> У
N Эксперт N кн Км Vм и тм •ч/
Итого ^Общ 1 Р<1
Сначала определяется нормированный уровень компетентности экспертов. Для этого оценки компетентности суммируются, и каждая оценка делится на сумму:
*Общ
(2)
где Кп - нормированный уровень компетентности п -го эксперта, причем
N
Т.кп = 1\
п=1
кп - уровень компетентности п-го эксперта;
^общ ~ °бщий уровень компетентности
всех экспертов, который находится по следующей формуле:
N
кОвщ-^кп <3>
п—1
Уровень компетентности экспертов обычно определяется по числовой шкале, например, по 10-ой балльной.
Затем находится интегральный уровень по каждому фактору риска с учетом нормированной компетентности экспертов по следующей формуле:
Ц (4)
где /Ц - интегральный уровень у -го
фактора i -го риска с учетом
нормированной компетентности п -го эксперта;
Кп- нормированный уровень компетентности п -го эксперта;
V": - важность у -го фактора i -го риска,
и
рассчитанная п -м экспертом.
3. На основе данных таблицы 2
определяется среднее значение интегрального уровня фактора риска по всем экспертам:
~ 'ё/>< ’ ^
где Г-- средний интегральный уровень
и
у -го фактора / -го риска.
4. Каждый риск состоит из
факторов, где / - номер риска (/ = 1, 2...М). Результирующее значение риска определяется как среднее геометрическое интегральных оценок факторов данного риска:
п=(6)
где г- - результирующая оценка i -го риска;
- средний интегральный уровень у -го
фактора / -го риска.
5. Далее находится общий риск проекта как среднее геометрическое всех рисков:
Щ
К=ЩП, (V
где К - общий риск проекта.
Нахождение величины риска через среднее геометрическое, а не среднее арифметическое объясняется тем, что среднее геометрическое менее чувствительно к разному количеству усредняемых элементов по сравнению со средним арифметическим [2].
6. После получения оценки рисков проекта определяются возможные изменения показателей проекта, т.е. оценивается риск увеличения бюджета проекта, риск превышения сроков проекта и риск низкого качества результатов проекта. Для этого можно построить таблицу оценки влияния величины риска на показатели проекта (табл. 3).
Таблица 3
Оценка влияния величины рисков на показатели проекта
Оценка риска, Л Изменение показателей проекта 0-20 20-40 40-60 60-80 80-100
Увеличение бюджета, % 50-75 75-100 100-125 125-150 150-200
Превышение сроков, % 20-40 40-60 60-80 80-100 100-120
Снижение качества, % 10-20 20-30 30-40 40-50 50-60
В таблице 3 показан пример оценки влияния величины риска на бюджет, сроки и качество проекта. Такая таблица будет индивидуальной для каждого проекта и определяется его особенностями и масштабом. Значения изменений основных показателей проекта могут быть выставлены экспертами на основе либо статистических данных, либо их личного опыта.
Шкала величины риска
определяется в соответствии с полученными экспертными оценками и зависит от шкал определения вероятности возникновения факторов риска и их последствий. Шкала может быть трехуровневой, пятиуровневой или семиуровневой. Это зависит от результатов экспертных оценок и специфики проекта. В таблице 3 шкала величины риска получена исходя из того, что опасность факторов риска оценивается по 100-балльной шкале, вероятность их наступления - в долях единицы, а компетентность экспертов по 10-бальной шкале [3].
Шкала изменения показателей проекта также будет индивидуальной для разных проектов. В таблице 3 представлен пример шкалы на основе статистических данных, полученных консалтинговой компанией Gather Group в 2007 г. По оценкам Gather Group стоимость проектов внедрения КИС обычно превышает расчетную на 50 -200%, а время выполнения - на 20 -120%. Качество выполнения проекта в среднем снижается на 10 - 60%.
На основе полученных изменений основных показателей проекта внедрения можно скорректировать его бюджет, сроки и качество и предпринять определенные меры по повышению эффективности проекта внедрения КИС.
Проведение экспертных опросов будет более показательным и результативным, если оно сопровождается анали-
зом экспертных оценок и проведением исследования их конкордации, т.е. согласованности. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности оценок экспертов. Поэтому необходимо не только проводить оценку степени согласованности мнений экспертов, но и выявлять причины их неоднородности.
Для анализа согласованности оценок экспертов могут использоваться методы ранговой корреляции, которые были предложены К. Спирмэном и М. Кендаллом. Коэффициент ранговой
корреляции Кендалла имеет более
сложную процедуру вычисления, поэтому рассмотрим только коэффициент ранговой корреляции Спирмена, который определяется по более простой формуле и дает более точный результат [ 1 ].
Коэффициент ранговой кореля-ции Спирмэна основан на рассмотрении разности оценок факторов риска. Согласно этому коэффициенту
оценивается связь между оценками
факторов риска по двум экспертам [1].
Практический расчет коэффициента ранговой корреляции Спирмена включает следующие этапы:
1. Сопоставить каждой оценке ее порядковый номер - ранг по возрастанию (или убыванию).
2. Определить разности рангов каждой пары сопоставляемых значений.
3. Возвести в квадрат каждую разность и суммировать полученные результаты.
4. Вычислить коэффициент коре-ляции рангов по следующей формуле:
<8>
где р- коэффициент ранговой корреляции Спирмена;
/;у - ранг оценки у -го фактора i -го
риска, выставленный 1 -м экспертом;
/;у - ранг оценки у -го фактора i -го
риска, выставленный 2-м экспертом;
Ц - число сопоставляемых пар, равное
количеству оцениваемых факторов риска; / - номер риска (/ = 1,2... М); у - номер фактора риска (у = 1, 2... Ц).
Величина р может принимать значения от —1 до 1. Равенство единице достигается при одинаковых оценках. Значение р = —1 имеет место при противоположных оценках. В случае наименьшей зависимости р = 0, т.е. оценки считаются линейно независимыми. Но величина р не может судить о тесноте связи между оценками, полученными от двух экспертов [1].
Коэффициент ранговой корреляции Спирмена целесообразно приметать при наличии небольшого количества наблюдений и для оценки согласованности мнений двух экспертов. Если приходится сопоставлять попарно большое число оценок и число экспертов больше двух, то такая процедура становится громоздкой. В таких случаях используются специальные критерии, позволяющие оценить согласованность оценок нескольких экспертов. Одним из таких критериев является коэффициент конкордации , предложенный Кендаллом:
где ]¥ - коэффициент конкордации;
N - число экспертов;
- количество факторов / -го риска.
Величина £ рассчитывается согласно формуле:
$=ЪЪ;г{щц+1))2, (ю)
з=1 п=1 у 2
где /”■ - ранг оценки у -го фактора i -го
риска, выставленной п -м экспертом;
N - число экспертов;
Ц - количество факторов / -го риска; у - номер фактора риска (у = 1, 2... Ц);
п - номер эксперта (п = 1, 2... Ы).
Поскольку для вычисления коэффициента конкордации используются ранги оценок, то сначала необходимо проранжировать полученные экспертами оценки факторов риска [1].
Коэффициент конкордации изменяется от нуля до единицы, т.е. 0 < ]¥ < 1. Коэффициент конкордации равен 1, если все оценки экспертов одинаковые. Коэффициент конкордации равен 0, если все оценки различны, т.е. совершенно нет совпадений.
Чем ближе значение коэффициента к единице, тем более согласованы мнения экспертов. Минимально допустимое значение коэффициента конкордации составляет 0,4 . При несоблюдении этого условия следует провести коллективное обсуждение, выяснить причины существенных расхождений в оценках экспертов и скорректировать эти оценки таким образом, чтобы получить согласованный результат [1].
Следует обратить внимание на отличие значений коэффициента конкордации от коэффициента корреляции, так как он существует в пределах от 0 до 1. Если мнения экспертов полностью противоположны, коэффициент конкордации равен нулю (IV = 0), а коэффициент корреляции в этом случае будет равен —1.
Предложенная методика проведения экспертной оценки рисков с помощью внедрения КИС на предприятиях позволяет не только измерить величину риска и его факторов, но определить изменения значений основных показателей проекта: бюджета, сроков и качества. Для анализа согласованности экспертных оценок факторов риска наиболее предпочтительным методом является коэффициент конкордации, который позволяет оценить согласован-
ность оценок нескольких экспертов. Кроме того, рассмотренный метод оценки рисков внедрения корпоративных информационных систем может быть использован на предприятии без привлечения внешних консалтинговых фирм, что сокращает стоимость внедрения КИС на предприятиях и позволяет снизить вероятность неудачного завершения проекта внедрения.
Таким образом, количественная оценка риска является важным и необходимым этапом управления рисками, на основе которого можно принимать решения о минимизации риска и проводить мероприятия с целью устранения выявленных рисков и
повышения эффективности проекта в целом.
ЛИТЕРАТУРА
1. Бабич П.Н., Чубенко А.В. Оценка согласованности мнений экспертов с применением коэффициента конкордации // Режим доступа: http://www.biostat.kiev.ua/konkord.php (дата обращения 25.07.2010 г.).
2. Иванесенко А.Г. Управление проектами: учебное пособие / А.Г. Иванесенко, Я.И. Никонова, М.В. Каркавин - Ростов н/Д: Феникс, 2009. -330 с.
3. Методология внедрения. Автоматизация производства // Режим доступа:
http://iscon.space.ru/index.рМт1?гісІ=273 (дата обращения 25.07.2010 г.).
RISK ASSESSMENT METHOD FOR THE INTRODUCTION OF CORPORATE INFORMATION SYSTEMS
E. Avdeeva, V. Chernov, D. Gradusov
The expert evaluation method for risks arising during the introduction of corporate information systems at the enterprises is offered. The analysis of risk factors evaluation coordination are considered.
Keywords: risks of the corporative information systems introduction project, expert evaluation of risks for the corporative information systems introduction, analysis of evaluation coordination.
Рукопись поступила в редакцию 01.11.2010.
НОВЫЕ КНИГИ
Банковская система и ее инфраструктура в России / Монография / Под редакцией Ю. А. Соколова, С. Е. Дубовой. /М.: «Анкил», 2010. - 264 с.
Рассмотрены теоретические вопросы развития банковской системы России и ее инфраструктуры в условиях устойчивой и кризисной экономики. Проанализированы проблемы, определены перспективы: развития региональных банковских систем и обеспечения их безопасности; банковской системы, банковского регулирования и надзора и пути реализации концепции рискориенгированного надзора; развития национальной платежной системы; а также теоретические и практические аспекты функционирования и развития элементов банковской инфраструктуры - бюро кредитных историй, коллекторских агентств, агентств по страхованию вкладов.
Книга дает совокупность современных знаний, необходимых исследователям и аналитикам, занимающимся банковской проблематикой, а также менеджерам, работающим в банковской инфраструктуре, консультантам и аудиторам, работникам надзорных органов.
