CC BY
7
УДК 004.02
Паршин И. И.
студент магистратуры 2 года обучения
Халилов Ш.А. аспирант 2 года обучения научный руководитель: Путивцева Н.П., к.техн.н.
доцент
кафедра прикладной информатики и информационных технологий
научный руководитель: Зайцева Т.В., к. техн. н.
доцент
кафедра прикладной информатики и информационных технологий Белгородский государственный национальный исследовательский
университет Россия, г. Белгород СРАВНИТЕЛЬНЫЙ АНАЛИЗ КАЧЕСТВЕННЫХ МЕТОДОВ
ОЦЕНКИ ЭФФЕКТИВНОСТИ ИТ-ПРОЕКТОВ Аннотация: В работе проведен сравнительный многокритериальный анализ качественных методов оценки эффективности ИТ-проектов с помощью метода анализа иерархий. Анализ проводился на основе следующих критериев: трудоёмкость; точность результатов; охват факторов. Для автоматизации расчетов была разработана собственная компьютерная программа.
Ключевые слова: оценка эффективности, ИТ-проекты, качественные методы, многокритериальное оценивание, метод анализа иерархий
Parshin I.I.
second-year student of master course Belgorod State National Research University, Russia, Belgorod
Khalilov Sh.A. second-year graduate student Belgorod State National Research University, Russia, Belgorod
Academic advisers: Putivzeva N.P., candidate of technical sciences associate professor of the department of applied informatics and
information technologies Belgorod State National Research University, Russia, Belgorod Zaitseva T.V., candidate of technical sciences, academic title of associate
professor
associate professor of the department of applied informatics and
information technologies Belgorod State National Research University, Russia, Belgorod COMPARATIVE ANALYSIS OF QUALITATIVE METHODS FOR EVALUATING THE EFFECTIVENESS OF IT PROJECTS Annotation: A comparative multicriteria analysis of qualitative methods for evaluating the effectiveness of IT projects with the use of the analytical hierarchy
process was carried out. The analysis was carried out on the basis of the following criteria: labor input; accuracy of the results; coverage of factors. To automate the calculations, our own computer program was developed.
Keywords: effectiveness evaluation, IT projects, quality methods, multi-criteria evaluation, analytical hierarchy process
В настоящее время разработан ряд методов, позволяющих оценить эффективность проектов в сфере информационно-коммуникационных технологий, которые можно сгруппировать по используемому для расчетов математическому инструментарию. Исследователи чаще всего выделяют следующие группы методов: финансовые, качественные, вероятностные [1-3].
Каждая группа методов имеет как свои достоинства, так и недостатки. Так, например, достоинством качественных методов можно считать возможность дополнения качественными оценками сделанных на основе реальных показателей работы с учетом полученных результатов в ходе выполнения ИТ-проектов количественных расчетов. Использование при оценке эффективности качественных оценок дает возможность проведения анализа всего набора возможных (или допустимых, или отобранных) факторов проекта и соотнесения их со стратегией организации. Также особенностью использования группы качественных методов является возможность самостоятельного выбора ИТ-специалистами важных с их точки зрения характеристик ИТ (в зависимости от деятельности организации), а также установления соотношений (предпочтительности, приоритетности) между отобранными характеристиками.
Кроме достоинств, данная группа методов имеет и недостатки, основным из которых является необходимость самостоятельной разработки уникальной системы показателей, учитывающей особенности не только организации, но и конкретного ИТ-проекта. Другим, не менее важным недостатком является субъективность суждений привлекаемых специалистов при разработке системы показателей.
К качественным методам оценки эффективности относятся:
- BSC - сбалансированная система показателей;
- BITS - внутренняя норма доходности;
- IE - информационная экономика;
- PM - управление активом заказов;
- TEI - совокупный экономический эффект;
- REJ - быстрое экономическое обоснование.
Для сравнения эффективности этих методов был применён метод анализа иерархий Саати [4].
Критериями сравнения являются:
- трудоёмкость;
- точность результатов;
- охват факторов.
Матрица парных сравнений критериев приведена на рисунке 1.
Метод Саати
Матрица парных сравнений критериев Матрицы парньк сравнений альтернатив Итоги
То Ч НО СТЬ Трудоёмкость Охват Факторов ВПП НВПП результатов
Трудоёмкост Точность результатов . Охват Факторов Суммы 1 1/4 1/6 0.35 0.09
4 1 2 2 0.53
6 1/2 1 1.44 0.38
11 1.75 3.167 3.789 1
< >
3.136 ИС 0,068 ОС 0.0755555555 ОК
Рисунок 1 - Матрица парных сравнений критериев
Матрица парных сравнений альтернатив по критерию «Трудоёмкость» приведена на рисунке 2.
Матрица парных сравнений альтернатив по критерию «Точность результатов» приведена на рисунке 3.
Метод Саати
Матрииа парны* сравнений критериев Матрицы парных сравнений альтернатив Итоги
В5С В1Т5 Е РМ ТЕ1 яа влп нвлп
вэс 1 1/5 3 5 5 4 1,98 0.21
В1ТБ 5 1 5 8 £ 7 4.73 0.51
Е 1/3 1/5 1 3 3 3 1,1 0.12
РМ 1/5 1/8 1/3 1 1 1/3 0,37 0.04
► та 1/5 1/8 1/3 1 1 1/2 0,4 0.04
ЯЕи 1/4 1/7 1/3 3 2 1 0,64 0.07
Суммы 6.953 1,793 9,999 21 20 15,833- 9,232 0.99
Критерий Трудоёмкость V Рассчитать лля текущего ксштеоия О К
6.33Э ИС 0.063 ОС 0.0515151515
Рисунок 2 - МПС альтернатив по трудоёмкости
г Метод Саати
Матрица парных сравнений критериев Матрицы парных сравнений альтернате Итоги
_ П
ВБС В1Т5 1Е РМ ТЕ1 ЯЕ1 ВЛП нвлп
вэс 1 1/3 1/2 4 4 5 1.54 0.19
впз з 1 1 6 6 Э 3.53 0.43
1Е 2 1/2 1 3 3 2 1.62 0.2
РМ 1/4 1/6 1/3 1 1 1/3 0.41 0.05
та 1/4 1/6 1/3 1 1 1/3 0.41 0.05
РЕи 1/5 1/9 Т/2 3 3 1 0.68 0.08
Суммы 6,7 2.278 4.6Б6 18 18 17.666 8.189 1
Критерий Точность резуп V Ьпах
Рассчитать для текущего кситеоия
ОК
6.444
"С 0.089
ОС 0.0674242424
Рисунок 3 - МПС альтернатив по точности результатов
Матрица парных сравнений альтернатив по критерию «Точность результатов» приведена на рисунке 4.
в=г Метод Саати
Матрена парных сравнении критериев Матрицы парны*, сравнений альтернатив Итоги
_ П
В5С В1Т5 1Е РМ ТЕ1 ЯЕЛ ВЛП НВЛП
В5С 1 5 1/2 1/6 1/6 1/5 0.43 0.05
ВИЗ 1/5 1 1/7 1/9 1/Э 1/8 0.19 0.02
1Е 2 7 1 1/4 1/4 1/3 0.31 0.09
РМ 6 Э 4 1 3 4 3.71 0.41
► та 6 Э 4 1/3 Т 2 2,29 0.25
ИЕи 5 8 3 Т/4 1 а 1 1,57 0.17
Суммы 20.2 39 12.643 2,111 5.028 7.658 9.058 0.99
Критерий Охаат Факторое V Ьпаи
Рассчитать для текчшего книге™й
ОК
6.487
ИС 0.097
ОС 0.0734545484
Рисунок 4 - МПС альтернатив по охвату факторов Рассчитанные итоги приведены на рисунке 5.
□У
Метод Саати
_ П
Матрица парных сравнении критериев Матрицы парных сравнений альтернатив [Итоги
Трудоёмкость Точность результатов Охват факторов Вес альтернативы
► BSC DZI 0,19 0,05 0.1386
BITS 051 0,43 0.02 0.2814
IE 0,Т2 0,2 0,09 0,151
РМ 0,М 0,05 0,41 0,1859
ТВ 0,04 0,05 0,25 0,1251
REJ 0,07 0,03 0,17 0,1133
Рисунок 4 - Итоги
По результатам расчётов метод BITS имеет вес 0.2814, что является наибольшим показателем среди прочих альтернатив, рассмотренных по аналогичным критериям. Это делаем метод BITS наиболее предпочтительным при качественной оценке эффективности, хотя и не исключает уместность применения других рассмотренных методов в случае изменения приоритетов рассмотренных показателей.
Использованные источники:
1. Оценка эффективности ИТ [Электронный ресурс] URL: http://journal.itmane.ru/node/591 (дата обращения: 20.11.2019)
2. Методы определения экономического эффекта от ИТ-проекта [Электронный ресурс] URL: https://blog.iteam.ru/metody-opredeleniya-ekonomicheskogo-effekta-ot-it-proekta/ (дата обращения: 20.11.2019)
3. Казгова М.С., Сторожева Е.В. Исследование системы сбалансированных показателей (balanced scorecard) для оценки эффективности ИТ-проекта [Электронный ресурс] // Материалы VII Международной студенческой научной конференции «Студенческий научный форум» URL: https://scienceforum.ru/2015/article/2015012343 (дата обращения: 20.11.2019)
4. Саати Т. Принятие решений. Метод анализа иерархий [Текст] - Москва: Радио и связь, 1989. - 316с.
