CC BY
43
УДК 658.5.012.7
Использование рандомизированных показателей для качественной
оценки осуществимости ИТ-проектов
Канд. техн. и экон. наук Тушавин В. А., tushavin@gmail.com Доцент кафедры инноватики и управления качеством Санкт-Петербургский государственный университет
аэрокосмического приборостроения 190000, Санкт-Петербург, ул. Большая Морская, д. 67
В статье рассматривается подход к оценке осуществимости инвестиционного проекта в области информационных технологий на основе предложенных рандомизированных показателей с использованием метода стохастического доминирования. Показываются его преимущества в сравнении с обычной линейной сверткой при многокритериальном принятии решения. Предлагается модель анализа осуществимости инвестиционного проекта с использованием описанного подхода на основе двух групп показателей, связанных с технической осуществимостью и вероятностью коммерческого успеха, включающая в себя девять показателей. Предлагаются подход к формированию квалиметрических шкал для их оценки На конкретном примере показывается сужение пространства возможных решений при ранжировании показателей. Даются конкретные рекомендации по внедрению предложенного подхода. В заключение обсуждается применимость рассмотренной методики к задаче выбора аутсорсера.
Ключевые слова: управление проектами, стохастическое доминирование, рандомизация показателей
Using randomized indicators for qualitative assessment of the feasibility of IT projects
Ph. D. Tushavin V. A., tushavin@gmail.com St. Petersburg State University space instrument making 190000, St. Petersburg, BolshayaMorskaya St., 67
The article discusses an approach to assessing the feasibility of an investment project in the field of information technology based on the proposed randomized indicators using the stochastic dominance. Shown its advantages in comparison with conventional linear convolution with multiple criteria decision making. A model analysis of the feasibility of an investment project using the described approach is based on two groups of indicators related to technical feasibility and probability of commercial success, which includes nine indicators. Suggested approach to the formation qualimetric scales to evaluate them on a particular example show narrowing of the space of possible solutions in the ranking indicators. Provides specific recommendations for the implementation of the proposed plan. Finally, we discuss the applicability of the methodology to the considered problem of selecting an outsourcer.
Keywords: project management, stochastic dominance, randomization indicators
Общемировой экономический опыт последних десятилетий показывает, что инвестирование в информационные технологии (ИТ) является важнейшим источником экономического роста предприятий, инструментом повышения прозрачности бизнеса. В то же время, нельзя не отметить, что проекты в области информационных технологий являются наиболее рискованными из инвестиционных проектов, что подтверждается результатами многолетних исследований Стандиш Гроуп (The Standish Group), которые показали, что вероятность успешного окончания ИТ-проекта, т. е. с соблюдением сроков, бюджета и содержания, составляет менее 35 %. А в связи с тем, что в процессе реализации инвестиционного проекта по внедрению автоматизированной системы управления, по сути, мы имеем создание нематериальных активов в условиях неопределенности требований потребителя, в большинстве случаев связанное с реинжинирингом существующих бизнес-процессов, то значительных качественных изменений в результативности проектной деятельности в области ИТ в последние десятилетия не происходило.
Классические подходы связанные с оценкой финансовой состоятельности проекта в таких условиях также часто являются предметом различных спекуляций и «подгонкой задачи под нужный ответ». Данный феномен достаточно широко известен и рассмотрен в отечественной науке [1, 15, 19]. В рамках решения задачи повышения эффективности инвестиционных проектов была разработана методика качественной оценки их осуществимости, показатели которой представлены в табл. 1. В рамках данной методики, экспертная оценка проводится группой специалистов различных отделов и подразделений организации, включающих технические, экономические и маркетинговые службы предприятия, на основании опросных листов. Последующая обработка данных заключается в нахождении выборочных средних: сначала вычисляется средняя оценка по вопросам технической реализации проекта — k1, затем по вопросам коммерческого успеха проекта — k2 для каждого эксперта. Затем вычисляются выборочные средние для k1 и k2 по всем экспертам. Положение данной точки на двухмерной плоскости определяет возможные границы принятия решения, определяемые толерантностью к рискам участников проекта [14].
Несмотря на простоту, данное решение не лишено недостатков. Во-первых, использование ранговых шкал делает некорректной использование операций суммирования, а, следовательно, нахождение среднего арифметического. Во многих прикладных задачах достаточно часто встречается пренебрежение теорией репрезентативных измерений, а понятие допустимого преобразования шкалы измерений
не вошло в достаточной мере в практику прикладных экономических исследований, использующих нечисловые исходные данные.
Во-вторых, результат подразумевает равенство критериев по значимости между собой, что не является очевидным. Поэтому для решения задач такого рода целесообразно использование метода построения рандомизированных оценок комплексного показателя осуществимости проекта на основе дискретных моделей распределения вероятностей на целочисленных решетках, рассмотренного в работах Н. Н. Рожкова [9, 10, 11] и Н. В. Хованова [16, 17, 18], с последующим сравнением их между собой с использованием стохастического доминирования. Иными словами, целесообразно применить методы, разработанные в квалиметрии, для решения задачи ранжирования ИТ-проектов по их технической осуществимости или сравнения с «эталонной» минимально допустимой моделью.
В большинстве практических задач, решаемых с помощью методов квалиметрии, используется комплексный показатель качества Q, конструируемый на основе т единичных показателей с использованием весовых коэффициентов р1... рт при
помощи определенным образом заданной процедуры свертки (обзор этих процедур можно найти в работе [2], также представляет интерес алгоритм, описанный в работе [12]). На практике чаще всего применяется линейная свертка:
т
о=£р.х(1) (1)
1=1
Иными словами, задачу построения показателя Q можно разбить на два этапа:
1. Выбор ключевых показателей эффективности (КР1), подлежащих включению в номенклатуру единичных показателей линейной свертки.
2. Определение весовых коэффициентов р1.рт, отражающих относительную значимость единичных показателей Х(1)...Х(т). При этом все единичные показатели имеют одинаковую направленность шкал и их относительное качество возрастает с ростом их значения.
В настоящее время существует значительное число подходов к установлению весов [8] (включая отказ от присвоения им постоянного значения и задания их в виде некоторой функции от показателя состояния среды, в которой существует исследуемый объект [5]). Как было показано [9], при отсутствии достаточных оснований для однозначного выбора весовых коэффициентов р1.рт, данная задача применительно к сфере услуг может быть решена с использованием модели рандомизации этих коэффициентов.
Пусть рь...,рт - весовые коэффициенты, которые используются в построении комплексной модели качества, тогда помимо обычно налагаемых условий:
т
Р!>0 (для всех 1=1,... т), = 1 (2)
1=1
весовые коэффициенты также удовлетворяют следующему ограничению: все pi принимают значения лишь из множества чисел:
{0,п1,2п1,...,(п-1)п1Д}, (3)
где п - заданное целое число, которое определяет точность, с которой в дальнейшем будут оцениваться веса. Число всех возможных векторов в таком случае, обозначаемое далее как N^0) описывается следующей комбинаторной формулой (4):
Ч^п + т-Л
(4)
V т"1
В случае, если все N^0) наборов (p1,...,pm) является допустимыми в линейной свертке, иными словами, при отсутствии ограничений, налагаемых иерархией показателей, приходим к выбору модели основанной на равномерном распределении, когда каждый набор весов может быть принят с вероятностью ^(0)-1. Впервые данная модель была изучена в работах Н.В. Хованова [16, 17, 18]. При таком подходе весовые коэффициенты pi являются случайной величиной, далее обозначаемые Pi и как показано в работе [9], асимптотически сходятся по функции распределения к бета-распределению, с плотностью распределения описываемой функцией (5):
Гр(х;1;ш-1) = (ш-1)(1-хГ-2, (5)
Более подробно поддерживающий эту методику математический аппарат рассмотрен в работе [9].
Нестрогое неравенство pi>0 в формуле (2) означает, что некоторые из весовых коэффициентов могут быть равны нулю, т.е. не вносят вклад в итоговое качество объекта. Поскольку решаемая задача связана с ключевыми индикаторами производительности, то целесообразно использовать строгое неравенство, что преобразует формулу (2) и (3) к виду:
1 ш р,> (для всех 1=1,... т), =1 (6)
п
¡=1
Множество всевозможных весов, которое удовлетворяет таким условиям, содержит число элементов N^1), где:
N(1) =
'п-1' т1
(7)
Данная модель распределения случайных весов также основана на равномерном распределении, когда каждый набор весов может быть принят с вероятностью ^(1)-1. При этом математическое ожидание случайной величины Pi для данного закона распределения соответственно равно:
Е(Р;) = — (8)
ш
Пусть значения рандомизированного комплексного показателя Q для качества объектов (А) и могут быть вычислены по формуле (1). Решение о предпочтении
одного объекта по сравнению с другим может быть принято путем сравнения и рв. Однако, в результате рандомизации выполнение неравенства > рв является случайным событием с вероятностью Р(0А > 0в). Если указанная вероятность превосходит некоторое пороговое значение у, то можно говорить о значимом стохастическом доминировании объекта А над объектом в.
Рассмотрим практическую пример анализа анализа осуществимости ИТ-проекта с использованием разработанных показателей. Пусть имеются показатели осуществимости ИТ-проекта, представленные в таблице 1.
Таблица 1 - Показатели осуществимость ИТ-проекта
Индикатор качества Обозначение Способ измерения/оценки
Показатели вероятности технического осуществления проекта
Степень Х(1) Нормированная медиана экспертных
интеллектуальной оценок [0..1] по ранговой
трудности решения квалиметрической шкале «не имеет
основной задачи проекта аналогов» до «типовая задача»
Уровень зрелости Х(2) Нормированный показатель зрелости
автоматизированного [0:1] по ранговой квалиметрической
процесса шкале от 0 до 5 в соответствии с отраслевыми стандартами от «процесс отсутствует» до «процесс определен».
Уровень проектной Х(3) Нормированный показатель зрелости
зрелости автоматизации [0:1] по ранговой квалиметрической шкале от 0 до 5 в соответствии с выбранной процессной моделью от «процесс отсутствует» до «процесс определен»..
Обеспеченность проекта Х(4) Нормированная медиана экспертных
ресурсами (люди, оценок [0..1] по ранговой
информация, материалы, квалиметрической шкале «не имеет
оборудование) аналогов» до «типовая задача»
Вероятность Х(5) Нормированная медиана экспертных
использования оценок [0..1]. 0 - вероятность
результатов проекта в отсутствует, 1 - полная уверенность.
ближайшие 1-2
года
Анализ вероятности коммерческого успеха проекта
Доля технологии в Х(6) Нормированная медиана экспертных
производстве продукции: оценок [0..1]. 0 -отсутствует, 1 - 100%.
Степень изменения конкурентоспособности продукции от внедренной технологии: X'" Нормированная медиана экспертных оценок [0..1] по ранговой квалиметрической шкале от «аналог» до «лидер»
Готовность рынка к восприятию планируемого изменения в технологии Нормированная медиана экспертных оценок [0..1] по ранговой квалиметрической шкале от «безразлично» до «воспринимает с готовностью»
Возможное изменение текущих затрат по результатам внедрения проекта Х9) Нормированная медиана экспертных оценок [0..1] по ранговой квалиметрической шкале от «увеличение» до «снижение»
Тогда интегрированный показатель осуществимости проекта может быть описан с
^x(1)+p2x(2)+p3x(3)+p4x(4)+p5x(5)+p6]
помощью следующей линейной свертки Q=P1X(1)+P2X(2)+P3X(3)+P4X(4)+P5X(5)+P6X(6)+
P7X(7)+P8X(8) +P9X(9)
Рассмотрим два варианта свертки: без ограничений и с ограничениями. Ограничения сформируем в виде следующего неравенства весовых коэффициентов p3>p1, p1>p2, p6>p4, p5>p4, p2>p4, p9>p8, p9>p7. Учитывая, что в рамках метода рандомизации весовые коэффициенты становятся случайными величинами, все семь неравенств следует рассматривать как события, которые должны выполняться с вероятностью единица. Приняв степень точности п-1=0.05, получаем набор из 680238 коэффициентов для случая без ограничений c математическим ожиданием 0.111 и среднеквадратичным отклонением 0.074. После применения ограничений получаем в числе допустимых только 13 возможных значений, представленных в таблице 2.
Таблица 2 - Возможные рандомизированные коэффициенты линейной свертки
P1 P2 P3 P4 P5 P6 P7 P8 P9
1 0.2 0.1 0.25 0.05 0.1 0.1 0.05 0.05 0.1
2 0.15 0.1 0.3 0.05 0.1 0.1 0.05 0.05 0.1
3 0.15 0.1 0.25 0.05 0.15 0.1 0.05 0.05 0.1
4 0.15 0.1 0.25 0.05 0.1 0.15 0.05 0.05 0.1
5 0.15 0.1 0.25 0.05 0.1 0.1 0.05 0.05 0.15
6 0.15 0.1 0.2 0.05 0.2 0.1 0.05 0.05 0.1
7 0.15 0.1 0.2 0.05 0.15 0.15 0.05 0.05 0.1
8 0.15 0.1 0.2 0.05 0.15 0.1 0.05 0.05 0.15
9 0.15 0.1 0.2 0.05 0.1 0.2 0.05 0.05 0.1
10 0.15 0.1 0.2 0.05 0.1 0.15 0.05 0.05 0.15
11 0.15 0.1 0.2 0.05 0.1 0.1 0.1 0.05 0.15
12 0.15 0.1 0.2 0.05 0.1 0.1 0.05 0.1 0.15
13 0.15 0.1 0.2 0.05 0.1 0.1 0.05 0.05 0.2
Среднее 0.15 0.10 0.22 0.05 0.12 0.12 0.05 0.05 0.13
СКО 0.01 0.00 0.03 0.00 0.03 0.03 0.01 0.01 0.03
Взяв в формуле (1) математическое ожидание от правой и левой части, получаем:
т
ЕЮ] = £Е[Р|]Х(0 (9)
Формула (9) позволяет находить математическое ожидание уровня качества с помощью математических ожиданий рандомизированных весов, взятых по всем наборам, соответствующим заданным ограничениям. В случае, если ограничения не используются, задача сводится к тривиальной и среднее значение коэффициентов согласно формуле (9) будет равно 1/т, в данном случае 1/9 или 0,111. В случае же использования описанных выше ограничений, получаем с требуемой точностью до 0.05 следующие значения весов: р!=0.15, р2=0,10, р3=0.20, р4=0.05, р5=0,10, р6=0,15, р7=0,05, р8=0,05, р9=0,15, наиболее близких к математическому ожиданию. Таким образом, для оперативного принятия управленческих решений, можно использовать предложенные средние весовые коэффициенты.
Следует отметить, что использование большого числа показателей, как это видно из формулы (7) значительно повышает требования к вычислительным мощностям, либо приводит к снижению точности расчетов. Исходя из всего вышеизложенного можно сделать вывод, что для решения задачи сравнения показателей осуществимости проектов целесообразно использовать следующую методику:
- определить ключевые показатели (например, см. табл. 1);
- преобразовать показатели к единому диапазону измерения или оценки, например [0:1];
- определить приоритеты относительно сравнительной важности показателей, представив их в виде неравенств и ограничений для неизвестных весовых коэффициентов;
- выделить из всего множества наборов весов с заданной точностью те, которые удовлетворяют указанным условиям;
- определить математическое ожидание для каждого из весов и в дальнейшем использовать его для экспресс-оценки уровня качества;
- ранжировать объекты с помощью метода стохастического доминирования между собой и по отношению к «эталонному» объекту.
Рассмотренная методика также потенциально может использоваться в качестве инструмента принятия решения при заключении аутсорсинговых контрактов [3, 15]. В первую очередь речь идет о принятии решения об использовании аутсорсинга или о реализации проекта своими силами [6]. Кроме того, данную методику могут применять потенциальные аутсорсеры с целью определить соответствие своих компетенций тем задачам, которые ставит заказчик (т. е. фактически для принятия решения об участии в тендере на выполнение проекта или функции - проблема разработки формализованного инструментария для принятия такого решения в настоящее время стоит очень остро [4], в отличие от задачи отбора исполнителя, для которой предложено множество методик [2, 7, 12, 13, 20]).
Полученные нами результаты могут оказаться полезными в первую очередь для менеджеров проектов, решающих задачу определения осуществимости проектов на стадии их инициации.
Список литературы
1. Бобкова Е.Ю. Формирование системы контроллинга на предприятии// Гуманитарные научные исследования. 2013. № 11 (27). С. 34.
2. Котляров И. Д. Алгоритм отбора аутсорсеров по критерию способности обеспечить целевые значения показателей, описывающих передаваемый процесс // Проблемы экономики и управления нефтегазовым комплексом. - 2012. - № 10. - С. 50-54.
3. Котляров И. Д. Сущность аутсорсинга как организационно-экономического явления // Компетентность. - 2012. - № 5. - С. 28-35.
4. Котляров И. Д. Принятие аутсорсером решения о сотрудничестве с заказчиком на основе критерия ожидаемого экономического эффекта // Проблемы экономики и управления нефтегазовым комплексом. - 2013. - № 7. - С. 15-20.
5. Котляров И.Д., Сычева О.С. Оценка конкурентоспособности предприятия сферы услуг: модель плавающих весов // Практический маркетинг. 2010. № 11. С. 11-15.
6. Курбанов А. Х. Методика оценки целесообразности использования аутсорсинга // Современные проблемы науки и образования. - 2012. - № 1. - С. 231.
7. Курбанов А. Х. Методика оценки эффективности деятельности сторонних организаций, привлекаемых в рамках аутсорсинговых контрактов // Фундаментальные исследования. - 2012. - № 6-1. - С. 239-243.
8. Митяков Е. С., Корнилов Д. А. К вопросу о выборе весов при нахождении интегральных показателей экономической динамики // Труды НГТУ им. Р. Е. Алексеева. - 2011. - № 3. - С. 289-299.
9. Рожков Н. Н. Квалиметрические методы и модели в задачах управления качеством в сфере образования/Н. Н. Рожков. - СПб.: ФГБОУ ВПО «СПГУТД», 2011. - 218 с.
10.Рожков Н. Н. Квалиметрический подход к задаче комплексного оценивания качества государственных услуг // Управленческое консультирование. 2011. № 3. С. 26-32.
11.Рожков Н.Н. Рандомизированный критерий сравнения качества сложных объектов // Экономика и математические методы. Т. 27. Вып. 3. М., 1991. С. 597-600.
12.Руденко Е. Н., Кравец О. Я. Моделирование выбора поставщика Интернет-услуг на основе системы поддержки принятия решений // Экономика и менеджмент систем управления. - 2012. - Т. 4. - № 2. - С. 74-79.
13.Самсонова А. С. Метод отбора провайдера услуг технического сервиса // Научный журнал НИУ ИТМО. Серия «Экономика и экологический менеджмент». 2012. № 2. С. 416-421.
14.Тушавин В.А. Механизм управления малыми инвестиционными проектами в области информационных технологий. Диссертация на соискание ученой степени кандидата экономических наук / Санкт-Петербургский государственный университет аэрокосмического приборостроения. Санкт-Петербург, 2009. - 230 с.
15.Тушавин В.А. Особенности аутсорсинга в сфере информационно -коммуникационных технологий // Менеджмент и бизнес-администрирование. 2014. № 1. С. 79-86.
16.Хованов Н. В. Математические основы теории шкал измерения качества / Н.В. Хованов. - Л. Из-во ЛГУ, 1982 - 188 с.
17.Хованов Н. В. Стохастические процессы и поля с равновероятными дискретными монотонными реализациями // Управление, надежность и навигация. - Саранск: 1979, - Вып. 5. - С. 136-139.
18.Хованов Н. В.АСПИД - система квалиметрических методов оценивания в условиях дефицита информации качества сложных технических объектов // Методология и практика оценивания качества продукции. - Л.: ЛДНТП, 1988. - С. 56-61.
19.Чебыкина М.В., Бобкова Е.Ю. Система критериев и принципов эффективного использования ресурсного потенциала предприятия с учетом его капитализации // Экономика и менеджмент систем управления. 2012. Т. 6. № 4.3. С. 399-405.
20.Hatush Zedan, Skitmore M. Contractor selection using multicriteria utility theory: an additive model // Building and Environment. - 1998. - V. 33 - Issue 2-3. - P. 105-115.
Spisok literatury
1. Kotljarov I.D., Sycheva O.S. Ocenka konkurentosposobnosti predprijatija sfery uslug: model' plavajushhih vesov//Prakticheskij marketing. 2010. № 11. S. 11-15.
2. Ко^агоу 1.Э. РгоЫешу осепк1 ]екопош1сЬевко§о jeffekta аи1вог81п§а//РгоЬ1ешу ]екопош1к1 1 иргау1епг)а neftegazovyш кошр1екБош. 2013. № 6. S. 9-13.
3. ТшИаут У.Л. ЫеИап17ш иргау1еп1)а ша1уш1 investicionnyшi pгoektaшi у oЬ1asti тйгшасюпдуЬ tehno1ogij. Disseгtacija па soiskanie uchenoj stepeni kandidata jekonoшicheskih паик / Sankt-Peteгbuгgskij gosudaгstvennyj univeгsitet ajeгokosшicheskogo pгiЬoгostгoenija. Sankt-PeteгЬuгg, 2009. - 230 s.
4. Rozhkov N. N. Kva1iшetгicheskie шetody i шode1i v zadachah upгav1enija kachestvoш v sfeгe oЬгazovanija/N. N. Rozhkov. - SPb.:FGBOUVPO «SPGUTD», 2011. -218 s.
5. Rozhkov N. N. Kva1iшetгicheskij podhod к zadache koшp1eksnogo ocenivanija kachestva gosudaгstvennyh us1ug//Upravlencheskoe konsul'tirovanie. 2011. № 3. S. 26-32.
6. Rozhkov N.N. Randoшiziгovannyj kriteгij sгavnenija kachestva s1ozhnyh oЬ#ektov//Jekonoшika i шateшaticheskie metody. Т. 27. УУР. 3. М., 1991. S. 597-600.
7. Hovanov N. V. Mateшaticheskie osnovy teorii shka1 izшeгenija kachestva/N.V. Hovanov. - Ь. Iz-vo ЬОи, 1982 - 188 s.
8. Hovanov N. V. Stohasticheskie pгocessy i роЦа s гavnoveгojatnyшi diskretnymi шonotonnymi rea1izacijami//Uprav1enie, nadezhnost, i navigacija. - Saransk: 1979, - Vyp. 5. -S. 136-139.
9. Hovanov N. V.ASPID - sisteшa kva1iшetгicheskih metodov ocenivanija v us1ovijah deficita Могшасп kachestva s1ozhnyh tehnicheskih oЬ#ektov//Metodo1ogija ! pгaktika ocenivanija kachestva pгodukcii. - Ь.: LDNTP, 1988. - S. 56-61.
10. Tushavin V.Л. Osobennosti autsoгsinga v sfeгe infoгшacionno-kommunikacionnyh tehno1ogij// Menedzhment i Ьiznes-administrirovanie. 2014. № 1. S. 79-86.
11. ОДеЬукта M.V., BoЬkova E.Ju. Cisteшa kriteriev i pгincipov jeffektivnogo ispo1,zovanija resursnogo potencia1a pгedpгijatija s uchetoш ego kapita1izacii//Jekonomika i menedzhment sistem upravlenija. 2012. Т. 6. № 4.3. S. 399-405.
12. BoЬkova ЕЛа Foгmiгovanie sisteшy kontгo11inga na р^ргуаШ// Guшanitaгnye паискпуе issledovanija. 2013. № 11 (27). S. 34.
