CC BY
115
Оценка сложности инновационных проектов
Т. К. Кравченко,
д. э. н., профессор, зав. кафедрой
tkravchenko@hse.ru
Д. В. Исаев,
к. э. н., доцент
disaev@hse.ru
Кафедра бизнес-аналитики, школа бизнес-информатики, факультет бизнеса и менеджмента, Национальный исследовательский университет «Высшая школа экономики», г. Москва
В статье рассматриваются вопросы оценки сложности инновационных проектов, которые являются уникальными, основываются на неполной или слабоструктурированной информации и испытывают существенное влияние фактора неопределенности. В соответствии с имеющимися разработками в данной области рассматриваются четыре категории сложности проектов, а также двухуровневая система признаков сложности.
Авторское развитие методики оценки сложности проектов предусматривает применение коэффициентов относительной значимости признаков сложности проектов, учет неопределенности внешних условий их реализации (с вероятностями возможного возникновения тех или иных ситуаций), а также возможность привлечения для оценки проектов группы экспертов (с учетом различий в их компетентности).
Разработанный авторами подход к определению параметров модели (коэффициентов относительной значимости признаков сложности, вероятностей возникновения ситуаций, коэффициентов компетентности экспертов) основывается на применении метода анализа иерархий. Также предложена система показателей (индексов), которые на основе обобщения экспертных оценок позволяют классифицировать и ранжировать проекты по уровню сложности.
Апробация предложенного подхода выполнена с применением программного обеспечения Super Decisions на примере одного из инновационных проектов университета.
Ключевые слова: инновационный проект, сложность проекта, экспертные оценки, ситуации, индекс сложности проекта, метод анализа иерархий.
Введение
Одной из важных характеристик проекта является его уровень сложности. Проекты разной сложности требуют разных объемов ресурсов, разных управленческих подходов и разной степени контроля со стороны менеджеров и других заинтересованных лиц. Поэтому оценка сложности является необходимой на этапе определения рамок проектов и планирования проектных работ.
Основные факторы, определяющие сложность проектов, описаны в Своде знаний по бизнес-анализу (Business Analysis Body of Knowledge, BABOK), разработанном Международным институтом бизнес-анализа (International Institute of Business Analysis, IIBA) [1]. К ним, в частности, относятся масштаб проекта, степень его влияния на организацию, используемые методы и технологические решения, квалификация задействованного персонала и некоторые другие. Что касается
проектов, имеющих инновационный характер, то при оценке их сложности следует учитывать ряд дополнительных факторов, к числу которых относятся уникальность, неполнота или слабая структурированность необходимой исходной информации, а также неопределенность внешней среды, в которой проекты предстоит реализовывать.
Свод знаний по бизнес-анализу не содержит детальных рекомендаций, на основе которых можно было бы дать качественную или количественную оценку сложности проекта. Однако теоретические положения, изложенные в этом документе, могут быть использованы для разработки методик, позволяющих оценить сложность проекта с достаточной степенью обоснованности.
Одна из таких методик разработана консалтинговой компанией Kathleen Hass and Associates [2, 3]. В рамках данной модели выделены четыре категории сложности проектов, а также система признаков, по-
зволяющих классифицировать проекты по категориям сложности. При этом, поскольку большинство признаков сложности носят качественный характер, модель предполагает использование экспертных оценок. Однако применимость данной методики для инновационных проектов представляется сомнительной, ввиду игнорирования различий в значимости признаков сложности, особенностей групповой экспертизы и неопределенности внешней среды проекта.
Таким образом, целью настоящего исследования является развитие методики, представленной в работах [2, 3], и разработка усовершенствованного подхода к оценке сложности проектов, который был бы применим для проектов инновационного характера.
1. Классификация проектов по уровню сложности: методика компании Kathleen Hass and Associates
Методика оценки сложности проектов, разработанная консалтинговой компанией Kathleen Hass and Associates [2, 3], основывается на положениях Свода знаний по бизнес-анализу [1] и предназначена для классификации проектов по определенным категориям сложности. К числу элементов модели относятся:
• категории сложности проектов;
• двухуровневая система признаков сложности проектов (признаки первого и второго уровней);
• возможные значения признаков второго уровня и их соответствие тем или иным категориям сложности;
• правила отнесения проекта к одной из категорий сложности на основе его оценки по отдельным признакам.
Первая версия модели [2] предусматривала отнесение проекта к одной из трех категорий: «несложный проект», «умеренно сложный проект» и «очень сложный проект». При этом для классификации использовалась система из одиннадцати признаков сложности первого уровня.
Во второй (текущей) версии модели [3] к имеющимся трем категориям сложности была добавлена еще одна («очень сложная программа» или «мега-проект»), а количество признаков первого уровня было сокращено до девяти. Также были уточнены вербальные характеристики признаков второго уровня, соответствующие той или иной категории сложности.
Таким образом, текущая версия модели [3] предусматривает отнесение проекта к одному из четырех уровней сложности: «несложный проект», «умеренно сложный проект», «очень сложный проект» и «мега-проект». В модели используются девять признаков первого уровня и 28 признаков второго уровня, при этом число признаков второго уровня, относящихся к каждому признаку первого уровня, варьируется от двух до пяти (табл. 1).
Каждый из перечисленных признаков второго уровня имеет четыре допустимых значения, каждое из которых соответствует определенной категории сложности проекта. В результате каждая из категорий сложности характеризуется определенным набором значений признаков второго уровня.
В частности, умеренно сложный проект реализуется проектной группой численностью от 5 до 10 человек (признак 1.1), его продолжительность составляет от трех до шести месяцев (признак 1.2), бюджет проекта составляет от $250 тыс. до 1 млн (признак 1.3), менеджер проекта является компетентным, но недостаточно опытным (признак 2.1), проектная группа включает как внутренних, так и внешних специалистов, имеющих опыт совместной работы в прошлом (признак 2.2) и т. д.
Признаки сложности проектов в подавляющем большинстве носят качественный характер, а их значения представляют собой вербальные описания. Лишь для трех из них, — численности проектной группы, периода реализации и бюджета проекта, — применяются количественные показатели, в том числе финансовые (в долларах США). Однако даже для этих трех признаков количественные характеристики применяются не для всех категорий сложности. Например, численность проектной группы для несложного проекта составляет 3-4 человека, для умеренно сложного — 5-10 человек, для очень сложного — более 10 человек. В то же время для четвертой категории (мегапроекта) численность проектной группы характеризуется не количественно, а вербально, как «наличие нескольких диверсифицированных команд».
Таблица 1
Система признаков сложности проекта
Признаки первого уровня Признаки второго уровня
1. Размер, время, стоимость 1.1. Численность проектной группы. 1.2. Период реализации проекта. 1.3. Бюджет проекта
2. Состав и опыт проектной группы 2.1. Менеджер проекта. 2.2. Проектная группа. 2.3. Методология реализации проекта. 2.4. Контракты. 2.5. Контрагенты
3. Актуальность и гибкость стоимости, времени и рамок проекта 3.1. Рамки проекта. 3.2. Контрольные точки проекта. 3.3. План и бюджет проекта
4. Ясность проблемы, возможностей и решений 4.1. Цели проекта. 4.2. Возможности и решения
5. Изменчивость требований и риски 5.1. Поддержка заказчика. 5.2. Требования. 5.3. Функциональность
6. Стратегическая значимость, политические последствия, стейкхолдеры 6.1. Поддержка со стороны высшего руководства. 6.2. Политические последствия. 6.3. Коммуникации. 6.4. Стейкхолдеры
7. Уровень изменений 7.1. Организационные изменения. 7.2. Коммерческие изменения
8. Риски, зависимости и внешние ограничения 8.1. Уровень рисков. 8.2. Внешние ограничения. 8.3. Интеграция. 8.4. Потенциальный ущерб
9. Сложность применяемых информационных технологий (ИТ) 9.1. Технологии. 9.2. Сложность ИТ-решений
h-о
CN
со
CN
сч
ю
J <
со О
о
со сч N
ю
=г <
со
о
Отнесение проекта к одной из четырех категорий сложности производится на основе значений признаков второго уровня в соответствии со следующими правилами:
• проект считается несложным, если он: а) оценивается как «умеренно сложный» не более, чем по двум признакам и б) не оценивается ни по одному признаку как «очень сложный» или «мегапроект»;
• проект считается умеренно сложным, если он: а) оценивается как «умеренно сложный» по трем и более признакам или б) оценивается как «очень сложный» не более, чем по двум признакам и при этом не оценивается ни по одному признаку как «мегапроект»;
• проект считается очень сложным, если он:
а) с точки зрения организационных изменений (признак 7.1) оказывает влияние на предприятие в целом, охватывает разные подразделения и функциональные области, связан с изменением многих бизнес-процессов и информационных систем или
б) оценивается как «очень сложный» по трем и более признакам и в) оценивается как «мегапроект» не более, чем по одному признаку;
• проект считается мегапроектом, если он: а) реализуется силами нескольких диверсифицированных проектных групп (признак 1.1), в течение нескольких лет (признак 1.2), а его бюджет составляет несколько миллионов долларов (признак 1.3) и б) оценивается как «мегапроект» по двум и более признакам.
Неоспоримыми достоинствами данной модели являются четко выделенные категории и признаки сложности проектов, а также возможность экспертной оценки качественных характеристик проектов.
В то же время модель имеет ряд существенных ограничений.
Во-первых, в рамках модели решается только задача классификации, т. е. отнесения рассматриваемого проекта к одной из четырех категорий сложности. При этом возможность оценки сложности проекта в виде количественного показателя отсутствует. В результате невозможно оценить различия в сложности проектов, отнесенных к одной категории, а также ответить на вопрос, насколько уровень сложности проекта близок к границам, отделяющим категорию, к которой он был отнесен, от смежных категорий.
Во-вторых, не учитываются особенности различных типов проектов, а также особенности стран и регионов, в которых проекты реализуются. Это относится, прежде всего, к трем признакам, для которых приведены количественные характеристики, включая финансовые показатели, выраженные в долларах США.
В-третьих, в модели не учитываются различия в значимости признаков, хотя эти различия объективно существуют, причем для разных типов проектов относительная значимость признаков может различаться.
В-четвертых, при оценке проекта по выделенным признакам в модели не рассматриваются возможности групповой экспертизы, в рамках которой разные эксперты могли бы выразить свои мнения. В то же время групповая экспертиза представляется довольно важ-
ной для инновационных проектов, ввиду их уникальности и слабой структурированности используемой информации.
В-пятых, не учитывается неопределенность внешних условий, в которых проект предстоит реализовы-вать.
В-шестых, правила отнесения проекта к той или иной категории сложности основаны только на типовых прецедентах и поэтому носят сугубо эвристический характер.
Перечисленные ограничения представляются весьма существенными для проектов инновационного характера, поэтому применимость рассмотренной методики для инновационных проектов выглядит весьма проблематичной.
2. Оценка сложности проектов на основе многоаспектной ситуационной групповой экспертизы
Предлагаемый авторами подход к оценке сложности проектов является развитием рассмотренной выше модели и обладает определенной преемственностью по отношению к ней. В частности, оценка сложности проекта основывается на тех же категориях и признаках.
В то же время предлагаемый подход имеет ряд существенных отличий. Главное из них состоит в том, что оценка сложности проекта предусматривает не просто его отнесение к одной из четырех категорий, а формирование количественных показателей — индексов сложности. Такие показатели позволяют не только решать задачу классификации, но и ранжировать проекты по уровню сложности, что дает возможность сопоставления нескольких проектов, независимо от того, к каким категориям сложности они относятся.
Другими особенностями предлагаемого подхода являются:
• учет относительной значимости признаков, по которым оценивается сложность проекта;
• возможность обобщения мнений нескольких независимых экспертов, привлекаемых для оценки проекта, с учетом различий в уровнях их компетентности;
• рассмотрение нескольких ситуаций (состояний внешней среды, наступление которых возможно в будущем), с учетом вероятностей их появления. Кроме того, для оценки численности проектной
группы, периода реализации и бюджета проекта предлагается отказаться от количественных показателей и использовать только качественные характеристики. Это связано с тем, что для проектов разных типов количественные характеристики сложности могут существенно различаться.
Оценки проектов по каждому из признаков задаются в балльной шкале: оценка «1» означает отнесение проекта по соответствующему признаку к категории «несложных», «2» — к категории «умеренно сложных», «3» — к категории «очень сложных», «4» — к категории «мегапроектов». При этом экспертам предоставляется возможность выставлять как целочисленные оценки (если, по мнению эксперта, проект однозначно относится к определенной категории), так и дробные (если
эксперт затрудняется однозначно отнести проект к одной из смежных категорий).
Для учета относительной значимости признаков им присваиваются весовые коэффициенты, сумма которых по всем признакам равна единице. Поскольку проекты разных типов имеют свои особенности, для каждого типа проектов формируется своя система весов. Таким образом, проекты, относящиеся к разным типам, оцениваются по одним и тем же признакам, но с разными весовыми коэффициентами.
Для учета относительной компетентности экспертов и вероятностей наступления в будущем тех или иных ситуаций тоже используются весовые коэффициенты, сумма которых по всем элементам, образующим полную группу, также равна единице.
На основе оценок проектов по разным признакам, заданных разными экспертами для разных ситуаций, рассчитываются индексы сложности, каждый из которых характеризует определенный ракурс рассмотрения проекта. Индексы сложности проекта относятся к одному из четырех типов:
• частный индекс сложности проекта;
• ситуационный индекс сложности проекта;
• экспертный индекс сложности проекта;
• интегральный индекс сложности проекта.
Частный индекс сложности проекта характеризует
его сложность в конкретной ситуации, с точки зрения конкретного эксперта. Этот индекс определяется для каждой пары «ситуация-эксперт» путем обобщения (линейной свертки) экспертных оценок по признакам, с учетом их относительной значимости:
где С^ — частный индекс сложности проекта для 7*-й ситуации и к-то эксперта 0=1, А^; к=1, К); — оценка сложности проекта к-м экспертом, по г-му признаку второго уровня, для 7-й ситуации в балльной шкале со значениями от 1 до 4 (г=1, М]]=\, Ы] к=1, К); а^ — вес (коэффициент относительной значимости) г-го признака (1=1, М); М — число признаков второго уровня; N — число ситуаций; К — число экспертов.
Общее количество частных индексов сложности равно произведению числа ситуаций на число экспертов. В соответствии с каждым из них проект может быть отнесен к той или иной категории сложности, но такая классификация будет характеризовать только мнение конкретного эксперта по отношению к конкретной ситуации.
Ситуационный индекс сложности проекта характеризует сложность проекта в конкретной ситуации, с точки зрения всех экспертов. Он определяется путем обобщения (линейной свертки) частных индексов сложности для конкретной ситуации по всем экспертам, с учетом их коэффициентов компетентности:
где С— ситуационный индекс сложности проекта для 7*-й ситуации 0'=1, N );С^ — частный индекс сложности проекта для ]-й ситуации и к-го эксперта
0=1, к=1,К); у^ — вес (коэффициент компетентности) &-го эксперта (к=1,К); N — число ситуаций; К — число экспертов.
Общее количество ситуационных индексов сложности равно числу рассматриваемых ситуаций.
Экспертный индекс сложности проекта характеризует сложность проекта с точки зрения конкретного эксперта, с учетом всех возможных ситуаций. Он определяется путем обобщения (линейной свертки) частных индексов сложности для данного эксперта по всем ситуациям, с учетом их вероятностей:
7=1
где С— экспертный индекс сложности проекта для к-то эксперта (&=1 — частный индекс сложнос-
ти проекта для 7-й ситуации и к-то эксперта 0=1, ЛГ; к=1,К); ^ — вес (вероятность)7-й ситуации 0=1, N); А^— число ситуаций; К — число экспертов.
Общее количество экспертных индексов сложности равно числу экспертов.
Интегральный индекс сложности проекта характеризует сложность проекта с учетом мнений всех экспертов и всех возможных ситуаций. Он определяется путем обобщения (линейной свертки) частных индексов сложности по всем экспертам (с учетом их коэффициентов компетентности) и всем ситуациям (с учетом их вероятностей):
где С — интегральный индекс сложности проекта; Сд — частный индекс сложности проекта для 7-й ситуации и к-то эксперта р'=1, АГ; к=1,К); ^ — вес (вероятность) 7-й ситуации 0=1, АГ); у^ — вес (коэффициент компетентности) к-то эксперта (к=1, К); N — число ситуаций; К — число экспертов.
Интегральный индекс сложности для каждого из рассматриваемых проектов является единственным.
Поскольку оценки сложности проекта по признакам второго порядка принимают значения от 1 до 4, а сумма весов признаков равна единице, значения частных индексов сложности также могут варьироваться в диапазоне от 1 до 4. В свою очередь, поскольку суммы вероятностей ситуаций и коэффициентов компетентности экспертов равны единице, остальные индексы (ситуационные, экспертные и интегральный) также могут принимать значения от 1 до 4.
Таким образом, значения всех индексов сложности, как и оценки признаков, соответствуют четырем категориям сложности проекта и могут варьироваться от 1 (для «несложного» проекта) до 4 (для «мега-проекта»). При этом значения индексов, как и оценки сложности проекта по признакам, не обязательно являются целочисленными.
На основе индексов сложности проект может быть отнесен к той или иной категории: если индекс не превышает 1,5, то проект считается «несложным», если он находится в диапазоне от 1,5 до 2,5, то проект классифицируется как «умеренно сложный», если индекс находится в диапазоне от 2,5 до 3,5, то проект считается «очень сложным», а если индекс превышает
о см
со см см
ю
<
со О
о
со сч N
ю
=Г <
Сй
О
Рис. 1. Процедура оценки сложности проектов
3,5, то проект считается «мегапроектом». В случае, когда анализируются сразу несколько проектов индексы сложности также могут использоваться для их ранжирования.
Таким образом, процедура оценки сложности проектов предусматривает выполнение этапов, схематично изображенных на рис. 1.
Первые три этапа, которые могут выполняться параллельно, связаны с определением параметров задачи. В частности, в дополнение к уже имеющейся системе признаков определяется совокупность ситуаций (возможных состояний внешней среды в будущем) и состав участников экспертной группы. Для всех элементов определяются их весовые коэффициенты: коэффициенты относительной значимости (для признаков), вероятности (для ситуаций) и коэффициенты компетентности (для экспертов). Все веса определяются экспертным путем, с применением одного из известных методов ранжирования (например, метода анализа иерархий, который более подробно рассмотрен далее).
На четвертом этапе для каждого из рассматриваемых проектов формируются экспертные оценки. Для этого каждый из экспертов оценивает уровень сложности проекта в балльной шкале в диапазоне от 1 до 4 по каждому из признаков второго уровня, для каждой из ситуаций.
На пятом этапе для каждого из рассматриваемых проектов формируются частные индексы сложности. Они рассчитываются для каждой пары «ситуация-эксперт» путем линейной свертки экспертных оценок по признакам, с учетом их относительной значимости.
На шестом этапе для каждого из рассматриваемых проектов формируются ситуационные, экспертные и интегральный индексы сложности. Это делается путем обобщения частных индексов сложности соответственно по ситуациям, экспертам, и одновременно по ситуациям и экспертам, с учетом вероятностей ситуаций и коэффициентов компетентности экспертов.
На седьмом, заключительном, этапе на основе индексов сложности осуществляется классификация проектов по категориям, либо их ранжирование по уровню сложности. При этом в зависимости от типов применяемых индексов классификация или ранжирование осуществляются для конкретной ситуации (на
основе ситуационных индексов), конкретного эксперта (на основе экспертных индексов) или с учетом мнений всех экспертов и всех ситуаций (на основе интегрального индекса).
Таким образом, предлагаемый авторами подход предусматривает оценку сложности проекта в численном выражении (в разных ракурсах, с необходимой детализацией), что позволяет не только классифицировать проекты, но и осуществлять их ранжирование по уровню сложности. Достоинством подхода является то, что оценка сложности проекта является многоаспектной (оценка производится по каждому из признаков, с учетом их значимости), ситуационной (экспертные оценки формируются отдельно для каждой из возможных ситуаций, с учетом вероятностей их возникновения) и групповой (привлекается группа экспертов, каждый из которых оценивает проект независимо от других, при этом для каждого эксперта задается коэффициент компетентности).
Перечисленные особенности авторской методики делают ее применимой для проектов инновационного характера, позволяя принимать во внимание их уникальность, неполноту и слабую структурированность исходной информации, а также то, что планирование и реализация проектов, как правило, осуществляется в условиях неопределенности.
3. Оценка весовых коэффициентов элементов модели с применением метода анализа иерархий
Одним из эффективных методов оценки весовых коэффициентов в рамках предлагаемой модели является метод анализа иерархий (МАИ), разработанный американским ученым Т. Л. Саати [4, 5].
В основе метода лежит построение иерархической структуры, элементы которой подвергаются попарному сравнению. При сравнении любых двух элементов дается ответ на вопрос, какой из них является более предпочтительным и в какой степени. Для этого используется вербально-числовая шкала, также называемая фундаментальной шкалой или шкалой Саати. Результаты заносятся в матрицу попарных сравнений, в которой по строкам и столбцам откладываются сравниваемые элементы, а на пересечениях находятся их сравнительные оценки. После этого на основе собственного вектора матрицы попарных сравнений, а также взвешенной, невзвешенной и предельной суперматриц формируется вектор приоритетов, элементы которого представляют собой относительную предпочтительность объектов иерархии. На заключительном шаге выполняется линейная свертка всех приоритетов иерархии, в результате чего рассчитываются приоритеты элементов нижнего уровня иерархии относительно корневого элемента.
В предлагаемой модели оценки сложности проектов в качестве элементов, подлежащих сравнению, выступают признаки, ситуации и эксперты, а в качестве приоритетов — их веса, т.е. коэффициенты относительной значимости признаков, вероятности ситуаций и коэффициенты компетентности экспертов.
Признаки оценки сложности проектов, перечисленные в табл. 1, могут быть представлены в виде
трехуровневой иерархии, на высшем (нулевом) уровне которой располагается корневой элемент, затем — признаки первого уровня, а после них — признаки второго уровня (рис. 2). Поэтому для определения весов признаков с помощью метода анализа иерархий следует выполнить десять сеансов попарных сравнений: один — для признаков первого уровня и еще девять — для каждой группы признаков второго уровня, относящихся к соответствующему признаку первого уровня.
Что касается определения весов ситуаций и экспертов, то здесь имеют место простые двухуровневые иерархии, включающие корневой элемент и все остальные элементы. Поэтому для каждой из этих иерархий формируется по одной матрице попарных сравнений.
Расчеты с использованием метода анализа иерархий довольно сложны, что объясняет необходимость применения соответствующих информационных систем. Примерами таких систем могут служить Super Decisions, Decision Lens, Expert Choice, Transparent Choice и некоторые другие.
Применимость метода анализа иерархий и соответствующих информационных систем для определения параметров предлагаемой модели обеспечивает возможность практической реализации авторской методики и создает предпосылки для использования данного инструментария в процессе формирования инновационных проектов и программ.
4. Оценка сложности проекта инновационной образовательной программы университета
В качестве примера оценки сложности инновационного проекта в сфере образования рассмотрим один из проектов, реализованных в рамках инновационной образовательной программы Высшей школы экономики (2006-2007 гг.). Данный проект предусматривал разработку аналитической информационной системы «Экспертная система поддержки принятия решений» (ЭСППР) и осуществлялся под руководством и при непосредственном участии авторов [6].
Для оценки сложности проекта использованы признаки, представленные в табл. 1. В качестве ситуаций рассмотрены два варианта реализации проекта: первый — в условиях партнерства университета с компанией, работающей в сфере информационных технологий, второй — реализация проекта собственными
Рис. 2. Иерархия признаков сложности проекта
силами, без участия партнера. В качестве экспертов фигурируют преподаватели кафедры бизнес-аналитики НИУ ВШЭ, включая авторов и некоторых других участников проекта. Оценка сложности проекта произведена в соответствии с предложенной процедурой (рис. 1).
Определение весов элементов задачи (коэффициентов относительной значимости признаков, вероятностей ситуаций и коэффициентов компетентности экспертов) осуществлено с применением метода анализа иерархий. Все необходимые расчеты выполнены при помощи информационной системы Super Decisions.
Для определения коэффициентов относительной значимости признаков, прежде всего, произведена сравнительная оценка признаков первого уровня. Результаты попарных сравнений с применением фундаментальной шкалы Т. Л. Саати представлены в табл. 2 (здесь и далее для обозначения признаков используются их номера из табл. 1). В табл. 2 также представлены результаты расчетов, выполненных на основе матрицы попарных сравнений, — вектор приоритетов, характеризующий относительную значимость признаков первого уровня.
Как видно из табл. 2, два из девяти признаков первого уровня (а именно — 1 и 2) имеют наиболее высокую значимость по сравнению с остальными. В то же время значимость некоторых других признаков (например, 6 и 7) является незначительной.
После определения относительной значимости признаков первого уровня производится оценка признаков второго уровня — отдельно для каждой группы, соответствующей тому или иному признаку первого уровня. В качестве примера в табл. 3 представлены матрица попарных сравнений и вектор приоритетов для пяти признаков второго уровня, относящихся к признаку первого уровня «Состав
Таблица 2
Матрица попарных сравнений и вектор приоритетов признаков первого уровня
Признаки первого Признаки первого уровня Вектор приоритетов
уровня 1 2 3 4 5 6 7 8 9
1 1 1 6 5 6 7 8 4 5 0,303
2 1 1 6 4 5 7 7 4 4 0,277
3 1/6 1/6 1 1/2 1 2 3 1/3 1/2 0,048
4 1/5 1/4 2 1 2 3 4 1 2 0,092
5 1/6 1/5 1 1/2 1 3 3 1/2 1/2 0,054
6 1/7 1/7 1/2 1/3 1/3 1 1 1/4 1/3 0,028
7 1/8 1/7 1/3 1/4 1/3 1 1 1/4 1/3 0,025
8 1/4 1/4 3 1 2 4 4 1 2 0,102
9 1/5 1/4 2 1/2 2 3 3 1/2 1 0,071
h-о
CN
со
CN
сч ю
J <
со О
Таблица 3
Матрица попарных сравнений и вектор приоритетов признаков второго уровня, относящихся к признаку первого уровня «Состав и опыт проектной группы»
и опыт проектной группы», имеющему номер 2. В данном случае вектор приоритетов характеризует относительную значимость признаков второго уровня внутри своей группы.
Как показывают расчеты, среди признаков второго уровня, относящихся к признаку первого уровня с номером 2, есть как более важные (2.1 и 2.2), так и менее значимые (2.4 и 2.5).
Аналогичным образом определяются внутри-групповые веса всех остальных признаков второго уровня.
Общее число сеансов попарных сравнений равно десяти: один — для признаков первого уровня и еще по одному — для каждой из девяти групп признаков второго уровня. По результатам всех сеансов сформи-
рованы кумулятивные веса признаков второго уровня, которые характеризуют их относительную значимость по всей совокупности. Отметим, что кумулятивный вес (коэффициент относительной значимости) каждого признака второго уровня равен произведению его веса внутри своей группы на вес признака первого уровня, к которому он относится (табл. 4).
Как видно из табл. 4, наиболее значимые признаки второго уровня (в частности, 1.2 и 2.2) относятся к признакам первого уровня с номерами 1 и 2, которые являются наиболее важными среди признаков первого уровня. В то же время наименее значимые признаки второго уровня принадлежат наименее важным признакам первого уровня, имеющим номера 6 и 7.
Аналогичным образом (с применением метода анализа иерархий и системы Super Decisions) получены вероятности ситуаций коэффициентов компетентности экспертов. В частности, вероятность реализации проекта в партнерстве с ИТ-компанией составила 0,750, а вероятность отсутствия партнерства — 0,250. Что касается коэффициентов компетентности пяти экспертов, то они составили соответственно 0,438, 0,130, 0,245, 0,122 и 0,065.
Следующий этап процедуры предусматривает формирование экспертных оценок сложности проекта. На этом этапе каждый из пяти экспертов оценивает проект по каждому из 28 признаков второго уровня, в условиях каждой из двух ситуаций.
Признаки второго уровня Признаки второго уровня Вектор приоритетов
2.1 2.2 2.3 2.4 2.5
2.1 1 1/2 2 5 6 0,277
2.2 2 1 4 7 8 0,478
2.3 1/2 1/4 1 2 3 0,133
2.4 1/5 1/7 1/2 1 1 0,060
2.5 1/6 1/8 1/3 1 1 0,052
Таблица 4
Веса (коэффициенты относительной значимости) признаков сложности проекта
Признаки первого уровня Веса признаков первого уровня Признаки второго уровня Внутригрупповые веса признаков второго уровня Кумулятивные веса признаков второго уровня
1 0,303 1.1 0,192 0,058
1.2 0,634 0,192
1.3 0,174 0,053
2 0,277 2.1 0,277 0,077
2.2 0,478 0,132
2.3 0,133 0,037
2.4 0,060 0,017
2.5 0,052 0,014
3 0,048 3.1 0,400 0,019
3.2 0,200 0,010
3.3 0,400 0,019
4 0,092 4.1 0,667 0,061
4.2 0,333 0,031
5 0,054 5.1 0,200 0,011
5.2 0,200 0,011
5.3 0,600 0,032
6 0,028 6.1 0,106 0,003
6.2 0,057 0,002
6.3 0,530 0,015
6.4 0,307 0,008
7 0,025 7.1 0,750 0,019
7.2 0,250 0,006
8 0,102 8.1 0,536 0,055
8.2 0,296 0,030
8.3 0,108 0,011
8.4 0,060 0,006
9 0,071 9.1 0,333 0,024
9.2 0,667 0,047
Таблица 5
Индексы сложности проекта
Эксперты и их коэффициенты компетентности Ситуации и их вероятности Экспертные индексы сложности
Ситуация 1 (0,750) Ситуация 2 (0,250)
Эксперт 1 (0,438) 1,957 2,630 2,125
Эксперт 2 (0,130) 1,911 2,333 2,017
Эксперт 3 (0,245) 1,935 2,550 2,089
Эксперт 4 (0,122) 1,851 2,408 1,990
Эксперт 5 (0,065) 2,198 2,557 2,288
Ситуационные индексы сложности 1,948 2,540 2,096
После формирования экспертных оценок производится их обобщение по признакам, в результате чего определяется набор частных индексов сложности проекта. Затем частные индексы сложности обобщаются по экспертам для отдельных ситуаций (с получением ситуационных индексов сложности), по ситуациям для отдельных экспертов (с получением экспертных индексов сложности) и одновременно по ситуациям и экспертам (с получением интегрального индекса сложности). Результаты этих расчетов представлены в табл. 5. В табл. 5 в строках представлены эксперты (в скобках указаны их коэффициенты компетентности), в столбцах — ситуации (в скобках указаны их вероятности), а на пересечениях строк и столбцов — частные индексы сложности проекта. В качестве итогов фигурируют ситуационные индексы сложности (взвешенные по коэффициентам компетентности экспертов суммы частных индексов по столбцам), экспертные индексы сложности (взвешенные по вероятностям ситуаций суммы частных индексов по строкам) и интегральный индекс сложности проекта, расположенный в правой нижней ячейки табл. 5 (общая взвешенная сумма частных индексов).
Как видно из табл. 5, частные индексы сложности проекта различаются как по ситуациям, так и по экспертам.
Различия частных индексов сложности по ситуациям обусловлены тем, что реализация проекта без партнерства с ИТ-компанией объективно более сложна по сравнению с реализацией того же проекта в условиях партнерства. Поэтому с точки зрения каждого из экспертов частный индекс сложности проекта для второй ситуации больше, чем для первой. В частности, для второй ситуации значения частных индексов сложности варьируются от 2,333 до 2,630, а ситуационный индекс сложности проекта составляет 2,540. Это означает, что во второй ситуации проект занимает промежуточное положение между «умеренно сложным» и «очень сложным». Что касается первой ситуации, то здесь значения частных индексов находятся в диапазоне от 1,851 до 2,198, а ситуационный индекс сложности равен 1,948. Поэтому в первой ситуации проект может быть классифицирован как «умеренно сложный».
Различия частных индексов сложности по экспертам объясняются индивидуальными особенностями экспертов, привлекаемых к оценке сложности проекта. Поскольку экспертные индексы сложности варьируются от 1,990 до 2,288, можно сделать вывод о том, что с точки зрения всех экспертов проект признается «уме-
ренно сложным». Об этом же свидетельствует значение интегрального уровня сложности, составляющее 2,096. Заметим, что при формировании экспертных индексов сложности и интегрального индекса принимается во внимание то, что вторая ситуация (в которой реализация проекта усложняется) имеет меньшую вероятность по сравнению с первой.
Заключение
Применимость предлагаемого подхода для оценки сложности инновационных проектов, находящихся под значительным влиянием фактора неопределенности, объясняется следующими соображениями.
Во-первых, в рамках подхода решается не только задача классификации (отнесение проекта к одной из четырех категорий сложности), но и задача ранжирования (упорядочение проектов по их сложности). Это может быть полезным для сравнительного анализа нескольких проектов, а поскольку инновационные проекты часто обладают вариативностью возможностей своей реализации — также и для сравнительного анализа нескольких вариантов реализации одного и того же проекта.
Во-вторых, учет разнообразия инновационных проектов и многогранности их характеристик обеспечивается путем оценки их сложности по значительному числу признаков. При этом имеется возможность гибкого определения относительной значимости используемых признаков.
В-третьих, поскольку сложность реализации инновационных проектов, как правило, существенно зависит от будущего состояния внешней среды, предлагаемый подход является ситуационным, позволяя рассматривать несколько возможных ситуаций, с учетом вероятностей их наступления.
В-четвертых, в силу уникальности инновационных проектов и большого числа качественных признаков, оценка сложности может быть обеспечена только на основе экспертного подхода. При этом для экспертизы проекта могут привлекаться несколько экспертов, обладающих разными уровнями компетентности. Помимо обобщения экспертных оценок (с учетом коэффициентов компетентности экспертов), на основе частных и экспертных индексов сложности может быть проанализирована степень расхождения мнений экспертов.
Возможность практического применения предлагаемого подхода обеспечивается использованием специального математического аппарата — метода
о
со сч ю
<
со О
анализа иерархий, а также программного обеспечения, поддерживающего этот метод.
Значимость авторской методики и рекомендаций в области ее практического применения состоит в учете существенных особенностей инновационных проектов, главными из которых являются уникальность, неполнота и слабая структурированность информации, а также неопределенность рамок проектов и внешних условий. В свою очередь, аргументированная оценка сложности инновационных проектов представляется важной для планирования инновационного развития организаций и принятия стратегических решений в ходе управления инновационными программами.
Список использованных источников
1. A guide to Business Analysis Body of Knowledge (BABOK Guide). Version 2.0. Toronto: IIBA, 2009. 265 p.
2. K. Hass. Managing complex projects: A new model. Vienna, VA: Management Concepts, 2009. 298 p.
3. K. Hass. Planting the seeds to grow a complex project management practice. Kathleen Hass and Associates, 2009. 22 p.
4. T. L. Saaty. Decision making with the analytic hierarchy process// International Journal of Services Sciences. Vol. 1. No. 1. 2008. P. 83-98.
5. Т. Л. Саати Принятие решений при зависимостях и обратных связях. Аналитические сети/Пер. с англ., науч. ред. А. В. Ан-дрейчиков, О. Н. Андрейчикова. 4-е изд. М.: ЛЕНАНД, 2015. 360 c.
6. Т. К. Кравченко. Экспертная система поддержки принятия решений//Открытое образование. № 6. 2010. С. 147-156.
Evaluating complexity of innovative projects T. K. Kravchenko, Doctor of Science (Economics), Professor, Head of Department.
D. V. Isaev, Candidate of Science (Economics), Associate Professor.
(Department of Business Analytics, School of Business Informatics, Faculty of Business and Management, National Research University Higher School of Economics)
The paper focuses on complexity evaluation for innovative projects, which are unique, rely on incomplete or semi-structured information, and are influenced by uncertainty factors. Four categories of project complexity are considered — simple, moderately complex, highly complex and megaprojects.
A two-level system of characteristics with relative significance coefficients is applied. Uncertainty of external conditions of projects is considered by situations that may occur in the future with certain probability. Evaluation of project complexity is performed by a group of experts with assigned competency coefficients. For determining relative significance coefficients of characteristics, probabilities of situations and competency coefficients of experts, the Analytic Hierarchy Process is applied. Relying on expert estimates special indices allowing classification and ranking projects according to their complexity are calculated.
Approbation of the proposed approach is executed using Super Decisions software, by the example of a university's innovative project.
Keywords: innovative project, project complexity, expert estimates, situations, project complexity index, analytic hierarchy process.
ho
CN
CO CN N
Ю
J <
CQ
о
ТАЛОН ПОДПИСКИ ЖУРНАЛА
ЖИЯМ @Б ИННОШШНОННОЙ ДЕЯТЕЛЬНОСТИ
ННОВА11ИИ
Подписка в редакции — это получение журнала сразу после тиража.
В редакции можно оформить подписку на 2017 год (с 1 по 12 номер) по льготной цене 18840 руб. 00 коп. (Восемнадцать тысяч восемьсот сорок рублей 00 коп.), в том числе НДС — 1 712 руб. 73 коп.
Название организации _
Фамилия, имя, отчество_
Должность _
Почтовый адрес (адрес доставки)_
Просим высылать нам журнал «Инновации» в количестве
Нами уплачена сумма _
Платежное поручение №_ от _
.экземпляров.
20 .
Банковские реквизиты редакции:
ОАО «ТРАНСФЕР», ИНН 7813002328, КПП 781301001 р/с 40702810727000001308 в ДО Приморский ПАО «Банк Санкт-Петербург», г. Санкт-Петербург»,
к/с 30101810900000000790, БИК 044030790 '
Дата заполнения талона подписки.
Подпись.
Подписка оформляется с любого номера. Заполненный талон подписки мы принимаем по факсу: (812) 234-09-18
Контактное лицо: А. Б. Каминская.
ЯОЯПША ОБ ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ
ТАЛОН ПОДПИСКИ ЖУРНАЛА
