CC BY
100
УДК 519.81
ЭКСПЕРТНАЯ ОЦЕНКА И РАНЖИРОВАНИЕ КОНКУРИРУЮЩИХ ПРОЕКТОВ ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫХ СИСТЕМ
Е.Н. Надеждин, Д.А. Забелин
Сформулирована задача многокритериальной экспертной оценки и ранжирования конкурирующих вариантов проекта информационно-телекоммуникационной системы. Разработана программно-ориентированная методика попарного сравнения и ранжирования вариантов по нескольким показателям эффективности.
Ключевые слова: конкурирующие проекты, экспертные оценки, экспертиза, метод попарного сравнения, ранжирование.
Потенциальные возможности и перспективы информационно-вычислительных сетей образования и науки в значительной степени определяются характеристиками используемой телекоммуникационной инфраструктуры. Увеличение спроса на современные информационно-коммуникационные системы (ИКС) в условиях глобализации информационных процессов стимулирует их активное развитие на основе внедрения новейших технологий и технических решений в области электроники, телекоммуникаций, навигации и искусственного интеллекта [1, 2].
В условиях возросшей конкуренции на рынке информационных и коммуникационных технологий проектно-конструкторские организации и фирмы-разработчики уделяют повышенное внимание созданию экспертных систем, обеспечивающих поддержку решения задач комплексного анализа, моделирования и отбора наиболее перспективных проектов ИКС на начальных стадиях их жизненного цикла. Исследованию теоретических и прикладных аспектов метода экспертных оценок посвящены работы известных отечественных учёных: В.В. Крючковского, А. А. Лескина, В.Д Полежаева, Э.В. Попова, И. А. Рудинского, В.И. Сердюкова и др. Однако, на практике многие вопросы сравнительного анализа и прогностической оценки конкурирующих проектов ИКС окончательно не решены и по-прежнему остаются актуальными [4].
Целью статьи является обоснование практико-ориентированной методики обработки результатов экспертной оценки и ранжирования конкурирующих вариантов проектов ИКС.
Рассмотрим эвристический подход к задаче сравнительного анализа и ранжирования предварительно отобранных вариантов реализации базового проекта ИКС, который использует результаты опроса и обработки суждений нескольких экспертов об отдельных аспектах эффективности (реализуемости, значимости, конкурентоспособности и т. д.) проекта [1].
Для корректности постановки задачи ранжирования будем считать, исходный эскизный проект ИКС формально удовлетворяет априорно заданному множеству условий и ограничений технического задания.
Рассмотрим формулировку задачи многокритериальной оценки и ранжирования конкурирующих вариантов проекта ИКС.
Пусть рассматривается множество вариантов проекта ИКС
А = {4, 7 = Тп),
существенно отличающихся архитектурой, элементной базой и потенциальными характеристиками. Каждый 7 -й вариант проекта характеризуется набором показателей
ж = ж, ], у=тт).
Для определения полезности варианта А 7 привлекается группа независимых экспертов 2 = {2к, к = Т, г), которые дают индивидуальную оценку варианта проекта по каждому показателю Ж. Пусть также априорно задана процедура обработки индивидуальных оценок экспертов Ь} = т (Ж,*), где Ь7,} - некоторая совокупная оценка экспертов 7 -го варианта проекта по у -му показателю. Тогда промежуточные результаты экспертизы вариантов проекта ИКС допустимо представить в виде критериальной матрицы размера (п х т):
ЬТ,Т ЬТ,2 ЬТ,3 ... ЬТ,т г-, Ь2,Т Ь2,2 Ь2,3 ... Ь2,т
ь =
Ь Ь Ь Ь
п ,Т п ,2 п ,3 п, т
Каждая 7 -я строка матрицы Ь (7 = Т,...., п) представляет собой совокупность т частных показателей, характеризующих основные аспекты 7 -го варианта реализации проекта ИКС.
Введём обобщённый показатель полезности проекта ИКС, который запишем в виде скалярной свёртки векторного показателя Ь :
т
Ъ = IЬу ■ Ь,у. (Т)
У=Т
Здесь ¡3] (у = Т, т) - весовые коэффициенты показателей, отвечающие
т
условию нормировки I= Т. Весовые коэффициенты обычно зада-
у=Т
ются на основе опыта проектирования и эксплуатации ИКС и учёта основных предпочтений заказчика.
Требуется выполнить ранжирование исходного множества вариантов проекта А7 по степени убывания выраженности обобщённого показателя Яг и таким образом провести сравнительную комплексную
оценку полезности каждого варианта проекта. Конечным результатом исследования является определение предпочтительного варианта Л*р е Л на
конечном множестве вариантов.
Рассмотренная задача может быть решена с позиций теории многокритериальной оптимизации [2]. Однако, как показывает практика, теоретически обоснованное Парето-оптимальное решение носит идеализированный характер и часто не отвечает требованиям заказчика.
К реальным проектам ИКС предъявляются многочисленные требования, отражающие целевое назначение и определяющие аспекты объекта и особенности этапов проектирования, производства, внедрения и коммерциализации. Данные требования во многих случаях не имеют количественной меры и нередко противоречивы. Стремление в наибольшей степени отразить многофункциональность, потенциальные технические характеристики и конкурентоспособность неизбежно ведёт к расширению множества показателей эффективности проекта ИКС. Последнее обстоятельство существенно снижает эффективность применения известных методов векторной оптимизации.
Поэтому для решения сформулированной задачи воспользуемся методикой ранжирования (задания приоритета) вариантов проекта, в основе которой лежит многошаговая процедура анализа и обработки экспертных оценок по схеме попарного сравнения вариантов [3].
Пусть на этапе опроса экспертов каждый из сравниваемых вариантов проекта получает некоторую относительную логическую оценку, определяющую степень выраженности одного показателя и, далее, совокупности показателей, что даёт основание путём обработки этих оценок выбрать наиболее предпочтительный вариант. Частные показатели, по которым оцениваются варианты проекта, представляют собой компоненты векторного критерия выбора наиболее эффективного варианта. Решение задачи основано на экспертной оценке и матричном представлении результатов. В отличие от классического подхода, эксперты не присваивают вариантам количественную оценку, а лишь попарно сравнивают варианты между собой по каждому частному показателю раздельно. На очередном шаге сравнения сопоставляются лишь два варианта, что существенно упрощает процедуру сравнения. Эксперт по одному из признаков определяет предпочтение одного варианта другому путём использования символов: (>) - больше (лучше); (=) - равно и (<) - меньше (хуже). На этапе компьютерной обработки указанные логические оценки интерпретируются соответственно как числа «1,5», «1,0» и «0,5».
При формировании структуры векторного показателя для комплексной оценки эффективности проектов ИКС представляется целесообразным воспользоваться набором существующих требований к инновационным проектам, представляемым на конкурс в кластер информационных
31
технологий инновационного центра «Сколково» ^ир://соттипНу.sk. ги foundation/itc/). К числу частных показателей эффективности вариантов проекта A = {A1, 7 = Т,п) отнесём:
наличие потенциальных конкурентных преимуществ технического решения перед известным (отечественным, мировым) аналогом (или относительный выигрыш от внедрения) Бг;
ожидаемые материальные затраты С г на создание пилотного проекта;
наличие у создаваемого продукта - варианта проекта - существенного потенциала коммерциализации Qi;
соответствие проекта основополагающим научным принципам и его реализуемость на существующей технологической базе предприятия-разработчика О г;
наличие у ключевых исследователей, разработчиков и менеджеров проекта необходимых профессиональных компетенций для практической реализации проекта Р01;
наличие у предприятия разработчика научно-технического задела и ресурсов для завершения разработки проекта иг.
В качестве базового примера рассмотрим задачу выбора предпочтительного варианта проекта ИКС из пяти допустимых вариантов (п = 5), которые сравниваются по указанным выше частным показателям (т = 6), определяющим полезность проекта.
На первом этапе исследования осуществляется опрос группы избранных экспертов (г = 4), каждый из которых формулирует оценки предпочтительности т числа (т = 6) показателей путём их попарного сопоставления между собой с целью последующего выяснения степени значимости (относительного веса) каждого частного показателя.
В нашем случае число вариантов (комбинаций) бинарной оценки составит число Т5. Данные экспертных оценок всех вариантов ситуаций представлены в табл. Т. После кодировки экспертные оценки показателей в
виде матрицы А = а7,у заносятся в столбцы 2,...,7 табл.2 для последующей обработки.
Решение исходной задачи сравнительного анализа частных критериев проекта носит итерационный характер. На Т-й итерации производится суммирование данных табл. 2 по строкам (столбцы 2,...,7), и затем определяются относительные веса показателей g1 (1) (столбец 9) по формуле:
т / т т
gг(т* = Iау IIаи> 7 = Т,2,..., т . (2)
у=т / 7=т у=т
Таблица 1
Результаты попарной оценки частных показателей Ki и Кз ( /V/ )
Номер варианта Сравниваемые показатели Эксперты Принимаемая система сравнения
I II ш IV
1 Р ии < = < = <
2 в и и = < > = =
3 > = > > >
4 Сии = = = < <
5 Вии < = < > <
6 в и Р < = < = <
7 2и р > = > = >
8 Си Р = = = < =
9 Пи Р = > < = =
10 <2иО = < < < <
11 Сив > = < = =
12 Вив > = > = >
13 С и Q < = = > =
14 £>и д > > = > >
15 ВиС < = > > >
Таблица 2
Относительные веса у =1,6, к = 1,2,3, частных показателей
Матрица приоритетов показателей а9 1-я итерация 2-я итерация 3-я итерация
1 2 3 4 5 6 7 8 9 10 11 12 13
И с Q в Р Л '"..7=1 '..7=1 £(2) ¿а% '.;=1
1,0 1,0 1,5 1,5 1,0 1,0 7,0 0,194 1,160 0,195 1,159 0,195
С 1,0 1,0 1,0 1,0 1,0 1,0 6,0 0,167 1,0 0,168 1,0 0,168
0 0,5 1,0 1,0 0,5 1,5 1,5 6,0 0,167 0,986 0,166 0,986 0,165
в 0,5 1,0 1,5 1,0 0,5 1,0 5,5 0,153 0,910 0,153 0,909 0,153
р 1,0 1,0 0,5 1,5 1,0 0,5 5,5 0,153 0,910 0,153 0,910 0,153
я 1,0 1,0 0,5 1,0 1,5 1,0 6,0 0,167 0,993 0,167 0,994 0,167
Таблица 3
Экспертные оценки попарного сравнения вариантов проекта
Комбинации Показатели
Б С в Р Л
1и П 0,5 1,0 0,5 0,5 0,5 0,5
I и III 0,5 1,5 0,5 1,5 0,5 1,0
II и III 1,5 1,0 0,5 1,5 1,5 1,5
Таблица 4
Относительные веса к-1,3, вариантов по частным показателям
Варианты проекта Показатели
В С 0 в Р К
I 0,222 0,389 0,222 0,333 0,222 0,278
II 0,444 0,333 0,333 0,444 0,444 0,444
Ш 0,333 0,278 0,444 0,222 0,333 0,278
На последующих итерациях каждый элемент ] -го столбца находит-
б
с я произведением 1-й строки матрицы А на столбец полученный на
7=1
предыдущем шаге, а относительные веса показателей gI-(*),fc = 2,3, определяются аналогично формуле (2):
¿¿Л,- =36,0; ¿¿Л,- =5,958; ¿¿а<\, = 5,958. 1=1 7=1 1=1 7=1 1=1 7=1
Таблица 5
Результаты сравнительной оценки вариантов проекта на шаге 1
Показатели Суммарный приоритет К
Вариант проекта В С <3 в Р Я
Степень значимости показателя
0,195 0,168 0,165 0,153 0,153 0,167
А, 0,333 0,389 0,333 0,389 0,278 0,222 0,324
а2 0,389 0,389 0,444 0,389 0,444 0,444 0,416
Аз 0,278 0,222 0,222 0,222 0,278 0,333 0,260
В частности, результаты вычислений для 1-й строки табл. 2 на первой, второй и третьей итерациях составили соответственно:
¿яи= 7,0; ¿а и =1,160; ¿я"и= 1,159.
7=1 7=1 7=1
Итерации прекращаются, когда получают относительные оценки, которые отличаются от значений, полученных на предыдущей итерации, менее чем на 1 %.
На втором этапе решения задачи после определения относительных весов показателей необходимо оценить по каждому из них все парные комбинации вариантов проектов ИКС. В интересах обеспечения удобства алгоритмизации методики ранжирования вариантов проекта для случая п >3 воспользуемся итерационным подходом.
34
На первом шаге для сравнения возьмём первые три варианта проекта: А1, А и А3. С учётом введённых обозначений критериальная матрица в этом случае примет следующий вид:
д с ох р и 1 ^ = в2 с2 а2 р и2
А С3 Сз р из
Расчет производится по той же методике, что и нахождение относительных весов частных показателей эффективности, т. е. на основе системы сравнения, составленных экспертами (табл. 3).
Далее составляются матрицы оценок сопоставляемых вариантов по каждому частному показателю. Обобщённая матрица показателя выходного эффекта для каждого варианта представлена в табл. 4. После этого формируется итоговая таблица. Оценки для вариантов А1, А и А3 по каждому показателю вписываются в соответствующие строки табл. 5. Сумми-
- О (3)
руя произведения оценок значимости показателей = gJ , полученных
на третьей итерации, на оценки q( J), характеризующие варианты по каждому частному ] - му показателю, находят общую относительную оценку (суммарный приоритет) як (к = 1, 2,3) каждого рассматриваемого варианта проекта.
Расчётное соотношение для определения ранга варианта имеет вид
т
Р = X qU)i'g(3)j, "1 = 1,...,т.
/=1
Проведённые расчеты по определению общей относительной оценки каждого варианта показали, что предпочтительным на первом шаге является второй вариант проекта ИКС (см. табл. 5), для которого обобщённый показатель составил р2 = 0,416. Вариант А3, имеющий минимальный по величине обобщённый показатель (р3 = 0,260), заменяем на вариант А4. Процедура попарного сравнения вариантов повторяется.
На втором шаге обработки данных при сравнении вариантов проекта А1 , А2 и А4 наиболее предпочтительным оказался также второй вариант проекта ИКС (см. табл. 6) с рангом р2 = 0,417. Вариант А4, имеющий минимальный по величине обобщённый показатель (р4 = 0,250), заменяем на вариант А5. Процедура попарного сравнения вариантов повторяется.
На третьем шаге при сравнении вариантов проекта А1, А2 и А5 в качестве предпочтительного определён вариант проекта А5, у которого обобщённый показатель равен (см. табл. 6) р5 = 0,382, в то время как для вариантов А1 и А2 он составил соответственно р = 0,265 и р3 = 0,353.
35
Таким образом, все варианты проекта последовательно прошли процедуру сравнительного анализа, поэтому итерационный процесс перебора вариантов заканчивается. В табл. 8 показаны совокупные результаты ранжирования исходного множества вариантов проекта ИКС.
Таблица 6
Результаты сравнительной оценки вариантов проекта на шаге 2
Показатели Суммарный приоритет К
Вариант проекта В С 0 в Р и
Степень значимости показателя
0,195 0,168 0,165 0,153 0,153 0,167
а! 0,333 0,333 0,389 0,333 0,333 0,278 0,333
а2 0,444 0,389 0,333 0,444 0,444 0,444 0,417
а4 0,222 0,278 0,278 0,222 0,222 0,278 0,250
Таблица 7
Результаты сравнительной оценки вариантов проекта на шаге 3
Показатели Суммарный приоритет К
Вариант проекта В С <2 в Р и
Степень значимости показателя
0,195 0,168 0,165 0,153 0,153 0,167
а, 0,222 0,278 0,222 0,389 0,278 0,222 0,265
а2 0,389 0,333 0,333 0,333 0,389 0,333 0,353
а5 0,389 0,389 0,444 0,278 0,333 0,444 0,382
Таблица 8
Совокупные результаты оценки конкурирующих вариантов проекта
Варианты проекта а! а2 Аз а4 а5
Рейтинг 3 2 4 5 1
Выводы
Для решения задачи многокритериальной оценки и ранжирования вариантов проекта ИКС предложена методика обработки результатов экспертных оценок по нескольким частным показателям. В основу формализации решения задачи положена идея линейной свёртки частных показателей с учётом их весовых коэффициентов, полученных путём итерационной обработки экспертных оценок. Для определения значений рангов использован метод последовательного перебора исходного множества вариантов в сочетании с их попарным сравнением.
Программная реализация методики выполнена в интегрированной вычислительной среде МаЙ1сас1 (у. 15), что обеспечило её унификацию и упростило адаптацию к конкретной задаче исследования.
Список литературы
1. Ненадович Д.М. Методологические аспекты экспертизы телекоммуникационных проектов. М.: Горячая линия-Телеком, 2008. 280 с.
2. Надеждин Е.Н., Смирнова Е.Е. Методы моделирования и оптимизации интегрированных систем управления организационно-технологическими процессами в образовании: монография. Тула: Изд-во ТулГУ, 2013. 250 с.
3. Есипов Б.А. Методы оптимизации и исследование операций. Конспект лекций: учеб. пособие. Самара: Изд-во Самар. гос. аэрокосм. ун-та, 2007. 180 с.
4. Лисецкий Ю. М. Метод комплексной экспертной оценки для проектирования сложных технических систем // ММС . 2006. №2. [Электр-ронный ресурс] URL: http://cyberleninka.m/artirie/n/metod-kompleksnoy-ekspertnoy-otsenki-dlya-proektirovaniya-slozhnyh-tehnicheskih-sistem (дата обращения: 23.02.2016).
5. Надеждин Е.Н., Забелин Д.А. Методика многокритериальной экспертной оценки и ранжирования конкурирующих проектов // Eurasion Union of Scientis (Евразийский Союз Учёных). 2014. № 8 (Технические науки). Часть 8. С.85-89.
Надеждин Евгений Николаевич, д-р техн., проф., главный научный сотрудник, en-hope@yandex. ru, Россия, Москва, ГНИИ ИТТ ««Информика»
Забелин Дмитрий Алексеевич, асп., d.zabelin@,iformika.ru, Россия, Москва, ФГАУ ГНИИ ИТТ «Информика»
EXPERT ASSESSMENT AND RANKING OF COMPETING PROJECTS INFORMATION AND COMMUNICATION SYSTEMS
The problem of multiobjective expert evaluation and ranking of competing variants of the project of information and telecommunication systems. There is a program-oriented method of paired comparison and ranking the alternatives according to several performance indicators.
Key words: competing projects, expert assessment, examination, method of paired comparison, ranking.
Nadezhdin Evgenij Nikolaevich, doctor of technical sciences, professor, chief Researcher, en-hope@yandex. ru, Russia, Moscow, SRI ITT "Informika",
Zabelin Dmitrij Alekseevich, postgraduete, d.zabelin@,iformika.ru, Russia, Moscow, SRI ITT "Informika"
