Многокритериальный подход к построению интегральных показателей Текст научной статьи по специальности «Математика»

УДК 007.52

МНОГОКРИТЕРИАЛЬНЫЙ ПОДХОД К ПОСТРОЕНИЮ ИНТЕГРАЛЬНЫХ ПОКАЗАТЕЛЕЙ 5

© Петровский A.b., Ройзензон Г.В.

Институт Системного Анализа РАН 117312, Россия, Москва, проспект 60-летия Октября, 9

e-mail: pab@isa.ru, rgv@isa.ru

Abstract. Building integral (complex) indexes is considered as a problem of hierarchical ordinal classification of multiple criteria alternatives. Various ways for constructing integral (complex) indexes are compared. A new approach to ordinal classification of alternatives estimated upon many criteria with verbal scales, that uses an interactive procedure of attribute space dimension reduction, is suggested.

Введение

Существует достаточно большое число практических задач, в которых необходима разработка интегральных показателей деятельности [5, 4, 3, 7]. К подобным задачам можно отнести конкурсный отбор научных проектов, имеющих фундаментальный характер, оценка их результативности. Значительный опыт в организации и проведении экспертизы фундаментальных исследований и полученных результатов накоплен в Российском фонде фундаментальных исследований (РФФИ) [4].

Для фундаментальных исследований вообще, и для проектов, поддержанных РФФИ, в частности, характерна высокая степень неопределенности и риска, связанных с получением нового знания. Специфика задачи требует использования естественного языка описания на всех этапах отбора проектов, как при оценке экспертами, так и при получении объяснений принятых решений (детальное изучение вариантов научной политики Фонда). Для эффективного многоаспектного анализа результатов фундаментальных исследований представляется целесообразным формализовать понятие «результативность» проекта, как с позиций непосредственного применения полученных результатов на практике, так и при для формирования целевых программ федеральных агентств и ведомств.

Такого рода проблемы относятся к слабо структурируемым задачам принятия решений [2], описываемым как количественными, так и качественными зависимостями, для которых построение объективных моделей либо невозможно в принципе, либо сопряжено со значительными сложностями. Рассматривая проекты как многопризнаковые объекты, разработку интегральных показателей их результативности можно свести к задаче иерархической многокритериальной порядковой классификации, где интегральные показатели выступают в роли классов решений. В работе предложен новый подход к построению порядковой классификации альтернатив, оцененных по многим критериям с вербальными шкалами. Проведен сравнительный

5Работа поддержана программами фундаментальных исследований президиума РАН «Фундаментальные проблемы информатики и информационных технологий» и ОНИТ РАН «Фундамен-тальныв основы информационных технологий и систем», Российским фондом фундаментальных исследований (проекты 06-07-89352, 07-01-00515, 07-07-13546, 08-01-00247).

анализ различных способов формирования интегральных показателей. Формализовано понятие «результативность» проекта применительно к принятой в РФФИ системе экспертной оценки целевых фундаментальных исследований, выполняемых в интересах федеральных агентств и ведомств.

1. подходы к формированию интегральных показателей

Рассмотрим различные способы построения интегральных показателей и проанализируем основные проблемы, с которыми сталкиваются исследователи при решении таких задач.

Одним из достаточно известных и широко применяемым на практики подходов является свертка критериев с использованием весовых коэффициентов. К их числу относится, например, теория многокритериальной полезности (Multi-Attribute Utility Theory - MAUT) [1]. Разработка интегральных показателей с помощью агрегирования разноплановых показателей с использованием понятия «взвешенная сумма» ставит целый ряд как «технических», так и «идеологических» вопросов. Основным является определение весов исходных показателей. Ситуация еще более осложняется, когда значения весов находятся по оценкам нескольких экспертов. Методы, использующие свертку многих критериев с весовыми коэффициентами, не позволяют по агрегированным критериям восстановить исходные данные, т.е. получение объяснений принятых решений фактически невозможно, что делает применение подобных подходов малоэффективным.

Другим возможным подходом к разработке интегральных показателей может быть разделение представленных объектов на несколько упорядоченных классов (групп), например, с помощью методов вербального анализа решений [2]. Вместе с тем при 8-10 критериях и 2-5 градациях оценок на шкалах потребуются достаточно большие затраты времени эксперта для построения полной непротиворечивой порядковой классификации многопризнаковых объектов, что совершенно неприемлемо. Кроме того, при решении задачи классификации большой размерности возникают значительные сложности психологического плана. В частности, как показано в работе [2], при размерности задачи порядковой классификации больше 5 критериев, числе оценок на шкалах критериев больше 4 и числе классов решений более 5 пользователи склонны применять различные упрощенные стратегии классификации с использованием только части критериев. Таким образом, при большом числе критериев выработка простого решающего правила классификации методами вербального анализа решений крайне затруднительна.

Для упрощения процедур сравнения и классификации многопризнаковых объектов по их свойствам предлагается предоставить в распоряжение лица, принимающего решение (ЛПР), соответствующий инструментарий, дающий возможности агрегирования большого числа характеристик в небольшое число критериев, имеющих небольшие шкалы оценок, отражающих предпочтения ЛПР. Одним из способов преодоления описанных выше сложностей является снижение размерности признакового пространства. Тем самым построение системы интегральных показателей сводится к решению задачи агрегирования большого числа исходных признаков. Рассмотрим предлагаемую процедуру снижения размерности признакового пространства более подробно. «Таврический вестник информатики и математики», №2'2008

2. Агрегирование признаков

В общем виде задача снижения размерности признакового пространства может быть представлена следующим образом:

1.....Хт —> V,.....)'„. п < т. (2.1)

где .V1......V,,, - исходный набор признаков, >'1.....V,, - новый набор признаков,

т - размерность исходного признакового пространства, п - размерность нового признакового пространства. Каждый из признаков имеет свою собственную шкалу Л,; = •{./•!......г'- }. г = 1.....т. )) = •{//1..... цу }. ] = 1.....п с упорядоченной

градацией оценок.

Предлагаемый подход к агрегированию признаков базируется на предпочтениях ЛПР. Первоначально при участии ЛПР формируется исходный набор характеристик рассматриваемых объектов. В зависимости от специфики задачи эти характеристики могут быть либо заданы заранее, либо сформированы в процессе анализа проблемы. Далее, основываясь на опыте и интуиции ЛПР, исходные характеристики объединяются в группы критериев, обладающих вербальными порядковыми шкалами с небольшим (3-5) числом градаций. Смысловое содержание критериев и шкал оценок определяется ЛПР. Критерии должны иметь такие шкалы оценок, которые, с одной стороны, будут отражать агрегированные качества объектов, а с другой стороны, будут понятны ЛПР при окончательном выборе объекта или их классификации.

Метод ИСКРА (Иерархическая Структуризация КРитериев и Атрибутов) включает следующие шаги [6]. Составляется перечень всех базовых показателей (например, список технических характеристик объектов), которые составляют нижний уровень иерархической системы показателей. Для каждого базового показателя формируется шкала, которая может иметь числовые (точечные, интервальные) или вербальные оценки. Шкалы оценок базовых показателей могут совпадать с обычно используемыми на практике, либо конструироваться специально.

Далее ЛПР, по своему усмотрению, определяет число, состав и содержание критериев следующего уровня иерархии. В качестве критерия можно выбрать один из базовых показателей или несколько характеристик, объединенных в составной критерий. ЛПР устанавливает, какие базовые показатели считаются самостоятельными критериями, а какие включаются в тот или иной составной критерий. Для формирования шкал оценок по составным критериям ЛПР может воспользоваться несколькими процедурами.

Наиболее простым и легко воспринимаемым ЛПР способом конструирования порядковой шкалы для составного критерия является метод стратификации кортежей, основанный на сечении многомерного признакового пространства гиперплоскостями, в котором используются однотипные наборы порядковых вербальных шкал базовых показателей. Исходные оценки объединяются в обобщенную оценку по принципу: все лучшие оценки по базовым показателям образуют одну лучшую оценку по составному критерию, все средние оценки - одну или несколько средних оценок, все худшие оценки - одну худшую оценку.

Более сложные процедуры построения шкал критериев предполагают применение методов вербального анализа решений [2], в которых необходимо рассматривать множество всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением значений оценок на шкалах критериев. Метод ЗАПРОС (ЗАмкнутые ПРоцедуры у Опорных Ситуаций) позволяет построить единую порядковую шкалу составного критерия, формируя ее из оценок по отдельным базовым показателям. Метод ОРКЛАСС (ОРдинальная КЛАССификация) предназначен для построения полной непротиворечивой порядковой классификации многопризнаковых объектов, в качестве которых в нашем случае выступают наборы оценок по базовым показателям, образующим составной критерий.

Процедура агрегирования показателей имеет последовательный характер, т.е. полученные группы критериев могут быть, в свою очередь, объединены в новые группы (следующий уровень иерархии) и так далее. При конструировании шкал составных критериев на разных этапах процедуры могут использоваться различные подходы. Например, один из агрегированных критериев можно сформировать при помощи метода стратификации, а другой - при помощи многокритериальной порядковой классификации.

3. Построение правил классификации

Процедуру агрегирования показателей можно представить в виде иерархической структуры, состоящей из последовательно выполняемых однотипных блоков классификации. Блоки содержательно выделяются ЛПР в зависимости от специфики решаемой задачи. Каждый блок классификации ¿-го уровня иерархии состоит из некоторого набора признаков и одного составного критерия. В качестве объектов классификации выступают все градации оценок на шкалах признаков. Классами решений ¿-го уровня служат градации оценок на шкале составного критерия. В блоке классификации (¿ + 1)-го уровня иерархии составные критерии ¿-го уровня считаются признаками, множество градаций оценок которых представляет собой новые объекты классификации в сокращенном признаковом пространстве, а классами решений будут теперь градации оценок на шкале нового составного критерия (/ + 1)-го уровня. Процедура повторяется до тех пор, пока не останется единственный составной критерий верхнего уровня, шкала оценок которого образует искомые упорядоченные классы решений (\.....С,г Тем самым устанавливается взаимно-однозначное соответствие между классами решений С\,..., Сч и совокупностью исходных показателей

- множеством .V1.....Хт всех возможных комбинаций градаций оценок на шкалах

критериев А, = •{г\......г] }. / = 1,... ,т критериев 1\\.....1\,„ и находятся границы классов, что позволяет легко построить классификацию реальных альтернатив Ах,..., Ар, оцененных по многим критериям.

Рассмотрим построение шкал составных критериев на модельном примере. Исходное множество альтернатив описывается восемью критериями (базовыми признаками) /\ 1...../\ч (содержательное описание признаков представлено в табл. 1), имеющими шкалы А, с двумя или тремя вербальными порядковыми оценками 0,1,2, где 0 обозначает лучшую оценку, 1 - среднюю (или худшую), 2 - худшую. Требуется

разбить множество альтернатив на пять упорядоченных классов (\.....("-,. которые

соответствуют градациям шкалы составного критерия верхнего уровня «Результативность» с оценками: 0 - наивысшая, 1 - высокая, 2 - средняя, 3 - низкая, 4 -неудовлетворительная (рис. 1).

Таблица 1. Перечень базовых признаков

Обозначение Наименование

Кг 11 Степень выполнения заявленных задач проекта

к2 12 Оценка научного уровня полученных результатов

Кз 13 Патентоспособность полученных результатов

к4 14 Перспективы использования полученных результатов

К5 21 Ожидаемые результаты завершающего этапа выполнения проекта: основной заявленной цели проекта

К6 22 Решение задач, поставленных в завершающей части проекта

К7 23 Наличие трудностей в работе по проекту

к8 24 Взаимодействие с организациями, в которых предполагается использовать результаты проекта

Например, критерий 1\\ характеризует «Степень выполнения заявленных задач», которая может оцениваться как 0 - задачи выполнены полностью, 1 - задачи выполнены частично, 2 - задачи не выполнены; критерий 1\л оценивает «Достижение поставленной цели в установленные сроки» как 0 - реальное, 1 - нереальное. Критерии /ч,...../ч, имеют следующие шкалы: .V, = {0,1, 2}; Х2 = {0,1, 2}; Х3 = {0,1};

Х4 = {0,1,2}; Л-, = {0,1}; Л„ = {0,1}; Л'7 = {0,1}; Х8 = {0,1,2}. Таким образом, размерность исходного признакового пространства равна 1296. Непосредственная классификация исходного множества альтернатив требует существенных трудозатрат ЛПР.

Введем три составных критерия . 1/\"|. «Оценка полученных результатов проекта», . I/\2• «Ожидаемые результаты завершающей стадии проекта», . 1/\:;. «Возможности использования результатов в программах федеральных агентств и ведомств», имеющих порядковые шкалы с тремя градациями: = {0,1,2}; = {0,1,2};

= {0,1,2}, где значения 0,1,2 являются вербальными оценками (высокая, средняя, низкая), определяемыми содержанием соответствующих составных критериев, и выступают как классы решений 1 уровня для исходных базовых признаков (критериев).

Допустим, что ЛПР решил агрегировать исходные признаки /\"|. 1\\>. 1\л I! составной критерий . 1/\ 1; признаки /\ . 1\ ,,. /\ 7 - соответственно в составной критерий . I 1\\> и признаки /\ 1. /\ ч 15 составной критерий . 1/\:5.

Для формирования шкал составных критериев ЛПР воспользовался методом ОРКЛАСС. В результате опроса для шкалы получены следующие градации оценок (классы решений с границами): г/1 = 0 - класс 0 (верхняя граница: 000; нижняя граница: 100,010,001); у\ = 1 - класс 1 (верхняя граница: 200,110,020,101,011; нижняя

Рис. 1. Иерархическая система показателей результативности проектов целевых фундаментальных исследований

граница: 210,120,201,111,021); у\ = 2 - класс 2 (верхняя граница: 220,211,121; нижняя граница: 221).

Для шкал составных критериев АК) и АК3 получены такие градации оценок: 2/2=0- класс 0 (верхняя граница: 000; нижняя граница: 001); у\ = 1 класс 1 (верхняя граница: 100,010; нижняя граница: 101,011); у\ = 2 - класс 2 (верхняя граница: 110; нижняя граница: 111); 2/3 =0 — класс 0 (верхняя граница: 00; нижняя

граница: 00); = 1 - класс 1 (верхняя граница: 10,01; нижняя граница: 20,11,02); Уз = 2 - класс 2 (верхняя граница: 21,12; нижняя граница: 22).

Рассмотрим теперь наборы всех оценок по составным критериям как объекты классификации следующего уровня, где классами решений (\.....("-, являются градации оценок шкалы 2 = •{ -.1. - ь -.->} составного критерия верхнего уровня иерархии «Результативность». Аналогичным образом, агрегируя показатели . 1/\ ¡. АК2,. I/\з. имеем: г\. «Наивысший показатель результативности» - класс (\ (верхняя граница: 000; нижняя граница: 000); г2. «Высокий показатель результативности» -класс С2 (верхняя граница: 100,010,001; нижняя граница: 110,101); «Средний показатель результативности» - класс (верхняя граница: 200,020,011,002; нижняя граница: 211,121,202,112,022); «Низкий показатель результативности» - класс С\ (верхняя граница: 220,212,122; нижняя граница: 221,212,122); г^. «Неудовлетворительный показатель результативности» - класс ("-, (верхняя граница: 222; нижняя граница: 222). Таким образом, реальные альтернативы, имеющие оценки по исходным критериям, непосредственно относятся при классификации к сформированным

классам решений. Отметим что для построения конечных классов решений (\.....("-,

потребовалось получить от ЛПР ответы на 16, 6 и 7 вопросов при формировании шкал , 1'2, У3 составных критериев . 1/\"|. АК2, . 11\ л соответственно и ответов на 22 вопроса при формировании шкалы 2 агрегированного критерия. Это существенно меньше, чем при использовании других методов многокритериальной порядковой классификации.

Заключение

Предложен новый подход к построению интегральных показателей, который состоит в решении задачи порядковой классификации альтернатив, оцененных по многим критериям с вербальными шкалами. Применение процедуры иерархического агрегирования исходных показателей позволяет значительно снизить размерность признакового пространства, что существенно сокращает время, затраченное ЛПР на решение задачи. Важной особенностью разработанной процедуры является возможность сформировать разные наборы критериев, с тем, чтобы сравнить полученные результаты для разных вариантов классификации с целью оценки качества сделанного выбора.

Предлагаемый подход обеспечивает систематизацию имеющейся информации, анализ причин принятия окончательного решения, получение его обоснования. Разделение всех критериев на отдельные группы позволяет «распараллелить» решение задачи, что также дает ощутимую экономию времени. Процедура снижения размерности признакового пространства была успешно опробована при решении ряда практических задач [6], в том числе для оценки результативности выполнения проектов целевых фундаментальных исследований, поддержанных РФФИ, с точки зрения их практического использования. Подход может оказаться эффективным при построении интегральных показателей в различных областях.

список литературы

1. Кини Р. Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. -М.: Радио и связь, 1981. - 560 с.

2. Ларичев О. И. Вербальный анализ решений / Под ред. А. Б. Петровского. - М.: Наука, 2006. -181 с.

3. Лопухин М. М. ПАТТЕРН - метод планирования и прогнозирования научных работ. - М.: Советское радио, 1971. - 160 с.

4. Петровский А. Б., Шепелев Г. И. Система поддержки принятия решений для конкурсного отбора научных проектов // Проблемы и методы принятия уникальных и повторяющихся решений. Сборник трудов / Под ред. С. В. Емельянова, О. И. Ларичева. — № 10. М.: ВНИИСИ, 1990. -С. 25-31.

5. Опыт планирования фундаментальных исследований на конкурсной основе / О. И. Ларичев, А. С. Прохоров, А. Б. Петровский, М. Ю. Стернин, Г. И. Шепелев // Вестник АН СССР. - 1989. -№ 7. - С. 51-61.

6. Ройзензон Г. В. Способы снижения размерности признакового пространства для описания сложных систем в задачах принятия решений // Новости искусственного интеллекта. - 2005. -№ 1. - С. 18-28.

7. Индикаторы устойчивого развития России. Эколого-экономические аспекты / Под ред. С. Н. Бобылева, Р. А. Макеенко. - М.: ЦПРП, 2001. - 220 с.

Статья поступила в редакцию 19.04-2008