CC BY
111
УДК 007.52
А.Б. ПЕТРОВСКИЙ, д-р техн. наук, зав. лаб., Институт системного анализа РАН (г. Москва),
Г.В. РОЙЗЕНЗОН, канд. техн. наук, с.н.с., Институт системного анализа РАН (г. Москва),
И.П. ТИХОНОВ, канд. техн. наук, нач. отд., Российский фонд фундаментальных исследований (г. Москва),
А.В. БАЛЫШЕВ, канд. биол. наук, зам. нач. отд., Российский фонд фундаментальных исследований (г. Москва)
МНОГОКРИТЕРИАЛЬНЫЙ ПОДХОД К ОЦЕНКЕ РЕЗУЛЬТАТИВНОСТИ НАУЧНЫХ ПРОЕКТОВ*
Существует достаточно большое число практических задач принятия решений, в которых требуется разработать интегральные показатели деятельности, например, оценка результативности фундаментальных исследований. В работе предложен новый подход к многокритериальной оценке результативности научных проектов и описаны результаты апробации подхода при экспертизе в Российском фонде фундаментальных исследований. Ил.: 2. Библиогр.: 10 назв.
Ключевые слова: интегральные показатели деятельности, результативность научных проектов, многокритериальная оценка.
Постановка проблемы. Задачи инновационного и
диверсифицированного развития отечественной экономики могут быть успешно решены при условии использования новых технологий, основанных, в том числе, и на научных разработках, имеющих фундаментальный характер. Для достижения этих целей необходимо отобрать научные разработки, представляющие интерес с точки зрения возможности их практического применения. Использование наиболее результативных проектов можно рассматривать как с точки зрения их непосредственного применения на практике (например, патентоспособность или взаимодействие с
организациями, в которых предполагается использовать результаты проекта), так и для дальнейшей определенной доработки в случае формирования каких-либо целевых программ (например, программы по высокотемпературной сверхпроводимости [1], программы по нанотехнологиям и т.п.).
Фундаментальные научные исследования также можно трактовать с нескольких позиций. Первый аспект - культурно-образовательный.
Результативная реализация проектов позволяет поддерживать (а в ряде случаев и просто сохранять) научные школы, готовить новые
* Работа поддержана программами фундаментальных исследований президиума РАН "Интеллектуальные информационные технологии, математическое моделирование, системный анализ и автоматизация" и ОНИТ РАН "Информационные технологии и методы анализа сложных систем", Российским фондом фундаментальных исследований (проекты 07-01-00515, 08-01-00247, 08-07-13532, 09-07-00009).
профессиональные научные кадры, привлекать молодежь в науку. Второй аспект - познавательный. Наиболее результативные проекты "генерируют" по-настоящему новые знания, без которых просто невозможно говорить о построении "экономики знаний". И, наконец, третий аспект - экономический. В такой трактовке целесообразна оценка наиболее результативных проектов исходя из возможности получения максимальной отдачи от внедрения новых технологий (например, рост производительности труда или экономия материалов) [2].
Анализ литературы. Значительный опыт в организации и проведении экспертизы целевых фундаментальных исследований и полученных результатов, представляющих интерес с точки зрения возможности их практического применения в федеральных агентствах и ведомствах, накоплен в Российском фонде фундаментальных исследований (РФФИ). Отбор проектов на конкурсной основе с привлечением экспертов проводится в фонде, начиная с 1991 года. В качестве другого примера уместно привести активное развитие в последние годы в России системы венчурных фондов и создание различных технопарков. Проблемам планирования, экспертной оценки и отбора научных исследований посвящено достаточно много работ [1 - 6].
Конкурсный отбор проектов относится к числу слабо структурируемых задач принятия решений. Для фундаментальных исследований вообще, и для проектов РФФИ в частности, характерна высокая степень неопределенности и риска, связанных с получением нового знания. Специфика задачи требует использования естественного языка описания проблемы на всех этапах отбора проектов, как при оценке экспертами, так и при получении объяснений принимаемых решений. Для эффективного использования результатов научных исследований необходимо формализовать понятие "результативность проекта" применительно к целевым фундаментальным исследованиям, выполняемым в интересах федеральных агентств и ведомств, на основе принятой в РФФИ системы критериев.
В соответствии с установленной в РФФИ методикой несколько экспертов оценивают завершающиеся проекты целевых фундаментальных исследований по восьми качественным критериям, имеющим порядковые шкалы оценок с вербальными описаниями, характеризуемыми небольшим числом градаций качества (2 - 5). Такой подход позволяет получить от экспертов более достоверную информацию и оперировать профессиональным языком с использованием терминологии, в определенной степени унифицированной для представителей разных областей знаний. Анкета оценки отчета о выполнении исследований состоит из двух больших разделов: оценка полученных результатов проекта и ожидаемые результаты завершающей стадии проекта. Эти аспекты играют существенную роль при формализации понятия "результативность проекта" и позволяют сформировать интегральный показатель результативности.
Существует несколько различных методологических подходов, которые позволяют конструировать интегральные показатели на основании агрегирования признаков, описывающих рассматриваемые объекты [7]. Однако, например, методы, использующие свертку многих критериев с применением весовых коэффициентов [8], не позволяют по агрегированным критериям восстановить исходные данные, т.е. получение объяснений принятых решений фактически невозможно. Кроме того, весьма затруднительно обосновать назначение весов критериев, особенно при наличии нескольких экспертов.
Во многих практических случаях разработку интегральных показателей целесообразно свести к задаче многокритериальной порядковой классификации. Интегральные показатели будут выступать в этом случае в качестве классов решений. Именно такой подход использован для формализации понятия "результативность проекта". Для разделения проектов на несколько упорядоченных классов (групп) можно воспользоваться одним из методов вербального анализа решений, ориентированного на построение классификации многопризнаковых объектов, например, методом ОРКЛАСС
[9]. Вместе с тем, при количестве критериев равном 8 и 2 - 5 оценках на шкалах критериев от эксперта потребуются достаточно большие временные затраты для построения полной непротиворечивой порядковой классификации.
Для преодоления указанных трудностей разработан метод ПАКС (Последовательное Агрегирование Классифицируемых Состояний), основанный на последовательном снижении размерности признакового пространства, образованного дискретными качественными (вербальными) признаками [10]. Метод предоставляет в распоряжение лица, принимающего решение (ЛИР), инструментарий, дающий возможности агрегировать большое число исходных характеристик в небольшое число составных критериев, имеющих небольшие шкалы оценок, отражающих предпочтения ЛИР. При построении шкал составных критериев используются разные способы ранжирования и/или классификации многомерных альтернатив исходя из предпочтений ЛИР. Цель статьи - описать метод ПАКС.
Метод многокритериальной классификации ПАКС. Изложим основные моменты метода ПАКС. Формальная постановка задачи снижения размерности признакового пространства имеет следующий вид:
Х1 х... хХт ^ 71 х... х У„, п < т,
где Х1, ..., Хт - исходный набор признаков, 71, ..., Уп - новый набор признаков, т - размерность исходного признакового пространства, п -размерность нового признакового пространства. Каждый из признаков имеет свою собственную шкалу Xi = (х,1, ..., х®’}, ’ = 1, ..., т, У* = {у1, ..., у/*},
у = 1, ., п с упорядоченной градацией оценок.
Рассмотрим задачу снижения размерности признакового пространства как задачу многокритериальной классификации, в которой различные комбинации исходных признаков (кортежи оценок) последовательно агрегируются в меньшие наборы новых признаков, имеющих для ЛПР вполне определенный смысл. Итогом является иерархическая система критериев, верхний уровень которой определяется содержанием практической проблемы.
Назовем составным критерием интегральный показатель, который определяет выбранное ЛПР свойство вариантов, агрегирующее исходные характеристики. Каждая градация шкалы составного критерия является комбинацией оценок исходных показателей. Процедура агрегирования показателей является многоуровневой иерархической структурой со "слабыми" связями, в которой элемент нижележащего уровня (оценки исходных показателей) подчинен двум и более вершинам вышестоящего уровня (оценкам составных критериев). Переходя шаг за шагом на более высокий уровень иерархии, ЛПР может сконструировать приемлемые для него составные критерии вплоть до одного единственного.
Представим процедуру построения шкал составных критериев в виде однотипных блоков. Блоки содержательно выделяются ЛПР в зависимости от специфики решаемой задачи. Каждый блок классификации ’-го уровня иерархии состоит из некоторого набора признаков и одного составного критерия. В качестве объектов классификации выступают все градации оценок на шкалах признаков. Классами решений ’-го уровня служат градации оценок на шкале составного критерия.
В блоке классификации (’+1)-го уровня иерархии составные критерии ’-го уровня считаются признаками, множество градаций оценок которых представляет собой новые объекты классификации в сокращенном признаковом пространстве, а классами решений будут теперь градации оценок на шкале составного критерия (’+1)-го уровня. Процедура повторяется до тех пор, пока не останется единственный составной критерий верхнего уровня, являющийся искомым интегральным показателем, шкала оценок которого образует упорядоченные классы решений Б1, ..., Тем самым устанавливается соответствие между классами решений Б1, ..., и совокупностью исходных показателей - множеством Х1, ..., Хт всех возможных комбинаций градаций оценок на шкалах критериев Х, = (х,1, ..., х®’}, ’ = 1, ..., т, и находятся границы классов, что позволяет легко построить классификацию реальных альтернатив (вариантов) У1, ..., Ур, оцененных по многим критериям К1, ..., Кт.
Для формирования шкал оценок по составным критериям ЛПР может воспользоваться несколькими способами из арсенала средств вербального анализа решений. Наиболее простым и легко воспринимаемым ЛПР методом конструирования порядковой шкалы составного критерия является метод стратификации кортежей, в котором используются однотипные (например, с одинаковым числом градаций) наборы порядковых вербальных шкал
исходных показателей. Идея метода стратификации кортежей основана на сечении многомерного дискретного признакового пространства параллельными гиперплоскостями. Каждый слой (страта) состоит из однотипных комбинаций оценок на шкалах критериев X, а число таких сечений (оценок) определяется ЛПР из содержательных соображений. Максимально возможное число слоев можно рассчитать по формуле
L = 1-m+ XI™ j g . Каждый слой образуется как комбинация кортежей оценок,
сумма которых фиксирована. Число классов q < L. Более сложные процедуры построения шкал критериев используют методы вербального анализа решений ЗАПРОС и ОРКЛАСС [6], в которых рассматривается множество всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением значений оценок на шкалах критериев. В этих случаях число возможных комбинаций оценок (альтернатив) равно
Пт
,=1g •
Новый методологический подход к снижению размерности пространства качественных признаков обладает определенной универсальностью, так как в общем случае можно оперировать как символьной (качественной), так и числовой информацией. Важной особенностью предложенного подхода к снижению размерности признакового пространства является возможность его использования в сочетании с другими методами принятия решений и обработки информации, позволяя представить каждую градацию шкалы составного критерия в виде комбинации оценок базовых показателей.
Построение интегрального показателя результативности научных проектов. Разработанный метод формирования интегрального показателя результативности научных проектов был опробован в рамках используемой в РФФИ процедуры экспертной оценки выполненных проектов целевых фундаментальных исследований. Были исследованы возможные подходы, позволяющие различным образом формализовать понятие "результативность" проекта. Предложено два разных варианта агрегирования исходного множества комбинаций исходных экспертных оценок результатов, полученных по проектам, в промежуточные составные критерии, которые, в свою очередь, агрегировались в интегрированный критерий верхнего уровня. Шкалы критериев каждого уровня иерархии конструировались с помощью различных сочетаний методов, а именно: методом ОРКЛАСС (ОР); методом стратификации кортежей (СК); сначала (на нижнем уровне иерархии) методом стратификации кортежей, потом (на верхнем уровне иерархии) методом ОРКЛАСС (СК+ОР); сначала (на нижнем уровне иерархии) методом ОРКЛАСС, потом (на верхнем уровне иерархии) методом стратификации кортежей (ОР+СК).
Первый вариант формирования иерархической системы критериев опирается на структуру анкеты отчета, в которой выделены два основных
раздела: Оценка полученных результатов проекта и Ожидаемые результаты завершающей стадии проекта. Этим разделам можно сопоставить два составных критерия ЛК\ и АК2, имеющие порядковые шкалы с четырьмя градациями: У = (0, 1, 2, 3} и У2 = (0, 1, 2, 3}, где значения 0 - высокая, 1 -хорошая, 2 - средняя, 3 - низкая, являются вербальными оценками. Эти градации оценок выступают как классы решений первого уровня для исходных признаков (критериев). В этом случае исходные признаки К1, К2, К3, К4 попадают в составной критерий АК1, а признаки К5, К6, К7, К8 - в составной критерий АК2.
При формировании шкал составных критериев с помощью метода многокритериальной порядковой классификации ОРКЛАСС шкалы У и У2 имеют следующий вид.
Шкала У включает такие градации оценок (классы решений с границами): у11 = 0 (высокая оценка научного уровня полученных результатов) - класс 0 (верхняя граница: 0000; нижняя граница: 1000, 0010, 0101); у21 = 1 (хорошая оценка научного уровня полученных результатов) - класс 1 (верхняя граница: 2000, 1100, 1010, 0110, 1001, 0011, 0002; нижняя граница: 0110, 2001, 1101, 1011, 1002, 0102, 0012); уз1 = 2 (средняя оценка научного уровня полученных результатов) - класс 2 (верхняя граница: 2100, 0200, 2010, 1110, 0111, 2002, 1102, 1012; нижняя граница: 2200, 2111, 2102, 2012, 1112, 0212); у41 = 3 (низкая оценка научного уровня полученных результатов) - класс 3 (верхняя граница: 1210, 1201, 2112; нижняя граница: 2212).
Для шкалы составного критерия У2 получены такие градации оценок: у!2 = 0 (высокий уровень ожидаемых результатов) - класс 0 (верхняя граница: 0000; нижняя граница: 0000); у22 = 1 (хороший уровень ожидаемых результатов) -класс 1 (верхняя граница: 1000, 0100, 0010, 0001; нижняя граница: 1000, 0100, 0011, 0002); у32 = 2 (средний уровень ожидаемых результатов) - класс 2 (верхняя граница: 1100, 1010, 0110, 1001, 0101, 0012; нижняя граница: 1111, 1012, 0112); у42 = 3 (низкий уровень ожидаемых результатов) - класс 3 (верхняя граница: 1102; нижняя граница: 1112).
Рассмотрим теперь наборы всех оценок по составным критериям как объекты классификации следующего уровня, где классами решений ,Оь ..., Б5 являются градации оценок шкалы составного критерия верхнего уровня иерархии 2 = (гх, г3, г4, г5}. Аналогичным образом, агрегируя показатели АК\ и АК2, имеем: 2\ (наивысший показатель результативности) - класс А (верхняя граница: 00; нижняя граница: 00); г2 (высокий показатель результативности) - класс Б2 (верхняя граница: 10, 01; нижняя граница: 11); г3 (средний показатель результативности) - класс Б3 (верхняя граница: 20, 02; нижняя граница: 31, 22, 13); г4 (низкий показатель результативности) - класс Б4 (верхняя граница: 32,23; нижняя граница: 32, 23); г5 (неудовлетворительный показатель результативности) - класс Б5 (верхняя граница: 33; нижняя граница: 33).
Реальные альтернативы, имеющие оценки по исходным критериям, непосредственно относятся при классификации к сформированным классам решений. Отметим, что для построения конечных классов решений Б\, ..., Б5 потребовалось получить от ЛПР ответы соответственно на 43 и 17 вопросов при формировании шкал У и У2 составных критериев АК1 и АК2 и ответы на 12 вопросов при формировании шкалы 2 агрегированного критерия, что существенно меньше, чем при использовании других методов многокритериальной порядковой классификации.
Другой возможный вариант формирования иерархической системы критериев состоит во введении трех составных критериев: АК1 - оценка полученных результатов проекта; АК2 - ожидаемые результаты завершающей стадии проекта и АК3 - возможности использования результатов в программах федеральных агентств и ведомств. Составной критерий АК1 объединяет исходные признаки Кь К2 и К3; АК2 - признаки К5, К6 и К7; АК3 - признаки К4 и К8.
Составные критерии АКЬ АК2, АК3 имеют порядковые шкалы с тремя градациями: У1 = {0, 1, 2}; У2 = {0, 1, 2}; У3 = {0, 1, 2}, где значения 0, 1, 2 являются вербальными оценками (высокая, средняя, низкая), определяемыми содержанием соответствующих составных критериев, и выступают как классы решений первого уровня. Для формирования шкал составных критериев использовались метод стратификации кортежей, метод ОРКЛАСС и их комбинации. С геометрической точки зрения метод стратификации кортежей состоит в "нарезке" многомерного параллелепипеда или прямоугольника на несколько групп наборов исходных признаков, число которых зависит от числа признаков, образующих составной критерий.
Рис. 1. Схема формирования шкал оценок для составных критериев АК1, АК2 и АК3
Возможные градации оценок для шкалы критерия АК1 представлены на рис. 1а. К классу 0 (оценка у11 = 0) относится следующая комбинация оценок: (000), (001), (010), (100), к классу 2 (оценка у13 = 2) - комбинация оценок (121), (211), (221), (220), а к классу 1 (оценка у12 = 1) - все остальные комбинации оценок (011), (021), (101), (111), (201), (110), (200), (020), (210), (120).
Возможные градации оценок для шкалы критерия АК2 представлены на рис. 1б. Класс 0 (оценка у21 = 0) образует комбинация всех лучших оценок (000), класс 2 (оценка у23 = 2) - комбинация всех худших оценок (111) и класс 1 (оценка у22 = 1) - все остальные комбинации оценок (001), (011), (101), (100),
(010), (110).
Возможные градации оценок для шкалы критерия АК3 представлены на рис. 1в. Класс 0 (оценка у31 = 0) составляют все лучшие оценки (00); класс 1 (оценка у32 = 1) - комбинации оценок (01), (10), (02), (11), (20); класс 2 (оценка у33 = 2) - комбинации оценок (12), (21), (22).
Аналогичным образом, агрегируя показатели АК1, АК2, АК3, имеем: класс (оценка г1) состоит из всех лучших оценок (000); класс Б2 (оценка г2) - из комбинаций оценок (100), (010), (001), (002), (101), (011), (200), (110), (020); класс В3 (оценка г3) - из комбинаций оценок (102), (012), (201), (111), (021),
(210), (120); класс Ю4 (оценка г4) - из комбинаций оценок (202), (112), (022),
(211), (121), (220), (212), (122), (221); класс Б5 (оценка г5) - из всех худших оценок (222). Градации оценок для шкалы критерия 2 = {г1, г2, г3, г4, г5} составного критерия верхнего уровня иерархии представлены на рис. 2.
При формировании шкал составных критериев с помощью метода ОРКЛАСС для шкалы У} были получены следующие градации оценок (классы решений с границами): у11 = 0 - класс 0 (верхняя граница: 000; нижняя граница: 100, 010, 001); у!2 = 1 - класс 1 (верхняя граница: 200, 110, 020, 101,
011; нижняя граница: 210, 120, 201, 111, 021); у13 = 2 - класс 2 (верхняя
граница: 220, 211, 121; нижняя граница: 221). Для шкал У2 и У3 составных критериев АК2 и АК3 получены такие градации оценок: у21 = 0 - класс 0 (верхняя граница: 000; нижняя граница: 001); у22 = 1 - класс 1 (верхняя
граница: 100, 010; нижняя граница: 101, 011); у23 = 2 - класс 2 (верхняя
граница: 110; нижняя граница: 111); у3' = 0 - класс 0 (верхняя граница: 00; нижняя граница: 00); у32 = 1 - класс 1 (верхняя граница: 10, 01; нижняя граница: 20, 11, 02); у33 = 2 - класс 2 (верхняя граница: 21, 12; нижняя граница: 22).
5
5
Рис. 2. Схема формирования шкалы оценок для составного критерия верхнего уровня
иерархии
Рассматривая наборы всех оценок по составным критериям как объекты классификации следующего второго уровня, где классами решений ..., Б5 являются градации оценок шкалы 2 = {г1, г2, г3, г4, г5} составного критерия верхнего уровня иерархии, и агрегируя показатели АК1, АК2, АК3, получим для шкалы 2 такие оценки: г1 - класс А (верхняя граница: 000; нижняя граница: 000); г2 - класс Б2 (верхняя граница: 100, 010, 001; нижняя граница: 110, 101); Г - класс Б3 (верхняя граница: 200, 020, 011, 002; нижняя граница: 211, 121, 202, 112, 022); г4 - класс Б4 (верхняя граница: 220, 212, 122; нижняя граница: 221, 212, 122); г5 - класс Б5 (верхняя граница: 222; нижняя граница: 222).
Таким образом, реальные альтернативы, имеющие оценки по исходным критериям, непосредственно относятся при классификации к сформированным классам решений. Отметим, что для построения конечных классов решений _Оь ..., Б5 потребовалось получить от ЛПР ответы на следующие числа вопросов: при формировании шкал У1, У2, У3 составных критериев АК1, АК2, АК3 - соответственно на 16, 6 и 7 вопросов, при формировании шкалы 2 агрегированного критерия - на 22 вопроса. Это существенно меньше, чем при использовании других методов многокритериальной порядковой классификации.
Апробация разработанной методики экспертного анализа результативности целевых фундаментальных исследований была проведена на массиве данных экспертных оценок отчетов по проектам, выполненным в интересах Федерального агентства по промышленности в 2005 - 2006 годах. Анализ результатов оценки результативности показал следующее: наивысший показатель получили соответственно по I варианту 5 проектов, а по II - 6 проектов; высокий показатель - 54 и 26 проектов; средний показатель - 9 и 46 проектов. Таким образом, I вариант агрегирования оценок по критериям дает более высокий интегральный показатель результативности, чем II вариант. В целом по двум вариантам интегральный показатель результативности совпадает в 25 случаях из 78 (39 проектов оценивались двумя экспертами). В остальных случаях интегральный показатель результативности отличался не более чем на одну градацию, что может рассматриваться как свидетельство достаточно высокой устойчивости результатов классификации альтернатив относительно исходных данных и выбранных способов построения шкал составных критериев на всех уровнях иерархии.
При построении интегрального показателя результативности проекта предпочтение целесообразно отдать второму варианту формирования иерархической системы критериев. Это обусловлено несколькими аспектами. Во-первых, второй вариант при оценке результативности выполнения проектов РФФИ делает акцент на возможности их практического использования. Во-вторых, при агрегировании показателей с использованием метода многокритериальной порядковой классификации требуется задать меньшее число вопросов ЛПР и тем самым дополнительно сэкономить его время. При агрегировании показателей с использованием метода
стратификации кортежей от ЛПР необходимо получить минимум информации. Фактически ЛПР должно задать число составных критериев и количество градаций на шкалах.
Выводы. Предложенный методологический подход многокритериальной оценки результативности научных проектов может быть успешно применен в различных областях, где необходимо получить интегральную оценку деятельности на основе исходной слабо структурируемой качественной информации. Практически невозможно априори назначить количественные шкалы оценок, сопоставив качественным факторам какие-либо числа так, чтобы они "правильно" выражали плохо формализуемые свойства объектов и одинаково понимались разными людьми. Тем более, числовые оценки неприменимы для измерения непорядковых показателей, таких, например, как участие в выполнении проекта молодых ученых или междисциплинарный характер проекта.
Важной особенностью разработанного подхода является возможность сформировать разные наборы промежуточных составных критериев и воспользоваться разными способами конструирования их шкал. Сопоставление получаемых результатов для разных вариантов классификации и иерархических систем критериев позволяет сравнить их между собой для выбора как наиболее предпочтительной системы, так и оценки качества сделанного выбора. Подход дает возможность обосновать принятое решение и получить ощутимую экономию времени и трудозатрат ЛПР.
Результаты апробации подтвердили эффективность предложенного подхода. Были выявлены проекты целевых фундаментальных исследований, имеющие высокую результативность, что обеспечивает расширение сферы практического применения результатов законченных работ. Подход, который может найти свое применение при оценке результативности инициативных и иных проектов (с учетом их специфики), выполняемых при поддержке РФФИ, а также других Федеральных агентств, ведомств, что позволит повысить эффективность использования результатов фундаментальных исследований.
Список литературы: 1. Ларичев О.И. Опыт планирования фундаментальных исследований на конкурсной основе / О.И. Ларичев, А.С. Прохоров, А.Б. Петровский, М.Ю. Стернин, Г.И. Шепелев // Вестник АН СССР. - 1989. - № 7. - С. 51-61. 2. Ларичев О.И. Российская фундаментальная наука в третьем тысячелетии / О.И. Ларичев, В.А. Минин, А.Б. Петровский, Г.И. Шепелев // Вестник Российской академии наук. - 2001. - Т. 71. - N° 1. - С. 13-18. 3. Ларичев О.И. Человекомашинная процедура планирования научных исследований и разработок / О.И. Ларичев, Л.С. Гнеденко, Ю.А. Зуев, Ю.В. Чуев, И.П. Тихонов // Вопросы информационной технологии. Сборник трудов ВНИИСИ / Под ред. Д. С. Черешкина. - М.: ВНИИСИ, 1983. - № 6. - С. 86-95. 4. Лопухин М.М.ПАТТЕРН - метод планирования и прогнозирования научных работ /М.М. Лопухин. - М.: Советское радио, 1971. — 160 с. 5. Петровский А.Б. Система поддержки принятия решений для конкурсного отбора научных проектов / А.Б. Петровский, Г.И. Шепелев // Проблемы и методы принятия уникальных и повторяющихся решений. Сборник трудов / Под ред. С.В. Емельянова, О.И. Ларичева. - М.: ВНИИСИ, 1990. - № 10. - С. 25-31. 6. Филиппов В.А. Проблемы выбора при перспективном планировании научных исследований и разработок / В.А. Филиппов, О.И. Ларичев // Труды III Всесоюзного симпозиума по планированию и
управлению НИР / Под ред. К.Л. Горфана, Л.Э. Миндели. - М.: ЦЭМИ, 1976. - С. 36-42. 7. Айвазян С.А. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин // Под ред. С.А. Айвазяна. - М.: Финансы и статистика, 1989. - 607 с. 8. Кини Р.Л. Принятие решений при многих критериях: предпочтения и замещения / Р.Л. Кини, Х. Райфа. - М.: Радио и связь, 1981. - 560 с. 9. Ларичев О.И. Вербальный анализ решений / О.И. Ларичев // Под ред. А.Б. Петровского. - М.: Наука, 2006. - 181 с. 10. Петровский А.Б. Интерактивная процедура снижения размерности признакового пространства в задачах многокритериальной классификации / А.Б. Петровский, Г.В. Ройзензон // Поддержка принятия решений: Труды Института системного анализа Российской академии наук / Под ред. А.Б. Петровского. - М.: Едиториал УРСС, 2008. - Т. 35. - С. 43-53.
УДК 007.52
Багатокритерійний підхід до оцінки результативності наукових проектів / Петровський А.Б., Ройзензон Г.В., Тихонов І.П., Балишев А.В. // Вісник НТУ "ХПІ". Тематичний випуск: Інформатика і моделювання. - Харків: НТУ "ХПІ". - 2009. - № 43. - С. 138 -148.
Існує чимале число практичних завдань ухвалення рішень, в яких потрібно розробити інтегральні показники діяльності, наприклад, оцінка результативності фундаментальних досліджень. У роботі запропонований новий підхід до багатокритерійної оцінки результативності наукових проектів і описані результати апробації підходу при експертизі в Російському фонді фундаментальних досліджень. Ил.: 2. Библиогр.: 10 назв.
Ключевые слова: інтегральні показники діяльності, результативність наукових проектів, багатокритерійна оцінка.
UDC 007.52
Multiple criteria approach to R&D project efficiency / Petrovsky A.B., Royzenson G.V., Tikhonov I.P., Balyshev A.V. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2009. - N°. 43. - P. 138 - 148.
There is a large enough number of practical tasks of making decision, in which it is required to develop integral performance indicators, for example, estimation of effectiveness of fundamental researches. The new going is in-process offered near the multicriterion estimation of effectiveness of scientific projects and the results of approbation of approach are described at examination in the Russian fund of fundamental researches. Figs: 2. Refs: 10 titles.
Keywords integral performance indicators, effectiveness of scientific projects, multicriterion estimation.
Поступила в редакцию 23.10.2009
