CC BY
3343 (354) - 2014
Наука какособый вид деятельности Science as speciatkindofactivity
УДК 338.23
ОЦЕНКА РЕЗУЛЬТАТИВНОСТИ ДЕЯТЕЛЬНОСТИ
о ,
НАУЧНЫХ ОРГАНИЗАЦИИ*
ASSESSMENT OF PRODUCTIVITY OF ACTIVITY OF THE SCIENTIFIC ORGANIZATIONS*
Сергей Васильевич ПРОНИЧКИН,
кандидат технических наук, старший научный сотрудник, Институт системного анализа Российской академии наук E-mail: pronichkin@mai1ru Игорь Петрович ТИХОНОВ, кандидат технических наук, ведущий научный
сотрудник, Институт химической физики им. Н. Н. Семенова Российской академии наук E-mail: 8tat@mail.ru
В статье рассмотрены вопросы, связанные с использованием типовой методики оценки результативности деятельности научно-исследовательских организаций. Предлагается подход, основанный на применении качественных характеристик результативности на этапе анализа числовых показателей эффективности деятельности.
Ключевые слова: результативность, вербальный анализ решений, экспертиза.
Sergei V. PRONICHKIN,
PhD of Technical Sciences, Senior Researcher, Institute for Systems Analysis of the Russian Academy of Sciences E-mail: pronichkin@mai1.ru
Igor' P. TIKHONOV, PhD of Technical Sciences, Senior Researcher, Semenov Institute of Chemical Physics of the Russian Academy of Sciences E-mail: 8tat@mail.ru
In the article the questions connected with use of a standard technique of an assessment of productivity of activity of the research organizations are considered. The approach based on application of qualitative characteristics of productivity at an analysis stage of numerical indicators of efficiency of activity is offered.
Keywords: effectiveness, verbal analysis of decisions, assessment.
Оценка результативности научно-исследовательских работ (НИР), как прикладных так и фундаментальных, еще с советских времен представляется крайне актуальной, востребованной, но так и нерешенной удовлетворительно задачей. Существующие многочисленные методики оценки прикладных НИР носят частный характер и, как правило, не идут дальше экономических оценок. Труднопреодолимые
сложности возникают при оценке эффективности фундаментальных исследований [7-9].
Похожая ситуация существует при оценке результативности научно-исследовательских организаций, выполняющих НИР. Большим шагом вперед на пути решения этой задачи явились создание и введение в практику единой типовой методики оценки результативности деятельности научных
* Статья подготовлена при поддержке Российского гуманитарного научного фонда (проект № 11-02-00131).
* The article is prepared with support of the Russian Humanitarian Scientific Fund (project no. 11-02-00131).
ЭКОНОМИЧЕСКИЙ АНАЛИЗ: жеорпя -и ЪР*?жг(Ъ4
27
организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения [1] (далее - Типовая методика). В октябре 2013 г. Правительство РФ утвердило изменения и уточнения в действующий порядок и правила оценки результативности научно-исследовательских организаций (НИО). Вместе с тем сама Типовая методика серьезных изменений с 2009 г. не претерпела.
Предусмотренные Типовой методикой показатели результативности НИО периодически представляются в межведомственную комиссию, которая с использованием профильных референтных групп проводит некую обобщенную оценку на основе анализа и сопоставления показателей результативности. В результате оцениваемое учреждение относится к одной из следующих категорий:
- организации-лидеры;
- стабильные организации, демонстрирующие удовлетворительную результативность;
- организации, утратившие научный профиль и перспективы развития.
Оценка результативности деятельности НИО по Типовой методике проводится по установленным направлениям, включающим критерии оценки, которые в свою очередь характеризуются предусмотренными методикой показателями. Так, Типовая методика устанавливает следующие направления оценки:
- научный потенциал и эффективность научных исследований;
- вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;
- коммерциализация и прикладное значение результатов исследований;
- кадровая обеспеченность научной организации;
- ресурсная обеспеченность научной организации;
- состояние финансовой деятельности научной организации.
В таблице представлены критерии и соответствующие им числовые показатели, входящие в состав одного из главных направлений оценки -научного потенциала и эффективности научных исследований.
Как видно из анализа данных, представленных в таблице, только по первому направлению оценки имеет место несколько десятков числовых показателей, а их общее количество по всем направлениям оценки значительно больше. В принципе, дальнейший анализ этих числовых показателей позволяет
оценить состояние отдельных направлений деятельности НИО, выделить ее сильные и слабые стороны. Гораздо сложнее при таком подходе получить интегральные оценки, а также провести сравнительный анализ нескольких (зачастую - многих) организаций. Как и насколько корректно это будет делаться согласно Типовой методике, остается неясным. Таким образом, задача разработки адекватного методического подхода к определению обобщенных итоговых показателей для сравнительного анализа эффективности научных организаций остается актуальной.
Предлагаемые в существующих методиках многочисленные числовые коэффициенты, получаемые, как правило, экспертным путем, а также огромный спектр оцениваемых параметров не только значительно усложняют процесс мониторинга и вычисления интегральной оценки, но и затрудняют объяснение вычисленных значений оценки. Поэтому достоверность получаемых результатов не может считаться достаточной для принятия решений о финансировании исследований за счет средств федерального бюджета. Практика мониторинга деятельности научных учреждений, выполняющих фундаментальные и прикладные исследования, требует достаточно простой, понятной и недорогой в использовании методологии оценки эффективности их деятельности.
В связи с этим заслуживает внимания подход к решению данной задачи, разработанный специалистами экспертно-аналитического центра Минобрна-уки России и Института системного анализа РАН. В основу этого подхода положено утверждение, что результативность деятельности научной организации, т. е. собственно эффективность ее результатов, можно характеризовать разнообразными качественными показателями. При этом требуемая информация о разных аспектах результата деятельности научной организации может быть получена главным образом по результатам экспертизы.
В работе [4] для оценки деятельности научных организаций приводится разработанная специалистами экспертно-аналитического центра Минобрнауки России и Института системного анализа РАН система из 11 качественных критериев, объединенных в две группы: оценки научной деятельности и оценки финансово-экономической деятельности. Группа оценки научной деятельности включает 5 критериев:
- уровень научных результатов;
- признание научных результатов;
- квалификация научных кадров;
- возраст научных работников;
28
ЭКОНОМИЧЕСКИЙ АНАЛИЗ: жеб7>ЪЯ -и ЪРЛЖкЫ
Критерии и показатели оценки, входящие в направление «научный потенциал и эффективность научных исследований»
Критерий оценки Показатель оценки
Общая характеристика научного потенциала Удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ, услуг, %. Внутренние затраты на исследования и разработки, отнесенные к численности исследователей, тыс. руб./чел. Число защищенных за период оценки работниками научной организации докторских и кандидатских диссертаций, отнесенное к численности исследователей. Перечень государственных и международных премий, призов, наград, почетных званий, полученных научной организацией или отдельными ее работниками за период оценки
Публикационная активность Число публикаций работников научной организации в Российском индексе научного цитирования (РИНЦ), отнесенное к численности исследователей (за каждый год из последних пяти лет, начиная с года, предшествующего текущему). Цитируемость работников научной организации в РИНЦ (общее число ссылок на публикации работников научной организации в РИНЦ за каждый год из последних пяти лет, начиная с года, предшествующего текущему, отнесенное к численности исследователей научной организации в году, предшествующем текущему). Число публикаций работников научной организации в Web of Science, отнесенное к численности исследователей (число публикаций за последние пять лет, начиная с года, предшествующего текущему). Цитируемость работников научной организации в Web of Science (общее число ссылок на публикации работников научной организации в Web of Science, отнесенное к численности исследователей научной организации в году, предшествующему текущему). Импакт-фактор публикаций работников научной организации в Web of Science (число публикаций работника научной организации в журнале, зарегистрированном в Web of Science за каждый год из последних пяти лет, начиная с года, предшествующего текущему, умножается на импакт-фактор данного журнала в соответствующем году; сумма полученных значений делится на общее за последние пять лет число публикаций работников научной организации в Web of Science). Число опубликованных докладов, тезисов докладов, представленных работниками научной организации на крупных конференциях, симпозиумах и чтениях (более 150 участников), а также конференциях, организованных в соответствии с планами федеральных органов исполнительной власти, государственных академий наук или на средства российских и международных фондов (включая РФФИ и РГНФ), отнесенное к численности исследователей. Число монографий и глав в монографиях, учебников и глав в учебниках, отнесенное к численности исследователей
Объекты интеллектуальной собственности Число охраняемых объектов интеллектуальной собственности, принадлежащих научной организации, отнесенное к численности исследователей. Число отечественных и зарубежных патентов (свидетельств) на объекты интеллектуальной собственности, полученных научной организацией и ее работниками за период оценивания, отнесенное к численности исследователей
- степень обновления научного оборудования.
Среди этих критериев важнейшим является первый - уровень научных результатов, так как именно результаты, собственно научная продукция являются первоосновой при оценке результативности научных организаций. Этот критерий близок к приведенному ранее первому направлению оценки Типовой методики - научный потенциал и эффективность научных исследований.
В развитие работы [4] для более детальной оценки результатов научных организаций в рамках критерия уровня научных результатов была разработана система качественных критериев [6], которую
можно представить в виде схемы (см. рисунок).
Для каждого критерия (подкритерия) была разработана вербальная шкала с небольшим числом градаций, обеспечивающих ясную различимость оценок. Например, шкала подкритерия «актуальность результата» имеет такой вид:
- требуется безотлагательное применение результата;
- результат потребуется в ближайшее время;
- результат потребуется в отдаленной перспективе;
- оценить неотложность применения результата затруднительно.
ЭКОНОМИЧЕСКИЙ АНАЛИЗ: Ж£брпя -и ЪР*?жг(Ъ4
29
Автоматизированный комплекс.
Автоматизированная
система.
Агрегат.
Алгоритм.
Аппарат.
База данных и т.д.
Создание условий для повышения качества жизни.
Повышение уровня образованности и информированности населения
Теоретический результат. Экспериментальный результат, имеющий материальное воплощение и направленный на создание и совершенствование промышленных технологий и продукции. Информационный результат, не имеющий материального воплощения и направленный на создание и совершенствование социальных технологий.
Результат опытно-конструкторской разработки. Тестирование, испытание, апробация
Актуальность результата. Уровень научно-технической значимости результата. Уровень
конкурентоспособности результата. Возможный спрос на результат. Возможная сфера использования результата. Возможный масштаб применения результата
Результат вносит существенный вклад в решение основных задач научной организации. Результат вносит определенный вклад в решение основных задач научной организации. Результат вносит некоторый вклад в решение основных задач научной организации. Результат не влияет на решение основных задач научной организации
Готовность производственной базы к освоению результата.
Готовность производственного персонала к освоению результата. Готовность материально-технического обеспечения/снабжения к освоению результата.
Наличие финансовых средств для освоения результата.
Наличие опыта освоения результата
Степень проработки результата. Возможность тиражирования результата. Уровень правовой охраны результата. Возможные сроки практической реализации результата
Система критериев оценки уровня научных результатов
Для многокритериальной экспертной оценки и анализа эффективности деятельности научных организаций предлагается методология, основанная на групповом упорядочивании многопризнаковых объектов с использованием вербального (качественного) анализа решений [2]. Вербальный анализ решений (ВАР) - относительно новый подход в теории и практике многокритериальной оценки и
сравнения альтернатив, который разрабатывается в течение многих лет в Институте системного анализа РАН. Методы ВАР позволяют оперировать с качественной информацией без ее преобразования в числовую форму, они более пригодны для представления экспертных оценок, обработки и анализа результатов экспертизы. В ВАР численные характеристики важности критериев не используются,
ЭКОНОМИЧЕСКИЙ АНАЛИЗ: ЖВбРЪЯ -и ЪР/ГКЖЪХА
а качественные оценки не преобразовываются в какие-либо числовые показатели.
Формализацию понятия эффективности деятельности научной организации предлагается рассматривать как задачу классификации многопризнаковых объектов, где объектами служат различные комбинации вербальных оценок результата организации по приведенным ранее критериям, а классами решений являются различные градации интегрального критерия эффективности деятельности научной организации. Градации порядковой шкалы интегрального (комплексного) критерия эффективности деятельности организации определяют агрегированные упорядоченные оценки результата по критериям, которые характеризуют деятельность как высокоэффективную, эффективную или низкоэффективную.
Существуют различные методы построения интегрального критерия [5]. Предлагается для построения качественного интегрального показателя использовать ПАКС (Последовательное Агрегирование Классифицируемых Состояний) [3]. Градации порядковой шкалы интегрального критерия эффективности деятельности организации определяют
Список литературы
1. Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения: приказ Министерства образования и науки РФ от 14.10.2009 № 406.
2. Петровский А. Б. Теория принятия решений. М.: Академия, 2009.
3. Петровский А. Б., Ройзензон Г. В. Многокритериальный выбор с уменьшением размерности пространства признаков: многоэтапная технология ПАКС // Искусственный интеллект и принятие решений. 2012. № 4. С. 88-103.
4. Петровский А. Б., Ройзензон Г. В., Тихонов И. П., Балышев А. В., Яковлев Э. Н. Многокритериальный анализ деятельности научных организаций // Тринадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2012): труды конференции. Белгород: БГТУ, 2012.
агрегированные упорядоченные оценки результата по критериям, которые характеризуют деятельность как высокоэффективную, эффективную или низкоэффективную.
Ранжирование результатов научных организаций предлагается осуществлять, используя разработанный в Институте системного анализа РАН метод группового упорядочения объектов АРАМИС (Агрегирование и Ранжирование Альтернатив относительно Многопризнаковых Идеальных Ситуаций) [2]. Метод основан на расчете близости объекта к идеальному объекту, имеющему наилучшие/наихудшие оценки по всем критериям, данные всеми экспертами. Преимущество метода АРАМИС заключается в том, что он позволяет ранжировать объекты, которые оценены несколькими экспертами по многим качественным критериям, без построения индивидуальных ранжировок и исключает необоснованную трансформацию исходной вербальной информации в числовую форму.
В перспективе целесообразно рассмотреть возможность использования предложенного методического подхода в Типовой методике на этапе анализа показателей результативности НИО.
5. Проничкин С. В. Разработка математической модели предпочтений лица, принимающего решения, по комплексной оценке деятельности вуза // Экономический анализ: теория и практика. 2013. № 38. С. 21-38.
6. Проничкин С. В., Тихонов И. П. Разработка системы критериев и методических подходов к экспертной оценке эффективности деятельности научных организаций. Национальные интересы: приоритеты и безопасность. 2013. № 37. С. 13-19.
7. Хрусталёв Е. Ю., Баранова Н. М. Интеллектуальные семантические модели для повышения качества образовательных и научно-исследовательских процессов // Экономический анализ: теория и практика. 2013. № 35. С. 2-10.
8. Хрусталёв Е. Ю., Ильменская Е. М. Методология контроллинга научной деятельности учреждений Российской академии наук // Контроллинг. 2009. № 3. С. 78-84.
9. Хрусталёв Е. Ю., Ильменская Е. М. Эксперт-но-аналитический анализ и методы стимулирования фундаментальных и прикладных научных исследований // Аудит и финансовый анализ. 2012. № 2. С. 158-169.
ЭКОНОМИЧЕСКИЙ АНАЛИЗ: Ж£бРКЯ те ЪР^тжгск*
31
List of references
1. About the adoption of standard provision on the commission on an assessment of productivity of activity of the scientific organizations performing research, developmental and technological works of civil appointment, and a standard technique of an assessment of productivity of activity of the scientific organizations performing research, developmental and technological works of civil appointment: order of the Ministry of Education and Science of the Russian Federation of 14.10.2009 no. 406.
2. Petrovskii A. B. Theory of decision-making [Te-oriia priniatiia reshenii], Moscow: Akademiia, 2009.
3. Petrovskii A. B., Roizenzon G. V. The multicri-terion choice with reduction of dimension of space of signs: multilevel technology PACS [Mnogokriterial'nyi vybor s umen'sheniem razmernosti prostranstva prizna-kov: mnogoetapnaia tekhnologiia PAKS], Iskusstvennyi intellekt i priniatie reshenii - Artificial intelligence and decision-making, 2012, no. 4, pp. 88-103.
4. Petrovskii A. B., Roizenzon G. V., Tikhonov I. P., Balyshev A. V., Iakovlev E. N. The multicriterion analysis of activity of the scientific organizations [Mnogokriterial'nyi analiz deiatel'nosti nauchnykh organizatsii], the Thirteenth national conference on artificial intelligence with the international participation (KII-2012), Conference works, Belgorod: BGTU, 2012.
5. Pronichkin S. V. Development of a mathematical model for decision maker's preferences based on an integrated assessment of higher educational institution's activities [Razrabotka matematicheskoi modeli
predpochtenii litsa, prinimaiushchego resheniia, po kompleksnoi otsenke deiatel'nosti vuza], Ekonom-icheskii analiz: teoriia ipraktika - Economic analysis: the theory and practice, 2013, no. 38, pp. 21-38.
6. Pronichkin S. V., Tikhonov I. P. Development of criteria and methodological approaches to assessment of effectiveness of expert scientific organizations [Razrabotka sistemy kriteriev i metodicheskikh pod-khodov k ekspertnoi otsenke effektivnosti deiatel'nosti nauchnykh organizatsii], Natsional 'nye interesy: prior-itety i bezopasnost'- National interests: priorities and safety, 2013, no. 37, pp. 13-19.
7. Khrustalev E. Ju., Baranova N. M. Intelligent semantic model to improve the quality of educational and research processes [Intellektual'nye semanticheskie modeli dlia povysheniia kachestva obrazovatel'nykh i nauchno-issledovatel'skikh protsessov], Ekonom-icheskii analiz: teoriia ipraktika - Economic analysis: the theory and practice, 2013, no. 35, pp. 2-10.
8. Khrustalev E. Ju., Il'menskaia E.M. The methodology of controlling the scientific institutions of the Russian Academy of Sciences [Metodologiia kontrollinga nauchnoi deiatel'nosti uchrezhdenii Rossi-iskoi akademii nauk], Kontrolling - Controlling, 2009, no. 3, pp. 78-84.
9. KhrustalevE. Ju., Il 'menskaiaE.M. Expert and analytical analysis and incentive fundamental and applied research [Ekspertno-analiticheskii analiz i metody stimulirovaniia fundamental'nykh i prikladnykh nauchnykh issledovanii], Audit i finansovyi analiz - Audit and Financial Analysis, 2012, no. 2, pp. 158-169.
32
ЭКОНОМИЧЕСКИЙ АНАЛИЗ: жгвТЪсЯ те ЪРЛЖкЫ
