CC BY
13Г.В. ОСИПОВ академик РАН, директор Института социально-политических исследований РАН*
С.В. КЛИМОВИЦКИЙ кандидат социологических наук, ведущий научный сотрудник Института социально-политических исследований РАН**
Оценка общественной эффективности фундаментальных научных исследований
Существующая в настоящее время в отечественной и международной практике система измерений научной и технологической деятельности1 нуждается в значительных изменениях и дополнениях. Главным ее недостатком является концентрация на измерении экономической эффективности и практически полное игнорирование как социальных последствий научно-технологической деятельности, так и процесса развития знания как такового.
Основная проблема измерения эффективности НИОКР связана с тем, что в это понятие включаются различные виды деятельности, результаты которых не всегда совпадают. Это со всей остротой ставит проблему выработки системы измерения, включающей методы, которые позволяют оценить различные аспекты научно-технологической деятельности организаций.
Особые проблемы в этом плане представляет измерение эффективности фундаментальной науки в целом и социальных и гуманитарных наук в частности. В настоящее время в международной и российской практике измерение эффективности научной деятельности осуществляется в рамках общего понятия НИОКР («исследования и разработки»), включающего в себя как фундаментальные и прикладные НИР, так и опытные разработки. В этом подходе, безусловно, есть свой смысл, поскольку он дает возможность четко проследить связь науки с производством, однако при этом не учитываются сущностные различия между видами НИОКР.
Недостатки существующего подхода особенно ярко проявляются при использовании методологии измерения экономической эффективности НИОКР, которая в настоящее время доминирует в международных и российских исследованиях. Суть проблемы заключается в следующем. В принципе, непосредственное измерение экономической эффективности путем соотнесения затрат на НИОКР с их экономическими результатами возможно лишь для опытных разработок, непосредственно связанных с производством товаров или услуг, в то время как измерение экономической эффективности прикладных научных исследований уже требует косвенных методов (например, учета в патентах цитат из научных публикаций). Что же касается измерения экономической эффективности фундаментальной науки, то ему препятствует, прежде всего, сам характер производимых в этом секторе исследований, которые осуществляются с целью получения нового знания вне зависимости от перспектив конкретного применения, а также характер получаемых результатов, которые часто выступают в форме общественных благ. Иначе говоря, производимое фундаментальной наукой знание по большей части не подпадает под критерии экономической полезности и не имеет рыночной стоимости.
С другой стороны, формируемый фундаментальной наукой общественный фонд знания является основой для создания и развития новых технологий, обладающих экономической полезностью и определенной стоимостью. Однако создание технологий, как правило, происходит спустя значительное время после завершения фундаментальных исследований. Таким образом, экономический эффект фундаментально-научного знания является диффузным и отложенным, что делает практически невозможным его точное измерение.
Аналогичная ситуация характерна для измерения экономической эффективности социальных и гуманитарных наук. Если в рамках социальных наук еще можно с натяжкой отнести к опытным разработкам процесс преобразования полученного в ходе исследований знания в операционные модели, включая демонстрационные проекты, реализуемые в целях проверки и оценки результатов, то к гуманитарным наукам эта категория в основном неприменима2. Однако даже если определенные исследования в рамках социальных и гуманитарных наук возможно подвести под категории прикладных или опытных, все равно существует проблема оценки их экономической эффективности,
* Осипов Геннадий Васильевич, e-mail: osipov@ispr.ras.ru ** Климовицкий Сергей Вениаминович, e-mail: Serkl@mail.ru
1 См.: Высшая школа экономики. Индикаторы науки: 2013. Стат. сборник. М., 2013; Осипов Г.В., Климовицкий С.В. Индикаторы науки и технологии: История, методология, стандарты измерения. М., 2014.
2 OECD. The Measurement of Scientific and Technical Activities: Proposed Standard Practice for Surveys of Research and Experimental Development (Frascati Manual). P., 2002, р. 79.
поскольку их результаты, как правило, не влекут за собой создание продуктов, имеющих рыночную стоимость.
Вместе с тем не подлежит сомнению общественный эффект фундаментально-научного знания и, в частности, социальных и гуманитарных наук. Во-первых, как уже отмечалось выше, они создают общественный фонд базового знания, к которому обращаются прикладные и опытные исследования для разработки конкретных технологий и продуктов.
Во-вторых, в современных условиях потенциал развития страны все в большей степени определяется ее человеческим капиталом, одной из важнейших составляющих которого является уровень образования населения. Фундаментальная наука является неотъемлемым компонентом системы образования, передавая от поколения к поколению созданный ей запас знания, и выполняет важнейшую культурную функцию, связанную с формированием научного мировоззрения.
Общественный эффект социальных и гуманитарных наук проявляется в создании ими знания о людях, их духовной, нравственной и культурной деятельности, а также закономерностях поведения людей и общественного развития. Очевидно, что такое знание необходимо не только специалистам в соответствующих областях, но также профессионалам высшей квалификации, в какой бы области они ни работали, поскольку оно дает понимание культурных практик общества.
Проведение различия между видами НИОКР при выборе методов измерения их эффективности уже долгое время обсуждается в литературе по наукометрии. Наиболее общая схема предполагает классификацию методов измерения на количественные, качественные и полуколичественные3. Количественные методы обычно следуют определенному алгоритму вычисления числовых данных, которые затем используются для целей сравнения с другими числовыми данными или стандартными величинами. При их использовании получаются числовые индикаторы, охватывающие исчисляемые аспекты измеряемых объектов (численность персонала, финансовые затраты, количество патентов и т.д.). Качественные методы используют интуитивные оценочные суждения, которые в дальнейшем могут быть конвертированы в количественные данные и в этом случае называются полуколичественными. Для конвертации используются такие техники, как профилирование, шкалирование и контрольные таблицы. Общая схема применения различных методов измерения эффективности в зависимости от вида НИОКР представлена ниже4.
Виды НИОКР
Фундаментальные
п +
Поисковые
I
При1<ладные Опытно-|онструкторские Усовершенствование продукта
Методы измерения
Качественные
V
Полуколичественные
V
Количественные
Авторы указывают, что применение количественных методов к фундаментальным исследованиям часто оказывается затруднительным в силу абстрактного характера результатов, поэтому в данном случае предпочтительнее качественные методы. С другой стороны, такая деятельность, как усовершенствование продукции, как правило, имеет вполне квантифицируемые результаты, которые легко укладываются в жесткий алгоритм вычисления. К видам НИОКР, расположенным между этими двумя полюсами, в наибольшей степени применимы полуколичественные методы.
Другая схема классификации5 предполагает разделение методов измерения на количественно-объективные, количественно-субъективные и качественно-субъективные. Количественно-объективные методы соответствуют количественным методам предыдущей схемы и рекомендуются для применения на завершающих стадиях НИОКР, когда результаты наиболее очевидны и могут быть подсчитаны.
Количественно-субъективные методы основываются на интуитивных оценках, которые конвертируются в численные данные. Конвертация осуществляется путем связывания этих оценок с измеримыми категориями. Для повышения достоверности измерений используется агрегирование оценок. В отличие от количественно-объективных методов, ограниченных измерением прошлой деятельности, количественно-субъективные методы позволяют также измерять ожидания. Смысл их использования заключается в том, что лучше всего оценить перспективы НИОКР могут те сотрудники, которые непосредственно участвуют в них. Примерами использования количественно-субъективных методов являются оценки выгод от осуществляемых НИОКР и связанных с ними возможностей. Эти
3 Cm.: Pappas R. and Remer D. Measuring R&D productivity // Research Management, May-June, 1985, p. 15-22.
4 Cm.: ibid., p. 16.
5 Werner B.M. and Souder W.E. Measuring R&D performance - state of the art // Research Technology Management, 40, 2, 1997, p. 28-32.
методы в наибольшей степени подходят для использования на ранних этапах НИОКР в условиях неопределенности результатов.
В отличие от количественных методов, качественно-субъективные методы не прибегают к квантификации, используя чисто интуитивные суждения. Другим отличием является то, что они применяются не столько к системе в целом, сколько к ее элементам: сотрудникам, группам, отделам. Существует четыре основных техники, используемые в качественно-субъективных методах: самооценка, оценка со стороны руководства, оценка со стороны коллег и внешний аудит. Эти методы способны дать важную информацию, которую невозможно получить количественными методами, так как они побуждают сотрудников к поиску формулировок, адекватно отражающих ситуацию, и тем самым стимулируют более глубокое понимание. Эти методы авторы рекомендуют использовать на начальных этапах НИОКР, когда отсутствует информация, необходимая для использования количественных методов.
В настоящее время основным инструментом измерения результативности фундаментальной науки являются библиометрические методы: подсчет количества публикаций и индекс цитирования по различным базам данных.
Библиометрические методы обладают рядом достоинств, среди которых можно выделить следующие:
• применимость к различным уровням измерения;
• относительная дешевизна;
• возможность непосредственно определить вклад отдельных сотрудников и институтов в развитие науки и технологии;
• возможность выявления трендов в развитии дисциплин;
• признание со стороны научного сообщества в качестве адекватного инструмента измерения результатов интеллектуальной деятельности.
Вместе с тем библиометрическим методам присущ ряд серьезных недостатков. Относительно индекса цитирования уже давно был высказан ряд критических замечаний, которые позволяют поставить под сомнение точность этого метода в качестве инструмента измерения результативности НИР. Были отмечены, в частности, следующие недостатки:
• ограниченность анализа публикациями в периодических изданиях;
• различие целей цитирования;
• распространение самоцитирования;
• проблема языка (чаще цитируются англоязычные публикации);
• временной лаг между публикацией и цитированием;
• путаница, связанная с совпадением имен авторов;
• проблема коллективных публикаций (преимущество имеет автор, упомянутый первым)6.
С другой стороны, научные публикации, будучи единственным непосредственным материальным продуктом фундаментальной науки, достаточно легко поддаются учету и позволяют судить о результативности НИР. Проблема, однако, заключается в неравноценности публикаций. Иначе говоря, существующие методы не принимают в расчет содержательность публикаций, т.е. их значение для развития научного знания.
На наш взгляд, оценку публикаций необходимо осуществлять в соответствии с важнейшими функциями фундаментального знания, о которых говорилось выше, т.е. пополнением фонда общественного знания и вкладом в образование. Метод заключается в том, что помимо простого подсчета количества публикаций по разным категориям (статьи, монографии и т.д.) каждой из публикаций присваивается определенный коэффициент в соответствии с ее вкладом в знание или образование, который определяется на основании экспертной оценки. Таким образом, чисто количественную методику подсчета количества публикаций предлагается дополнить качественным измерением, что сделает оценку результативности научной работы более точной.
Экспертная оценка рассматривается в наукометрии как самодостаточная и ограниченная рамками научного сообщества процедура, т.е. предполагается, что научная (и отчасти технологическая) деятельность может адекватно оцениваться только специалистами в данной области. Существуют три основные причины такого исключительного статуса экспертной оценки. Во-первых, уровень сложности и специализации современной науки делает, в принципе, невозможной оценку ее результатов человеком или организацией «со стороны». Во-вторых, предполагается, что рецензентами являются высококвалифицированные специалисты, которые в состоянии выносить достаточно объективные суждения, продиктованные интересами развития соответствующей области науки. В-третьих, использование научного метода при экспертной оценке должно обеспечить ее высокое качество7.
6 OECD. The Measurement of Scientific and Technical Activities: R&D Statistics and Output Measurement in the Higher Education Sector. P., 1989, p. 50-51.
7 CM.:GeislerE. The Metrics of Science and Technology. Westport, CT., 2000, p. 219.
Выделяется ряд условий, необходимых для успешного осуществления процесса экспертной оценки, а также характеристик самого процесса, делающих его достаточно надежным инструментом оценки научной деятельности.
К основным условиям успешного проведения экспертной оценки, в частности, относятся:
• независимость процесса оценки;
• тщательный отбор заслуживающих доверия экспертов;
• отсутствие у экспертов личной заинтересованности в результате оценки;
• сохранение анонимности рецензентов и рецензируемых.
В качестве характеристик процесса экспертной оценки, обеспечивающих его достоверность, выделяются следующие:
• формальность: цель процесса и все шаги должны быть четко определены и известны участникам;
• рациональность и понятность: критерии оценки должны быть установлены заранее и известны участникам;
• ограниченность во времени: чем более длительным будет процесс оценки, тем менее ценными будут его результаты8.
Предлагаемый метод экспертной оценки заключается в присваивании публикациям определенного коэффициента в зависимости от научной или образовательной ценности работы. Для этого используются следующие категории.
Пополнение общественного фонда знания.
Оцениваемая работа:
1) поднимает науку на новый уровень, выходящий за пределы существующей парадигмы (2,0);
2) открывает новое направление исследований (1,9);
3) позволяет решить важную научную проблему (1,8);
4) создает новую теорию (1,7);
5) уточняет или дополняет существующую теорию (1,6);
6) опровергает существующую теорию без предложения новой (1,5);
7) ставит новую научную проблему (1,4);
8) предлагает новый метод исследования (1,4);
9) открывает новые свойства изучаемых объектов (1,4);
10) открывает новые эмпирические закономерности взаимодействия изучаемых объектов (1,3);
11) предлагает новую интерпретацию полученных ранее эмпирических данных (1,2);
12) вносит иной вклад в научное знание (1,0).
Образование.
Оцениваемая работа может быть использована:
1) для создания новой академической дисциплины (1,4);
2) для разработки нового учебного курса (1,3);
3) для внесения изменений в существующий учебный курс (1,2);
4) в программах повышения квалификации (1,1);
5) использования в учебном процессе не предполагается (1).
Сумма баллов, полученная в результате сложения количества публикаций с соответствующими коэффициентами по двум указанным выше категориям, может служить одним из индикаторов общественной эффективности фундаментальных НИР.
Осипов Г.В., Климовицкий С.В. Оценка общественной эффективности фундаментальных научных исследований. Данная статья посвящена проблеме измерения общественной эффективности фундаментальных научных исследований. Предлагаемый метод экспертной оценки научных публикаций в дополнение к подсчету их количества позволяет измерить их общественную эффективность с точки зрения развития науки и образования.
Ключевые слова: наукометрия, НИОКР, общественная эффективность, библиометрия, экспертная оценка.
Osipov G.V., Klimovitsky S.V. Evaluation of the social efficiency of fundamental scientific research. This article deals with the problem of measuring social impact of basic research. The proposed method of supplementing the count of scientific publications with their peer review allows measuring their social impact from the point of view of science and education development.
Key words: scientometrics, R&D, social impact, bibliometrics, peer review.
8 См.: GeislerE. Op. cit., p. 220-221
