CC BY
14Г.В. ОСИПОВ академик РАН, директор ИСПИ РАН*
С.В. КЛИМОВИЦКИЙ кандидат социологических наук, ведущий научный сотрудник ИСПИ РАН*
К разработке качественных методов оценки результатов научной деятельности
Использующаяся в настоящее время система индикаторов эффективности научной деятельности часто подвергается критике со стороны ученых, которые полагают, что она не позволяет дать всестороннюю оценку результатам их работы. Основной упрек при этом направлен на преобладание количественных аспектов оценки в ущерб качественным. В этой связи встает задача разработки методов измерения, позволяющих учесть именно качественные аспекты научной работы.
Основные современные тенденции
При разработке системы качественных индикаторов эффективности научной деятельности необходимо учитывать современные тенденции в этой области, главными из которых являются: развитие библиометрических методов, повышение внимания к общественной значимости НИР и диверсификация контекстов оценки.
Библиометрические методы начали активно развиваться с 1970-х гг. в качестве количественных инструментов оценки публикационной активности ученых и относительного качества публикаций. Примерами широко использующихся в настоящее время библиометрических индикаторов являются: импакт-факторы журналов, статистика цитирования и различные индексы цитирования.
* Осипов Геннадий Васильевич, e-mail: osipov@ispr.ras.ru
* Климовицкий Сергей Вениаминович, e-mail: serkl@mail.ru
Валидность библиометрических индикаторов в качестве инструментов оценки качества НИР является объектом дискуссии. Если администрация научных учреждений и правительственные органы видят в них достаточно объективный показатель, то сами ученые относятся к идее количественного измерения качества научной работы с известным скептицизмом, основываясь на присущих этим методам ограничениях. Тем не менее использование библиометрических индикаторов представляется оправданным при комбинировании их с другими видами индикаторов, которые позволяют скорректировать их недостатки.
Другой тенденцией, проявившейся в 90-е гг., является повышение внимания к общественной значимости научной деятельности, что привело к включению этого аспекта во многие стандартизированные системы измерения качества НИР.
С методологической точки зрения оценить общественную важность научной работы гораздо сложнее, чем ее научную значимость, поскольку в этом случае приходится полагаться на менее надежные данные. Это относится прежде всего к фундаментальным исследованиям, так как их главной функцией является пополнение общественного фонда базового знания, к которому обращаются прикладные и опытные исследования для разработки конкретных технологий и продуктов.
Последней тенденцией является диверсификация контекстов оценки. Так, сами ученые заинтересованы в информации о собственных рейтингах, руководство институтов и университетов нуждается в данных для определения статуса своих организаций в конкурентной среде, наконец, правительственным органам требуется информация для распределения фондов государственной поддержки. Таким образом, создаваемая система индикаторов должна проводить оценку качества НИР в различных контекстах.
В этой связи представляется полезным рассмотреть основные методы оценки качества научных работ, к которым относятся экспертная оценка и библиометрия.
Экспертная оценка
В большинстве вышеперечисленных контекстов для определения качества НИР используется метод экспертной оценки. Экспертная оценка рассматривается как самодос-
таточная и ограниченная рамками научного сообщества процедура, т.е. предполагается, что научная деятельность может адекватно оцениваться только специалистами в данной области. Существуют три основные причины такого исключительного статуса экспертной оценки. Во - первых, уровень сложности и специализации современной науки делает, в принципе, невозможной оценку ее результатов человеком или организацией «со стороны». Во-вторых, предполагается, что рецензентами являются высококвалифицированные специалисты, которые в состоянии выносить объективные суждения, продиктованные интересами развития соответствующей области науки. В-третьих, использование научного метода при оценке должно обес-
1
печить ее высокое качество .
Тем не менее в литературе по наукометрии приводится ряд критических соображений, связанных с недостаточной объективностью этого метода, главными из которых являются следующие:
1) наличие субъективных предпочтений к определенным видам НИР;
2) предпочтение к работам, основанным на доминирующих точках зрения или парадигмах;
3) неприятие междисциплинарности;
4) эффект взаимозависимости рецензента и рецензируемого;
5) конфликт интересов;
6) влияние научного статуса рецензируемого;
7) непрозрачность процедуры отбора экспертов;
8) неспособность экспертов оценить общественную значимость работы2.
Не все из этих критических замечаний имеют одинаковую важность. Кроме того многое зависит от контекста оценки. Наконец, имеют значение организационные факторы. Так, пп. 4 и 5 релевантны в случае отдельных публикаций и имеют отношение к научной этике. Объективность в данном случае обеспечивается публикацией рецензий и привлечением нескольких рецензентов.
1 Cm./ Geisler E. The Metrics of Science and Technology. Westport, CT., 2000, p. 219.
2 Cm.: Qual ity In d icators fo r Research i n t he H urn an iti es. Roya I Netherl ands Academy of Arts and Sciences. Interim report by the Committee on Quality Indicators in the Humanities. Amsterdam, 2011, p. 30-31.
П. 6 относится главным образом к оценке исследовательских программ и заявок на гранты. Здесь речь идет о том, что прошлые заслуги ученого могут оказывать влияние на выбор в его пользу. Однако при этом следует иметь в виду, что научная компетентность в определенной области является одним из легитимных критериев подобного выбора.
Пп. 1-3 носят более общий характер, и их следует учитывать при организации процесса экспертной оценки. Так, наличие субъективных предпочтений определенных видов НИР устраняется путем публикации рецензий и использования интерсубъективных индикаторов качества. Для устранения рисков, связанных с приверженностью к доминирующим точкам зрения и неприятием междисциплинарности, рекомендуется более тщательный подход к отбору экспертов с учетом их сферы интересов.
Риски п. 7 связаны с организационными факторами и могут быть нейтрализованы повышением открытости процедуры отбора экспертов.
Что касается п. 8, то указанный в нем недостаток может быть минимизирован при использовании «расширенной рецензии», включающей в себя информацию из более широкого круга источников, выходящих за пределы научной дисциплины. Рекомендуется, в частности, привлечение к оценке возможных пользователей результатов работы, которые могут либо непосредственно входить в состав экспертного совета, либо участвовать в нем путем предос-
-1
тавления внешних рецензий .
Важными элементами экспертной оценки, которые позволяют превратить ее в инструмент измерения качества научной работы, являются стандартизация и квантифика-ция результатов. Стандартизация критериев оценки делает ее процесс единообразным и дает возможность сопоставления результатов, а квантификация ответов дает возможность получения числовых данных.
В качестве примера можно привести стандартный протокол оценки научных исследований, используемый в Нидерландах2. Протокол ориентирован на оценку как конкретной НИР, так и выполнявшей ее организации. При этом исполь-
1 Cm. i b i d ., p. 31-32.
2 Cm.: St a n d a rd Eva I uat i o n Protocol 2015-2021. Protocol for Research Assessments in the Netherland. Amendedversion, 2016, p. 8.
зуются три критерия оценки: 1) качество научной работы, 2) ее важность для общества, 3) наличие условий для продолжения работы. Первый критерий относится к вкладу оцениваемой работы в развитие науки. Второй используется для оценки экономической, социальной или культурной значимости работы для заинтересованных групп населения. Третий направлен на оценку исследовательской стратегии научного коллектива и качества менеджмента, позволяющих продолжить работу по выбранной тематике (см. табл. 1).
Рассмотренный протокол позволяет стандартизировать и квантифицировать процесс экспертной оценки. Вместе с тем нельзя не заметить, что используемые категории являются слишком общими, что не позволяет в полной мере учесть различия в научной и общественной ценности работы. В этой связи представляется полезным расширить и конкретизировать набор критериев.
Таблица 1
Категории стандартного протокола оценки научных исследований
Категория Значение Качество НИР Общественная важность Условия для продолжения работы
Работа является одной из наибо- Работа вносит Превосходные
1 Отлично лее влиятельных в данной области на мировом уровне выдающийся вклад в общество
2 Очень хорошо Работа является очень хорошей и признанной на Работа вносит значительный вклад в общество Очень хорошие
международном уровне
Работа является Работа вносит Хорошие
3 Хорошо хорошей определенный вклад в общество
4 Неудов-летвори-тельно Результаты работы неудовлетворительны Работа не вносит удовлетворительного вклада в общество Неудовлетворительные
Ранее нами были предложены в качестве дискуссионного материала методы экспертной оценки фундаменталь-
ных научных и прикладных социальных исследований, позволяющие дополнить чисто количественный метод подсчета публикаций качественным измерением, указывающим на их научную и общественную ценность. В основу методологии было положено представление о том, что общественная ценность фундаментальных исследований связана, в первую очередь, с пополнением ими общественного фонда знания1, а прикладных исследований - с их ориентацией на решение конкретных социальных проблем2.
На наш взгляд, данный подход можно также использовать для комплексной оценки НИР с точки зрения их научной и общественной важности. При этом оценка научной важности работы будет основываться на масштабе ее вклада в научное знание. Высший балл будет присваиваться той работе, масштаб вклада которой является наибольшим.
Что касается общественной важности НИР, то в основу ее оценки представляется полезным положить разработанный Г.В. Осиповым алгоритм социального конструирования, под которым понимается научная деятельность по созданию желательных социальных реалий и предупреждению негативного развития событий . Алгоритм представляет собой систему шагов от постановки социальной проблемы до формулирования рекомендаций по ее решению, в которой каждый следующий шаг логически следует из предыдущего и практически невозможен без него. В этом случае баллы шкалы будут оценивать степень завершенности решения социальной проблемы в той или иной НИР. Объединенная шкала представлена в табл. 2.
1 См.: Осипов Г.В., Климовицкий С.В. Оценка общественной эффективности фундаментальных научных исследований // Социально-гуманитарные знания, 2014, № 5, с. 54-62.
См.: Осипов Г.В., Климовицкий С.В. Оценка общественной эффективности прикладных социальных исследований // Социально-гуманитарные знания, 2015, № 6, с. 102-111.
3 См.: Осипов Г.В. Введение в социологическую науку. М., 2010, с. 81-82.
Таблица 2
Шкала оценки научной и общественной важностиНИР
Баллы Научная важность Общественная важность
5 Оцениваемая работа: • открывает новое направление научных исследований; • решает важную научную проблему; • создает новую теорию. Оцениваемая работа предлагает практические рекомендации для решения социальной проблемы.
4 Оцениваемая работа: • уточняет, дополняет или опровергает существующую теорию; • ставит новую научную проблему; • предлагает новый метод исследования. Оцениваемая работа: • содержит эмпирические данные, подтверждающие теоретическое решение социальной проблемы; • предлагает модели решения социальной проблемы и содержит результаты моделирования.
3 Оцениваемая работа: • открывает новые свойства изучаемых объектов; • открывает новые эмпирические закономерности взаимодействия изучаемых объектов; • предлагает новую интерпретацию полученных ранее эмпирических данных. Оцениваемая работа: • проводит анализ факторов проблемной ситуации; • предлагает теоретическое решение социальной проблемы.
2 Оцениваемая работа имеет определенную научную важность. Оцениваемая работа ставит социальную проблему.
1 Оцениваемая работа не имеет научной важности. Оцениваемая работа не имеет общественной важности.
По пятибалльной шкале оценивается как научная важность работы, так и ее общественная важность. При этом очевидно, что первый аспект будет более актуален для фундаментальных исследований, которые осуществляются с целью приобретения знания о базовых характеристиках феноменов и наблюдаемых фактов и не предусматривают какого-либо конкретного использования, а второй - с целью
получения знания, ориентированного на достижение прак-
1
тических целей .
Библиометрия
Как указывалось выше, относительно библиометричес-ких методов в качестве инструментов измерения качества научной работы существуют различные мнения. С одной стороны, им присущи такие свойства, как квантификация качественных характеристик, применимость к различным уровням измерения и возможность выявления трендов в развитии дисциплин, что делает их особенно удобными для использования научной администрацией различного уровня и правительствами.
С другой стороны, библиометрии присущ ряд существенных недостатков, связанных с покрытием и методикой измерения, к которым обычно относят следующие:
• ограниченность анализа публикациями в периодических изданиях;
• различие целей цитирования;
• распространение самоцитирования;
• проблема языка (чаще цитируются англоязычные публикации);
• временной лаг между публикацией и цитированием;
• путаница, связанная с совпадением имен авторов;
• проблема коллективных публикаций (преимущество имеет автор, упомянутый первым)2.
Кроме того существуют также сомнения относительно принципиальной адекватности этого инструмента для измерения качества научных исследований.
Очевидно, что простой подсчет количества публикаций измеряет не качество, а продуктивность. Индекс цитирования является более информативным, давая представление о влиятельности работы, однако тоже не указывает напрямую на ее качество. Самое большее - он свидетельствует об использовании работы в последующих публика-
1 Cm.: OECD. Frascati Manual. Proposed Standard Practice for Surveys on Research and Experimental Development. P., 2002, p. 77-78.
2 Cm.: OECD. The Measu rem ent of Sei ent ifi c and Techn ical Act ivities: R&D Statistics and Output Measurement in the Higher Education Secto r. P., 1989, p. 50-51.
циях, но контекст использования (позитивный или негативный) остается неизвестным.
Следует учитывать и то, что паттерны цитирования в разных дисциплинах и даже отраслях одной и той же дисциплины заметно различаются. Так, существенно различается количество ученых, работающих над определенными проблемами в разных областях знания, что ведет к различиям в количестве цитат.
Кроме того различаются также культуры цитирования. Так, в частности, исследователи обратили внимание на то, что французские ученые-гуманитарии меньше прибегают к цитированию, чем их британские или скандинавские коллеги . Это делает достаточно рискованным сравнение показателей цитирования отдельных ученых и импакт-факторов научных журналов.
Следует также учитывать расхождения в цитируемости различных типов публикаций. Как правило, рецензии и обзорные статьи цитируются чаще, чем статьи по результатам конкретных исследований.
Таким образом, использование библиометрических методов в качестве единственного и непосредственного инструмента измерения качества научной работы представляется неоправданным. Вместе с тем применение библиометрии наряду с экспертной оценкой в рамках системы индикаторов качества НИР позволяет нейтрализовать ее недостатки и использовать сильные стороны. В этой связи представляется также полезным расширить охват библио-метрических методов за счет включения монографий, диссертаций, брошюр, отчетов о результатах НИР, аналитических записок, материалов конференций и других опубликованных источников научных идей.
Система индикаторов качества научной деятельности
Из вышеизложенного понятно, что адекватная система индикаторов качества научной деятельности должна включать в себя такие измерения, как результативность, научная и общественная важность. Кроме того эта система
1 Cm./ Dolan C. Feasibility Study: The Evaluation and Benchmarking of Humanities Research in Europe. UK Arts and Humanities Research Council, 2008, p. 42.
должна быть достаточно гибкой для использования в различных контекстах и допускать дополнения и изменения.
Методологически это может быть реализовано путем сочетания стандартизированной и квантифицированной экспертной оценки с оптимизированными библиографическими индикаторами. При таком использовании индикаторы подкрепляют экспертную оценку, которая, в свою очередь, определяет релевантность тех или иных индикаторов.
Пример подобной системы индикаторов представлен на схеме1. Она включает в себя аспекты научной и общественной важности, критерии оценки, а также количественные индикаторы, указывающие на результативность научной деятельности, ее признание в научном сообществе и ее практические последствия для общества.
Экспертная оценка в аспектах научной и общественной важности осуществляется в соответствии с принятым стандартным протоколом и квантифицируется по пятибалльной шкале, как было указано выше. При этом принимаются в расчет критерии оценки, представленные на схеме.
Экспертная оценка дополняется количественными индикаторами, сгруппированными в соответствии с указанными критериями, которые также представлены на схеме. Список представленных индикаторов по необходимости является приблизительным и может изменяться или дополняться, чтобы лучше отражать используемые в рамках дисциплины или научной области средства представления результатов.
Предлагаемая система индикаторов является одновременно универсальной и гибкой. С одной стороны, она может применяться как к фундаментальным, так и к прикладным НИР, которые могут быть оценены в наиболее актуальных для этих категорий аспектах качества. С другой стороны, она также позволяет исключать ненужные или включать необходимые библиометрические индикаторы, подкрепляющие качественную экспертную оценку.
1 См.: Q и а I \ (у 1п с) \ са(о гэ йо г Rese а гс1п \ п Ше Н ит а п \ ( \ еэ, р. 47.
Осипов Г.В., Климовицкий С.В. К разработке качественных методов оценки результатов научной деятельности. Статья посвящена разработке методов качественной оценки результатов научной деятельности. Авторы критически анализируют применяемые в настоящее время индикаторы эффективности научной работы, которые не позволяют в полной мере учесть качественные аспекты. Они предлагают систему индикаторов качества научной работы, сочетающую стандартизированную и квантифицирован-ную экспертную оценку с расширенным набором библиометри-ческих индикаторов.
Ключевые слова: индикаторы эффективности научной деятельности, качественные методы, экспертная оценка, библиометрия, научная важность, общественная важность.
Osipov G.V., Klimovitskiy S.V. Towards the development of qualitative methods for assessing the results of scientific activity. The article is dedicated to the development of methods for qualitative assessment of the effectiveness of scientific activity. The authors critically analyze currently used indicators of scientific work which do not allow fully considering quality aspects. They propose a system of qualitative indicators of scientific work that combines standardized and quantified peer reviews with an extended list of bibliometric indicators.
Keywords: indicators of the effectiveness of scientific activity, qualitative methods, peer review, bibliometrics, scientific importance, societal importance.
