CC BY
48МЕХАНИЗМЫ И ИНСТРУМЕНТЫ ГОСУДАРСТВЕННОГО УПРАВЛЕНИЯ НАУЧНО-ТЕХНОЛОГИЧЕСКОЙ СФЕРОЙ
DOI: 10.19181/smtp.2022.4.4.2 EDN: PKZMUL
О ПОДХОДАХ К ЭКСПЕРТНОЙ ОЦЕНКЕ ЭФФЕКТИВНОСТИ НАУЧНЫХ ИССЛЕДОВАНИЙ
Шепелев Геннадий Васильевич1
1 Научно-образовательный центр «Кузбасс», Кемерово, Россия
АННОТАЦИЯ
Представлены общие подходы к экспертизе при оценке эффективности научно-технической сферы. Рассмотрены роли участников экспертизы -лица, принимающего решение, организатора экспертизы, экспертов, других участников, заинтересованных в результатах экспертизы. Разобраны общие требования к экспертам, такие как квалификация, объективность, независимость эксперта, возможные конфликты интересов участников экспертизы. Рассмотрена реализация теоретических положений организации экспертизы на практических примерах.
Показано, что экспертные оценки при анализе эффективности научных организаций могут приводить к недостоверным результатам так же, как и использование наукометрических показателей эффективности вне зоны их применимости.
Представлены некоторые основные наукометрические показатели, показано, что их можно рассматривать как формализованные ответы на вопросы экспертизы. Показана зависимость наукометрических показателей от масштаба аудитории, на которую выходят те или иные публикации. Спрогнозированы возможные изменения в наукометрических показателях российских публикаций в условиях ограничения доступа российских публикаций в мировые информационные системы.
КЛЮЧЕВЫЕ СЛОВА:
научно-техническая экспертиза, оценка эффективности научных исследований, наукометрические показатели, публикационная активность, информационные системы
БЛАГОДАРНОСТИ:
Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации, соглашение от 28.09.2022 г. № 075-102022-115 «Разработка и реализация эффективной системы управления исследованиями, инновациями, производством и выводом на рынок новых продуктов на основе научно-производственного партнёрства научных и образовательных организаций и реального бизнеса».
ДЛЯ ЦИТИРОВАНИЯ:
Шепелев Г. В. О подходах к экспертной оценке эффективности научных исследований // Управление наукой: теория и практика. 2022. Т. 4, № 4. С. 25-47. йО! 10.19181/Бт^р.2022.4.4.2. БйМ Р^МШИ
ВВЕДЕНИЕ
С ограничением доступа к зарубежным базам научных публикаций Web of Science (далее - WoS) и Scopus развернулась дискуссия о разработке новой системы оценки эффективности научных организаций, основанной на данных российской системы публикаций. В статье [1] рассмотрены требования к российской системе публикаций и указаны основные количественные параметры такой системы. С учётом изменения базы для наукометрических оценок роль экспертной оценки при анализе эффективности научных исследований1 должна возрасти. В этих условиях представляется полезным рассмотреть базовые принципы организации экспертной оценки эффективности научных исследований. Кроме того, новая ситуация с доступом к информационным базам требует также переосмысления подходов к наукометрическим инструментам, поэтому ниже проведено исследование того, как зависят некоторые наиболее часто используемые наукометрические показатели от масштаба аудитории и как они могут поменяться в новых (санкционных) условиях.
Во многих публицистических выступлениях представителей научной общественности роль экспертной оценки подаётся как определяющая и явно или неявно противопоставляется использованию наукометрических подходов. При этом приводится много вполне справедливых примеров, когда наукометрический подход даёт (или может дать) неправильные результаты2,3.
В этой связи полезно исследовать следующие вопросы:
1) чем «плохи» наукометрические показатели;
2) как должна быть организована экспертная оценка научных организаций, отдельных учёных и научного сектора в целом, с тем чтобы компенсировать недостатки наукометрической оценки.
Подробно нормативная база для оценки эффективности научных исследований на различных уровнях (отдельных учёных, научной организации, национальной системы научных исследований) рассмотрена в статье [2], и следует отметить, что в целом нигде в нормативных документах не предлагается использовать исключительно наукометрические показатели.
Дискуссия по «правильной» организации экспертизы также имеет достаточно длительную историю, в частности, многократно противопоставлялась «неправильная» организация в Минобрнауки России и «правильная»
Термин «эффективность» подразумевает далее «эффективность научных исследований», если не указано иное.
Философы недовольны новой методикой расчёта публикационной результативности // Поиск: [сайт]. URL: https://poisknews.ru/ran/filosofy-nedovolny-novoj-metodikoj-rascheta-publikaczionnoj-rezultativnosti/? (дата обращения: 13.10.2022).
Решение Ученого совета Института философии РАН 6 февраля 2020 г. // Институт философии РАН: [сайт]. URL: https://iphras.ru/06_02_2020.htm?ysclid=l53ca2h5uy458024736 (дата обращения: 13.10.2022)
2
3
в РФФИ, РНФ и других конкурсах, организуемых вне министерства4. С учётом того, что аргументов в дискуссиях приводилось очень мало — как правило, использовалось «доказательство путём повторения», представляется важным в новых складывающихся условиях вернуться к базовым основам организации экспертизы. В качестве общего замечания отметим, что как экспертная оценка, так и наукометрические показатели требуют правильного применения с соблюдением условий их применимости к тому или иному объекту экспертизы.
Для ответов на сформулированные выше вопросы вначале рассмотрим общие положения организации экспертизы, возможности их соблюдения в тех или иных условиях и примеры реализации этих принципов в недавней истории, а затем покажем, что наукометрические показатели также можно рассматривать как некоторый предельный вариант экспертной оценки, допускающий более высокую степень формализации. Для иллюстрации будут рассмотрены некоторые наукометрические показатели, которые часто вызывают критику у научного сообщества, основные положения экспертного подхода к их оцениванию, и на этих примерах показаны возможные методологические проблемы при их применении.
На основе анализа сделаем выводы о применимости наукометрического и экспертного подходов к оцениванию российской науки в текущей ситуации и возможных модификациях их использования, которые могут повысить качество системы оценивания.
В данной статье не ставится задача дать обзор всех аспектов экспертного оценивания, обзор похожих исследований, в том числе зарубежных. Основная исследуемая проблема — как основные требования к экспертизе могут быть выполнены в складывающихся российских условиях (которые вряд ли встречались в зарубежной практике) и какие последствия могут возникать при нарушении основополагающих принципов. Как следствие постановки задачи — основные примеры, иллюстрирующие рассматриваемые положения, также взяты из российской практики.
1.ЭКСПЕРТИЗА
Вначале рассмотрим общие подходы к проблеме оценки эффективности и роль этого процесса в системе управления, затем будут изложены и обсуждены базовые понятия экспертизы и опыт их реализации на практике, роли основных участников экспертного процесса. Приведённые ниже положения экспертного оценивания описываются лишь в той мере, в которой необходимы для понимания обсуждаемых аргументов и выводов.
Эти дискуссии в своё время достаточно широко освещались в сети интернет, но в настоящее время большинство сайтов, где размещалась эта информация, не поддерживаются. Из ныне доступных можно привести ссылку на дискуссию «Открытая дискуссия: Реформа науки: путь к спасению или имитация деятельности» // Сахаровский центр: [сайт]. URL: https://www. sakharov-center.ru/node/9663 (дата обращения 04.07.2022).
1.1. ОБЩИЕ ПОДХОДЫ К ОЦЕНКЕ ЭФФЕКТИВНОСТИ
Оценка эффективности того или иного процесса предполагает наличие некоторого «идеального» состояния, по отношению к которому оценивается состояние объекта оценки. На рис. 1 показана упрощённая схема управления научным сектором [3], в которой система оценки состояния научного сектора включена в цепь обратной связи, влияющей на распределение ресурсов, которые поступают в научный сектор. В системе управления предполагается наличие критериев принятия решений и, как следствие, критериев оценки текущего состояния системы.
Оценка критериев может происходить на основе «объективных» показателей, которые, например, получаются расчётным путём из первичных данных, либо «экспертным» путём, что предполагает субъективность оценки (возможно, тех же самых исходных данных), выдаваемой экспертами. Во многом дискуссии определяются тем, что «объективные» расчётные показатели в отдельных случаях противоречат пониманию научного сообщества о «справедливой» оценке (см. подстрочные ссылки 1 и 2). Попытка достичь «справедливости» сводится к предложениям по изменению или дополнению учитываемых показателей или полному отказу от наукометрических показателей как основы оценки эффективности.
Экспертная оценка рассматривается большинством представителей научного сообщества как безусловная основа справедливой оценки. В этой связи представляется полезным оценить, как она происходит и насколько могут быть реализованы ожидания научного сообщества в отношении «справедливости» системы оценки эффективности, основанной на экспертных заключениях.
Вопросам экспертизы в научно-технической сфере посвящён довольно обширный массив литературы. Так, вопросы построения государственной экспертизы рассмотрены в работе [4], вопросы организации экспертизы отдельных проектов - в работах [5; 6; 7]. Вопросам экспертных подходов к оценке эффективности научной деятельности уделено внимание в работах [8; 9; 10]. Однако условия применимости экспертного подхода затрагиваются мимоходом, поэтому представляется целесообразным рассмотреть эти вопросы более подробно.
1.2. НОРМАТИВНАЯ БАЗА ОРГАНИЗАЦИИ ЭКСПЕРТИЗЫ
В нормативной базе, посвящённой оценке эффективности научных исследований (см. обзор [2]), очень мало внимания уделяется организации экспертной работы. Нормативная база, касающаяся основных принципов организации экспертизы, достаточно скромная, и, по существу, основные требования и положения, предъявляемые к экспертизе, изложены в следующих документах:
■ Федеральный закон «О науке и государственной научно-технической политике» от 23 августа 1996 г. № 127—ФЗ (статья 14 «Организация и проведение экспертиз научной и научно-технической деятельности»);
■ Модельный закон «О государственной экспертизе» (принят Постановлением Межпарламентской ассамблеи государств-участников СНГ от 7 декабря 2002 г. № 20-7);
■ Модельный закон «О научной и научно-технической экспертизе» (принят Постановлением Межпарламентской ассамблеи государств-участников СНГ от 15 ноября 2003 г. № 22-17).
Экспертиза с начала 90-х годов прошлого века регламентируется в основном нормативно-правовыми документами «министерского» уровня, а также рядом других методических документов по экспертизе (разработанных по заданиям федеральных органов исполнительной власти, в рамках деятельности государственных и негосударственных научных фондов и др.) Следует отметить, что модельные законы Союзного государства, в которых описаны требования к экспертизе, мало известны в научном сообществе, поэтому представляется целесообразным более подробно остановиться на основных понятиях организации экспертизы.
1.3. ОБЩАЯ СХЕМА ЭКСПЕРТИЗЫ
Основные участники экспертизы и отношения между ними схематически представлены на рис. 2. Экспертиза проводится, как правило, для обоснования принятия каких-либо решений5. Лицо, принимающее решение (далее — ЛПР), может быть как физическим лицом (принимает единоличное решение), так и, например, комиссией (коллегиальное решение). В случае, когда ЛПР не обладает всей полнотой информации, необходимой для принятия решения, для ответов на отдельные вопросы привлекаются эксперты. В качестве экспертов могут выступать как физические, так и юридические лица — экспертные организации.
В случае, когда необходимо провести много экспертиз и организация экспертизы проводится регулярно, ЛПР может выбрать оператора - организатора экспертизы, который проводит организационную работу, - подбирает
5 В закон о науке предлагается внести следующее дополнение: «Статью 2 дополнить частью восемнадцатой следующего содержания: "Научная (научно-техническая) экспертиза - деятельность, требующая специальных знаний, которая направлена на изучение поставленных заказчиком вопросов в области науки и техники и подготовку заключения с целью принятия научно обоснованных решений"» - Звягина Ж. Понятие «Научная экспертиза» предложили закрепить законодательно // Парламентская газета: [сайт]. 2021. 26 августа. URL: https://www.pnp.ru/ economics/ponyatie-nauchnaya-ekspertiza-predlozhili-zakrepit-zakonodatelno.html (дата обращения: 13.10.2022).
экспертов, обеспечивает их информацией о предмете экспертизы, собирает заключения, готовит сводные отчёты в случае, если экспертов несколько, организует оплату их услуг.
го =Г
о л т.
X
го ш
0 и О)
а.
01
х
Роль ЛПР в процессе экспертизы — сформировать вопросы экспертизы, предоставить информацию экспертам о предмете экспертизы, принять решение по результатам рассмотрения представленных ими ответов.
Роль организатора экспертизы — подобрать экспертов или экспертную организацию, способную ответить на сформулированные вопросы, организовать техническое сопровождение процессов экспертизы.
Роль эксперта (экспертной организации) — ответить на вопросы, сформулированные заказчиком экспертизы — ЛПР или организатором экспертизы.
Обычно, кроме перечисленных выше официальных участников экспертизы, есть физические или юридические лица, которые заинтересованы в результатах экспертизы (представлены на рис. 2 красным прямоугольником со штриховкой). Это люди или организации, которые выигрывают или проигрывают в зависимости от решения, принятого ЛПР. Если отношения между официальными участниками обычно прописаны в виде договоров, положений о проведении конкурсов и т. п. (зелёные стрелки на рис. 2), то заинтересованные лица могут пытаться оказывать неформальное воздействие на ЛПР, организаторов экспертизы, экспертов (показано красными стрелками на рис. 2). Кроме попыток воздействия на участников процесса экспертизы, это может выражаться в том числе в предоставлении неполных или фальсифицированных данных о предмете экспертизы участниками конкурсов, отборов и т. п.
Пример - двухуровневая экспертиза.
В дискуссиях по поводу организации экспертизы в программе «Научные кадры»6 оппоненты Минобрнауки приводили утверждение, что
6
Федеральная целевая программа «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (с изменениями на 29 июля 2013 года). Утверждена Постановлением Правительства Российской Федерации от 28 июля 2008 года № 568 // Федеральные целевые программы России: [сайт]. https://fcp.economy.gov.ru/cgi-bin/cis/fcp.cgi/Fcp/ViewFcp/ View/2013/259 (дата обращения: 14.10.2022).
правильной является двухуровневая экспертиза, применяемая, например, при распределении грантов в научных фондах. По существу при такой организации экспертизы роль второго уровня экспертизы соответствует роли ЛПР, то есть в сравнении со схемой, применяемой в Минобрнауки, предмет спора - кто принимает решение по результатам экспертизы, проведённой на первом этапе отдельными экспертами.
Позиция критиков Минобрнауки в приведённом примере — только учёные могут правильно оценить других учёных — опровергается приведённым ниже примером сравнения результатов оценки научных организаций 2012 и 2018 годах (отметим, что эти оценки проводились существенно позже описываемых дискуссий).
1.4. РЕАЛИЗАЦИЯ ТЕОРЕТИЧЕСКИХ ПОЛОЖЕНИЙ ОРГАНИЗАЦИИ ЭКСПЕРТИЗЫ
Реализация процессов экспертизы, которая влияет на распределение тех или иных ресурсов, находится под пристальным вниманием научной общественности и вызывает массу подозрений в неправильной организации процедур. К сожалению, в научной литературе принципы экспертизы упоминаются в виде перечисления некоторых положений, которые представляются как авторам, так и читателям вполне очевидными и не требующими развёрнутых комментариев. Поскольку именно нарушения (не всегда злонамеренные) этих базовых положений приводят к вопросам у наблюдателей, представляется целесообразным разобрать их более подробно.
ФОРМУЛИРОВКА ВОПРОСОВ ЭКСПЕРТИЗЫ
Формулировка вопросов для экспертов - это плохо формализуемый процесс, и очень часто критика результатов экспертизы и выбора решений связана с ошибками на этом этапе организации экспертизы. Перечислим некоторые подходы, которые позволяют сформулировать правильные вопросы для экспертов и получить от экспертизы требуемый результат. Детали постановки конкретных вопросов, конечно, зависят от типа экспертизы, но общие подходы едины для всех типов.
Цели привлечения экспертов. В зависимости от задачи, стоящей перед ЛПР, оно формирует пул экспертов и ставит перед ними вопросы экспертизы. В первую очередь, на уровне здравого смысла должны быть сформулированы цели, стоящие перед ЛПР, определено, «что такое хорошо и что такое плохо». Это даёт ориентиры по формированию требований к компетенциям экспертов и формированию списка вопросов для экспертов.
Следует отметить, что не все цели декларируются ЛПР в вопросах экспертизы. Например, при массовых конкурсах обычно требуется соблюдение пропорционального распределения грантов по регионам страны, задаются параметры по возрастному составу победителей, иногда устанавливаются гендерные соотношения и т. д. Эти требования предъявляются не к отдельной заявке, а к результатам конкурса в целом, поэтому в вопросы к экспертам, как правило, не попадают.
Использование результатов экспертизы. Очевидно, вопросы экспертизы должны быть связаны с тем, как предполагается использовать её результаты. В качестве некоторых примеров можно привести варианты — выявление победителей конкурса, рейтингование научных организаций (с целью дальнейшего использования рейтинга для распределения ресурсов или разового награждения победителей), определение уровня достижения тех или иных показателей при выполнении программ (государственных, целевых, отраслевых и т. д.).
Критерии оценки, которые ЛПР будет применять при принятии решений, — это следующий уровень осмысления задачи для экспертов и формализации заказа на экспертизу.
Если в качестве примера организации экспертизы рассмотреть конкурс на грантовую поддержку или государственную закупку, критерии принятия решения ЛПР обычно регламентированы нормативными документами — конкурсной документаций, положениями о реализации программы или мероприятиями и т. п. В этих нормативных документах могут быть уже сформулированы критерии отбора, которые должны быть известны всем участникам конкурса.
Вопросы экспертизы. На основе сформулированных или заданных критериев формируется анкета эксперта, в которой сформулированы вопросы, на которые должен дать ответы эксперт.
Каждый критерий может быть разбит на несколько позиций, отражающих его составляющие. Например, опыт работы коллектива может характеризоваться количеством проведённых ранее работ, объёмом привлечённых для этого средств, возможна детализация по видам средств — бюджетным и внебюджетным и т. п. Детализация вопросов позволяет избежать предвзятого отношения эксперта к участникам, проверить объективность экспертов, но, с другой стороны, излишняя детализация может привести к тому, что будут упущены какие-то важные преимущества заявок, которые не формализованы в вопросах экспертизы.
Ответы на вопросы экспертизы могут предполагать выбор из заданного набора вариантов ответа или развёрнутое описание позиции эксперта по тому или иному сформулированному в анкете эксперта вопросу. Первый вариант практикуется, когда проекты имеют небольшой масштаб, второй — когда проекты крупные и принятие решения имеет много сложных аспектов и ответы на вопросы плохо формализуются.
Ошибки в формулировках вопросов экспертизы. Приведём примеры некоторых наиболее часто встречающихся ошибок в формулировке вопросов экспертизы.
1) Оценивается не предложение, а потенциал заявителя — опыт работы, предыдущие заслуги, квалификация персонала и т. п. Потенциал, как правило, коррелирует с ожидаемым уровнем выполнения работ, но, безусловно, не однозначно его определяет. Если потенциал оценивается выше, чем оценка предложения по существу работы, то получается перекос в сторону отбора «средних работ известных и заслуженных исполнителей».
Часто при этом страдают небольшие коллективы. В практике автора был случай, когда на конкурс была подана одна и та же заявка от малого предприятия (где работал авторский коллектив) и крупной научной организации. Заявка крупной научной организации (полностью идентичная заявке малого предприятия!) получила у экспертов существенно более высокую оценку.
2) Вопросы экспертизы являются формальными вопросами по количеству специалистов, обладающих степенями, наградами и т. п. Для ответа на них не нужен эксперт, достаточно технического специалиста, который фиксирует эти данные из заявок претендентов. В качестве примера таких технических критериев оценки - анализ предложения по заявленной стоимости работы, которая обычно проводится техническими специалистами организатора экспертизы и не формулируется в виде вопроса эксперту.
3) Расплывчатые формулировки вопросов. Это легче всего проиллюстрировать на конкретных примерах. В частности, вопрос об актуальности работы разные эксперты могут понимать по-разному. Для кого-то это характеризуется наличием соответствующих поручений Президента или Правительства Российской Федерации, кто-то анализирует возможное влияние на состояние дел в какой-либо отрасли, третий оценивает возможные будущие научные достижения. Соответственно, одни и те же работы, оцениваемые разными экспертами, анализируются, по существу, исходя из разных критериев.
Если же сформулировать вопрос об актуальности к эксперту, например, в виде предложения дать оценку степени влияния работы на ту или иную отрасль на уровне отдельного предприятия или отрасли в целом, то такой вопрос задаст и соответствующую логику ответов разных экспертов.
Вследствие ошибок при формировании списка вопросов возникают ошибки при принятии решений - отбор проходит некачественная заявка, отвергается качественная, ресурсы получает не лучший вариант реализации из предложенных.
КРИТЕРИИ ОТБОРА ЭКСПЕРТОВ
Основные принципы, декларируемые при проведении экспертизы и, соответственно, при отборе экспертов: профессионализм, объективность, независимость эксперта, отсутствие конфликта интересов у участников экспертизы, неразглашение информации, ставшей доступной участникам экспертизы.
Профессионализм. Как правило, обеспечивается наличием формальных регалий (учёной степени обычно доктора наук, иногда кандидата наук, званий академика, профессора и т. д.). Формальное выполнение этого требования иногда вступает в противоречие с целью экспертизы. Например, часто экономические и рыночные показатели проекта оценивает специалист, имеющий степень доктора наук в какой-либо технической области, но не имеющий соответствующей квалификации или хотя бы практического опыта оценки экономических показателей. И наоборот, эксперты, имеющие практические
навыки оценки экономических и инвестиционных показателей проектов, не всегда имеют соответствующие учёные степени.
Объективность. Экспертная оценка по своему существу является субъективной. Объективность экспертной оценки, доведённая до логического предела, по существу, уже не требует привлечения эксперта и может быть заменена на простое фиксирование данных или расчётных показателей, сформированных на их основе.
Степень объективности оценки зависит, например, от того, проводится ли оценка завершённой работы, когда основные показатели подтверждены испытаниями, или оценивается заявка на проведение работ, где целевые параметры являются прогнозными и, по существу, оценивается вероятность их достижения (или иногда экспертам предлагается оценить риски недостижения запланированных результатов).
Используемые в этом случае такие показатели, как опыт проведения работ в соответствующей области (который практически всегда входит в состав оцениваемых критериев), вообще говоря, не является стопроцентной гарантией будущих достижений. Хотя сам опыт работы может оцениваться при этом вполне «объективно», если он выражен, например, в количестве специалистов высшей квалификации, количестве имеющихся у научного коллектива публикаций и т. п.
В связи с обсуждением понятия объективности экспертизы следует отдельно упомянуть использование наукометрических показателей как «объективных данных». Расчёт этих показателей вполне объективен и не зависит от конкретного эксперта, а вот их использование для обоснования тех или иных выводов даёт достаточно широкий простор для ошибок. Не всегда в этом есть злонамеренность, чаще это непонимание области применимости таких показателей. В следующем разделе будет проведён анализ некоторых наиболее часто используемых наукометрических показателей с точки зрения их объективности, поскольку этот вопрос является достаточно актуальным для российских реалий.
Пример: желаемое выдаётся за действительное (кадровые вопросы в начале 90-х годов).
Проблемы «объективности» экспертных оценок легче всего проиллюстрировать на примере анализа демографических проблем в науке. Во многих работах, посвящённых этому вопросу, утверждается, что в постсоветской России происходило старение науки, молодёжь уходила из науки и т. п. Всё это иллюстрировалось «объективными данными» распределения научных сотрудников по возрастам. Однако методической ошибкой таких выкладок было то, что в разные годы в соответствующие возрастные категории попадали разные люди. Если же посмотреть, как вели себя когорты, сформированные не по возрасту в один рассматриваемый год, а по годам рождения, алармистские утверждения теряют «объективную» базу. Подробный анализ изменения возрастного состава научных работников проведён в работе [11].
Независимость эксперта. Независимость эксперта может рассматриваться в отношении всех участников экспертизы и заинтересованных лиц (рис. 2).
■ Независимость от ЛПР декларируется экспертом и проверяется по формальным признакам отсутствия пересечений эксперта с членами конкурсной комиссии в профессиональной деятельности. Риски, которые здесь возникают, - возможное наличие неформальных связей эксперта с другими участниками экспертизы.
■ Независимость от объекта экспертизы также декларируется экспертом и проверяется через отсутствие формальных договоров эксперта с организацией-заявителем, в отношении проекта которой осуществляется экспертиза.
■ Независимость от организатора экспертизы (далее - ОЭ), как правило, не проверяется. Неформально хорошие отношения с организатором экспертизы могут приносить пользу при экспертизах других объектов, в отношении которых ОЭ проводит экспертизу. Этот риск практически невозможно устранить и остаётся уповать на контроль ЛПР в отношении качества исполнения ОЭ своих обязательств.
■ Независимость организатора экспертизы от ЛПР также практически не проверяется. Риски те же, что в предыдущем пункте, но контроль в этом вопросе осуществить практически невозможно, если только он не приводит к криминальным последствиям, но тогда это переходит в ведение правоохранительных органов.
■ Проверка независимости от заинтересованных лиц (далее — ЗЛ) плохо формализуется, поскольку ЗЛ не являются официальными участниками процесса экспертизы.
В то же время, в силу достаточно узких групп потенциальных участников конкурса, неформальные отношения иногда становятся определяющими.
Пример: неформальные отношения между участниками конкурса (из опыта автора, который столкнулся с подобной ситуацией в одном из конкурсов Минобрнауки)
Фаворит конкурса в заявке допустил грубейшую ошибку, которая лишала его шансов на победу в конкурсе. Впоследствии выяснилось (опять же из неформальных источников), что это было сделано преднамеренно для того, чтобы позволить победить другой организации, представители которой участвовали в принятии решений в конкурсах другого ведомства, где представители первой организации надеялись получить более масштабное финансирование.
Таким образом, проблема обеспечения независимости экспертов не сводится к вопросам злонамеренности участников экспертизы. В условиях небольших профессиональных сообществ выбрать эксперта, который не участвует в конкурсе и при этом профессионально разбирается в соответствующей области, бывает достаточно трудно. Если организация, где работает эксперт, не участвует в конкурсе, то в других конкурсах оценку проводят представители организаций, которые эксперт оценивает в рассматриваемом конкурсе. С учётом того, что информацию об экспертах не всегда можно скрыть, поведение экспертов определяется массой других соображений, обеспечивающих поддержание хороших отношений внутри узкого профессионального сообщества.
Пример: конкурсы в рамках ФЦП Научные кадры1
Конкурсы предполагали достаточно большое количество победителей и в них участвовали практически все научные организации, работающие в соответствующей области. В этих условиях найти эксперта, который мог бы профессионально оценить предложения всех участников конкурса и не был бы в контакте с кем-либо из них, было очень сложно.
Варианты обеспечения независимости в принципе известны. К ним можно отнести:
■ привлечение внешних экспертов;
■ привлечение экспертов, не зависящих от ЛПР и не имеющих отношения к объекту экспертизы.
В качестве внешних экспертов одно время было модно приглашать представителей зарубежных научных организаций. Опыт последнего времени показывает, что такой подход может приводить к рискам недобросовестной конкуренции. Привлечение в качестве «зарубежных» учёных российских соотечественников, эмигрировавших или постоянно работающих за рубежом, также может вызывать ряд иных проблем, рассмотрение которых выходит за рамки данной статьи.
Привлечение к оценке экспертов, не входящих в число непосредственно заинтересованных лиц (представители бизнеса, общественных организаций и т. п.), — более действенный инструмент, хотя и здесь возможны проблемы, например, регионального или отраслевого лоббирования.
Отсутствие конфликта интересов участников экспертизы очень часто обеспечивается соответствующим официальным заявлением участников процессов. Обычно формальным основанием наличия конфликта является наличие контактов, зафиксированных в каких-либо документах — договорах на проведение работ, совместных публикациях, договорах найма на работу и т. п.
Конфликты интересов возникают из-за потенциальной взаимозависимости участников экспертизы и, конечно, они не сводятся только к официально зарегистрированным контактам. Это создаёт риски, которые практически невозможно страховать, и в этих случаях обычно идёт ссылка на профессиональную репутацию экспертов. Насколько полно это снимает риски — тема отдельного исследования.
Неразглашение информации - ещё один аспект организации экспертизы. Профессиональные участники в своих, особенно узких областях науки прекрасно знают других участников, получают информацию по разным каналам, в том числе таким, которые формально не замыкаются на участников конкретной экспертизы. Это позволяет подключать к лоббированию своих интересов дополнительные ресурсы - организовывать «письма поддержки», использовать неформальные контакты с ЛПР и т. д.
Это переводит анализ ситуации в область конфликта интересов, поскольку лоббисты зачастую обладают собственными ресурсами, распределяемыми через другие инструменты и в которых могут быть так или иначе заинтересованы участники рассматриваемой экспертизы.
См. ссылку 6.
1
ОТБОР ЭКСПЕРТОВ
Эксперт, наилучшим образом соответствующий по квалификации для проведения конкретной экспертизы, не всегда может участвовать в ней в силу занятости или не может провести её в требуемые сроки, поэтому возникает необходимость иметь «скамейку запасных», если экспертиза проводится постоянно. Для узких специализаций, в которых занято небольшое количество научных сотрудников, это особенно актуально.
Решением этой проблемы обычно считают формирование списка экспертов, из которого при необходимости выбирается конкретный специалист для экспертизы. В качестве примеров можно привести формирование пулов экспертов — ФЦП Исследования и разработки8, реестр экспертов РИНКЦЭ9, пулы экспертов, привлекаемых для экспертизы в научных фондах, и др.
Желание реально работать изъявляют не все эксперты, включённые в исходные пулы, в силу занятости, низкого уровня оплаты, нежелания портить отношения с заинтересованными лицами и т. п., поэтому, как правило, большой объём пула экспертов не означает, что все они привлекаются для реальной работы.
Тем не менее формализация отбора экспертов постоянно обсуждается — можно упомянуть «Карту российской науки»10, недавние предложения рабочих групп Общественной палаты11 и другие.
2. НАУКОМЕТРИЯ КАК ФОРМАЛИЗАЦИЯ ЭКСПЕРТНОГО МНЕНИЯ
Наукометрические подходы часто противопоставляются экспертным. Посмотрим, насколько это справедливо. Рассмотрим в качестве примера возможный процесс экспертной оценки эффективности научной организации и выделим в этом процессе наукометрические показатели.
Если отвлечься от формального рассмотрения нормативных актов, регулирующих этот процесс (их обзор представлен в [2]), оценка эффективности должна в конечном итоге сводиться к ответу на следующие несколько вопросов:
1) ведёт ли организация научную деятельность;
2) насколько актуальна тематика исследований научной организации;
Федеральная целевая программа «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2021 годы». Утверждена Постановлением Правительства Российской Федерации от 21 мая 2013 г. № 426 // Федеральные целевые программы России: [сайт]. URL: https://fcp.economy.gov.ru/cgi-bin/cis/fcp.cgi/Fcp/ ViewFcp/View/2020/414/ (дата обращения: 13.10.2022).
Федеральный реестр экспертов научно-технической сферы: [сайт]. URL: https://reestr.extech. ru/experty/index.php (дата обращения: 13.10.2022).
Карта российской науки: [сайт]. URL: https://web.archive.org/web/20140220013657/http:// mapofscience.ru/ (дата обращения: 13.10.2022).
Запись круглого стола в Общественной палате Российской Федерации «О создании национальной системы оценки результативности научных исследований и разработок» // RU-TUBE: [сайт]. URL: https://rutube.ru/video/b0c96ecf95ea87d21032ae75c20d61dc/ (дата обращения: 13.10.2022).
з
g
3) насколько масштабна научная деятельность научной организации;
4) насколько качественна эта деятельность.
Рассмотрим эти вопросы более подробно.
Ведение научной деятельности. Наличие профессиональной деятельности организации можно оценить по тому, какую продукцию она производит. Для научной организации это могут быть публикации, защиты диссертаций (что в последнее время сводится к публикации определённого количества статей), полученные патенты на изобретения, работы, проведённые в интересах других организаций (этот показатель может характеризоваться объёмом полученных внебюджетных средств и т. п.).
Все перечисленные критерии допускают количественное выражение и возникает вопрос, почему на первое место в такой оценке ставится публикационная активность. Ответ в том, что публикации есть практически у всех научных организаций, в то время как получение патентов или работа в интересах производственных компаний осуществимы не для всех научных направлений. Даже там, где эти показатели применимы, они встречаются далеко не у всех научных организаций, потенциально способных проводить такую работу. То есть здесь мы имеем недостаточно развитую исходную базу, чтобы разумно оценивать и сравнивать организации по этим признакам.
Отметим, что в начале 2000-х годов далеко не все научные учреждения были заметны по публикационной активности, один из вице-президентов РАН отмечал тогда в интервью, что отдельные организации выдают публикации один раз в несколько лет. Понятно, что не все научные учреждения могут активно публиковаться в силу специфики тематики, ориентированности работ на фундаментальные или прикладные исследования и другие показатели, но тем не менее отсутствие публикаций у организации, занимающейся гражданской тематикой, вызывает вопросы об эффективности научной деятельности в такой организации.
Актуальность тематики исследований. На вопрос об актуальности можно ответить, сославшись на количество цитирований работ института. Но насколько правильно использовать этот показатель публикационной активности для выводов об актуальности научной деятельности? Ответ зависит от массы частных показателей, специфичных для каждой научной организации. Сравнение показателей по публикационной активности организаций, относящихся к разным тематическим направлениям, не всегда корректно, поскольку даже в рамках близких тематических направлений могут быть разные статистические показатели численности научного сообщества, на которое рассчитаны работы. В областях, где работает много учёных, показатели цитируемости будут выше. Этим пользуются, например, при организации международных коллабораций. Если публикация сделана небольшим университетом, который находится в маленькой стране, то количество цитирований будет в среднем меньше, чем для аналогичной статьи, опубликованной организацией, работающей в крупной стране. Совместная публикация даёт повышение цитируемости для авторов из маленькой страны и сравнительно
мало влияет на цитируемость авторов из крупной страны. (Более полный анализ влияния международной кооперации см. в работе [12]).
Низкую цитируемость часто интерпретируют как недостаточное качество статей, но здесь проблема может быть и в «видности» статьи и, как следствие, деятельности учёного для той или иной группы его коллег.
В качестве иллюстрации влияния «видности» можно привести данные опроса, кого из известных российских учёных знают наши сограждане. В список, сформированный по результатам опроса, попал С. П. Капица -известный популяризатор науки, знакомый широкой аудитории по телевизионным передачам о развитии науки, и не попал его отец П. Л. Капица -нобелевский лауреат, работы которого хорошо известны в научном сообществе (которое, естественно, существенно меньше по масштабу, чем всё население страны)^2.
Вопрос, насколько адекватны оценки актуальности работ по наукометрическим показателям, можно проиллюстрировать работами в области гиперзвуковых ракет — очевидна безусловная важность данных работ для безопасности страны и отсутствие значимых показателей цитируемости в силу понятной закрытости данных работ. Но для фундаментальных исследований показатель цитируемости является практически единственным, позволяющим непрофессионалам в данной области оценить уровень достижений.
Масштабность научной деятельности. Ответ на третий вопрос потребует скорее всего какого-то нормирования (на объём финансирования, количество учёных в институте и т. п.). Здесь снова возникает произвол в виде выбора базы для нормирования, и разные эксперты могут быть сторонниками разных подходов. Можно напомнить жаркие дискуссии, когда увеличение финансирования в рамках государственного задания пытались связать с соответствующим увеличением количества публикаций13,14. Автор полагает (можно считать это гипотезой, которую следовало бы проверить по имеющимся статистическим данным), что количество публикаций зависит больше от интенсивности работы конкретного человека и гораздо меньше от того, какую зарплату он при этом получает. То есть количество публикаций на одного научного сотрудника не должно сильно зависеть от «стоимости статьи», которую часто используют в дискуссиях по поводу показателей эффективности научных исследований.
Качество научной деятельности. Наконец, на четвёртый вопрос можно ответить, например, проанализировав, в каких журналах публикуются работы рассматриваемой научной организации. Если это рецензируемые журна-
12 Городецкий Н. Не знают Перельмана и Алферова // Газета-Ru: [сайт]. 2011. 23 марта. URL: https://www.gazeta.ru/science/2011/03/23_kz_3562533.shtml (дата обращения: 13.10.2022).
13 Письмо Министерства науки и высшего образования РФ от 14.01.2020 № МН-8/6-СК «О корректировке государственного задания с учётом методики расчёта комплексного балла публикационной результативности» // Консорциум Кодекс: [сайт]. URL: https://docs.cntd.ru/documen t/564894817?ysclid=l98b7jwaoi754151729 (дата обращения: 13.10.2022).
14 Методика расчёта качественного показателя государственного задания «Комплексный балл публикационной результативности» для научных организаций, подведомственных Министерству науки и высшего образования Российской Федерации, на 2020 год, утверждена Министерством науки и высшего образования РФ 30.12.2019.
лы, то принято считать, что работы института прошли некую независимую проверку качества. Следует, однако, заметить, что рецензирование статей можно считать одним из частных видов экспертизы, и если принять, что в отечественных журналах могут проявляться все риски, отмеченные в предыдущем разделе, то и здесь однозначно утверждать, что такой подход даёт заведомо объективную картину, невозможно.
Приведу пример, рассказанный автору руководителем некой организации. Директор НИИ, обсуждая перспективность тематики со своими сотрудникам, указывал, что исследования, которые ведёт научная группа, дальнейшей перспективы не имеют. Аргументы руководителя группы за сохранение тематики (согласного с тем, что её актуальность исчерпана) были такими: ещё года три можно публиковать статьи по этой тематике в высокорейтинговых журналах, что в интересах всей научной организации.
Этот пример показывает, что, с одной стороны, формализация оценок в виде наукометрических показателей может вступать в противоречие со здравым смыслом, и в то же время, с другой стороны, даёт наиболее простой и широко применимый инструмент оценки, если не выходить за рамки его применимости. Собственно экспертная оценка применимости наукометрических инструментов имеется в виду, когда утверждается, что экспертная оценка более адекватна.
Сторонники чисто «экспертного» подхода к оценке преувеличивают его эффективность, что также можно проиллюстрировать событиями недавнего прошлого. В 2012 году была проведена оценка организаций РАН в соответствии с Постановлением Правительства № 31215. Результаты экспертизы показали, что 290 из 297 организаций, проходивших оценку комиссией РАН16, попали в первую категорию — «организации мирового уровня», шесть во вторую категорию и всего одна - в третью.
В 2018 году уже другой комиссией, которую возглавлял академик В. А. Рубаков, была проведена оценка тех же научных институтов, которые стали подведомственными созданному в 2013 году Федеральному агентству научных организаций (ФАНО). По мнению вице-президента РАН А. Р. Хохлова, экспертная оценка институтов была независимой11. При этом
15 Постановление Правительства Российской Федерации от 08.04.2009 г. № 312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» // Гарант: [сайт]. URL: https://base.garant.ru/195302/7ysclicN98aiab1xx558184810 (дата обращения: 14.10.2022).
16 Приложение к Постановлению Президиума РАН от 25 декабря 2012 г. № 271 «Об оценке результативности деятельности научных организаций Российской академии наук по итогам работы за 2007-2011 годы» // Российская академия наук [сайт]. URL: http://www.ras.ru/presidium/ Cocuments/Cirections.aspx?ID=0Cc49122-e7C1-45c0-9486-017f768fb497&yscliC=l54u3mef qe797668593 (дата обращения: 14.10.2022).
17 Оценка результативности деятельности научных организаций: ФАНО и РАН подводят итоги. Прямая трансляция // Научная Россия: [сайт]. 2018. 3 апреля. URL: https://scientificrussia.ru/ articles/otsenka-rezultativnosti-Ceyatelnosti-nauchnyh-organizatsij-fano-i-ran-poCvoCyat-itogi-pryamaya-translyatsiya (дата обращения: 14.10.2022).
она получилась совершенно другой — из 454 организаций в первую категорию попали 142, во вторую — 205 и в третью — 10718.
Если подход 2012 года можно в большей степени назвать «экспертным» — использование наукометрических показателей в те времена только начиналось, то в 2018 году гораздо больше внимания было уделено «наукометрическим» показателям. Следует отметить, что если оценки 2012 года воспринимались в академическом сообществе вполне лояльно, то оценка 2018 года подверглась критике в академических кругах19, хотя экспертами и в том, и другом случае выступали сами учёные, причём в 2018 году руководили работой скорее оппозиционно настроенные к ФАНО академики.
В качестве вывода для данного раздела следует указать, что наукометрические и экспертные подходы к оценке не являются антагонистическими. Проблема лишь в «правильном» их использовании. Определённая работа в этом направлении ведётся, но дискуссии, к сожалению, часто сводятся к оценке личностей оппонентов, а не к формированию правил применения тех или иных инструментов.
Приведённые примеры показывают, что и использование «экспертного метода» оценки не является гарантий от ошибок, и его применение должно проводиться при соблюдении всех базовых принципов, выполнение которых требует достаточно серьёзных усилий и контроля. Как показывают приведённые выше примеры, риски ошибок возникают при нарушении правил использования любых оценочных инструментов, и экспертная оценка не является здесь исключением.
3. НОВАЯ САНКЦИОННАЯ РЕАЛЬНОСТЬ И ОЦЕНКА ЭФФЕКТИВНОСТИ НАУЧНЫХ ИССЛЕДОВАНИЙ
Изменение условий доступа к информационным базам и организации международного сотрудничества, очевидно, приведёт к изменению наукометрических показателей российских научных организаций. Развернулась дискуссия по формированию собственной базы для наукометрических оценок, хотя иногда это подаётся как изменение всей системы оценки эффективности научных организаций20. Спрогнозируем, как могут поменяться наукометрические показатели в новых условиях.
Разобрали по категориям: списки научных организаций ФАНО после оценки их деятельности // Индикатор: [сайт]. 2018. 3 апреля. URL: https://indicator.ru/engineering-science/ocenka-rezultativnosti-akademicheskih-institutov-fano.htm (дата обращения: 14.10.2022).
Механик А. Наукометрия не заменит экспертизу // Стимул: [сайт]. URL: https://stimul.online/ articles/sreda/naukometriya-ne-zamenit-ekspertizu-/?ysclid=l54xwf7ixq831942210 (дата обращения: 14.10.2022).
Урманцева А. «Национальная система оценки науки может быть построена на данных РИНЦ» // Газета.ш. 2022. 14 марта. https://www.gazeta.ru/science/2022/03/14/14624287.shtml (дата обращения: 14.10.2022).
18
19
Первый ожидаемый эффект от введения санкций — снижение «видности» российских научных публикаций. Это будет происходить в силу нескольких причин — прямого ограничения на публикацию статей российских авторов (не только в силу объявленных ограничений, но и силу перестраховки редакторов и рецензентов зарубежных журналов). Вторая возможная причина — снижение числа совместных публикаций зарубежных и российских учёных. Третья — снижение числа цитирований российских авторов в статьях зарубежных коллег, вызванных гласными или негласными рекомендациями, либо в силу осторожности или политической ангажированности самих зарубежных авторов.
В среднем число ссылок на статью можно считать прямо пропорциональным аудитории, на которую она выходит. Ограничение доступа к зарубежным аудиториям приведёт к снижению импакт-факторов российских журналов и цитируемости статей, рассчитанных на зарубежную аудиторию. При этом статьи, которые были рассчитаны в основном на российскую аудиторию (и соответственно, цитировались в основном российскими авторами), могут сохранить старые показатели цитируемости.
Сложнее ситуация с анализом возможных изменений индексов Хирша. Можно показать (подробный математический анализ утверждения здесь не приводится, поскольку сильно уведёт обсуждение от сути рассматриваемых вопросов), что изменение индекса происходит непропорционально изменению аудитории. Например, изменение индекса Хирша в два раза произойдёт при изменении аудитории примерно в четыре раза. Такие изменения никак не зависят от автора и качества статьи, просто так будет работать статистика.
Не сразу, но постепенно база для оценки динамики наукометрических показателей поменяется, и скорее всего исторические ряды данных нельзя будет использовать для правильной оценки динамики развития отдельных организаций. Поможет ли в этой ситуации «экспертный» подход — не очевидно. Как указывалось выше, в небольших сообществах может оказаться очень сильным воздействие административных рычагов, влияющих на оценки.
ЗАКЛЮЧЕНИЕ
Сформулируем краткие выводы из приведённого анализа. Экспертный подход к оценке эффективности научных исследований не даёт автоматически «правильных» результатов оценки. Это связано с тем, что в небольших научных сообществах, где члены сообщества зависят друг от друга, достаточно сложно без специальных усилий обеспечить независимость экспертов.
Система оценки, построенная не на анализе достигнутых научных результатов по существу оцениваемых работ, а на косвенных признаках, сопровождающих научную деятельность (публикационной и патентной активности, защитах диссертаций и т. п.), требует от эксперта знаний скорее по областям применимости соответствующих показателей, а не профессиональных
знаний в области оценки. Как следствие, в условиях, когда привлекаемые эксперты не владеют пониманием в области используемых инструментов оценки, результаты могут оказаться в противоречии со здравым смыслом.
тл о и
В условиях новой санкционной реальности оценки, основанные на анализе публикационной активности, могут претерпеть изменения тем большие, чем больше научные исследования рассчитаны на зарубежные аудитории. Это может привести к изменению привычных оценок, причём эти изменения не будут связаны напрямую с уровнем научных исследований — просто поменяется статистическая база для расчёта наукометрических показателей.
Можно начать разбираться в тонкостях наукометрии, но более полезным в условиях возможного перехода к мобилизационной экономике представляется максимально широкое внедрение проектных подходов в организации научных исследований. В этом случае усилия экспертов можно будет направить на выявление проблем и формирование научных проектов для их решения, а не на анализ признаков наличия и интенсивности научной деятельности. Реальный проектный подход мало практикуется в научных организациях и именно это может быть настоящим вызовом для научного сообщества, а не «перетряхивание» наукометрических показателей и поиск новых источников информации для их измерения.
ЛИТЕРАТУРА
1. Шепелев Г. В. Требования к системе российских публикаций в условиях санкци-онного давления // Управление наукой: теория и практика. 2022. Т. 4, № 3. С. 105—128. Б01 10.19181/зш1р.2022.4.3.8. ЕБЫ ОЕИАХТ.
2. Шепелев Г. В. Об оценке результативности научных исследований // Управление наукой: теория и практика. 2021. Т. 3, № 4. С. 123—145. Б01 10.19181/зш1р.2021.3.4.15. ЕБЫ QEEDZJ.
3. Шепелев Г. В. Об управлении российской наукой // Управление наукой: теория и практика. 2020. Т. 2, № 2. С. 65—92. D0I 10.19181/вш1р.2020.2.2.3. EDN LAE0WU.
4. Лазаренко Н. Е. Формирование системы государственной экспертизы в научно-технической сфере : автореф. дис ... канд. эконом. наук : 08.00.05 / РАНХиГС. М., 2003. 26 с.
5. Об экспертном рассмотрении заявок на получение бюджетного финансирования в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» / Н. И. Зеленцова, А. Н. Петров, С. М. Гарина, С. Ю. Тузова // Инновации. 2017. № 2 (220). С. 86—92. EDN YLZLWL.
6. Анализ причин отклонения заявок на получение субсидии в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014—2020 гг.» / С. М. Гарина, С. Ю. Тузова, Н. Е. Лазаренко, Е. Е. Антипов // Химическая технология. 2016. № 3. С. 140—144.
7. Рощин А. В. Методический подход к оценке эффективности результатов научно-технических программ / А. В. Рощин, И. П. Тихонов, С. В. Проничкин // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10—18. EDN QBEGQL.
8. Стебеняева Т. В. Анализ существующих методических подходов к оценке эффективности научной деятельности / Т. В. Стебеняева, Е. В. Жилякова // Наука и современность. 2013. № 20. С. 238-242. EDN ROQSFJ.
9. Проничкин С. В. Разработка системы критериев и методических подходов к экспертной оценке эффективности деятельности научных организаций / С. В. Проничкин, И. П. Тихонов // Национальные интересы: приоритеты и безопасность. 2013. Т. 9. № 37 (226). С. 13-18. EDN RDQCAV.
10. Яхнина В. С. Формирование системы оценивания и мониторинга эффективности научно-исследовательской деятельности как условие повышения инновационного потенциала российской науки / В. С. Яхнина, Д. Б. Цыганков // НИУ «Высшая школа экономики» : [сайт]. https://www.hse.ru/data/296/022/1239/Publ7_Tsygankov. pdf?ysclid=l6ue4bq0ej519625787 (дата обращения: 17.10.2022).
11. Шепелев Г. В. Динамика численности кадров науки при переходе от СССР к Российской Федерации // Управление наукой: теория и практика. 2020. Т. 2, № 4. С. 164-187. DOI 10.19181/smtp.2020.2.4.7. EDN DBFNKG.
12. Мжельский А. А. Научная кооперация как фактор, влияющий на цитируемость статьи. Аналитический обзор / А. А. Мжельский, О. В. Москалева // Управление наукой: теория и практика. 2020. Т. 2, № 3. С. 138-164. DOI 10.19181/smtp.2020.2.3.8. EDN RENVBL.
Статья поступила в редакцию 17.08.2022.
Одобрена после рецензирования 10.10.2022. Принята к публикации 19.10.2022.
СВЕДЕНИЯ ОБ АВТОРЕ
Шепелев Геннадий Васильевич [email protected]
Кандидат физико-математических наук, ведущий специалист, Научно-образовательный центр «Кузбасс», Кемерово, Россия AuthorID РИНЦ: 567080
DOI: 10.19181/smtp.2022.4.4.2
ON EXPERT EVALUATION OF THE SCIENTIFIC RESEARCH EFFECTIVENESS
Gennady V. Shepelev1
1 Research and Academic Centre "Kuzbass", Kemerovo, Russia
Abstract. The general approaches to expertise in assessing the effectiveness of the scientific and technical sphere are considered. The roles of the participants of the examination - the decision-maker, the organizer of the examination, experts, and other interested participants in the results of the examination are considered. The general requirements for experts, such
as qualification, objectivity, independence of the expert, possible conflicts of interests of the participants of the examination, are analyzed. The implementation of the theoretical provisions of the organization of expertise on practical examples is considered. It is shown that expert assessments in the analysis of the effectiveness of scientific organizations can lead to unreliable results, as well as the use of scientometric performance indicators outside the zone of their applicability.
Some basic scientometric indicators are considered, it is shown that they can be considered as formalized answers to examination questions. The dependence of scientometric indicators on the scale of the audience to which certain publications are published is shown. Possible changes in the scientometric indicators of Russian publications are predicted in conditions of limited access of Russian publications to world information systems.
Keywords: scientific and technical expertise, evaluation of the effectiveness of scientific research, scientometric indicators, evaluation of the effectiveness of scientific research, publication activity
Acknowledgment. The work was carried out with the support of the Ministry of Science and Higher Education of the Russian Federation, Agreement No. 075-10-2022-115 dated 28.09.2022 "Development and implementation of an effective management system for research, innovation, production and launch of new products on the basis of scientific and industrial partnership of scientific and educational organizations and real business".
For citation: Shepelev, G. V. (2022). On Expert Evaluation of the Scientific Research Effectiveness. Science Management: Theory and Practice. Vol. 4, no. 4. P. 25-47. DOI 10.19181/ smtp.2022.4.4.2.
REFERENCES
1. Shepelev, G. V. (2022). Requirements for the Russian publications system under sanctions pressure. Science Management: Theory and Practice. Vol. 4, no. 3. P. DOI 10.19181/ smtp.2022.4.3.8 (In Russ.).
2. Shepelev, G. V. (2021). On the Evaluation of the Effectiveness of Scientific Research. Science Management: Theory and Practice. Vol. 3, no. 4. P. 123-145. DOI 10.19181/ smtp.2021.3.4.15 (In Russ.).
3. Shepelev, G. V. (2020). On the governance of Russian science. Science management: theory and practice. Vol. 2, no. 2. P. 65-92. DOI 10.19181/smtp.2020.2.2.3 (In Russ.).
4. Lazarenko, N. E. (2003). Formirovanie sistemy gosudarstvennoi ekspertizy v nauch-no-tekhnicheskoi sfere [Formation of the system of state expertise in the scientific and technical sphere]. Abstract of the dissertation for the degree of Candidate of Economic Sciences: 08.00.05. RANEPA. Moscow. (In Russ.).
5. Zelentsova, N. I., Petrov, A. N., Tuzova, S. Yu. and Garina, S. M. (2017). About expertise for state granting in the framework of the Federal Target Program «Research and development on priority directions of scientific-technological complex of Russia for 2014-2020». Innovations. No. 2 (220). P. 86-92. (In Russ.).
6. Garina, S. M., Tuzova, S. Y., Lazarenko, N. E. and Antipov, E. E. (2016). The analysis of a reasons for the rejection of an applications in Federal Target Program «Researches and developments in priority directions of scientific and technological complex of Russia for 2014-2020». Journal Theoretical Foundations of Chemical Engineering. No. 3. P. 140-144. (In Russ.).
7. Roshchin, A. V., Tikhonov, I. P. and Pronichkin, S. V. (2013). Methodological approach to evaluating the effectiveness of the results of scientific and technical programs. Ekonomicheskij analiz: teoriya ipraktika [Economic analysis: theory and practice]. No. 21 (324). P. 10-18. (In Russ.).
8. Stebenyaeva, T. V. and Zhilyakova, E. V. (2013). Analysis of existing methodological approaches to evaluating the effectiveness of scientific activity. Science and modernity. No. 20. P. 238-242. (In Russ.).
9. Pronichkin, S. V. and Tikhonov, I. P. (2013). Development of a system of criteria and methodological approaches to expert evaluation of the effectiveness of scientific organizations. Priorities of Russia. No. 37 (226). P.13-18. (In Russ.).
10. Yakhnina, V. S. and Tsygankov, D. B. Formation of a system for evaluating and monitoring the effectiveness of research activities as a condition for increasing the innovative potential of Russian science. National Research University Higher School of Economics. URL: https://www.hse.ru/data/296/022/1239/Publ7_Tsygankov.pdf7ys-clid=l6ue4bq0ej519625787 (accessed 17.10.2022). (In Russ.).
11. Shepelev, G. V. (2020). Dynamics of scientific personnel in the transition from theUSSR to the Russian Federation. Science Management: Theory and Practice. Vol. 2, no. 4. P. 164-187. DOI 10.19181/smtp.2020.2.4.7 (In Russ.).
12. Mzhelsky, A. A. and Moskaleva, O. V. (2020). The role of scientific cooperation among factors influencing the article citation count. Analytical review. Science management: Theory and Practice. Vol. 2, no. 3. P. 138-164. DOI 10.19181/smtp.2020.2.3.8 (In Russ.).
The article was submitted on 17.08.2022.
Approved after reviewing 10.10.2022. Accepted for publication 19.10.2022.
INFORMATION ABOUT THE AUTHOR
Shepelev Gennady [email protected]
Candidate of physical and mathematical Sciences, Leading specialist, Research and Academic Centre "Kuzbass", Kemerovo, Russia AuthorlD RSCI: 567080
