CC BY
54
pISSN 2073-2872 eISSN 2311-875X
Национальные интересы
К ВОПРОСУ ОБ ОПРЕДЕЛЕНИИ РЕЗУЛЬТАТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ*
Сергей Васильевич ПРОНИЧКИН
кандидат технических наук, старшим научный сотрудник,
Федеральный исследовательский центр «Информатика и управление» РАН, Москва, Российская Федерация
pronichkin@mail.ru
ORCID: отсутствует
SPIN-код: 2574-1306
История статьи:
Получена 02.11.2018 Получена в доработанном виде 28.11.2018 Одобрена 20.12.2018 Доступна онлайн 15.02.2019
УДК 331.1 003
Ключевые слова:
результативность, научная деятельность, научные организации, научные исследования и разработки, направления исследований
Аннотация
Предмет. В современных условиях коренным образом изменился характер научной деятельности. Для более глубокого понимания проблем, связанных с развитием научных исследований и разработок, необходимо изучить опыт оценки результативности, накопленный в области фундаментальных и прикладных исследований. Процессы, происходящие в науке, тенденции развития отдельных ее областей, факторы, влияющие на эффективность научных исследований, социальное значение научных результатов являются предметом исследования настоящей работы. Цели. Разработка вопросов определения результативности научной деятельности, анализ специфических особенностей отечественного и зарубежного опыта оценки результативности и обсуждение методологических проблем.
Методология. Использованы классификационный и структурный анализ, логический и функциональный методы исследования, принципы системного подхода для выявления причинно-следственных связей.
Результаты. Рассмотрен опыт в области организации и финансирования науки. Отмечены особенности развития науки на современном этапе. Проведен обзор методов определения результативности фундаментальных и прикладных научных исследований, представлено обсуждение методологических проблем. Установлены принципиальные различия в определении результативности фундаментальных и прикладных научных исследований. Выделены особенности поддержки фундаментальных исследований молодых ученых. Предложены новые научно-методические подходы для оценки результативности научной деятельности. Область применения. В деятельности акторов национальной инновационной системы России в сфере планирования и управления научно-технической деятельностью.
Выводы. Высокий уровень неопределенности в сроках и результатах фундаментальных исследований затрудняет возможность оценки результативности по ожидаемым итогам. При применении методов оценки результативности прикладных исследований большое значение придается степени достижения количественных показателей, а качественные критерии востребованности и практической реализуемости не рассматриваются.
© Издательский дом ФИНАНСЫ и КРЕДИТ, 2018
Для цитирования: Проничкин С.В. К вопросу об определении результативности научной деятельности // Национальные интересы: приоритеты и безопасность. - 2019. - Т. 15, № 2. - С. 258 - 272. https://doi.org/10.24891/ni. 15. 2.258
Введение
Место науки в жизни современного общества, влияние ее достижений на темпы научно-технического прогресса обусловили пристальное внимание к научным исследованиям специалистов по управлению и
политических деятелей. Процессы, происходящие в науке, тенденции развития отдельных ее областей, факторы, влияющие на эффективность научных исследований, социальное значение научных результатов стали предметом глубокого и всестороннего
изучения. Целью многочисленных и весьма различных по характеру и методам исследований является разработка как теоретических основ организации, планирования и управления наукой, так и конкретных мер, обеспечивающих рост эффективности научной деятельности.
В центре внимания исследователей находятся ключевые вопросы управления наукой: каковы оптимальные размеры финансирования научных исследований? Какую часть финансирования следует выделять на развитие фундаментальной и прикладной науки? Возможно ли в принципе управление наукой и в чем оно должно состоять? Каковы объективные закономерности развития науки и возможно ли надежно предсказывать будущие научные открытия? Каково содержание понятия «результативность» в науке и правомерно ли сравнение научных исследований по этому критерию?
Проблемы планирования и управления наукой обсуждаются на многочисленных научных конференциях; этим проблемам посвящается все большее число публикаций; в дискуссиях принимают участие ведущие ученые.
Целью настоящей работы является разработка вопросов формализации результативности научной деятельности, анализ специфических особенностей отечественного и зарубежного опыта оценки результативности и обсуждение методологических проблем. Выбор предметной области во многом обусловлен сохранением существующего уровня отставания сектора наукоемких технологий экономики России и возникновением новых угроз [1-3]. Эти аспекты крайне актуальны для России, где проведенная реформа структуры управления научно-технологическим комплексом и реорганизация государственных академий наук вызвали широкую общественную дискуссию. Сложившиеся в нашей стране механизмы финансирования науки претерпели существенные изменения. Организация и
* Исследование выполнено при финансовой поддержке РФФИ, проекты № 17-32-00025 и № 17-33-00022.
финансирование научных исследований, результативность науки, модернизация механизмов поддержки научных исследований, баланс интересов в определении научных приоритетов между государством, научным сообществом и деловыми структурами являются предметом многих дискуссий.
Особенности развития науки на современном этапе
Анализ развития науки убедительно показывает, что в современных условиях коренным образом изменился характер научной деятельности.
Неизмеримо расширился фронт исследований. Процессы дифференциации и интеграции в науке привели к появлению целого ряда крупных научных направлений. Курс на модернизацию экономики на новой научно-технической базе диктует необходимость научных исследований, направленных на совершенствование существующих и разработку принципиально новых технологических процессов, создание новых экологически чистых материалов и т.д.
Кроме того, в последние годы в науке особенно ярко проявляется эффект «положительной обратной связи», заключающийся в том, что полученные научные результаты влекут за собой постановку новых задач, становится возможным изучение новых классов объектов, выявление новых закономерностей и т.д. Таким образом, расширение фронта исследований является объективной тенденцией развития науки, обусловленной как запросами практики, так и логикой научного познания.
Наряду с расширением фронта исследований наблюдается резкое увеличение «ресурсоемкости» науки. Для успешного развития научных направлений в настоящее время необходимо привлечение больших коллективов высококвалифицированных
научных сотрудников, подготовка выпускников «редких» специальностей путем
оптимизации механизмов их подготовки, а также повышения привлекательности и престижа таких специальностей. Проведение современных исследований в данной области, как правило, требует чрезвычайно дорогостоящего, часто уникального оборудования.
Следствием увеличения стоимости научных исследований следует считать проявляющуюся зависимость вероятности научного успеха от вложенных ресурсов. В приоритетных направлениях получение новых результатов без значительных капитальных затрат практически невозможно. Проведенные исследования ряда научно-технических программ показали, что основной проблемой для эффективной реализации научных результатов является недостаток финансирования [4]. Зависимость результатов научных исследований от вложенных ресурсов проявляется настолько ярко, что наиболее распространенным показателем уровня развития науки в целом является объем расходов на исследования и разработки.
Передовые страны тратят на исследования и разработки существенную часть бюджета, причем эти затраты ежегодно растут. Так, например, доля затрат на исследования и разработки в ВВП США в 2017 г. составляла 2,8% - против 2,63% в 2007 г.1. В то же время в России внутренние затраты на исследования и разработки в процентах к валовому внутреннему продукту за последние 10 лет уменьшились на 0,02% и в настоящее время составляют 1,1%. Основным источником финансирования российской науки является государство, которое выделяет 68,2% всех средств; оставшуюся 1/3 средств вкладывает частный бизнес. В развитых странах доля частного сектора в финансировании научных исследований и разработок заметно превышает 50%.
По объемам финансирования науки Россия уступает не только развитым, но многим
1 Organization for Economic Cooperation and Development. URL: http://oecd.org
С.В. Проничкин / Национальные интересы: приорш 260 http://fin-izdat.r
развивающимся странам. Так, в 2017 г. ежегодные затраты в России на науку по паритету покупательной способности составили 39,8 млрд долл. США; в Китае -451,2; в Индии - 67,2; в Бразилии - 37,9; в ЮАР - 5,8 млрд долл. США.
Расходы на НИОКР на душу населения в США, Израиле, Канаде, Японии и Финляндии равняются примерно 1,5 тыс. долл. США, в странах ОЭСР - около 800 долл., а в России -менее 270 млрд долл. США. Даже Китай с его огромным населением уже почти в полтора раза опережает Россию по этому показателю.
За период 2007-2017 гг. общее число организаций научно-технической сферы неуклонно уменьшалось. В 2007 г. в России имелось 2 113 научно-исследовательских организаций, а в 2017 г. - 1 671. Количество проектных и проектно-изыскательных организаций в эти же годы равнялось 206 и 25 соответственно. Число конструкторских бюро сократилось с 542 до 302. Отмеченная динамика является результатом целенаправленной политики по сокращению «неэффективных» научных организаций. Так, в 2018 г. все научные организации, подведомственные ФАНО и выполняющие научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, классифицированы по категориям «эффективность» по наукометрическим индикаторам.
К первой категории относились лидирующие организации, результаты которых соответствуют мировому уровню, ко второй -стабильные организации, имеющие удовлетворительные результаты, к третьей категории - организации, не показывающие значимых научных результатов. По итогам проверки 454 организаций в первую категорию попало 1 42 организации, во вторую - 205, в третью - 1072. Например,
2 Об отнесении научных организаций, подведомственных Федеральному агентству научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, к соответствующей категории научных организаций: приказ ФАНО России от 30.03.2018 № 157.
в «лидирующие» попали хорошо известные в мире Математический институт им. В.А. Стеклова РАН, Физический институт им. П.Н. Лебедева РАН, Институт проблем передачи информации им. А.А. Харкевича РАН и др. В категории «стабильные» со сниженным финансированием оказались столь же известные - Институт физических проблем им. П.Л. Капицы РАН, Институт химической физики им. Н.Н. Семёнова РАН, Институт проблем управления им. В.А. Трапезникова РАН, Институт государства и права РАН и др. В результате такой политики «приоритетные» организации получают поддержку за счет «прочих» не менее успешно работающих организаций, которые проводят качественные исследования в различных областях науки, важных для российского общества, но не отнесенных к приоритетам научно-технологического развития. Подобный формальный подход уже вызвал необратимые изменения. Ряд институтов был закрыт. Помимо этого, во всех организациях было проведено сокращение научного и инженерно-технического персонала.
С 2007 г. численность занятых в сфере исследований и разработок постоянно уменьшается. Тогда она составляла 813 тыс. чел., из них 391 тыс. - исследователи, а в 2017 г., соответственно, 722 и 370 тыс. чел. Доля исследователей в настоящее время составляет около 50% и примерно соответствует уровню 2007 г.
В мировом рейтинге по показателям публикационной активности в 2017 г. наблюдалась следующая картина: Китай -2-е место по числу публикаций (17,75%); Индия - 6-е место (4,63%); Бразилия -13-е место (3,08%); Россия - 14-е место (2,56%); ЮАР - 25-е место (0,95%).
Одна из очевидных тенденций развития современной науки состоит в том, что получение новых знаний в большинстве областей исследований становится все более трудной научно-технической задачей и связано со все возрастающими материальными затратами. В настоящее время ресурсные
потребности науки настолько велики, что в силу естественных ограничений не представляется возможным одинаково интенсивно развивать все научные направления. Неизбежно возникает проблема сравнительной оценки по результативности различных направлений исследований, конкретных научных программ, проектов или научных организаций в целом [5, 6]. Эта проблема чрезвычайно сложна в методологическом аспекте. Прежде всего необходимо определение общего понятия «результативность» научной деятельности и формирование на его основе критерия (или совокупности критериев) для сравнительной оценки исследований. Кроме того, число возможных путей достижения целей исследования (типов экспериментальных установок, схем эксперимента и т.д.), как правило, достаточно велико, и при анализе каждой альтернативы необходимо учитывать большое число факторов (научных, экономических, организационных, экологических и др.), которые так или иначе могут повлиять на вероятность получения результатов и их характер. Следует также принимать во внимание большую ответственность решений по планированию крупных научных программ, поскольку эти решения влекут за собой расходование значительных средств и могут существенно повлиять на развитие междисциплинарных научных направлений.
Хотя сейчас еще не выработан единый подход к сравнительному анализу результативности научной деятельности и нередко оспаривается принципиальная возможность и правомерность такого анализа [7], на практике сравнение и выбор научных проектов активно осуществляются. Например, научными фондами, которые выделяют финансирование на проведение фундаментальных научных исследований. В институциональном аспекте созданию научных центров и крупных экспериментальных установок предшествует всестороннее обсуждение целесообразности подобных начинаний: изучаются состояние и перспективы развития данной области науки, анализируются имеющиеся ресурсы,
сравниваются различные технические варианты. При этом экономические, экологические, производственные и другие «ненаучные» факторы часто оказываются решающими.
Темпы и сущность глобальных перемен, тенденции развития современной науки и потребности практики планирования, организации и прогнозирования в сфере научной деятельности привели к пересмотру традиционного мнения об абсолютной ценности, а следовательно, несравнимости научных результатов друг с другом. Необходимость анализа их относительной важности с учетом экономических, производственных и социальных факторов для решения вопроса о приоритете между различными областями исследований при распределении ресурсов признается в настоящее время многими учеными [8, 9], чьи непосредственные научные интересы не связаны с проблемами экономики и планирования науки. Подобный анализ, проводимый в том или ином виде, является неотъемлемым элементом научной деятельности. В настоящее время широко признается объективная необходимость планирования фундаментальных научных исследований и более строгое обоснование принимаемых решений по распределению ресурсов, направляемых на развитие науки. Это привело к разработке специальных методов планирования научных исследований, применение которых позволило бы обеспечить лиц, принимающих решения, информацией, необходимой для принятия более последовательных и обоснованных управленческих решений [10, 11].
Принято разделять оперативное (или тактическое) и перспективное (или стратегическое) планирование НИР. В рамках оперативного планирования производится разработка последовательности действий, необходимых для реализации выбранного пути достижения цели конкретного научного исследования. Типичной для оперативного планирования
является задача распределения во времени ограниченных ресурсов. Под перспективным планированием НИР подразумевается круг задач, связанных с выбором целей исследований, их оценкой и сравнением. На практике это, как правило, задачи выбора научных направлений и научных организаций-исполнителей, а также оценка результативности.
Хотя проблемы оперативного планирования НИР достаточно сложны, в этой области наблюдается сравнительно большое единство взглядов по основным вопросам в рамках национальных инновационных систем [12].
Напротив, в области перспективного планирования НИР положение гораздо менее определенное. Однако именно эти проблемы являются наиболее важными при разработке и реализации научной политики, и существует целый ряд уровней управления, на которых эти проблемы решаются.
Специфика определения результативности фундаментальных и прикладных научных исследований
Для более глубокого понимания проблем, связанных с определением результативности фундаментальных и прикладных научных исследований, целесообразно изучить существующие методы оценки научных исследований и разработок (НИР).
К настоящему времени опубликован ряд различных методов оценки НИР [13-15]. Разработка таких методов стала важным направлением деятельности многих научных организаций в России и за рубежом. Основным содержанием большинства этих методов является определение общего показателя результативности проектов НИР в зависимости от совокупности количественных оценок этих проектов по многим критериям. Выбор проектов НИР производится в соответствии с величиной общего показателя результативности.
При таком обилии методов оценки результативности НИР представляются своевременными и полезными попытки их
классификации. Такую классификацию можно производить, используя различные признаки деления. Предлагается классификация по следующим аспектам.
Вид общего показателя результативности научной деятельности. При этом методы классифицируются в зависимости от того, выражается ли общая результативность безразмерной величиной, например оценкой в баллах, или определяется выраженная в денежных единицах прибыль от практической реализации результатов научных исследований и разработок.
Окончательный итог применения метода оценки результативности научной деятельности. При этом методы классифицируются в зависимости от того, является ли результатом их применения распределение проектов по величине результативности или из множества предложенных проектов должны быть выбраны такие, суммарный эффект от выполнения которых при заданных ограничениях был бы максимальным.
Способ выявления множества проектов НИР. Классификацию по этому признаку следует считать наиболее плодотворной для изучения характерных особенностей методов и возможностей их применения в реальных ситуациях оценки результативности научной деятельности. При этом методы делятся на два класса: методы оценки предложений научных исследований и методы определения средств достижения целей.
Характерным для методов оценки предложений является то, что в каждом из них проекты НИР считаются заданными, и метод используется для выделения наилучших проектов НИР из общего их числа. В методах определения средств достижения целей результативность отдельного проекта НИР оценивается по его сравнительной важности по отношению к общей цели, на достижение которой направлен весь комплекс исследований. Оценка начинается с определения этой общей цели, после чего
осуществляется переход к полным совокупностям более мелких целей путем построения так называемого «дерева целей». После построения « дерева целей» определяется вся совокупность альтернативных средств достижения целей в виде «дерева вариантов» [16].
Процесс определения результативности включает в себя в качестве необходимых этапов формирование общей цели, сравнительную оценку и выбор альтернативных путей достижения этой цели и соответствующее распределение ресурсов. Конкретное содержание каждого этапа, соответствующие методы и процедуры определяются характером объектов оценки и внешними факторами.
Фундаментальные исследования занимают особое место в структуре научной деятельности и имеют ряд характерных особенностей, которые должны учитываться при разработке новых и применении суще ствующих методов оценки результативности. Рассмотрим подробнее особенности фундаментальных исследований с точки зрения оценки результативности.
В фундаментальной науке чрезвычайно сложно определить такое важное для оценки понятие, как цель исследований. Фундаментальные исследования направлены на изучение общих закономерностей, свойств и явлений, получение новых знаний о природе, человеке и обществе. Таким образом, цели фундаментальных исследований формулируются в самом общем виде. Это объясняется значительно более высоким по сравнению с прикладными исследованиями уровнем неопределенности относительно результатов и сроков исследований, характерным для фундаментальной науки. И поскольку в настоящее время не разработана единая методика, позволяющая достаточно надежно предсказывать характер конечных результатов на ранних стадиях исследований, понятие цели как конкретного ожидаемого результата неприложимо к задачам оценки результативности чисто фундаментальных исследований.
По этой причине отсутствует единый подход к оценке результативности фундаментальных научных исследований. В общем случае результатом фундаментальных исследований является углубление наших знаний об окружающем мире, а поскольку процесс познания бесконечен, фундаментальные исследования имеют непрерывный характер и, как правило, не могут быть разбиты на отдельные этапы, имеющие четко обозначенные границы в рамках отдельных тем, проектов и программ.
Даже в тех случаях, когда удается выделить конкретные результаты уже законченных фундаментальных исследований, очень трудно оценить их значимость. Не существует единого универсального критерия оценки фундаментальных достижений, особенно в междисциплинарных областях. Влияние результатов фундаментальных исследований в междисциплинарных областях проявляется неявно и часто по прошествии значительного времени.
Перечисленные черты фундаментальных исследований определяют следующие особенности процесса их оценки.
Высокий уровень неопределенности в сроках и результатах исследований затрудняет возможность оценки фундаментальных исследований по ожидаемым результатам. Также весьма затруднительна оценка по срокам. Цель оценки фундаментальных исследований может заключаться лишь в стимулировании развития наиболее перспективных направлений.
Отсутствие единого критерия оценки результатов фундаментальных исследований обусловливает трудности оценки последствий управленческих решений и сравнения различных вариантов распределения ресурсов. Таким образом, оценка результативности фундаментальных исследований осуществляется в условиях большей неопределенности, чем в случае прикладных исследований.
Фундаментальные научные результаты, как правило, достигаются в уже сложившихся
коллективах - лабораториях и научных организациях. Каждый такой коллектив проходит сложный путь развития, причем эффективность его работы зависит от совокупности различных факторов3. Состав и квалификация участников научных коллективов в значительной степени предопределяют характер возможных результатов. Хотя руководитель коллектива может менять направление работы в пределах определенной области, диапазон изменений довольно ограничен. Иными словами, в данном случае средства определяют набор возможных целей.
Грантовый механизм финансирования фундаментальных исследований обладает большей гибкостью, в том числе для поддержки молодых ученых. Во всех странах, которые нацелены на укрепление своего интеллектуального суверенитета, осуществляется грантовая поддержка молодых ученых. Это специальные стипендии, исследовательские гранты для молодых ученых, которые могут реализовывать свой проект в любой организации. Гранты могут быть групповыми и индивидуальными. Возможно как полное покрытие расходов по проекту, так и частичное, субсидиарное. Обеспечивается поддержка создания новых лабораторий, возглавляемых молодыми учеными. Осуществляется поддержка организации конференций. Для отбора проектов традиционно используется экспертиза, которая обладает следующими особенностями.
1. Эксперт, рецензируя заявку, не обязан давать оценку по всем критериям, а лишь по тем, о которых он может судить достаточно квалифицированно. Таким образом, эксперты дополняют друг друга.
2. Отсутствие публикаций в определенных базах данных не является основанием для недопуска проекта к конкурсу.
3 Проничкин С.В. Накопленный потенциал и перспективы развития грантовой формы поддержки науки: материалы Всероссийской научно-практической конференции «Совершенствование системы взаимодействия Российского фонда фундаментальных исследований и субъектов Российской Федерации в вопросах проведения региональных и молодежных конкурсов». М.: Изд-во РФФИ, 2016. С. 140-143.
3. Вербальные оценки заявок переводятся в баллы с последующим усреднением.
Зарубежные научные фонды4, обладая уникальной информацией о проводимых научных исследованиях, активно реализуют свои аналитические функции в виде: оценки эффективности поддержки научных исследований; обоснования и выбора приоритетов научной политики; оценки влияния науки на социально-экономическое развитие.
В фундаментальной науке не существует объективных показателей, характеризующих состояние и перспективы развития отдельных научных направлений, количественных зависимостей, связывающих важные для планирования характеристики научных исследований. Следовательно, основная часть информации, необходимой для оценки результативности, может быть получена только путем опроса экспертов, то есть является субъективной. Именно поэтому результаты применения методов оценки в значительной мере определяются компетенцией выбранных экспертов и способами обработки экспертных оценок.
Таким образом, оценка результативности фундаментальных исследований связана с исключительно большими трудностям. Однако оценка фундаментальных исследований и распределение ресурсов на их проведение осуществляется практически. Задача состоит в совершенствовании существующих методов оценки.
Оценка прикладных научных исследований также обладает своей спецификой. В существующих работах5 [17] по программно-целевому планированию НИР довольно часто встречаются упоминания о методах оценки результативности, созданных специально для прикладных НИР, или о
4 Там же.
5 Чичерин Л.П., Щепин В.О. К модернизации программно-целевого планирования научных исследований в России
// Бюллетень Национального научно-исследовательского института общественного здоровья им. Н.А. Семашко. 2014. № 2. С. 154-158.
широком использовании в этой области существующих методов. Накопленный опыт оценки результативности прикладных исследований дает основания для некоторых выводов о возможности применения методов оценки и средств достижения целей в рамках прикладных НИР.
При применении методов оценки результативности для прикладных исследований очень большое значение придается степени выполнения задач, сформулированных в техническом задании н ау ч н о г о п р о е к т а . К р и т е р и и востребованности и реализуемости при этом не рассматриваются. При распределении ресурсов в рамках государственного задания6 на прикладные исследования заказчик работ ориентируется, главным образом, на количественные показатели потребности в соответствующих услугах и работах, профиль и авторитет организации-исполнителя, а также прошлые научные успехи руководителя исследований.
Применение программно-целевых методов сталкивается с определенными трудностями, так как в рамках программно-целевого подхода необходимо выявление конкретных целей в терминах результатов, причем путь достижения этих результатов должен быть достаточно ясным для того, чтобы построить дерево целей [18]. Кроме того, программно-целевой подход основан на возможности широкого выбора средств достижения целей. Наиболее распространенными методами распределения средств на прикладные исследования являются методы аналитической иерархии [19]. Идея этих методов состоит в том, что сначала эксперты определяют в количественной форме степень влияния отдельных видов ресурсов на задачи прикладных исследований. Далее
аналогичном способом строится матрица
6 О порядке формирования государственного задания на оказание государственных услуг (выполнение работ) в отношении федеральных государственных учреждений и финансового обеспечения выполнения государственного задания: пост. Правительства РФ от 26.06.2015 № 640 (ред. от 19.07.2018).
«задачи - цели исследования», и в ее клетках также проставляются количественные оценки влияния задачи на достижение целей прикладных исследований. Влияние необходимых ресурсов на достижение целей прикладных НИР определяется путем вычисления собственного вектора
построенных матриц. Коэффициенты вклада отдельных ресурсов рассматриваются как показатели, пропорционально которым распределяются средства.
Следует отметить, что матричные методы анализа иерархий основаны на весьма неопределенном в данном случае понятии вклада ресурсов в результаты прикладных исследований. Такой вклад сравнительно нетрудно оценить путем ретроспективного анализа после достижения конечных результатов разработок, но не в момент планирования. В данном случае целесообразно использовать методы оценки сценариев [20], хотя они не всегда позволяют определить соответствие рассматриваемых предложений политике заказчика
исследований и оценить влияние ограниченности ресурсов на возможный характер ожидаемых прикладных научных результатов.
Научно-методические подходы к определению результативности научной деятельности
В наибольшей степени характеру результативности научной деятельности соответствует метод оценки научных исследований по многим критериям.
Результативность научной деятельности предлагается оценивать по трем группам критериев: внутренняя результативность, внешняя результативность и структурная результативность.
Внутренняя результативность определяется вероятностью обнаружения принципиально новых закономерностей, потенциальной возможностью для широких обобщений, подготовленностью научного направления к его детальной разработке.
Внешняя результативность определяется по следующим критериям: влияние на развитие других научных направлений, вклад в решение практических задач, развитие международного сотрудничества.
Структурная результативность определяется по таким критериям, как эффективность использования имеющихся ресурсов и потребность в ресурсах.
Результативность научной деятельности предлагается оценивать по каждому из критериев, используя вербальные шкалы. Эти оценки затем объединяются на основе решающих правил в общий показатель результативности, в соответствии с величиной которого в дальнейшем возможно провести упорядочение или выбор лучшего варианта.
Наиболее существенные, с точки зрения методологии, особенности процесса оценки результативности научной деятельности состоят в следующем:
- значительная по объему и наиболее важная информация может быть получена лишь путем опроса экспертов;
- оценка осуществляется при значительной неопределенности относительно сроков и результатов исследований.
Поскольку основная часть информации может быть получена только путем экспертного опроса, особое значение приобретает проблема получения и обработки такой информации.
Достоверность информации зависит не только от компетенции эксперта, но и от того, какая информация и в каком виде от него требуется. Опыт практической работы с экспертами и специальные психологические исследования показали [21], что выдача экспертами числовых оценок (в виде баллов, весов и т.д.) качественных факторов связана с большими затруднениями, и достоверность полученной информации вызывает сомнение. Например, если требуется оценить в баллах вклад в решение практических задач, то представляется весьма рискованным и
методологически неверным использование подобных числовых оценок во всевозможных математических преобразованиях. Человек оперирует качественными оценками в порядковых шкалах, то есть сравнивая два объекта по какому-либо качественному признаку, поэтому эксперт может относительно легко в пределах своей компетентности указать, что один из объектов лучше другого по данному критерию, объекты примерно равны или он затрудняется их сравнить. Если же эксперт оценивает объекты по качественному критерию и проставляет для них числовые оценки в баллах, то следует с большой осторожностью делать вывод, что расстояние по шкале данного критерия между двумя объектами, например, вдвое меньше, чем между другими объектами. Вид информации, получаемой от эксперта, должен соответствовать характеру оцениваемых объектов и критериев, по которым эта оценка производится.
Это обстоятельство крайне редко учитывается в существующих методах оценки результативности научных исследований. Как правило, при сборе информации используются интервальные шкалы или шкалы отношений [22, 23]. В ряде случаев используются шкалы качественных оценок, но им сразу же ставятся в однозначное соответствие балльные эквиваленты. Затем оценки умножаются на веса, нормируются и т.д. Таким образом, проблеме измерения уделяется весьма малое внимание, хотя в задачах оценки научных исследований она является одной из самых важных. Обычно делаются определенные допущения о научных результатах и формулируются соответствующие количественные зависимости. Возникает как бы объективная и универсальная количественная модель. При этом упускается из виду, что ситуация, в которой осуществляется анализ результативности, часто уникальна. Многие из зависимостей далеко не бесспорны и вместо них с равным основанием могут быть сформулированы другие. Ясное понимание недостатков существующих методов оценки
результативности научной деятельности необходимо при построении новых методов, в которых эти недостатки могли бы быть частично или полностью преодолены.
Заключение
Анализ развития науки убедительно показывает, что в современных условиях коренным образом изменился характер научной деятельности. Процессы,
происходящие в науке, тенденции развития отдельных ее областей, факторы, влияющие на эффективность научных исследований, социальное значение научных результатов стали предметом пристального и всестороннего изучения. Для более глубокого понимания проблем, связанных с развитием научных исследований и разработок, изучен опыт оценки результативности, накопленный в области фундаментальных и прикладных исследований.
Проведенное исследование позволило выявить, что в настоящее время отсутствует единый подход к оценке результативности научной деятельности. Показано, что высокий уровень неопределенности в сроках и результатах исследований затрудняет возможность оценки фундаментальных исследований по ожидаемым результатам. При применении методов оценки результативности прикладных исследований очень большое значение придается степени выполнения поставленных задач. В то же время критерии востребованности и реализуемости просто не рассматриваются.
Предложены новые научно-методические подходы для оценки результативности научной деятельности. Результативность предлагается оценивать по трем группам критериев: внутренняя результативность, внешняя результативность и структурная результативность. Поскольку основная часть информации может быть получена только путем экспертного опроса, выделены проблемы получения и обработки экспертной информации и намечены пути их решения.
Список литературы
1. Варшавский А.Е. Наукоемкие отрасли и высокие технологии: определение, показатели, техническая политика, удельный вес в структуре экономики России // Экономическая наука современной России. 2000. № 2. С. 61-83. URL: https://cyberleninka.ru/article/v/naukoemkie-otrasli-i-vysokie-tehnologii-opredelenie-pokazateli-tehnicheskaya-politika-udelnyy-ves-v-strukture-ekonomiki-rossii
2. Елисеев Ю.С., Саушкин Б.П. Состояние и перспективы развития наукоемких технологий машиностроительного производства // Металлообработка. 2010. № 2. С. 9-17.
3. Степанова Е.Ю. Наукоемкие отрасли и высокие технологии - основа технологической безопасности и независимости страны // Фундаментальные и прикладные проблемы техники и технологии. 2014. № 2. С. 122-132.
4. Проничкин С.В., Раевская Е.Г., Тихонов И.П. Опыт организации и проведения комплексной экспертизы результатов научно-технической программы // Химическая безопасность. 2017. № 2. С. 147-157.
5. Проничкин С.В., Тихонов И.П. Разработка системы критериев и методических подходов
к экспертной оценке эффективности деятельности научных организаций // Национальные интересы: приоритеты и безопасность. 2013. Т. 9. Вып. 37. С. 13-19.
URL: https://cyberleninka.ru/article/n/razrabotka-sistemy-kriteriev-i-metodicheskih-podhodov-k-ekspertnoy-otsenke-effektivnosti-deyatelnosti-nauchnyh-organizatsiy
6. Проничкин С.В., Тихонов И.П. Оценка результативности деятельности научных организаций // Экономический анализ: теория и практика. 2014. Т. 13. Вып. 3. С. 27-33. URL: https://cyberleninka.rU/article/v/otsenka-rezultativnosti-deyatelnosti-nauchnyh-organizatsiy
7. Варшавский А.Е. О стратегии научно-технологического развития российской экономики // Общество и экономика. 2017. № 6. С. 5-27.
8. Лукашов В.Н., Лукашов Н.В., Слепинина А.К. Анализ подходов к экономической оценке фундаментальных исследований в рамках полных инновационных проектов // Инновации. 2016. № 9. С. 55-61.
9. Миндели Л.Э., Черных С.И. Финансирование фундаментальных исследований в России: современные реалии и формирование прогнозных оценок // Проблемы прогнозирования. 2016. № 3. С. 111-122.
10. Леонов А.В., Пронин А.Ю. Определение приоритетных направлений фундаментальных научных исследований для создания высокотехнологичной продукции // Национальные интересы: приоритеты и безопасность. 2017. Т. 13. Вып. 6. С. 1004-1017.
URL: https://doi.org/10.24891/ni.13.6.1004
11. Demircioglu M.A., Audretsch D.B. Conditions for Innovation in Public Sector Organizations. Research Policy, 2017, vol. 46, iss. 9, pp. 1681-1691.
URL: https://doi.org/10.1016/j .respol.2017.08.004
12. Bryan K.A., Lemus J. The Direction of Innovation. Journal of Economic Theory, 2017, vol. 172, pp. 247-272. URL: https://doi.org/10.1016/j.jet.2017.09.005
13. Havas A., Weber K.M. The 'Fit' Between Forward-Looking Activities and the Innovation Policy Governance Sub-System. Technological Forecasting and Social Change, 2017, vol. 115,
pp. 327-337. URL: https://doi.org/10.1016/j.techfore.2016.07.016
14. Пантелеева К.О. Ключевые подходы и методы планирования нового продукта на стадии НИОКР // European Social Science Journal. 2013. № 10-2. С. 442-450.
15. Zehavi A., Breznitz D. Distribution Sensitive Innovation Policies. Research Policy, 2017, vol. 46, iss. 1, pp. 327-336. URL: https://doi.org/10.1016/j.respol.2016.11.007
16. Проничкин С.В., Тихонов И.П., Сахарова Н.А., Рощин А.В. Разработка критериальной модели оценки инновационного потенциала результатов современных научно-технических программ // Химическая безопасность. 2017. № 1. С. 256-265.
17. Гудкова А.А. Развитие программно-целевого метода планирования исследований и разработок // Инноватика и экспертиза: научные труды. 2014. № 1. С. 121-130.
18. Семирханова О.Н. «Дерево целей» как способ разработки целевых программ в АПК
// Вестник Алтайского государственного аграрного университета. 2010. № 1. С. 106-109.
19. Saaty T. Time Dependent Decision-Making Dynamic Priorities in the AHP/ANP: Generalizing from Points to Functions and from Real to Complex Variables. Mathematical and Computer Modelling, 2007, vol. 46, iss. 7-8, pp. 860-891. URL: https://doi.org/10.1016/j.mcm.2007.03.028
20. De Smedt P., Borch K., Fuller T. Future Scenarios to Inspire Innovation. Technological Forecasting and Social Change, 2013, vol. 80, iss. 3, pp. 432-443.
URL: https://doi.org/10.1016/j .techfore.2012.10.006
21. Ларичев О.И. Вербальный анализ решений: монография. М.: Наука, 2006. 181 с.
22. Варшавский А.Е. Основные проблемы оценки результативности и эффективности деятельности научных организаций // Концепции. 2015. № 1. С. 3-8.
23. Зибарева И.В. Оценка научной результативности организации библиометрическими методами: проблемы и решения // Территория новых возможностей. Вестник Владивостокского государственного университета экономики и сервиса. 2012. № 4.
С. 148-156. URL: https://cyberleninka.ru/article/v/otsenka-nauchnoy-rezultativnosti-organizatsii-bibliometricheskimi-metodami-problemy-i-resheniya
Информация о конфликте интересов
Я, автор данной статьи, со всей ответственностью заявляю о частичном и полном отсутствии фактического или потенциального конфликта интересов с какой бы то ни было третьей стороной, который может возникнуть вследствие публикации данной статьи. Настоящее заявление относится к проведению научной работы, сбору и обработке данных, написанию и подготовке статьи, принятию решения о публикации рукописи.
pISSN 2073-2872 eISSN 2311-875X
ASSESSING THE EFFICACY OF SCIENTIFIC ACTIVITIES Sergei V. PRONICHKIN
National Interests
Federal Research Center Computer Science and Control of Russian Academy of Sciences, Moscow, Russian Federation pronichkin@mail.ru ORCID: not available
Article history:
Received 2 November 2018 Received in revised form 28 November 2018 Accepted 20 December 2018 Available online 15 February 2019
JEL classification: 003
Keywords: efficacy, scientific activities, scientific organizations, research and development, research area
Abstract
Subject The existing circumstances crucially changes the nature of scientific activities. To get a more profound understanding of R&D issues, it is necessary to study basic and applied researches and find efficacy evaluation practices. Processes in science, development trends in some areas, research efficiency drivers, social importance of some findings constitute the subject of this research.
Objectives I elaborate aspects of evaluating the efficacy of scientific activities, analyze distinctive features of national and foreign practices and discuss methodological issues. Methods The research is based on the classification and structural analysis, logic and functional methods, principles of systems research to identify cause-and-effect relationships.
Results I examined organizational and financial practices in science and point out distinctions in the current development of science. The article overviews methods for evaluating the efficacy of basic and applied research and sheds light on methodological discussions. I discern the efficacy evaluation of basic and applied research and underline the specifics of supporting young scholars in their basic research. The article sets out new scientific and methodological approaches to evaluate the efficacy of scientific activities. Conclusions and Relevance High uncertainty of timelines and results of basic research hampers the efficacy evaluation by results. As part of efficacy evaluation methods of applied research, quantitative indicators are important, while qualitative indicators and practical feasibility are not regarded. The findings may prove useful for entities operating in the national innovation system of Russia for R&D planning and management.
© Publishing house FINANCE and CREDIT, 2018
Please cite this article as: Pronichkin S.V. Assessing the Efficacy of Scientific Activities. National Interests: Priorities and Security, 2019, vol. 15, iss. 2, pp. 258-272. https://doi.org/10.24891/ni. 15. 2.258
Acknowledgments
The research was supported by the Russian Foundation for Basic Research, projects № 17-32-00025 and № 17-33-00022.
References
1. Varshavskii A.E. [Science-intensive sector and high technologies in Russian economy]. Ekonomicheskaya nauka sovremennoi Rossii = Economics of Contemporary Russia, 2000, no. 2, pp. 61-83. URL: https://cyberleninka.ru/article/v/naukoemkie-otrasli-i-vysokie-tehnologii-opredelenie-pokazateli-tehnicheskaya-politika-udelnyy-ves-v-strukture-ekonomiki-rossii
(In Russ.)
2. Eliseev Yu.S., Saushkin B.P. [The state and prospects of science-intensive technologies development in machine building]. Metalloobrabotka = Metalworking, 2010, no. 2, pp. 9-17. (In Russ.)
3. Stepanova E.Yu. [The high technology branches and high technologies are the basis of technological security and independence of the country]. Fundamental nye i prikladnye problemy tekhniki i tekhnologii = Fundamental and Applied Problems of Engineering and Technology, 2014, no. 2, pp. 122-132. (In Russ.)
4. Pronichkin S.V., Raevskaya E.G., Tikhonov I.P. [Experience in organizing and guiding expertise of results of scientific and technical program]. Khimicheskaya bezopasnost' = Chemical Safety, 2017, no. 2, pp. 147-157. (In Russ.)
5. Pronichkin S.V., Tikhonov I.P. [Development of criteria and methodological approaches to assessment of effectiveness of expert scientific organizations]. Natsionalnye interesy: prioritety i bezopasnost' = National Interests: Priorities and Security, 2013, vol. 9, iss. 37, pp. 13-19. URL: https://cyberleninka.ru/article/v/razrabotka-sistemy-kriteriev-i-metodicheskih-podhodov-k-ekspertnoy-otsenke-effektivnosti-deyatelnosti-nauchnyh-organizatsiy (In Russ.)
6. Pronichkin S.V., Tikhonov I.P. [Assessment of productivity of activity of the scientific organizations]. Ekonomicheskii analiz: teoriya i praktika = Economic Analysis: Theory and Practice, 2014, vol. 13, iss. 3, pp. 27-33. URL: https://cyberleninka.ru/article/vybtsenka-rezultativnosti-deyatelnosti-nauchnyh-organizatsiy (In Russ.)
7. Varshavskii A.E. [On the strategy of scientific and technological development of the Russian economy]. Obshchestvo i ekonomika = Society and Economics, 2017, no. 6, pp. 5-27. (In Russ.)
8. Lukashov V.N., Lukashov N.V., Slepinina A.K. [Analysis of the major trends in the economic evaluation of basic research]. Innovatsii = Innovations, 2016, no. 9, pp. 55-61. (In Russ.)
9. Mindeli L.E., Chernykh S.I. [Funding of basic research in Russia: Modern realities and forecasts]. Problemy prognozirovaniya = Problems of Forecasting, 2016, no. 3, pp. 111-122. (In Russ.)
10. Leonov A.V., Pronin A.Yu. [Prioritizing the areas of basic research for the creation of high-technological products]. Natsionalnye interesy: prioritety i bezopasnost' = National Interests: Priorities and Security, 2017, vol. 13, iss. 6, pp. 1004-1017. (In Russ.)
URL: https://doi.org/10.24891/ni.13.6.1004
11. Demircioglu M.A., Audretsch D.B. Conditions for Innovation in Public Sector Organizations. Research Policy, 2017, vol. 46, iss. 9, pp. 1681-1691.
URL: https://doi.org/10.1016/j .respol.2017.08.004
12. Bryan K.A., Lemus J. The Direction of Innovation. Journal of Economic Theory, 2017, vol. 172, pp. 247-272. URL: https://doi.org/10.1016/j.jet.2017.09.005
13. Havas A., Weber K.M. The 'Fit' between Forward-Looking Activities and the Innovation Policy Governance Sub-System. Technological Forecasting and Social Change, 2017, vol. 115,
pp. 327-337. URL: https://doi.org/10.1016/j.techfore.2016.07.016
14. Panteleeva K.O. [Key approaches and methods for planning new product at the stage of research and experimental-design developments]. European Social Science Journal, 2013, no. 10-2,
pp. 442-450. (In Russ.)
15. Zehavi A., Breznitz D. Distribution Sensitive Innovation Policies. Research Policy, 2017, vol. 46, iss. 1, pp. 327-336. URL: https://doi.org/10.1016/j.respol.2016.11.007
16. Pronichkin S.V., Tikhonov I.P., Sakharova N.A., Roshchin A.V. [Development of criterial model for evaluation of innovative potential of results of modern scientific and technical programs]. Khimicheskaya bezopasnost' = Chemical Safety, 2017, no. 1, pp. 256-265. (In Russ.)
17. Gudkova A.A. [Development of the performance-based method for R&D planning]. Innovatika i ekspertiza: nauchnye trudy = Innovatics and Expert Examination, 2014, no. 1, pp. 121-130.
(In Russ.)
18. Semirkhanova O.N. [Goal tree as a way to develop targeted programs in the agro-industrial complex]. Vestnik Altaiskogo gosudarstvennogo agrarnogo universiteta = Bulletin of Altai State Agricultural University, 2010, no. 1, pp. 106-109. (In Russ.)
19. Saaty T. Time Dependent Decision-Making; Dynamic Priorities in the AHP/ANP: Generalizing from Points to Functions and from Real to Complex Variables. Mathematical and Computer Modelling, 2007, vol. 46, iss. 7-8, pp. 860-891. URL: https://doi.org/10.1016/j.mcm.2007.03.028
20. De Smedt P., Borch K., Fuller T. Future Scenarios to Inspire Innovation. Technological Forecasting and Social Change, 2013, vol. 80, iss. 3, pp. 432-443.
URL: https://doi.org/10.1016/j .techfore.2012.10.006
21. Larichev O.I. Verbal'nyi analiz reshenii: monografiya [Verbal analysis of decisions: a monograph]. Moscow, Nauka Publ., 2006, 181 p.
22. Varshavskii A.E. [The main problems of assessing the resultativeness and effectiveness of scientific organizations]. Kontseptsii = Concepts, 2015, no. 1, pp. 3-8. (In Russ.)
23. Zibareva I.V. [Bibliometric evaluation of organization scientific output: Problems and their solutions]. Territoriya novykh vozmozhnostei. Vestnik Vladivostokskogo gosudarstvennogo universiteta ekonomiki i servisa = Territory of New Opportunities. Bulletin of Vladivostok State University of Economics and Service, 2012, no. 4, pp. 148-156.
URL: https://cyberleninka.ru/article/v/otsenka-nauchnoy-rezultativnosti-organizatsii-bibliometricheskimi-metodami-problemy-i-resheniya (In Russ.)
Conflict-of-interest notification
I, the author of this article, bindingly and explicitly declare of the partial and total lack of actual or potential conflict of interest with any other third party whatsoever, which may arise as a result of the publication of this article. This statement relates to the study, data collection and interpretation, writing and preparation of the article, and the decision to submit the manuscript for publication.
