CC BY
89
ISSN 2079-4665 (Print), 2411-796X (Online)
https://www.mir-nayka.com
Обзорная статья
УДК 338.23
JEL: B29, F63, H19, H59, O38
doi: 10.18184/2079-4665.2021.12.3.222-253
Измерение вклада наук в социально-экономическое развитие: российские подходы в мировом пространстве идей
Андрей Александрович яник
Федеральный научно-исследовательский социологический центр Российской академии наук, Институт демографических исследований, Москва, Россия
aa.yanick@yandex.ru, https://orcid.org/0000-0002-1599-6280
аннотация
цель данного обзора - представить современное состояние дел в теории и практике измерения вклада науки в социально-экономический прогресс и место отечественных достижений в мировом пространстве идей.
Метод или методология проведения работы. Для исследования полидисциплинарной выборки академических публикаций и «серой литературы» использованы методы многофакторной систематизации, критического анализа, синтетического обобщения в широком контексте («helicopter view»).
Результаты работы. Представлена краткая история проблематики в контексте использования государством науки в качестве инструмента социально-экономического развития. Показаны основные направления развития научной мысли, состояние понятийного аппарата, актуальные подходы к измерению вклада наук, ограничения и риски оценочной практики. выводы. Ключевые направления научной мысли в исследуемой области за 100 лет: (1) развитие эконометрических подходов для учета «доходной стороны» науки; (2) попытки выявления и измерения социетальныхэффектов науки; (3) научная поддержка экспериментов государства по использованию оценочных технологий для повышения отдачи от инвестиций в науку; (4) концептуализация и универсализация понятий. Ни в одной из этих областей бесспорных решений не найдено, а разочарование во всеобъемлющих индикаторах и универсальных метриках стимулирует разработку адресных методик и подходов, ориентированных на процессы.
Отечественные исследования охватывают весь спектр проблематики, но их известность в мире (за исключением ряда достижений советского времени) невелика. Недостаток институциональной памяти ведет к переоткрытию идей ХХвека. Перспективная задача - установление эквивалентности терминов и подходов, которыми оперировали ученые разных стран и периодов. Это позволит эффективно использовать научное наследие, избежать дублирования исследований и обеспечить российским достижениям справедливое место в мировой науке.
ключевые слова: управление наукой, государственное финансирование исследований, социально-экономическое воздействие, со-циетальное воздействие, научный вклад, оценка социетального воздействия, научная политика
Благодарность. Исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований в рамках научного проекта № 20-110-50341.
конфликт интересов. Автор заявляет об отсутствии конфликта интересов, в том числе, связанного с финансовой поддержкой РФФИ (Грант № 20-110-50341).
Для цитирования: Яник А. А. Измерение вклада наук в социально-экономическое развитие: российские подходы в мировом пространстве идей // МИР (Модернизация. Инновации. Развитие). 2021. Т. 12. № 3. С. 222-253 https://doi.Org/10.18184/2079-4665.2021.12.3.222-253
© Яник А. А., 2021
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
с
Review article
модернизация
Measuring the sciences contribution to socioeconomic Development: Russian Approaches in the Global space of Ideas
Andrey A. Yanik
Federal Center of Theoretical and Applied Sociology of the Russian Academy of Sciences, Institute for Demographic Research, Moscow, Russia
aa.yanick@yandex.ru, https://orcid.org/0000-0002-1599-6280
Abstract
Purpose: this review aims to present the 'state-of-the-art' on the theory and practice of measuring the contribution of sciences to socioeconomic progress and trace the Russian approaches in the global space of ideas.
Methods: for studying a multidisciplinary sample of academic publications and gray literature includes multifactor systematization, critical analysis, and synthetic generalization in a large context («helicopter view»).
Results: a brief history of the subject is presented in the context of the state's use of science for socio-economic development. The review outlines the focus areas of scientific thought, the conceptual frameworks state, current approaches to measuring the contribution of sciences, the limitations and risks of the evaluation practice.
conclusions and Relevance: key areas of scientific thought in the subject under review for 100 years: (1) development of econometric approaches for measuring the «profitability» of science; (2) attempts to identify and measure the societal impacts of science; (3) scientific support of government experiments to use the evaluation technologies for increasing the return of budget investment to science; (4) conceptualizing and universalizing the terms. There are no indisputable solutions in any of these areas. Disappointment with the catch-all indicators and universal metrics encourages the development of case-oriented methods and process-oriented approaches.
Russian research covers the full range of issues, but their world recognition (except some achievements of Soviet time) is low. The lack of institutional memory leads to the rediscovery of the ideas of the 20th century. Establishing the equivalence of terms and conceptual approaches used by scientists from different countries and periods will help to effectively use the scientific heritage, avoid duplicate research, provide a fair place to the Russian achievements in world science.
Keywords: governance of science, publicly funded research, socioeconomic impact, societal impact, academic impact, societal impact assessment, socioeconomic progress, science policy
acknowledgments. The reported study was funded by the Russian Foundation for Basic Research, project number 20-110-50341
conflict of Interest. The author declares that there is no Conflict of Interest, including those related to the financial support of the Russian Foundation for Basic Research (project number 20-110-50341).
For citation: Yanik A. A. Measuring the Sciences Contribution to Socioeconomic Development: Russian Approaches in the Global Space of Ideas. MIR (Modernizatsiia. Innovatsii. Razvitie) = MIR (Modernization. Innovation. Research). 2021; 12(3):222-253. (In Russ.) https://doi.org/10.18184/2079-4665.2021.12.3.222-253
© Yanik A. A., 2021
Введение
Интерес к проблематике, связанной с измерением вклада наук в социально-экономический прогресс и оценкой позитивных эффектов от государственного финансирования науки, постоянно растет. На это влияет не только нетривиальный характер собственно научных задач, но и внешние факто-
ры. Во-первых, изменилось отношение общества к деятельности ученых: граждане, осознавшие себя налогоплательщиками, требуют убедительных доказательств, что бюджетные расходы на науку 1 приносят пользу. Во-вторых, следствием философии нового государственного управления стал культ эффективности: государство ожидает от инвестиций в научное развитие отдачи, которая
1 По последним доступным данным, в странах ОЭСР расходы на науку в 2018 г. составили более 1,44 трлн. долл. США (см.: Main Science and Technology Indicators. Volume 2020, Issue 1. OECD Publishing, Paris, 2020. URL: https://doi.org/10.1787/e3c3bda6-en).
В России бюджет гражданской науки в 2021 г. превышает 564 млрд. руб. (около 7,7 млрд. долл. США) (см.: Финансирование российской науки в рамках государственных программ в 2021 году // ИСИЭЗ НИУ ВШЭ, Новости, 18 февраля 2021 г. URL: https://issek. hse.ru/news/444777249.html).
должна быть осязаема и измерима 2. В-третьих, ученые, столкнувшиеся с тем, что аксиома о безусловной пользе науки для общества превратилась в гипотезу, обнаружили, насколько сложным является поиск доказательств [1; 2] 3. Несмотря на масштабные усилия, определения базовых понятий остаются спорными [3-6], а безупречных подходов, убедительно демонстрирующих зависимость социально-экономического прогресса от развития науки, так и не создано.
Настоящий обзор основан на результатах критического анализа отечественных и зарубежных публикаций, отражающих общее состояние дел в области измерения вклада наук в социально-экономическое развитие. Цель - представить современное состояние дел в теории и практике измерения вклада науки в социально-экономический прогресс и место отечественных достижений в мировом пространстве идей.
Высокая востребованность тематики связана также с тем, что в итоге речь идет о технологиях управления научным прогрессом, от эффективности которых зависит глобальная конкурентоспособность государств. В таком контексте мультидисципли-нарные обзоры российских и зарубежных публикаций могут дать синергетический эффект в поиске прорывных решений.
Обзор литературы и исследований. Мировая литература, посвященная проблемам измерения вклада науки в социально-экономическое развитие, крайне обширна, разнородна и полидисциплинарна.
По источникам происхождения массив публикаций можно разделить на два крупных кластера: рецензируемые научные публикации и так называемую «серую литературу» 4, которая является важным ресурсом для настоящего исследования [7; 8]. Если речь не идет о документах стратегического характера, то, в целом, «серая литература» отличается прикладной направленностью, описательным характером и ориентацией на обоснование и совершенствование уже существующих подходов и решений. Литературе, созданной в рамках академических традиций, свойственны глубина теоретико-философского осмысления проблем, критический взгляд на используемые государства-
ми методы измерения вклада науки и, как правило, новизна и уникальность предлагаемых решений, что затрудняет их трансфер в практику.
Исторически, первым начал складываться многомерный комплекс философско-науковедческих трудов, авторы которых размышляют, в чем заключается влияние науки на развитие экономики и общества, каким образом оно происходит и проявляется [9-16]. Количество публикаций, ориентированных на практику, стало особенно быстро расти во второй половине ХХ в. под влиянием вызовов НТР и потребностей в развитии механизмов для оценки эффективности финансируемых государством программ в целом и крупных научных проектов в частности.
Предметно-тематически прикладные работы можно классифицировать многими способами: по сферам, на которые оказывается эффект (измерение влияния научных результатов на развитие самой науки, на экономику, на позитивные перемены в обществе); по категориям НИОКР (оценка социально-экономических эффектов, производимых фундаментальными исследованиями, прикладными исследованиями, экспериментальными разработками); по видам наук (оценка социально-экономических эффектов, производимых естественно-техническими науками, науками социально-гуманитарного кластера, медицинскими науками, конкретными научными дисциплинами).
Материалы и методы. Для целей настоящей работы выбор зарубежных и отечественных публикаций сфокусирован на подходах, ориентированных на потребности государственного управления наукой. Поиск трудов, релевантных задачам исследования, производился по ключевым словам в российских и зарубежных базах цитирования, электронных библиотеках, ресурсах издательств (eLibrary.ru, КиберЛенинка, WoS, SCOPUS, ScienceDirect, JSTOR, Google Scholar, ResearchGate, SpringerLink и др.), на официальных сайтах международных организаций (OECD, UN, UNESCO), органов власти и научных сообществ разных стран. После систематизации публикаций по источникам происхождения, хронологии, тематике, научным дисциплинам и другим основаниям из более 800 работ были отобраны 233 (в основном, на русском и английском языках), характери-
2 Increasing the Economic Impact of Research Councils. Advice to the Director General of Science and Innovation, DTI from the
Research Council Economic Impact Group. No. 06/1678. 22 p. URL: https://www.cass.city.ac.uk/_data/assets/pdf_file/0006/73671/
Warry20report.pdf
3 Parikh S. Why We Must Rebuild Trust in Science. February 9, 2021. URL: https://www.pewtrusts.org/en/trend/archive/winter-2021/why-we-must-rebuild-trust-in-science
4 Серая литература (gray literature) - материалы и исследования, подготовленные правительственными структурами, частными компаниями, некоммерческими и прочими организациями вне традиционных каналов публикации (отчеты, обзоры, правительственные документы, рабочие материалы, официальные оценки и проч.).
зующие состояние обозреваемой проблематики и базовые координаты мирового ландшафта идей.
Для решения исследовательских задач были использованы методы многофакторной систематизации, критического анализа, синтетического обобщения в широком контексте (helicopter view).
В рассмотрение не включены публикации, посвященные обоснованию ценности или критике наукометрических подходов. Позиция, согласно которой для объективной оценки труда ученых необходимы не только формальные показатели научной продуктивности, но также качественные (социометрические, эконометрические, демографические и др.) критерии, сформировалась вместе с самой наукометрией [17-24]. Историю вхождения наукометрии в управление научным развитием можно найти в работе В.А. Маркусовой [25], а информацию об использовании этих методов для измерения вклада науки - в многообразной профильной литературе [26-29].
Результаты исследования Краткая история вопроса
Интерес к измерению «пользы от науки» возникает сразу, как только государство начинает материально поддерживать ученых. Поиск идей, каким образом ученый мог бы продемонстрировать в понятных государству формах пользу от потраченных на его работу средств, начался очень давно. Тесно увязывая этот сюжет со становлением научной политики, одни исследователи относят его появление к XVII—XVIII вв. - времени зарождения национальных академий и становления науки как социального института [30, с. 65—67] 5. Другие — к V в. до н.э., когда древнекитайский философ и политик Мо Ди (Мо-цзы) определил одним из трех критериев истинности знания возможность его применения «в управлении страной в интересах народа Поднебесной» [31, с. 354], а правители часто привлекали ученых к крупным проектам общественных работ [32].
Идея К. Маркса о превращении науки в непосредственную производительную силу стала отправной точкой для всех изысканий, нацеленных на получение осязаемых доказательств причинно-следственной связи между развитием науки и социально-экономическим прогрессом. И хотя сфера исследований и разработок характеризу-
ется при помощи понятий, с трудом поддающихся измерению и прогнозированию, убежденность государства в возможности достоверно оценить экономическую обоснованность финансирования научных исследований лишь возрастает [33].
Первые системные попытки «опредметить» пользу от научной деятельности и сделать ее доступной для хозяйственного учета были предприняты в 1920-х гг. в СССР, когда молодое и прагматичное советское государство поставило задачу определить экономическую эффективность труда ученых. Именно этот период, а не 1945 г., как принято считать за рубежом [34]6, основоположник российской социологии науки Э.М. Мирский считал временем появления научной политики в ее современном понимании: советское правительство определило стратегические ориентиры ускоренного социально-экономического развития, достигнуть которых предполагалось на основе использования потенциала технических и естественнонаучных дисциплин [35].
Примечательно, что идея об объективной необходимости целенаправленного управления развитием науки оказалась для западных исследователей не столь очевидной, как для отечественных ученых. Например, концепцию «финализации науки» (нем. Finalisierung der Wissenschaft), согласно которой по мере эволюции науки определяющими для ее развития становятся не внутренние, а внешние
- экономические, социальные и политические -факторы, немецкие философы сформулировали только в 1973 г. [36], а вывод о неизбежности наступления этапа, когда наука становится предметом осознанного социально-политического планирования - в конце 1970-х гг. [37].
С 1920-х гг. в СССР (чуть позже - в США) развивались балансовые методы (С.Г. Струмилин, П.И. Попов, Л.Н. Литошенко, В.В. Леонтьев и др.). На их основе была создана система материальных балансов
- ключевой метод планирования экономического развития народного хозяйства страны [38; 39].
В середине 1930-х гг. В.В. Леонтьев составил первые таблицы «затраты-выпуск» для американской экономики. С тех пор различные метрики, основанные на балансовых методах, используются как для измерения стоимостного вклада науки в экономику, так и для оценки производимых ею социальных эффектов. А исторически базу для разви-
5 СоколовМ.М. За что британские ученые возненавидели Маргарет Тэтчер? // ПостНаука. 20 августа 2018 г. URL: https://postnauka. ru/video/87611
6 Англоязычная традиция относит зарождение современной научной политики к 1945 г., когда В. Буш в своем докладе президенту США представил оценки вклада наук в победу во Второй мировой войне и наметил перспективы развития науки в условиях научно-технической революции. Одним из следствий этого доклада стало создание в 1950 г. Национального научного фонда США (National Science Foundation).
тия таких подходов дали идеи русского экономиста В.К. Дмитриева, который еще в 1898 г. предложил систему линейных уравнений - математическую схему определения полных затрат труда на производство различных видов товаров по всему народнохозяйственному комплексу [40].
В 1930-х гг. академик С.Г. Струмилин начал разрабатывать первые подходы к методологии учета научного труда и его вклада в экономику [41]. Он предлагал определять влияние деятельности ученых на рост производительных сил страны и производительности труда через подъем «квалификации и продуктивности трудящихся масс, либо повышение энерготехнической их вооруженности» [41, с. 398]. Схожие идеи можно проследить во множестве последующих публикаций, связанных с выявлением экономического вклада науки и инноваций [42-45] 7, факторов, влияющих на рост экономики и производительности труда [46-52].
Итоги Второй мировой войны наглядно показали значение науки для победы над нацистами, что побудило ведущие страны приступить к целенаправленному стимулированию научного развития. Расширение государственной поддержки впервые было обусловлено обязательностью внедрения механизмов внешнего контроля и подотчетности науки [53].
Начало «третьей» научно-технической революции и экономическое соревнование СССР и США сформировали новые вызовы для развития обозреваемой проблематики. Страны разных «идеологических лагерей» одинаково активно и успешно исследовали весь спектр задач, связанных с переводом экономики на интенсивный путь развития на базе достижений НТР, и развивали науковедение [54-56].
Ряд идей и подходов, рожденных в СССР, получили мировую известность и признание приоритета. Исключительную роль в создании математической экономики, развитии экономики знания, других дисциплин, дающих теоретико-методологическую базу для измерения вклада науки, сыграли труды академика Л.В. Канторовича, который вместе с американским экономистом Т. Купмансом в 1975 г. получил Нобелевскую премию за вклад в теорию оптимального распределения ресурсов [57]. Связанные с его именем «линейное программирование» (универсальная математическая модель оптимального функционирования экономических систем), «оптимальные цены», «объективно обу-
словленные оценки» ресурсов (уровень ценности ресурсов для общества) используются во всем мире для решения экономических задач, требующих особо тонкого, чувствительного математического аппарата (например, проблемы многоцелевой оптимизации) [58; 59], и обладают большим потенциалом для совершенствования методов измерения влияния науки на социально-экономическое развитие. Именно Л.В. Канторович в 1980-е годы обосновал необходимость более высоко, чем это делалось по тогдашним методикам расчета, оценивать вклад технического прогресса и науки в национальный доход.
Мировое признание получили работы другого советского математика и философа науки - В.В. На-лимова 8. Хотя отцом наукометрии (scientometrics) считается американский лингвист Ю. Гарфилд [60], именно В.В. Налимов ввел это понятие в мировой оборот и обосновал исключительную важность количественных показателей для прогнозирования и управления развитием науки как самоорганизующейся системы [61; 62].
В начале 1960-х гг. актуализации мирового дискурса о науке как главной производительной силе и необходимости расширения присутствия государства в управлении научным прогрессом способствовали работы Э. Вайнберга, обосновавшего концепцию «Большой Науки» (Big Science) как новой индустриальной формы научных исследований [63], и Д. Прайса, предложившего дихотомию «Большая Наука - малая наука» для осмысления нового места научного творчества [64]. Согласно Д. Прайсу, темпы изменений в науке, вместо ожидаемого геометрического роста, в реальности описываются логистической кривой и неизбежно упираются в уровень насыщения, который задается общими бюджетными ограничениями [65]. Изменить ситуацию можно лишь ориентацией научных исследований на достижение социально обусловленных целей.
Представляется, что размеры научного бюджета можно считать показателем предельного уровня согласия общества на выбор направлений и темпы развития науки, а обоснование социально-экономической значимости результатов исследований -способом легитимации бюджетных расходов.
Запрос на убедительные доказательства причинно-следственной связи между вложениями в науку и полезными эффектами для общества стал особенно острым в 1980-е гг. и в начале XXI в., когда
7 См. также: Кулакин Г.К. Инновационные процессы: Результативность в форме технологий, товаров, производительности труда // МИР (Модернизация. Инновации. Развитие). 2013. Т. 4. № 3(15). С. 48-54. URL: https://www.mir-nayka.com/jour/article/view/98/100.
8 Международное общество по наукометрии и инфометрии высоко оценило научный вклад В.В. Налимова, присудив ему в 1987 г. Памятную медаль Д. де С. Прайса (Derek de Solla Price Memorial Medal).
экономисты обнаружили, что революционное развитие новых технологий не привело к позитивной динамике показателей экономического прогресса, а, напротив, сопровождалось замедлением темпов роста производительности труда («парадокс производительности» Р. Солоу 9). Парадокс создал проблемы не только для ученых, но и для политиков, поскольку успехи конкурирующих политических систем и эффективность государственного управления долгое время определялись интегральными показателями экономической мощи и благосостояния.
С трансформацией представлений о характеристиках успешного развития меняются ориентиры и методы государственного управления, а также инструменты мониторинга и оценки (например, [66—69] 10). В России и за рубежом специалисты глубоко анализируют взаимозависимости между меняющимися целями общественного прогресса и разрабатываемыми метриками [70—73].
Акцент на социальной значимости целей развития, культ производительности и эффективности, внедрение модели бюджета, ориентированного на результат, сопровождались тем, что интерес к валовым показателям экономики сменился вниманием к деталям. Теперь для оценки эффективности бюджетных вложений стало важным не только рассчитать долю науки в темпах роста экономики, но измерить «мультипликативный эффект» [74], который стал ключевым показателем окупаемости (payback) научных проектов [75; 76].
Хотя оценочные процедуры стали рутиной, оптимизм по поводу возможностей достоверно выявить и измерить вклад науки в социально-экономический прогресс периодически сменяется пессимизмом. В 2020 г. вышел критический обзор зарубежных публикаций последних 50-ти лет (1968—2018), которые в сумме дают представление о глобальном состоянии дел. По мнению авторов, единые аналитические основания, позволяющие сравнивать качество различных метрик, до сих пор не сложились; показатели продуктивности работы ученых по-прежнему
подменяют оценку ее эффективности; а достоверных данных, доказывающих, что внедрение оценочных процедур повышает уровень отдачи от вложений в науку, нет [77].
Схожий пессимизм прослеживается при сравнении документов стратегического характера. Так, например, если в Прогнозе долгосрочного социально-экономического развития Российской Федерации на период до 2030 г. дана конкретная оценка величины вклада расходов на науку в прогнозируемый рост ВВП (от 0,1 до 0,3 п.п.) 11, то в Прогнозе социально-экономического развития Российской Федерации на период до 2036 г. отмечено лишь, что измерение вклада технологий в благосостояние является сложной задачей 12.
Состояние понятийного аппарата
Различия в подходах к измерению вклада науки зависят от представлений о его сути. Анализ литературы показал, что на протяжении последних ста лет в науке и управленческой практике с различной степенью рефлексии по поводу смысла терминов функционируют следующие представления о вкладе (воздействии) науки: измеримое вложение (contribution) в экономику, приносящее прибыль в конкретные сроки; измеримый позитивный эффект (impact), который может иметь разные формы и проявляется в разные сроки; польза для всего общества, экономическое или социальное благо (benefits).
Согласно руководству Фраскати, суть НИОКР -производство новых знаний, независимо от цели проекта, которая может быть различной (получение экономической выгоды, решение социальных проблем, создание новых знаний как таковых) 13. Но подходы к измерению вклада науки чувствительны к сфере, в которой исследуется влияние -научной, экономической или социальной, что ведет к большому разнообразию концепций вклада, моделей его оценки и систем показателей (например, [78, с. 99-100; 79-81]), которое усугубляется отсутствием единства в определении базовых понятий.
9 SolowR. We'd better watch out // New York Times Book Review, July 12, 1987. P. 36. URL: http://digamo.free.fr/solow87.pdf
10 См. также: Смирнова О.О. Формирование отечественной модели индикативного планирования // МИР (Модернизация. Инновации. Развитие). 2020. Т. 11. № 3. С. 266—279. DOI: https://doi.org/10.18184/2079-4665.2020.11.3.266-279; Писарева О.М. Ценностный подход и основания стратегического целеполагания в условиях цифровой трансформации экономики и управления // МИР (Модернизация. Инновации. Развитие). 2020. Т. 11. № 4. С. 338—357. DOI: https://doi.org/10.18184/2079-4665.2020.11.4.338-357.
11 Прогноз долгосрочного социально-экономического развития Российской Федерации на период до 2030 года (разработан Минэкономразвития России). Раздел 3.2. С. 63. URL: http://static.government.ru/media/files/41d457592e04b76338b7.pdf
12 Прогноз социально-экономического развития Российской Федерации на период до 2036 года (разработан Минэкономразвития России). С. 9. URL: https://www.economy.gov.ru/material/file/a5f3add5deab665b344b47a8786dc902/prognoz2036.pdf
13Frascati Manual 2015: Guidelines for Collecting and Reporting Data on Research and Experimental Development, The Measurement of Scientific, Technological and Innovation Activities. Paris: OECD Publishing, 2015. 398 p. DOI: http://dx.doi.org/10.1787/9789264239012-en
Особые трудности связаны с формализацией понятия вклада науки в общественное развитие. Отечественные ученые активно разрабатывают эту тематику со второй половины ХХ в., а общие подходы можно усмотреть еще в трудах 1930-х гг. [82]. В 1970-1980-е гг. в СССР росло число публикаций (в том числе переводных), обосновывающих необходимость применения «социальных измерений» для оценки вклада науки в общественный прогресс [18; 83; 84].
Попытки стран с рыночной экономикой использовать в качестве показателей общественных выгод прямые экономические эффекты (доход от лицензий, патентов, спин-аут-компаний и проч.) были признаны неудачными [85], что стимулировало поиски более точного определения социетального воздействия науки путем различных его описаний. В результате, помимо разного рода руководств, предлагающих пользоваться здравым смыслом и конкретными примерами, возникло множество новых концепций: «третья миссия» [86; 87], социальные выгоды, социальное качество, полезность научных исследований, общественная ценность, трансфер знаний, социальная значимость, расширенное воздействие [88], экстраординарное со-циетальное воздействие [89], потенциал социального воздействия [90]. Но все эти понятия так и не получили точного экономического определения.
В поисках «окончательного определения» ученые применяют различные методологические подходы. Так, немецкий исследователь Л. Борнманн, на базе анализа международной практики последних десятилетий, описывает суть социетального воздействия через три основных направления, по которым ведется его оценивание: «научный продукт (product) - использование знания (knowledge use) - социальные выгоды (societal benefits, societal impact)» [3]. Канадец Дж. Майн, исходя из теории изменений, определил социетальное воздействие как окончательные результаты, влияющие на общественное благополучие (final outcomes affecting well-being) [91]. Международная группа ученых, решившая опереться на эмпирические данные, выяснила, что респонденты понимают под социе-тальным воздействием максимально позитивный эффект, который ведет к положительным изменениям в жизни людей [92]. В публикации 2021 г. британские исследователи, используя подходы обоснованной теории (Grounded Theory Analysis), заявили, что под социетальным влиянием необ-
ходимо понимать «очевидные и/или ощутимые выгоды для отдельных лиц, групп, организаций и общества (включая человеческие и нечеловеческие сущности в настоящем и будущем), которые причинно связаны (обязательно или в достаточной степени) с исследованиями» [93]. Очевидно, что, несмотря на все усилия и разнообразие методов, безупречного решения пока не найдено.
Вопрос с отсутствием теоретической ясности на практике решается стимулированием социальной ответственности ученых. Так, исследователям, подающим заявку в Национальный научный фонд США, использующий при оценках концепт расширенного воздействия, предлагается самостоятельно описать, каким образом их проект принесет пользу обществу (to benefit society) и внесет вклад в достижение конкретных социальных результатов (societal outcomes) 14.
Поскольку в отечественной литературе сложились собственные традиции исследования проблематики, связанной с оценкой социетального влияния науки, зарубежные разработки в области понятийного аппарата остаются малоизвестными, а концепты, которыми оперируют официальные международные документы, стали предметом академического внимания относительно недавно (например, [94; 95] и тематический выпуск журнала «Мысль» 15).
Серьезная проблема - использование одинаковых терминов для разных научных концепций. Например, две добросовестные оценки экономического воздействия одного и того же проекта дали результаты, отличающиеся более чем в 77 раз, поскольку эксперты именовали «экономическим эффектом» разные модели [96, с. 14-15].
В России, как и за рубежом, термины вклад, влияние, эффект, благо используются как взаимозаменяемые. Под измерением вклада науки понимается оценка степени влияния НТП на экономику и уровень жизни населения [22, с. 8]. Термин польза нередко применяется, чтобы отделить социально-экономический потенциал результатов исследования от их научной ценности [97, с. 292].
Множество отечественных работ, посвященных оценке эффективности научных исследований, оперирует понятием блага в общефилософском контексте [98-100]. В экономическом смысле его использует академик В.Л. Макаров, напоминая
14 Chapter II - Proposal Preparation Instructions // National Science Foundation. NSF 20-1 June 1, 2020. URL: https://www.nsf.gov/pubs/ policydocs/pappg20_1/pappg_2.jsp
15 Мысль (Журнал Петербургского философского общества). Вып. 19. СПб., 2015. 146 с. URL: http://philosophy.spbu.ru/userfiles/ library/Thought/Mysl-19.pdf
об исходном различии в принципах измерения результатов науки: знания измеряют по затратам на их производство, если речь идет об общественном благе, и по рыночной стоимости, если речь идет о продукте, который можно присвоить частным образом [101]. Однако, как известно, этот подход имеет ограничения: достижения науки не могут считаться общественным благом в традиционном смысле, поскольку нужны специальные условия и усилия для того, чтобы общество могло ими воспользоваться.
Оригинальные решения проблемы можно найти в трудах российских экономистов, занимающихся вопросами оценки эффективности инвестиций в наукоемкие виды деятельности [102]. Так, Д.Б. Пайсон доказывает, что «выходами» производственной функции космической деятельности являются не только продукты и услуги, но также некие экстерналии в виде поставки «сверх контракта» различных факторов общественных благ, которые в результате использования государством 16 преобразуются в общественные блага [103].
Несмотря на активизацию работы ученых и практиков по согласованию понятийного аппарата, проблема пока не решена, что затрудняет сопоставимость итогов исследований и результатов использования различных метрик.
Состояние методологического инструментария
Публикации, посвященные разнообразным инструментам и системам измерения вклада науки, можно разделить на две группы: подходы, основанные на методах, и подходы, основанные на теории. Этот способ широко применяется за рубежом [104—106]. К первой группе относят работы, ориентированные на оценку затрат и результатов науки с помощью различных эконометрических и наукометрических методов. Ко второй — труды, нацеленные на доказательство причинно-следственной связи между научным результатом и его итоговым социально-экономическим воздействием, для чего используются возможности различных современных теорий (теория изменений, теория программ, теория реализации, концепция продуктивных взаимодействий и др.).
Методы, основанные на «материальном учете»
Традиционным и широко распространенным способом измерения вклада науки в экономику являются подходы, основанные на концепции производственной функции, связывающей количество вложений (input) с количеством произведенной
продукции (output). Для расчетов используются возможности балансовых методов, метод остаточной стоимости Р. Солоу, подходы теорий предельной полезности и трудовой стоимости, линейные уравнения и другие инструменты. Схожие методы помогают оценивать эффективность научных исследований, которая понимается как отношение расходов к достигнутым результатам, измеряемое в натуральных и/или стоимостных показателях [107; 108].
Трудность заключается в том, что в основе эко-нометрических подходов лежит, как еще в 1925 г. отмечал В.В. Леонтьев, «принцип исключительно материального учета... Доходная сторона хозяйственного кругооборота берется лишь постольку, поскольку она "объективируется" в материальных благах» [39, с. 255]. Поэтому эксперты стремятся максимально полно выявить и «овеществить» результаты научной деятельности, чтобы понять, какие поддающиеся учету артефакты производит наука, рассчитать их стоимость и, по возможности, проследить дальнейшие пути использования [23; 109, с. 65]. Эта работа важна еще и потому, что слишком узкий перечень научных продуктов ведет к завышенной оценке их себестоимости.
Несмотря на известные ограничения, подход, выводящий причинно-следственную связь из статистических данных на основе корреляционных методов, остается «единственным общедоступным способом ответить на вопрос о вкладе науки в экономический рост» [45, с. 17]. Успех зависит от творческой настройки стандартных методов для решения разных по содержанию и масштабу задач.
Например, для определения вклада науки в экономический рост угольного предприятия регионального уровня китайские исследователи применили усовершенствованную модель производственной функции с оценкой неизвестных параметров с помощью статистического пакета SPSS, а также метод остаточной стоимости Р. Солоу. Доля НТП в экономическом росте предприятия была оценена в 36,06% [110].
Задача более крупного масштаба — оценка экономического вклада конкретных наук. Так, в 2010 г. британские эксперты измерили влияние химических наук на рост экономики и благосостояния страны. На базе Стандартной отраслевой классификации видов экономической деятельности Великобритании 17 были выделены две группы отраслей: производящие и потребляющие химическую продукцию (upstream and downstream chemical
16 Например, использование спутниковой связи в интересах национальной безопасности.
17 The UK Standard Industrial Classification of economic activities. URL: https://www.gov.uk/government/publications/standard-industrial-classification-of-economic-activities-sic
industries). Модели для расчетов были основаны на методологии межотраслевых балансов и данных британской Национальной статистической службы. Для потребляющих отраслей по особой процедуре были рассчитаны «веса» химических продуктов в объемах их производств, что позволило определить «долю химии» в величине производимого ими ВВП и количестве рабочих мест. В целом, отрасли, связанные с химией, внесли в экономику Великобритании 258 млрд ф. ст. добавленной стоимости (21% ВВП) и обеспечили более 6 млн рабочих мест 18.
Для оценки вклада математических наук в экономику Великобритании эксперты определили число занятых в видах деятельности, связанных с использованием математических знаний, и на основе балансовых походов рассчитали валовую добавленную стоимость (ВДП), произведенную с использованием математики. Число работников, использующих математические знания, составило в 2010 г. более 2,8 млн человек, а их труд дал прибавку к национальному ВДП в размере 208 млрд ф. ст. Производительность труда в сфере, «потребляющей математику», в два раза превысила средний показатель по стране 19.
Российский экономист О.С. Сухарев предложил подходы к оценке вклада всего сектора экономики знаний в формирование темпов экономического роста страны. С использованием классификатора ОКВЭД автор выделил два агрегированных сектора: виды деятельности, связанные с производством, распространением и использованием знаний, и прочие виды деятельности. По мнению автора, произведение темпа роста сектора «экономики знаний» на его долю в валовой добавленной стоимости приближенно является величиной вклада в темп экономического роста страны [111, с. 29-30].
По-прежнему актуальна задача определения ценности самих знаний, которая изменяется с появлением новых способов их использования. Поскольку рыночная оценка стоимости знаний не всегда возможна и адекватна, исследователи ищут альтернативные подходы. Например, Б. Боземан и Х. Роджерс разработали систему, основанную на оценке интенсивности и широты спектра ис-
пользования научных знаний [112]. Другие авторы развивают концепт знаний как нематериального капитала. Интересен подход О.Н. Болдова, предложившего считать основой «невещественного капитала» информацию (1п) в форме инноваций, которая в силу своей природы не отчуждается при обмене и продаже между экономическими субъектами, что «приводит к постоянному возрастанию ее объема > 0) и переизбытку» [113]. Как
представляется, с точки зрения перспектив реализации в практике государственного управления наукой ценность имеют методы, разрабатываемые современными экономистами для стоимостной оценки интеллектуального капитала компаний [114; 115] 20.
В поисках решений современные авторы все чаще обращаются к опыту прошлого. Например, российские экономисты, занятые разработкой методологии оценки эффективности фундаментальных исследований в рамках «полных инновационных проектов», считают, что только отечественные разработки можно использовать в качестве теоретической основы, поскольку зарубежные подходы не соответствуют российским реалиям [116]. Интерес, в частности, представляют различные методы перевода индексов, характеризующих научно-технический уровень результатов исследований, в стоимостные единицы [117; 118; 119, с. 43].
Отечественные исследователи активно развивают оценочные модели, основанные на анализе связей между развитием науки и человеческого капитала [22, с. 8]. На текущий момент эти подходы чаще представлены в публикациях, посвященных оценке вклада университетов в региональное развитие [120-122]. Оригинальную эконометрическую модель, позволяющую проверить гипотезы о влиянии инвестиций в науку и высшее образование на человеческий капитал и динамику регионального развития с учетом перетоков знаний, можно найти в работах Г.А. Унтуры [123].
Методы, основанные на теории изменений
Поскольку при оценке вклада науки и эффективности бюджетных расходов на научные исследования все большее внимание уделяется позитивным изменениям в экономике и обществе, причиной которых стали результаты деятельности ученых,
18 The economic benefits of chemistry research to the UK. Oxford: Oxford Economics. September 2010. 158 p. URL: http://www.rsc.org/ images/Economic_Benefits_of_Chemistry_Sep_2010_tcm18-191337.pdf
19 Measuring the Economic Benefits of Mathematical Science Research in the UK. London: Deloitte MCS, November 2012. URL: http://www. epsrc.ac.uk/SiteCollectionDocuments/ Publications/reports/DeloitteMeasuringTheEconomicsBenefitsOfMathematicalScienceResearchU KNov2012.pdf (дата обращения: 30.07.2021).
20 См. также: Измайлова М.А. Российские компании в условиях интеллектуальной экономики: проблемы становления, оценки и развития // МИР (Модернизация. Инновации. Развитие). 2019. Т.10. № 3. С. 326-339. DOI: https://doi.org/10.18184/2079-4665.2019.10.3.326-339.
актуальность измерения социетальных эффектов науки постоянно растет. За рубежом основу для создания систем выявления и измерения такого рода эффектов в последние десятилетия дает теория изменений (Theory of Change) [124] 21 и схожие с ней подходы. Устоявшийся нарратив теории изменений связан с совокупностью предположений о трансформации издержек (inputs) в непосредственные результаты (outputs), конечные результаты (outcomes) и эффекты (impacts). Эта логическая цепочка (results chain) широко используется в разнообразных оценочных системах [125; 126].
Помимо разработки логических моделей последовательных изменений, которые наука способна произвести в экономической и социальной реальности (impacts pathway), исследователи анализируют условия и механизмы, обеспечивающие наступление позитивных перемен, а также контекст, влияющий на проявление необходимых результатов [91; 127; 128].
В обозреваемой выборке российских публикаций отсутствуют работы, которые бы использовали теорию изменений и ее дериваты для оценки мультипликативных эффектов науки. По всей вероятности, это объективно, поскольку продвижение теории изменений в России пока происходит в рамках официального дискурса, связанного со стимулированием развития «третьего сектора», разработкой и внедрением технологий социального проектирования, социального предпринимательства 22 [129— 130]. Кроме того, в настоящее время возможности теории изменений обсуждают аналитики Счетной палаты РФ, занятые разработкой методик для оценки реализуемости стратегических проектов (М.С. Шклярук 23; Д.А. Цыплакова 24).
Суммируя сложности измерения социетального воздействия науки, Г. Сивертсен и И. Мейер выделяют проблемы, связанные с казуальностью и
атрибуцией воздействия, фактором времени и международным характером эффектов [89]. Поиск способов преодоления существующих затруднений и высокая востребованность проблематики ведут к возникновению все новых методов и подходов, включая следующие:
• теория путей воздействия (Theory of Impact Pathways), предполагающая построение казуальных последовательностей, ведущих к успеху проекта [85];
• контрибуционный анализ (Contribution Analysis) - оценка эффективности программ на основе анализа вклада их компонентов в наблюдаемые результаты [131-134];
• картирование вклада (Contribution Mapping) -выявление вклада процессов производства и использования научного знания путем многоуровневой экспертизы [135];
• методология оценки социально-экономического воздействия исследований (Research Contribution Framework), позволяющая понять, как в процессе взаимодействия ученых и потенциальных пользователей возникают позитивные эффекты от научных результатов [136-138];
• методология оценки окупаемости исследований на основе многомерной классификации приносимых ими выгод (HERG25 Payback Framework) [75; 76];
• модель сбалансированной коллективной экспертной оценки (Balanced Value Impact Model [139];
• методология картирования общественной ценности научных результатов (Public Value Mapping of science outcomeS) [140];
• методология оценки социального воздействия научных исследований на основе анализа продуктивных взаимодействий между наукой и обществом (SIAMPI 26) [4; 141-144].
21 Основы теории восходят к известной концепции управления по целям (Managementby Objectives) П. Друкера и идеям программно-целевого планирования, развивавшимся в США и СССР в 1960-1970-е гг.
22 Баранова Н. Импакт-инвестирование: что такое теория изменений // Теплица социальных технологий. 2018. 9 августа. URL: https://te-st.ru/2018/08/09/impact-assessment/ (дата обращения: 30.07.2021); Теория изменений как подход к совместному планированию и реализации социальных преобразований. М.: Московская школа управления Сколково, 2019. URL: https://socialvalue.ru/ wp-content/uploads/2019/01/ТИ_Сколково.pdf
23 Шклярук М.С. Почти у цели. Применение теории изменений ускорит реализацию стратегий // Российская газета. 10 июня 2020 г. URL: https://rg.ru/2020/06/11/primenenie-teorii-izmenenij-uskorit-realizaciiu-strategil.html
24 Цыплакова Д.А. Как использовать «теорию изменений» для стратегического аудита // Официальный сайт Счетной палаты Российской Федерации. 29 мая 2020 г. URL: https://ach.gov.ru/news/kak-ispolzovat-teoriyu-izmeneniy-dlya-strategicheskogo-audita
25 HERG (Health Economice Research Group - исследовательская группа в области экономики здравоохранения, работающая в государственном исследовательском университете Брунеля (Лондон).
26 SIAMPI (Social Impacts Assessment Methods for research and funding instruments through the study of Productive Interactions between science andsociety) - методология оценки социального влияния исследований и инструментов финансирования путем исследования продуктивных взаимодействий между наукой и обществом.
Концепт продуктивных взаимодействий широко применялся на рубеже 2000-2010-х гг. в оценочной практике Великобритании, Нидерландов, частично во Франции, ряде земель ФРГ. По мнению критиков, потенциал этого подхода был утрачен из-за бюрократизации «подсчета взаимодействий» [85; 89].
Авторы, анализирующие практику измерения мультипликацонных эффектов, отмечают, что «одна из наиболее важных проблем в области им-пакта - его сложно и дорого измерять» 27. В России понятийный аппарат «импактометрии» (или «эффектометрии» [145]) чаще используется в дискурсе об оценке регулирующего воздействия государственной политики, социальной ответственности бизнеса, анализе эффективности инвестиций. Представляется, что подходы к оценке социальной отдачи от вложений в экономические или некоммерческие проекты (формулы для расчетов включают динамику различных показателей качества жизни населения, прирост ВРП, заработной платы и проч.) могут быть полезны для решения аналогичных задач в сфере науки [146-149].
Методы измерения «неизмеримого»
Поскольку производственные функции описывают сложные объекты упрощенно, предпринимаемые с начала ХХ в. попытки достоверно измерить экономический вклад фундаментальных или социально-гуманитарных исследований остаются не слишком удачными 28 [150-154; 155, с. 56]. Еще в 1980-х гг. А.И. Щербаков констатировал: «всякая попытка определить эффективность фундаментальных исследований через прирост национального дохода оказывается безуспешной» [78, с. 36-37].
Авторы едины в том, что оценка вклада указанных наук возможна только путем экспертизы с использованием качественных критериев. Формально все предлагаемые методики схожи: эксперты должны оценить результат, используя перечни критериев (показателей), имеющих вербальное описание и, нередко, градации, которым присваиваются коэффициенты. Но единства в выборе критериев и их определении нет. Модели различаются как содержательно, так и принципами нормирования, свертки, усреднения суммарных экспертных оценок, методами формирования рейтингов и другими способами обработки качественных данных (на-
пример, [156-159]). Сами показатели по большей части не имеют стоимостного выражения, а широкое использование качественных методов делает предлагаемые системы сложными и дорогими в реализации.
Невозможность спрогнозировать эффективность инвестиций в фундаментальные и социально-гуманитарные исследования содержит риск сокращения бюджетного финансирования. В ответ ученые активизируют усилия в разработке подходов, помогающих государству «увидеть» и измерить полезные эффекты фундаментальных и социальных знаний [160; 161]. Широкие дискуссии на эту тему ведутся в Российской академии наук [162] 29.
Не менее сложная задача - измерение вклада научных результатов в развитие науки (что опосредованно влияет на социально-экономический прогресс). В этом проблемном поле отечественные ученые порой опережали зарубежных исследователей. Уже в 1970-е гг. Ю.Б. Татаринов создал развернутую систему оценки значимости «научного продукта с помощью критериев, имеющих социально-познавательную природу» [163, с. 30]. По замыслу автора, научному достижению должен присваиваться ранг, зависящий от степени его новизны, интенсивности воздействия на развитие наук и «иерархии фундаментальности» наук, потребляющих результат. Критик этого метода В.С. Либенсон предложил в качестве более универсального научно-информационный критерий, согласно которому ценность получаемого знания является «функцией новизны извлекаемой из объекта информации и теоретической глубины ее переработки - информационной емкости знания» [164; 165].
Модель цепочки производства и потребления знаний используют и современные авторы. Так, Б.Г. Миркин предлагает оценивать рейтинг научного результата в зависимости от того, внесен ли вклад в развитие фундаментальных наук «первого ранга» или узко-прикладных дисциплин «энного ранга» [97, с. 292]. А группа американских исследователей, критикуя подмену показателей влиятельности статьи данными о цитируемости, рекомендует проводить расширенный контент-анализ для поиска доказательств, что оцениваемая публикация стала необходимым ресурсом для получения
27 Дунаев А. Что такое импакт-бизнес и почему это - тренд новой экономики // РБК. 18 сентября 2020 г. URL: https://trends.rbc.ru/ trends/innovation/5f6395ed9a79471d39b62c81
28 2nd International Conference on Research Evaluation in the Social Sciences and Humanities (RESSH2017). Antwerp, Belgium, 6-7 July 2017. Antwerpen: University of Antwerpen, 2017. URL: https://www.uantwerpen.be/en/conferences/ressh/
29 Учёные записки ФНИСЦ РАН / Отв. ред. М. К. Горшков. Выпуск 4. О критериях оценки результативности деятельности ученых в
области общественных наук. М.: ФНИСЦ РАН, 2019. 60 с. URL: https://www.isras.ru/files/File/publ/Uchenye_zapiski_%202019_4.pdf
новых результатов [166]. Несмотря на науковед-ческую ценность такого рода подходов, их ресурсоемкое^ и сложность становится препятствием для внедрения в оценочную практику.
Методы, ориентированные на процессы
Поскольку ни одна из существующих метрик не оправдывает возлагаемых на нее надежд, возникает необходимость легитимации получаемых оценок вклада науки [167-169]. Среди причин недоверия к результатам оценивания авторы указывают феномен «смерти экспертизы» [170], развитие контр-экспертизы [171], системную коммуникативную дисфункцию между наукой, обществом и государством [172-175]. Теория эпистемической несправедливости [176] непротиворечиво объясняет истоки проблем, но не помогает их решить.
Как следствие, растет актуальность подходов, ориентированных на процессы. Их суть - создание технологий, позволяющих вовлечь в разработку метрик и процессы оценивания науки все заинтересованные стороны, что повышает не только обоснованность оценок, но и вероятность достижения полезных социетальных эффектов [141; 177; 178]. Подход также помогает инкорпорировать в
научную деятельность «социальные ценности» 30 и модель ответственных исследований и инноваций (ОИИ) 31, что побуждает научные организации увязывать свои проекты с ожидаемыми общественно полезными эффектами [179; 180].
В России концепт ОИИ стал предметом философ-ско-культурологического анализа и дискуссий о возможностях его внедрения в практику относительно недавно [181; 182], хотя сюжет о социальной ответственности науки всегда был в фокусе внимания отечественных ученых [183-186].
Системы оценки, создаваемые в рамках ориентированных на процессы подходов, становятся инструментом, с помощью которого государства пытаются выявить (ex post) или спрогнозировать (ex ante) многообразные «полезные выходы» и позитивные изменения в экономике и обществе, возникающие под влиянием результатов науки. В дизайне систем используются самые разные методики (углубленные тематические исследования; наборы индикаторов; опросники для самооценки и проч.), но общий тренд - комплексные подходы (mixed method approach) с несколькими раундами оценивания (в качестве иллюстрации см. табл. 1).
Таблица 1 Table 1
Дизайн некоторых национальных систем для оценки результатов науки Design of some national systems for evaluating the results of science
Название Страна, годы применения Подходы, методы Финансовые последствия по итогам оценки
Углубленное исследование (case-study) Система индикаторов, показателей (indexes) Самооценка (self-evaluation) Экспертиза (peer review) / оценки стейкхолдеров
REF 32 Великобрита-ния1986 - н/в Х Х Х Х Х
SEP 33 Нидерланды 1994 - н/в Х Х Х Х
PART 34 США 2001-2009 Х Х Х
RQF 35 Австралия 2003-2007 Х Х Х Х
FOKUS 36 Швеция 2003 - н/в Х Х Х Х
30 Perez H.Z. Ideas for a transversal Societal Impact Assessment // Social Innovation Academy. October 1, 2020. URL: https://www. socialinnovationacademy.eu/ideas-for-a-transversal-societal-impact-assessment/
31 Термин «ответственные исследования» впервые появился в Шестой рамочной программе Европейского Союза по развитию научных исследований и технологий (2002-2006), а «ответственные исследования и инновации» (Responsible Research and Innovation) - в Седьмой (2007-2013).
32 REF (Research Excellence Framework) - Программа оценки научных достижений
33 SEP (StandardEvaluation Protocol) - Стандартный оценочный протокол. С 2021 г. именуется Strategy Evaluation Protocol
34 PART (US Program Assessment Rating Tool - PART - Система рейтинговой оценки программ
35 RQF (Australian Research Quality and Accessibility Framework) - Система оценки качества и доступности исследований
36 FOKUS (Forskningskvalitetsutvardering iSverige) - Система оценки качества исследований
Окончание таблицы 1 End of table 1
Название Страна, годы применения Подходы, методы Финансовые последствия по итогам оценки
Углубленное исследование (case-study) Система индикаторов, показателей (indexes) Самооценка (self-evaluation) Экспертиза (peer review) / оценки стейкхолдеров
ERiC 37 Нидерланды 2006-2011 Х Х Х
RAISS 38 Великобритания 2008-2010 Х Х
Система оценки МОН РФ 39 Россия 2009 - н/в Х Х Х
ERA 40 Австралия 2010 - н/в Х Х Х Х
Tieteen Tila 41 Финляндия 2012 - н/в Х Х Х Х
Составлено автором по материалам: Sivertsen G., Meijer I. Normal versus extraordinary societal impact: how to understand, evaluate, and improve research activities in their relations to society?//Research Evaluation. 2020. Vol. 29. No. 1. P. 66-70; Standard Evaluation Protocol: Protocol for Research Assessments in the Netherlands. URL: https://www.knaw.nl/nl/actueel/publicaties/standard-evaluation-protocol-2015-2021; Fantone D.M. US Program Assessment Rating Tool // Performance Budgeting. Procyclicality of Financial Systems in Asia. London: Palgrave Macmillan, 2007. P. 167-192; Moynihan D.P. Advancing the Empirical Study of Performance Management: What we learned from the Program Assessment Rating Tool //American Review of Public Administration. 2013. Vol. 43. No 5. P. 497-515; Capturing Research Impacts. A review of international practice. RAND Corporation, 2010.78 p. URL: https://www.rand.org/pubs/ documented_briefings/DB578.html; Research quality evaluation in Sweden - FOKUS. Stockholm: Swedish Research Council, 2015. 118 p. URL: https://www.vr.se/english/analysis/reports/our-reports/2015-06-25-research-quality-evaluation-in-sweden—fokus.html; Spaapen J., Dijstelbloem H., Wamelink F. Evaluating research in context. A method for comprehensive research assessmen. Hague: Consultative Committee of Sector Councils, 2007. 152 p.; Matthews J.R. Library Assessment in Higher Education. Santa-Barbara, CA: Libraries Unlimited, 2014.237p.; Приказ Минобрнауки России от 30 июля 2019 г. № 544 «Обутверждении Методики оценки результативности деятельности научных организаций, подведомственных Министерству науки и высшего образования Российской Федерации, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». URL: http://publication.pravo.gov.ru/Document/View/0001201909240050; Excellence in Research for Australia (ERA). Australian Research Council. URL: https://www.arc.gov.au/excellence-research-australia; Tieteen Tila 2018. Helsinki: Suomen Akatemia, 2018.84 p. URL: https://www.aka.fi/globalassets/2-suomen-akatemian-toiminta/4-julkaisut/julkaisut/tieteen-tila-2018.pdf.
Compiled by the author based: Sivertsen G., Meijer I. Normal versus extraordinary societal impact: how to understand, evaluate, and improve research activities in their relations to society? Research Evaluation. 2020; 29(1):66-70; Standard Evaluation Protocol: Protocol for Research Assessments in the Netherlands. URL: https://www.knaw.nl/nl/actueel/publicaties/standard-evaluation-protocol-2015-2021; Fantone D.M. US Program Assessment Rating Tool. Performance Budgeting. Procyclicality of Financial Systems in Asia. London: Palgrave Macmillan, 2007. P. 167-192; Moynihan D.P. Advancing the Empirical Study of Performance Management: What we learned from the Program Assessment Rating Tool. American Review of Public Administration. 2013; 43(5):497-515; Capturing Research Impacts. A review of international practice. RAND Corporation, 2010.78 p. URL: https://www.rand.org/pubs/documented_briefings/DB578.html; Research quality evaluation in Sweden - FOKUS. Stockholm:Swedish Research Council, 2015. 118 p. URL: https://www.vr.se/english/analysis/reports/our-reports/2015-06-25-research-quality-evaluation-in-sweden—fokus.html; Spaapen J., Dijstelbloem H., Wamelink F. Evaluating research in context. A method for comprehensive research assessment. Hague: Consultative Committee of Sector Councils, 2007. 152 p.; Matthews J.R. Library Assessment in Higher Education. Santa-Barbara, CA: Libraries Unlimited, 2014.237 p.; Order of the Ministry of Education and Science of the Russian Federation No. 544 dated July30,2019 «On approval of the Methodology for Evaluating the Performance of Scientific Organizations Subordinate to the Ministry of Science and Higher Education of the Russian Federation performing research, Development and technological Work for civil purposes». URL: http://publication.pravo.gov.ru/Document/View/0001201909240050. (In Russ.); Excellence in Research for Australia (ERA). Australian Research Council. URL: https://www.arc.gov.au/excellence-research-australia; Tieteen Tila 2018. Helsinki: Suomen Akatemia, 2018.84 p. URL: https://www.aka.fi/globalassets/2-suomen-akatemian-toiminta/4-julkaisut/julkaisut/tieteen-tila-2018.pdf.
37 ERiC (Evaluating Research in Context - Система оценки исследований в контексте
38 RAISS (UK RAND/ARC Impact Scoring System) - Система оценки воздействия научных исследований
39 Система оценки результативности деятельности научных организаций, выполняющих НИОКР гражданского назначения (Миноб-рнауки России)
40 ERA (Excellence in Research for Australia) - Национальная система оценки исследований «Выдающиеся исследовательские достижения для Австралии»
41 Tieteen Tila - Система оценки состояния науки
Анализ ограничений и рисков
Важное направление научной мысли, особенно активно развивающееся в последние годы - анализ ограничений существующих методов измерения вклада науки, а также рисков оценочной практики.
Неизменно актуальный сюжет - ограниченность подходов к измерению вклада науки в социально-экономическое развитие возможностями статистики [187; 188]. Внимание исследователей к «провалам» статистики позитивно влияет на развитие международных и национальных статистических систем 42.
Анализируя риски использования государством метода «проб и ошибок» в оценочной практике, ученые предупреждают об опасности смещения целей (goal displacement - термин Р. Мертона [189]), которая особенно высока при оценке фундаментальных и социально-гуманитарных наук. Если ученые не найдут консенсус в определении сути и особенностей социетального воздействия, бюрократическая оценочная рутина может привести к утрате смысла и целей существования науки [190].
Серьезный риск - закрепление в оценочной практике не самых удачных институциональных решений, которые крайне сложно корректировать в силу известной дилеммы контроля [191] и возникающих QWERTY-эффектов [192]. Чрезмерное влияние политики и денег в любой сфере чревато попаданием в «ловушки развития» [193-195], а управление наукой с помощью финансовых стимулов сопровождается углублением дисбалансов между различными областями знания [196]. В связи с этим неизбежно встают вопросы, связанные с поиском эффективных методов целевого управления развитием [197] и избегания «эффекта колеи» [198-200].
Своеобразным откликом на институциональные провалы в управлении научным развитием стала концепция этической импактологии К. Донован. Автор призывает государства ответственно подходить к использованию механизмов оценки и предрекает неизбежную смерть нынешних сложных оценочных систем (metricide) с возвратом к простым метрикам [201].
Источником рисков является также то обстоятельство, что, измеряя вклад науки и ученых в социально-экономическое развитие и корректируя на этой основе научную политику, государство опе-
рирует не реальными характеристиками управляемых объектов, а своими представлениями о них (абстрактными моделями, «воображаемыми сущностями»). Очевидно, что расхождение моделей и реалий, как и несовпадение моделей одного и того же объекта, используемых для разработки стратегических документов, снижает эффективность государственного управления научным и социально-экономическим развитием. Одним из подходов к решению проблемы может стать анализ феномена «воображаемого ученого» (imagined scientist) как объекта научной политики, предложенный группой норвежских исследователей [202].
Выводы
Поиск эффективных технологий управления наукой, включая измерение её вклада в прогресс экономики и общества, является высококонкурентной сферой исследований, поскольку удачные решения создают для государств преимущества и ускоряют их переход к модели долговременного экономического роста, основанной на знаниях и инновациях.
Отечественные подходы к измерению вклада науки в социально-экономическое развитие занимают важное место в мировом пространстве идей. Советские математики, экономисты и науковеды стояли у истоков создания основных эконометри-ческих и наукометрических подходов, которые используются во всем мире. Отечественные исследования покрывают полный спектр теоретических и практических вопросов, связанных с оценкой влияния науки на приращение знаний, экономический и общественный прогресс, но на текущий момент основная доля работ объективно нацелена на совершенствование методов измерения «доходной стороны» науки.
Все развитые страны практически одновременно решали задачи, связанные с необходимостью повышения эффективности управления наукой для стимулирования роста экономики и общественного благосостояния. Однако научные исследования этой проблематики в СССР (в России) и за рубежом долгое время продвигались «параллельными курсами» в силу идеологического противостояния, различий в моделях экономики, системах статистики, принципах управления, используемой терминологии, регионального статуса перспективных отечественных научных школ, отсутствия полноценной научной коммуникации.
42 См., например: Weinberg A. Science, Government and Information. A report of the President's Science Advisory Committee. The White House, Washington DC. January 10, 1963.URL: https://garfield.library.upenn.edu/papers/weinbergreport1963.pdf (дата обращения: 30.07.2021); Фурсов КС. Анализ новейших международных рекомендаций в области статистического измерения исследований и разработок (Руководство Фраскати) и возможность их адаптации в отечественной статистике. Материалы презентации, 2017. URL: https://www.gks.ru/free_doc/new_site/rosstat/nms/prez2_1503.pdf (дата обращения: 30.07.2021).
Универсализация понятийного аппарата и конвергенция подходов к измерению вклада науки начались в 1990-х гг. под влиянием глобализации, включая такие факторы, как углубление сотрудничества России с международными организациями, вступление в ВТО, переход на международные стандарты финансовой отчетности и аудита, внедрение системы национальных счетов, других международных статистических стандартов, им-плементация подходов нового государственного управления и бюджета, ориентированного на результат, зарубежных методик оценки эффективности деятельности организаций и инвестиционных проектов. Развивающиеся в новых концептуальных полях российские исследования неизбежно носят догоняющий характер, а число публикаций в общем массиве литературы по релевантной тематике невелико (например, [203, с. 12]).
В контексте особенностей развития науки в советский период неудивительно, что «идеологически нейтральные» работы математиков и экономистов получили мировое признание, тогда как перспективные подходы, созданные в рамках общественных наук, остались малоизвестными. При этом многие сюжеты, составляющие сегодня передний край мировой науки, обсуждались в СССР еще в последней трети ХХ в. Например, параллели с современными подходами, сфокусированными на анализе инфраструктуры использования научных результатов и «продуктивных взаимодействий», можно усмотреть в советских публикациях о концепции целереализующей системы [204-206].
Недостаток институциональной памяти и погрешности научной коммуникации ведут к тому, что сегодня в России, как и во всем мире, происходит переоткрытие идей ХХ в. Чтобы не повторять уже пройденный путь и не утерять достижения отечественной науки в исключительно важной сфере, от которой зависят перспективы развития, необходимы специальные усилия по определению сопоставимости (взаимному «переводу») концепций и понятийных систем, которыми оперировали ученые разных стран, решая схожие проблемы. Представляется, что начальными шагами к решению задачи могли бы стать создание национальных глоссариев и их сопоставление, кросс-национальные и кросс-дисциплинарные исследования восприятия базовых терминов и концепций (с использованием лингво-когнитивных подходов и других аналитических методов), сравнительный анализ дискурсов (как академических, так и публичных), в котором функционируют соответствующие понятия и концепции. Помимо вклада в развитие предметной области, такая работа позволит восстановить справедливость в отношении достижений отечественных ученых в контексте мировой науки. Необходим комплексный анализ всего мультидисципли-
нарного отечественного наследия в его системном единстве, что может дать синергетический эффект для развития теории и практики и снизить риски тематического дублирования при планировании новых исследовательских проектов.
Несмотря на то, что круг задач, решаемых исследователями в течение последних ста лет, остается неизменным (создание научно обоснованных возможностей для учета «доходной стороны» науки, измерения ее социетальных эффектов и оценки эффективности государственной научной политики), бесспорных решений пока не найдено, что не препятствует масштабному развитию оценочных практик.
В целом, сегодня во всем мире происходит разочарование в возможностях всеобъемлющих индикаторов и универсальных метрик. Помимо постоянного совершенствования количественных методов измерения вклада науки, устойчиво развивается тренд на всё более широкое внедрение качественных оценок и процессных подходов. Сложности поиска лучших технологий измерения вклада науки, помимо теоретико-методологических проблем, усугубляются запросами государственной практики на обеспечение разумного баланса «цена-качество» оценочных процедур и их адаптивной настройки к динамично меняющимся целям и задачам.
Системное рассмотрение сюжетов, связанных с теорией и практикой измерения вклада науки, показало, что на протяжении последних десятилетий происходит совместная эволюция (коэволюция) научной политики, инструментов оценки эффективности научной деятельности, метрик эффективности деятельности по управлению наукой, а также самой науки. Этот феномен нуждается в исследовании и осмыслении.
Список литературы
1. Arimoto T., Sato Y. Rebuilding Public Trust in Science for Policy-Making // Science. 2012. Volume 337. Issue 6099. P. 1176-1177. DOI: 10.1126/science.1224004
2. Ruff K, Olsen S. The Need for Analysts in Social Impact Measurement: How Evaluators Can Help //American Journal of Evaluation. 2018. Volume 39. Issue 3. P. 402-407. DOI: https://doi. org/10.1177/1098214018778809
3. Bornmann L. What Is Societal Impact of Research and How Can It Be Assessed? A Literature Survey // Journal of the American Society for Information Science and Technology. 2013. Volume 64. Issue 2. P. 217-233. DOI: https://doi.org/10.1002/asi.22803
4. De Jong S, Barker K, Cox D, Sveinsdottir T, Van den Besselaar P. Understanding societal impact through studying productive interactions. Working paper 1304. Den Haag: Rathenau Instituut, 2013. 24 p.
5. Penfield T, Baker MJ, Scoble R, Wykes M.C. Assessment, evaluations, and definitions of research impact: A review // Research Evaluation. 2014. Volume 23. Issue 1. P. 21-32. DOI: https://doi.org/10.1093/ reseval/rvt021
6. Samuel G.N., Derrick G. Societal Impact Evaluation: Exploring Evaluator Perceptions of the Characterization of Impact Under the REF2014 // Research Evaluation. 2015. Volume 24. Issue. 3. P. 229-241. DOI: https:// doi.org/10.1093/reseval/rvv007
7. Paez A. Gray literature: An important resource in systematic reviews // Journal of Evidence-Based Medicine. 2017. Volume 10. Issue 3. P. 233-240. DOI: https://doi.org/10.1111/jebm.12266
8. Павлов Л.П. Серая литература как источник научной и технической информации. М.: Горячая линия -Телеком, 2016. 298 с.
9. Schneider H.W. Science and Social Progress: A Philosophical Introduction to Moral Science. Lancaster, PA: New era printing Company, 1920. 65 p.
10. Bronowski J. Science and Human Values. New York: Harper and Bros., 1956. 94 p.
11. К. Маркс, Ф. Энгельс, В.И. Ленин о науке и технике. Т. 2. Роль науки и техники в развитии общества. М.: Наука, 1985. 480 с.
12. Latour B. Science in Action: How to Follow Scientists and Engineers Through Society. Cambridge, MA: Harvard University Press, 1987. 276 p.
13. Годэн Б. Концептуальные основы научной, технологической и инновационной политики // Форсайт. 2010. Т. 4. № 2. С. 34-43. URL: https://www. elibrary.ru/item.asp?id=16111082
14. Mokyr J. The Gifts of Athena: Historical Origins of the Knowledge Economy. Princeton N.J.: Princeton University Press, 2004. 384 p.
15. /Никифоров А.Л. Роль науки в современном обществе // Философия науки и техники. 2014. № 1. С. 38-63. URL: https://www.elibrary.ru/item. asp?id=23150997
16. Наука, общество, государство: история взаимодействия, баланс интересов, взаимная ответственность, современные императивы / Глазьев СЮ. и др. М.: Колмогоров И. А., 2016. 417 с.
17. Garfield E. Uses and Misuses of Citation Frequency // Essays of an Information Scientist. 1985. Volume 8. P. 403-409.
18. Социальные показатели в системе научно-технической политики: сборник переводов с английского / общ. ред. А.А. Игнатьев и др. М.: Прогресс, 1986. 483 с.
19. Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований / отв. ред. А.В. Рубцов. М.: ИФРАН, 2012. 159 с.
20. Акоев М.А, Маркусова В.А., Москалева О.В, Пис-ляков В.В. Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Изда-
тельство Уральского университета, 2014. 250 с. URL: https://ku bsau.ru/upload/science/pub-act/guide_to_ scientometrics.pdf (дата обращения: 30.07.2021)
21. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. 2014. № 7. С. 21-29. URL: https:// www.elibrary.ru/item.asp?id=21161641
22. Миндели Л.Э., Чистякова В.Е. Методологические основы оценки вклада науки в развитие экономики. М.: ИПРАН РАН, 2017. 48 с.
23. Гусев А.Б., Доронина Е.Г., Вершинин И.В., Малахов В.А. Мониторинг и оценка результатов научно-технической деятельности: зарубежный опыт и российская практика // Наука. Инновации. Образование. 2018. № 1. С. 65-91. URL: https:// www.elibrary.ru/item.asp?id=32651996
24. Лопатин В.Н. О конкуренции в сфере научной деятельности, критериях ее успешности, стимулах и рейтингах // Российское конкурентное право и экономика. 2018. № 1. С. 12-30. DOI: https://doi. org/10.32686/2542-0259-2018-1-12-30
25. Маркусова В.А. Введение. К 50-летию Science Citation Index: История и развитие наукометрии // Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Издательство Уральского университета, 2014. С. 14-48. DOI: 10.15826/B978-5-7996-1352-5.0003. URL: https://www.elibrary.ru/item.asp?id=23113820
26. Володарская ЕА. Динамика критериев оценки результативности научных исследований // Социология науки и технологий. 2019. Т. 10. № 2. С. 120-128. DOI: https://doi.org/10.24411/2079-0910-2019-12007
27. Герасименко П.В. Модификации индекса Хирша для дифференцированной оценки результатов творческой деятельности ученых // Управление наукой и наукометрия. 2020. Т. 15. №. 1. С. 55-71. DOI: https://doi.org/10.33873/2686-6706.2020.15-1.55-71
28. Ефанов Д.В., Сапожников В.В. Итерационный подход к формированию настраиваемых наукометрических показателей на основе учета полного множества цитирований работ ученого // Эксперт: теория и практика. 2021. № 3. С. 68-79. DOI: https://doi.org/10.51608/26867818_2021_3_68
29. Акоев М.А, Маркусова В.А., Москалева О.В, Писляков В.В. Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Издательство Уральского университета, 2021. 358 с.
30. Вернадский В.И. Труды по истории науки в России. М.: Наука, 1988. 467 с.
31. Титаренко М.Л. Мо Ди // Духовная культура Китая: энциклопедия: в 5 т. Т. 1. Философия. М.: Восточная литература, 2006. С. 352-355.
32. Bray F. Science and Civilisation in China. Volume 6, Part II: Agriculture. Cambridge: Cambridge University Press, 1984. 724 p.
33. Гасслер Х, Шибани А. «Непрактичная» наука: как оценить результативность фундаментальных исследований // Форсайт. 2011. Т. 5. № 1. С. 40-47. URL: https://www.elibrary.ru/item. asp?id=15630230
34. Pielke Sr. R.A. In Retrospect: Science - The Endless Frontier // Nature. 2010. Volume 466. Issue 7309. P. 922-923. DOI: https://doi.org/10.1038/466922a
35. Мирский Э.М. Наука как социальный институт // Высшее образование в России. 2004. № 8. С. 89108.
36. Böhme G., van den Daele W, Krohn W. Die Finalisierung der Wissenschaft // Zeitschrift für Soziologie. 1973. Jahrgang 2. Heft 2. S. 128-144.
37. Pfetsch F.R. The «Finalization» Debate in Germany: Some Comments and Explanations // Social Studies of Science. 1979. Volume 9. Issue 1. P. 115-124.
38. Баланс народного хозяйства Союза ССР 192324 года. Репринт издания 1926. М.: Республиканский информационно-издательский центр, 1993. 654 с.
39. Леонтьев В.В. Баланс народного хозяйства. Методологический разбор работы ЦСУ // Плановое хозяйство. 1925. № 12. С. 254-258.
40. Дмитриев В.К. Экономические очерки. М.: ГУ-ВШЭ, 2001. 580 с.
41. Струмилин С.Г. Проблемы экономики труда: Очерки и этюды. М.: Вопросы труда, 1925. 224 с.
42. Щербаков А.И., Косолапов В.В., Король Е.В. Наука, ученые и их труд в условиях современной научно-технической революции. Новосибирск: Институт горного дела АН СССР. Сибирское отделение, 1971. 273 с.
43. Волков Г.Н. Истоки и горизонты прогресса. Социологические проблемы развития науки и техники. М.: Политиздат, 1976. 335 с.
44. Sveikauskas L. The contribution of R&D to productivity growth // Monthly Labor Review. Washington: U.S. Bureau of Labor Statistics. March 1986. P. 16-20.
45. Griliches Z. Issues in Assessing the Contribution of Research and Development to Productivity Growth // R&D and Productivity: The Econometric Evidence / Zavi Griliches (ed.). Chicago: University of Chicago Press, 1998. P. 17-45. URL: https://www.nber.org/ system/files/chapters/c8340/c8340.pdf (дата обращения: 30.07.2021)
46. Погосов И.А. Факторы долгосрочного экономического роста: научно-технический прогресс и капиталоемкость производства // Проблемы прогнозирования. 2015. № 5. С. 11-16. URL: https://ecfor.ru/publication/nauchno-tehnicheskij-progress-i-kapitaloemkost-proizvodstva/ (дата обращения: 30.07.2021)
47. Verdoorn P.J. Factors that Determine the Growth of Labour Productivity // Productivity Growth and Economic Performance / McCombie J., Pugno M, Soro B. (Eds.). London: Palgrave Macmillan, 2002. P. 28-36.
48. Acemoglu D. Introduction to Modern Economic Growth. Princeton: Princeton University Press, 2008. 1248 p.
49. Скворцова В.А., Скворцов А.О. Знания как экономический ресурс // Известия высших учебных заведений. Поволжский регион. Экономические науки. 2014. №. 1. С. 12-21. URL: https://cyberleninka. ru/article/n/znaniya-kak-ekonomicheskiy-resurs-1 (дата обращения: 30.07.2021)
50. Ильин В.А., Гулин К.А., Ускова Т.В. Стратегические резервы роста производительности труда в региональной экономике // Экономические и социальные перемены: факты, тенденции, прогноз. 2010. № 1(9). С. 24-38. URL: https://www.elibrary.ru/ item.asp?id=13081721
51. Симачев Ю.В., Кузык М.Г., Федюнина А.А., Зайцев А.А., Юревич М.А. Производительность труда в несырьевых секторах российской экономики: факторы роста на уровне компаний // Вопросы экономики. 2021. № 3. С. 31-67. DOI: https://doi. org/10.32609/0042-8736-2021-3-31-67
52. Екимова Н.А. Факторы и резервы роста производительности труда в России: концепции и количественные оценки // Вестник УрФУ. Серия экономика и управление. 2019 Том 18. № 6. С. 944-966. DOI: https://doi.org/10.15826/ vestnik.2019.18.6.046
53. Bush V Science - The Endless Frontier. A Report to the President on a program for postwar scientific research (Washington: United States Government Printing Office, 1945). Reprint. Washington, DC: National Science Foundation, 1960. 256 p. URL: https://archive.org/details/scienceendlessfr00unit/ page/n15/mode/2up (дата обращения: 30.07.2021)
54. Гиндилис Н.Л. Из истории советского науковедения: 70-е годы // Науковедческие исследования.
2012. № 2012. С. 161-215. URL: https://www. elibrary.ru/item.asp?id=18280269
55. Гиндилис Н.Л. Из истории советского науковедения: 80-е годы // Науковедческие исследования.
2013. № 2013. С. 171-214. URL: https://www. elibrary.ru/item.asp?id=20958871
56. Гиндилис Н.Л. Становление и развитие науковедения в ХХ веке // Социология науки и технологий. 2015. Т. 6. №. 1. С. 98-104. URL: https://www. elibrary.ru/item.asp?id=23733395
57. Канторович Л.В. Математика в экономике: достижения, трудности, перспективы: Лекция в Шведской королевской академии наук в связи с присуждением Нобелевской премии за 1975 год // Экономика и организация промышленного производства (ЭКО). 1976. № 3. С. 124-134.
58. КанторовичЛ.В., ГавуринМ.К Математика и экономика - взаимопроникновение наук // Вестник Ленинградского университета. Серия 1: Математика, механика, астрономия, 1977. Т. 13. № 3. С. 31-38.
59. Кутателадзе С.С. Идеи Канторовича и современность // Сибирские электронные математические
известия. 2012. Т. 9. С. А1-А6. URL: http://www. mathnet.ru/links/29212a1f819a35ce6e1fc774e28 1b27c/semr339.pdf (дата обращения: 30.07.2021)
60. Garfield E. Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas // Science. 1955. Volume 122. Issue 3159. P. 108-111.
61. Налимов В.В. Количественные методы исследования процесса развития науки // Вопросы философии. 1966. № 12. С. 38-47.
62. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.
63. Weinberg A.M. Impact of Large-Scale Science on the United States // Science. 1961. Volume 134. № 3473. P. 161-164.
64. Price D.J.S. Little science, big science. New York: Columbia University Press, 1963. 119 p.
65. Price D.J.S. Little science, big science... and beyond. New York: Columbia University Press, 1986. 301 p.
66. Ленчук Е.Б., Войтоловский Ф.Г., Кувалин Д.Б. Стратегическое планирование в государственном управлении: опыт, возможности и перспективы // Проблемы прогнозирования. 2020. № 6. С. 46-55. DOI: https://doi.org/10.47711/0868-6351-183-46-55
67. Полтерович В.М. Реформа государственной системы проектной деятельности, 2018-2019 годы // Terra Economicus. 2020. Т. 18. № 1. С. 6-27. DOI: https://doi.org/10.18522/2073-6606-2020-18-1-6-27
68. Миндели Л.Э., Остапюк С.Ф., Фетисов В.П. Роль мониторинга в стратегическом планировании научно-технологического развития // Инновации. 2019. № 3. С. 25-32. URL: https://www.elibrary.ru/ item.asp?id=39145567
69. Попова С.М. От менеджериализма к «медленной науке»: что полезного может дать опыт Нидерландов? // Политика и Общество. 2019. № 6. С. 41-54. DOI: https://doi.org/10.7256/2454-0684.2019.6.31714
70. Sen A. Development as Freedom. New York: Alfred A. Knopf, 1999. 366 p.
71. Степашин С.В. Государственный аудит и экономика будущего. М.: Наука, 2008. 608 с.
72. Stiglitz J., Sen A., Fitoussi, J.-P. Mismeasuring Our Lives: Why GDP Doesn't Add Up. New York: New Press, 2010. 176 p.
73. Кислицына О.А. Подходы к измерению прогресса и качества жизни (благополучия) // Экономический анализ: теория и практика. 2016. № 10(457). С. 28-38. URL: https://www.elibrary.ru/item. asp?id=27187218
74. Миндели Л.Э., Чистякова В.Е. Совершенствование методологии учета затрат и измерения результатов НИОКР // Инновации. 2013. № 9. С. 36-42. URL: https://www.elibrary.ru/item. asp?id=22017415
75. Buxton M, Hanney S. How can payback from health services research be assessed? // Journal of Health Service Research and Policy. 1996. Volume 1. Issue 1. P. 35-43.
76. Buxton M, Hanney S, Jones T. Estimating the economic value to societies of the impact of health research: a critical review // Bulletin of the World Health Organization. 2004. Issue 82. P. 733-739. URL: https://www.who.int/bulletin/ volumes/82/10/733.pdf (дата обращения: 30.07.2021)
77. Thomas DA, Nedeva M, Tirado M.M, Jacob M. Changing research on research evaluation: A critical literature review to revisit the agenda // Research Evaluation. 2020. Volume 29. Issue 3. P. 275-288. DOI: https://doi.org/10.1093/reseval/rvaa008
78. Щербаков А.И. Эффективность научной деятельности в СССР: Методологический аспект. М.: Экономика, 1982. 223 с.
79. Godin B., Doré C. Measuring the impacts of science; beyond the economic dimension. Quebec: Department of Research, Science and Technology, 2005. 44 p.
80. Осипов Г.В., Климовицкий С.В. Индикаторы науки и технологии: история, методология, стандарты измерения. М.: ИСПИ РАН, 2014. 180 с.
81. Осипов Г.В., Климовицкий С.В. Оценка общественной эффективности фундаментальных научных исследований // Социально-гуманитарные знания. 2014. № 5. С. 54-62. URL: https://www. elibrary.ru/item.asp?id=22138582
82. Бухарин Н.И. Борьба двух миров и задачи науки. М.; Л.: Гос. соц.-экон. изд-во, 1931. 31 с.
83. ТощенкоЖ. Т., Аитов Н.А., Лапин Н.И. Социальное проектирование. М.: Мысль, 1982. 254 с.
84. Голосовский С.И. Эффективность научных исследований в промышленности. М.: Экономика, 1986. 159 с.
85. Muhonen R, Benneworth P., Olmos-Peñuela J. From productive interactions to impact pathways: Understanding the key dimensions in developing SSH research societal impact // Research Evaluation. 2020. Volume 29. Issue 1. P. 34-47. DOI: https:// doi.org/10.1093/reseval/rvz003
86. Molas J, Salter AJ, Patel P., Scott A, Duran X. Measuring Third Stream Activities. Falmer, UK: University of Sussex, 2002. 89 p.
87. Зиневич О.В., Балмасова ТА. «Третья миссия» и социальная вовлеченность университетов: к постановке проблемы // Власть. 2015. №. 6. С. 67-72. URL: https://www.elibrary.ru/item. asp?id=23888341
88. MacFadden B.J. Broader Impacts of Science on Society. Cambridge: Cambridge University Press, 2019. 320 p.
89. Sivertsen G, Meijer I. Normal versus extraordinary societal impact: how to understand, evaluate, and
improve research activities in their relations to society? // Research Evaluation. 2020. Volume 29. Issue. 1. P. 66-70. DOI: https://doi.org/10.1093/ reseval/rvz032
90. De JongS.P.L., Muhonen R. Who benefits from ex ante societal impact evaluation in the European funding arena? A cross-country comparison of societal impact capacity in the social sciences and humanities // Research Evaluation. 2020. Volume 29. Issue 1. P. 22-33. DOI: https://doi.org/10.1093/reseval/ rvy036
91. Mayne J. Useful Theory of .Change Models // Canadian Journal of Program Evaluation. 2015. Issue 30. P. 119-142. DOI: https://doi.org/10.3138/ cjpe.230
92. Boshoff N, de Jong S.P.L. Conceptualizing the societal impact of research in terms of elements of logic models: a survey of researchers in sub-Saharan Africa // Research Evaluation. 2020. Volume 29. Issue 1. P. 48-65. DOI: https://doi.org/10.1093/ RESEVAL/RVZ020
93. Reed M.S., Ferré M, Martin-Ortega J., Blanche R, Lawford-Rolfe R, Dallimer M, Holden J. Evaluating impact from research: A methodological framework // Research Policy. 2021. Volume 50. Issue 4. Article 104147. DOI: https://doi.org/10.1016/j. respol.2020.104147
94. Подуфалов Н.Д., Ханнанов Н.К. Разработка подходов к анализу эффективности научных исследований в РАО (на примере мониторинга результатов исследований 2007-2008 гг.) // Проблемы современного образования. 2011. № 2. С. 78-98. URL: https:// www.elibrary.ru/item.asp?id=16341113
95. Грицкевич О.В. Экономический, социальный и экологический эффекты от инновационных программ в современной России // Интерэкспо Гео-Сибирь. 2014. № 1. С.113-117. URL: https://www.elibrary. ru/item.asp?id=21456471
96. WatsonP, WilsonJ, ThilmanyD, WinterS.Determining Economic Contributions and Impacts: What is the difference and why do we care? // The Journal of Regional Analysis & Policy. 2007. Volume 37. Issue 2. P. 7-19. URL: https://jrap.scholasticahq. com/article/9291 (дата обращения: 30.07.2021)
97. Миркин Б.Г. О понятии научного вклада и его измерителях // Управление большими системами. 2013. № 44. С. 292-307. URL: https://www. elibrary.ru/item.asp?id=20363660
98. Щербин В. Научные знания: товар или общественное благо? // Наука и инновации. 2010. Т. 9. №. 91. С. 66-69. URL: https://www.elibrary.ru/item. asp?id=28826091
199. Лебединцева Л.А. К вопросу об оценке результатов интеллектуального труда в науке // Проблемы современной экономики. 2012. № 1(41). С. 365-369. URL: https://www.elibrary.ru/item. asp?id=17924742
100. Касавин И.Т. Наука как общественное благо // Вестник Томского государственного универ-
ситета. Философия. Социология. Политология. 2021. № 60. С. 217-227. DOI: https://doi. org/10.17223/1998863X/60/19
101. Макаров В.Л. Экономика знаний: уроки для России // Вестник Российской академии наук. 2003. Т. 73. № 5. С. 450-456. URL: https://www.elibrary. ru/item.asp?id=17184733
102. Цыбулевский С.Е, Муракаев И.М. К вопросу о влиянии космической деятельности на социально-экономическое состояние общества и генерацию общественных благ // Московский экономический журнал. 2019. № 4. С. 4. DOI: 10.24411/2413-046X-2019-14004. URL: https:// www.elibrary.ru/item.asp?id=37341607
103. Пайсон Д.Б. Особенности применения категории общественного блага к анализу результативности и институционального оформления космической деятельности // Теоретическая и прикладная экономика. 2018. № 4. С. 1-20. DOI: https:// doi.org/10.25136/2409-8647.2018.4.27646
104. Chen H.-T. Theory-driven evaluations: Need, difficulties and options // Evaluation Practice. 1994. Volume 15. Issue 1. P. 79-82.
105. Weiss C.H. Theory-based evaluation: Past, present, and future // New Directions for Evaluation. 1997. Issue 76. P. 41-55.
106. Rogers P., Weiss C.H. Theory-based evaluation: Reflections ten years on: Theory-based evaluation: Past, present, and future // New Directions for Evaluation. 2007. Volume 2007. Issue 114. P. 6381. DOI: https://doi.org/10.1002/ev.225
107. Иванова Н, Савченко Н. Как оценить эффективность НИОКР // Экономика и жизнь. 2019. № 8(9774). URL: https://www.eg-online.ru/ article/394831/ (дата обращения: 30.07.2021)
108. Медведев В.Ю., Гаспарян Э.Г., Панкова А.Р. Эффективность и результативность: соотношение понятий и методы их оценки // Молодой ученый. 2021. № 11. С. 64-65. URL: https://moluch. ru/archive/353/79184/ (дата обращения: 30.07.2021)
109. Акоев М.А. Наука, технология и общество // Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Издательство Уральского университета, 2014. С. 49-74.
110. Zhuo L, Lu Y., DengX. Study on the Contribution Rate of Scientific and Technological Progress to Economic Growth in a Coal Enterprise // Xu J., Nickel S, Machado V., Hajiyev A. (Eds.). Proceedings of the Ninth International Conference on Management Science and Engineering Management. Advances in Intelligent Systems and Computing. Volume 362. Berlin, Heidelberg: Springer, 2015. P. 1319-1328. DOI: https://doi.org/10.1007/978-3-662-47241-5_111
111. Сухарев О.С. «Экономика знаний» и её вклад в формирование темпов экономического роста // Общество и экономика. 2020. № 1. С. 22-37. DOI: https://doi.org/10.31857/S020736760008028-9
112. Bozeman B., Rogers J.D. A churn model of scientific knowledge value: Internet researchers as a knowledge value collective // Research Policy. 2002. Issue 31. P. 769-794. DOI: http://doi. org/10.1016/S0048-7333(01)00146-9
113. Boldov O.N. The correlation between economic growth and national wealth dynamics with accounting for intangible capital // Studies on Russian Economic Development. 2010. Volume 21. Issue 2. P. 124-131. DOI: https://doi.org/10.1134/ S1075700710020024
114. Абдикеев Н.М., Гринева Н.В. Модели стоимостной оценки интеллектуального капитала организаций в условиях цифровой трансформации // Проблемы экономики и юридической практики. 2020. № 6. С. 23-30. URL: https://urvak.ru/ articles/probl-9992-vypusk-6-modeli-stoimostnoy-otsenki-int/ (дата обращения: 30.07.2021)
115. Jardon C.M., Martinez-Cobas X. Measuring intellectual capital with financial data // PLoS ONE. 2021. Volume 16. Issue 5. Article e0249989. DOI: https://doi.org/10.1371/journal.pone.0249989
116. Лукашов В.Н., Лукашов Н.В., Слепинина А.К. Совершенствование методологии экономической оценки фундаментальных ориентированных исследований // Инновации. 2016. № 12. С. 55-66. URL: https://maginnov.ru/ ru/zhurnal/arhiv/2016/innovacii-n12-2016/ sovershenstvovanie-metodologii-ekonomicheskoj-ocenki-fundamentalnyh-orientirovannyh-issledovanij (дата обращения: 30.07.2021)
117. Покровский В.А. Повышение эффективности научных исследований и разработок. М.: Экономика, 1978. 199 с.
118. Вегер Л.Л. Экономический эффект и управление НИОКР. М.: Наука, 1985. 132 с.
119. Экономическое стимулирование разработок и внедрение новой техники / под ред. КФ. Пузыни. Л.: Издательство ЛИЭИ, 1987. 159 с.
120. Беляков С.А., Краснова Г.А. Оценка вклада системы образования в социально-экономическое развитие региона: международные тенденции и российский опыт // Университетское управление: практика и анализ. 2016. № 3. С. 8-15. DOI: https://doi.org/10.15826/umj.2016.103.011
121. Курбатова М.В. Каган Е.С. Роль университетов в формировании научно-технического потенциала и в развитии регионов Российской Федерации // Университетское управление: практика и анализ. 2017. Т. 21. № 5. С. 74-81. DOI: https:// doi.org/10.15826/umpa.2017.05.063
122. Кранзеева Е.А. Новые модели университетов: вклад в региональное развитие // Университетское управление: практика и анализ. 2017. Т. 21. № 5. С. 64-73. DOI: https://doi.org/10.15826/ umpa.2017.05.062
123. Унтура Г.А. Оценка влияния человеческого капитала на экономический рост российских регионов в условиях финансовых ограничений //
Пространственная экономика. 2019. Т. 15. №. 1. С. 109-133. DOI: https://doi.org/10.14530/ se.2019.1.107-131
124. Weiss C.H, Connell J.P. Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families // New Approaches to Evaluating Community Initiatives: Concepts, Methods, and Contexts / Connell J. et al. (Eds.). Washington, DC: Aspen Institute, 1995. P. 65-92.
125. Ebrahim A, Rangan V.R. What Impact? A Framework for Measuring the Scale & Scope of Social Performance // California Management Review. 2014. Volume 56. Issue 3. P. 118-141. DOI: https://doi.org/10.1525/cmr.2014.56.3.118
126. Reale E, Avramov D, Canhial K, Donovan C, Flecha R, Holm P., Larkin C, Lepori B, Mosoni-Fried J, Oliver E, Primeri E, Puigvert L, Scharnhorst A, Schubert A, Soler M, Soós S, Sordé T, Travis C, van Horik R. A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research // Research Evaluation. 2018. Volume 27. Issue 4. P. 298-308. DOI: https://doi.org/10.1093/reseval/rvx025
127. Díaz Mariño B.L., Caballero-Rico F.C., Roque Hernández R. V, Ramírez de León J.A., González-Bandala DA. Towards the Construction of Productive Interactions for Social Impact // Sustainability. 2021. Volume 13. Issue 2. Article 485. DOI: https://doi.org/10.3390/su13020485
128. Belcher BM, Davel R, Clausa R. A refined method for theory-based evaluation of the societal impacts of research // MethodsX. 2020. Volume 7. Article 100788. DOI: https://doi.org/10.1016/]. mex.2020.100788
129. Кузьмин А.И, Кошелева НА. Теория изменений: общие рекомендации к применению (из опыта БДФ «Виктория»). М.: Проспект, 2014. 59 с. URL: https:// victoriacf.ru/wp-content/uploads/2012/12/909.pdf (дата обращения: 30.07.2021)
130. Кузнецова С.В. Проблемы оценки социальных результатов и эффектов деятельности социальных предприятий // Московский экономический журнал. 2021. № 3. URL: https://qje. su/en/ekonomicheskaya-teoriya/moskovskij-ekonomicheskij-zhurnal-3-2021-57/ (дата обращения: 30.07.2021)
131. Mayne J. Contribution Analysis: An Approach to Exploring Cause and Effect // I LAC Brief. 2008. Issue 16. P. 1-4. URL: https://www.betterevaluation.org/ sites/default/files/I LAC_Brief 1 6_Contribution_ Analysis.pdf (дата обращения: 30.07.2021)
132. Mayne J. Contribution analysis: Coming of age? // Evaluation. 2012. Volume 18. Issue 3. P. 270-280. DOI: https://doi.org/10.1177/1356389012451663
133. Mayne J. Linking Evaluation to Expenditure Reviews: Not Realistic Nor a Good Idea // Canadian Journal of Program Evaluation. 2018. Volume 32. Issue 3. P. 316-326. DOI: https://doi:10.3138/cjpe.43178
134. Mayne J. Revisiting Contribution Analysis // Canadian Journal of Program Evaluation. 2019. Volume 34. Issue 2. P. 171-191. DOI: https:// doi:10.3138/cjpe.68004
135. Kok M.O., Schuit A.J. Contribution mapping: a method for mapping the contribution of research to enhance its impact // Health Research Policy and Systems. 2012. Volume 10. Issue. 1. P. 21-37. DOI: https://doi.org/10.1186/1478-4505-10-21
136. Morton S. Creating Research Impact: The Roles of Research Users in Interactive Research Mobilisation // Evidence and Policy. 2015. Volume 11. Issue 1. P. 35-55. DOI: https://doi.org/10.1332/1744265 14X13976529631798
137. Morton S. Progressing research impact assessment: A 'contributions' approach // Research Evaluation. 2015. Volume 24. Issue 4. P. 405-419. DOI: https://doi.org/10.1093/reseval/rvv016
138. Phipps D, Morton S. Qualities of knowledge brokers: reflections from practice // Evidence & Policy. 2013. Volume 9. Issue 2. P. 255-265. DOI: https://doi.org/10.1332/174426413X667784
139. TannerS. Measuring the Impact of Digital Resources: The Balanced Value Impact Model. London: King's College, 2012. 112 p.
140. Bozeman B. Public value mapping of science outcomes: theory and method // Knowledge Flows and Knowledge Collectives: Understanding the Role of Science & Technology Policies in Development. 2003. Volume 2. Issue1. P. 3-48. URL: https://cord.asu.edu/sites/default/files/wp-content/uploads/2015/02/Bozeman-B.-2003.pdf (дата обращения: 30.07.2021)
141. Spaapen J., van Drooge L. I ntroducing «Productive Interactions» in Social Impact Assessment // Research Evaluation. 2011. Volume 20. Issue 3. P. 211-218. DOI: https://doi.org/10.3152/09582 0211X12941371876742
142. Molas-Gallart J., Tang P. Tracing «productive interactions» to identify social impacts; an example from the social sciences // Research Evaluation. 2011. Volume 20. Issue 3. P. 219-226. DOI: https:// doi.org/10.3152/095820211X12941371876706
143. Wolf B, Lindenthal T, Szerencsits M, Holbrook J.B., Heß J. Evaluating Research beyond Scientific Impact. How to Include Criteria for Productive Interactions and Impact on Practice and Society // GAIA - Ecological Perspectives on Science and Society. 2013. Volume 22. Issue. 2. P. 104-114. DOI: https://doi.org/10.14512/gaia.22.2.9
144. De Jong S, Barker K, Cox D, Sveinsdottir T, Van den Besselaar P. Understanding societal impact through studying productive interactions. Den Haag: Rathenau Instituut, 2013. 24 p.
145. Калужский А.Д. Об оценке эффективности функционирования систем: метод дискретной эффектометрии // Национальная ассоциация ученых. 2021. № 65. С. 24-29. DOI: https://doi. org/10.31618/nas.2413-5291.2021.4.65.398
146. Sindyashkina E.N. An assessment of the forms of social effect when implementing investment projects // Studies on Russian Economic Development. 2010. Issue 21. P. 99-103. DOI: https://doi. org/10.1134/S1075700710010107
147. Игнатьева Г.А., Крайникова М.Н., Матукина А.Н. Социальные эффекты проектно-сетевого института инновационного образования как прообразы новой общественной практики // Интеграция образования. 2014. № 3. С. 12-18. URL: http://edumag.mrsu.ru/index.php/ru/articles/32-14-3/99-10-15507-inted-076-018-201403-012 (дата обращения: 30.07.2021)
148. Хайруллин В.А., Терехов И.Г., Огнева А.С. Метод расчёта социального эффекта в ходе реализации инвестиционно-строительного процесса // Интернет-журнал Науковедение. 2013. № 4. URL: https://naukovedenie.ru/PDF/59evn413.pdf (дата обращения: 30.07.2021)
149. Иващенко Н.П., Булыгина Н.И. К вопросу об эффективности поддержки социального предпринимательства в России // Вестник Московского университета. Серия 6. Экономика. 2019. № 3. С. 127-154. DOI: https://doi. org/10.38050/01300105201938. URL: https:// msuecon.elpub.ru/jour/article/view/534 (дата обращения: 30.07.2021)
150. Nelson R. The agenda for growth theory: A different point of view // Cambridge Journal of Economics. 1998. Volume 22. № 4. P. 497-520.
151. Писаренко Э.Е. Патриарх отечественного обществоведения // Вестник Российской академии наук. 1999. Т. 69. № 1. С. 50-56.
152. Юревич А.В., Цапенко И.П. Еще раз об оценке мирового вклада российской науки // Наука. Инновации. Образование. 2013. № 13. С. 60-83. URL: https://sie-journal.ru/eshhe-raz-ob-oczenke-mirovogo-vklada-rossijskoj-nauki (дата обращения: 30.07.2021)
153. ПипияЛ.К., Дорогокупец В.С. К вопросу об оценке результатов научной деятельности // Инновации. 2017. № 1. С. 39-45. URL: https://maginnov. ru/assets/files/volumes/2017.01/k-voprosu-ob-ocenke-rezultatov-nauchnoj-deyatelnosti.pdf (дата обращения: 30.07.2021)
154. Иванчик А.И. Особенности оценки исследователей и исследовательских программ в гуманитарных науках // Вестник Российской академии наук. 2018. Т. 88. № 11. С. 985-991. DOI: 10.31857/S086958730002331-2. URL: https:// www.elibrary.ru/item.asp?id=36516354
155. Лукашов В.Н., Лукашов Н.В., Слепинина А.К. Анализ подходов к экономической оценке фундаментальных исследований в рамках полных инновационных проектов // Инновации. 2016. № 9. С. 55-61. URL: http://maginnov.ru/ru/zhurnal/ arhiv/2016/innovacii-n9-2016/analiz-podhodov-k-ekonomicheskoj-ocenke-fundamentalnyh-issledovanij-v-ramkah-polnyh-innovacionnyh-proektov (дата обращения: 30.07.2021)
156. Бабиюк Г.В. Основы научных исследований. Ал-чевск: ДонГТУ, 2007. 247 с.
157. Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник Российской академии наук. 2009. Т. 79. № 11. С. 1006-1011. URL: https://www. elibrary.ru/item.asp?id=12989691
158. Усольцев И.А. Концептуальные основы оценки потенциала интеллектуальных продуктов научной сферы // Журнал экономической теории. 2011. № 2. С. 159-163. URL: https://www. elibrary.ru/item.asp?id=16538154
159. Трошин Д.В. Метод оценки результатов научно-исследовательских работ // Экономический анализ: теория и практика. 2014. № 46(397). С. 50-59. URL: https://www.elibrary.ru/item. asp?id=22565418
160. Pedersen D.B., Gr0nvad J.F., Hvidtfeldt R. Methods for mapping the impact of social sciences and humanities - A literature review // Research Evaluation. 2020. Volume 29. Issue 1. P. 4-21. DOI: https://doi.org/10.1093/reseval/rvz033
161. Spaapen J, Sivertsen G. Assessing societal impact of SSH in an engaging world: focus on productive interaction, creative pathways and enhanced visibility of SSH research // Research Evaluation. 2020. Volume 29. Issue 1. P. 1-3. DOI: https://doi. org/10.1093/reseval/rvz035
162. Горшков М.К., Черныш М.Ф. О критериях оценки результативности деятельности научных организаций и ученых в области общественных наук // Образование и наука в России: Состояние и потенциал развития. 2018. № 3. С. 663-677. URL: https://elibrary.ru/download/ elibrary_36721372_84018685.pdfhttps://elibrary. ru/download/elibrary_36721372_84018685.pdf (дата обращения: 30.07.2021)
163. Татаринов Ю.Б. Количественная и качественная оценка результатов фундаментальных исследований // Вестник Академии наук СССР. 1989. № 10. С. 28-41.
164. Либенсон B.C. Шкала для оценки значимости научных работ // Проблемы деятельности ученого и научных коллективов. 1971. Вып. IV. С. 300-304.
165. Либенсон В.С. Информационный подход к оценке научных достижений // Вестник Академии наук СССР. 1979. № 1. С. 62-65.
166. Patton R.M., Stahl C.G., Wells J.C. Measuring Scientific Impact Beyond Citation Counts // D-Lib Magazine. 2016. Volume 22. Issue 9/10. DOI: https://doi.org/10.1045/september2016-patton
167. Martin B.R. The Research Excellence Framework and the "Impact Agenda": Are We Creating a Frankenstein Monster? // Research Evaluation. 2011. Volume 20. Issue 3. P. 247-254. DOI: https:// doi.org/10.3152/095820211x13118583635693
168. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics // Nature. 2015. Volume 520. Issue 7548. P. 429-431. DOI: https://doi. org/10.1038/520429a
169. Wilsdon J, Allen L, Belfiore E, Campbell P., Curry S, HillS, Jones R, Kain R, Kerridge S, ThelwallM, Tinkler J, Viney I, Wouters P., Hill J, Johnson B. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Bristol: HEFCE, 2015. 163 p. DOI: 10.13140/RG.2.1.4929.1363
170. Nichols T. The Death of Expertise. The Campaign Against Established Knowledge and Why It Matters. Cary, NC: Oxford University Press, 2017. 252 p.
171. Williams L.D.A., Moore S. Guest Editorial: Conceptualizing Justice and Counter-Expertise // Science as Culture. 2019. Volume 28. Issue 3. P. 251-276. DOI: https://doi.org/10.1080/09505 431.2019.1632820
172. Brown M.J., Havstad J.C. The Disconnect Problem, Scientific Authority, and Climate Policy // Perspectives on Science. 2016. Volume 25. Issue 1. P. 67-94. DOI: https://doi.org/10.1162/POSC_a_00235
173. Nowotny H, Scott P., Gibbons M. Re-Thinking Science: Knowledge and the Public in an Age of Uncertainty. Cambridge/Malden, MA: Polity/ Blackwell, 2001. 278 p.
174. Тищенко П.Д. Эпистимическая несправедливость как системная коммуникативная дисфункция // Эпистемология и философия науки. 2020. Т. 57. № 2. С. 42-47. DOI: https://doi.org/10.5840/ eps202057219
175. Шевченко С.Ю. Презирать и подсказывать: эпистемическая несправедливость и контрэкспертиза // Эпистемология и философия науки. 2020. Т. 57. № 2. С. 20-32. DOI: https://doi. org/10.5840/eps202057217
176. FrickerM. Epistemic Injustice: Power and the Ethics of Knowing. Oxford: Oxford University Press, 2007. 208 p.
177. Joly P.-B, Gaunand А, Coinet L, Larädo P., Lemai S, Matt M. ASIRPA: A Comprehensive Theory-Based Approach to Assessing the Societal Impacts of a Research Organization // Research Evaluation. 2015. Volume 24. Issue 4. P. 440-453. DOI: https://doi.org/10.1093/reseval/rvv015
178. Aiello E, Donovan C, Duque E, Fabrizio S, Flecha R. Holm P., Molina S, Oliver E, Reale E. Effective strategies that enhance the social impact of social sciences and humanities research // Evidence & Policy. 2020. Volume 10. Issue. 10. P. 1-16. DOI: https://doi.org/10.1332/17442642 0X15834126054137
179. Burget M, Bardone E, Pedaste M. Definitions and Conceptual Dimensions of Responsible Research and Innovation: A Literature Review // Science and Engineering Ethics. 2017. Volume 23. Issue 1.
P. 1-19. DOI: https://doi.org/10.1007/s11948-016-9782-1
180. DelgadoA., AmH. Experiments in interdisciplinarity: Responsible research and innovation and the public good // PLoS Biology. 2018. Volume 16. Issue 3. Article e2003921. DOI: https://doi.org/10.1371/ journal.pbio.2003921
181. Гребенщикова Е.Г. Ответственные исследования и инновации (RRI): переосмысление ответственности и партиципативные стратегии // Электронный научно-практический журнал «Гуманитарные научные исследования». 2015. № 12. URL: https://human.snauka.ru/2015/12/13269 (дата обращения: 30.07.2021)
182. Гаврилина Е.А., Казакова А.А. Институционали-зация социальной оценки техники и технологий (ta/rri) в России: состояние и перспективы // Философия науки и техники. 2019. № 2. С. 162— 169. DOI: https://doi.org/10.21146/2413-9084-2019-24-2-162-169
183. Степин В.С. Научное познание и ценности техногенной цивилизации // Вопросы философии. 1989. № 10. С. 3-18.
184. Юдин Б.Г. Этика науки и ответственность ученого // Философия и методология науки. Ч. II. М.: SvR-Аргус, 1994. С. 132-154.
185. Степин В.С., Горохов В.Г., Розов М.А. Философия науки техники. М.: Гардарика, 1996. 400 с.
186. Губанов Н.Н., Губанов Н.И., Черемных Л.Г., Ту-роваЕ.И. Социальная ответственность ученого и свобода научного творчества // Гуманитарный вестник. 2020. № 5. С. 1-16. DOI: https://doi. org/10.18698/2306-8477-2020-5-681
187. Kowszyk Y, Vanclay F. The possibilities and limitations regarding the use of impact evaluation in corporate social responsibility programs in Latin America // Corporate Governance. 2021. Volume 21. Issue 2. P. 279-293. DOI: https://doi. org/10.1108/CG-01-2020-0038
188. Стрижкова Л.А., Куранов Г.О. Потенциалы и ограничения инструментария «затраты-выпуск» (к 60-летнему юбилею статистических работ в области межотраслевых исследований на пространстве СНГ) // Мир новой экономики. 2021. Т. 15. № 1. С. 60-74. DOI: https://doi. org/10.26794/2220-6469-2021-15-1-60-74
189. Merton R.K. Sociology of science and sociology as science. New York, NY: Columbia University Press, 2010. 320 p.
190. Sigurdarson E.S. Capacities, capabilities, and the societal impact of the humanities // Research Evaluation. 2020. Volume 29. Issue 1. P. 71-76. DOI: https://doi.org/10.1093/reseval/rvz031
191. Collingridge D. The Social Control of Technology. New York: St. Martin's Press, 1980. 200 p.
192. David P.A. Clio and the Economics of QWERTY // American Economic Review. 1985. Volume 75. Issue 2. P. 332-337.
193. North D.C. Institutions, Institutional Change and Economic Performance. Cambridge: Cambridge University Press, 1990. 159 p.
194. Pierson P. Increasing returns, path dependence, and the study of politics // American Political Science Review. 2000. Issue. 92. P. 251-267. DOI: https://doi.org/10.2307/2586011
195. Stephan P.E. Research Efficiency: Perverse Incentives // Nature. 2012. Volume 484. Issue 7392. P. 2931. DOI: https://doi.org/10.1038/484029a
196. Stephan P.E. How Economics Shapes Science. Cambridge, MA: Harvard University Press, 2012. 384 p.
197. Комков Н.И., Чекаданова М.В. Методические основы целевого управления развитием социально-экономических систем // Научные труды: Институт народнохозяйственного прогнозирования РАН. 2019. № 17. С. 75-96. DOI: https:// doi.org/10.29003/m812.sp_ief_ras2019/75-96
198. Полтерович В.М. Институциональные ловушки: есть ли выход? // Общественные науки и современность. 2004. № 3. С. 5-16. URL: https://www. elibrary.ru/item.asp?id=17664394
199. Полтерович В.М. Стратегии институциональных реформ. Перспективные траектории // Экономика и математические методы. 2006. Т. 42. № 1. С. 3-18. URL: https://www.elibrary.ru/item. asp?id=9245387
200. Аузан А. Развитие и «колея» зависимости // Мировая экономика и международные отношения. 2017. Т. 61. № 10. С. 96-105. DOI: https://doi. org/10.20542/0131-2227-2017-61-10-96-105
201. Donovan C. For Ethical «Impactology» // Journal of Responsible Innovation. 2019. Volume 6. Issue 1. P. 78-83. DOI: https://doi.org/10.1080/2329946 0.2017.1300756
202. Am H, Solbu G, S0rensen K.H. The imagined scientist of science governance // Social Studies of Science. 2021. Volume 51. Issue 2. P. 277-297. DOI: https://doi.org/10.1177/0306312720962573
203. Bono P.-H, Debu S, Desplatz R, Hayet M, Lacouette-Fougère C, Trannoy A. Vingt ans d'évaluations d'impact en France et à l'étranger. Paris: France Stratégie, 2018. 54 p. URL: https:// www.strategie.gouv.fr/sites/strategie.gouv.fr/ files/atoms/files/fs-dt-impact-politiques-publiques-decembre-2018.pdf (дата обращения: 30.07.2021)
204. Фонотов А.Г. Цели, оценки, программы // Целевая стадия планирования и проблемы принятия социально-экономических решений. М.: ЦЭМИ АН СССР, 1972. С. 34-45.
205. Агафонов В.А. Анализ стратегий и разработка комплексных программ. М.: Наука, 1990. 214 с.
206. Тамбовцев В.Л., Рождественская И.А. Программно-целевое планирование: вчера, сегодня... завтра? // Вопросы экономики. 2016. № 6. С. 76-90. DOI: https://doi.org/10.32609/0042-8736-2016-6-76-90
Статья поступила в редакцию 13.07.2021; одобрена после рецензирования 16.08.2021; принята к публикации 23.08.2021 Об авторе:
яник Андрей Александрович, ведущий научный сотрудник, Институт демографических исследований, Федеральный научно-исследовательский социологический центр Российской академии наук (119333, Москва, ул. Фотиевой, 6, корп. 1), Москва, Россия, кандидат технических наук, ORCID Ю: 0000-0002-1599-6280, aa.yanick@yandex.ru
Автор прочитал и одобрил окончательный вариант рукописи.
References
1. Arimoto T., Sato Y. Rebuilding Public Trust in Science for Policy-Making. Science. 2012; 337(6099):1176-1177. DOI: 10.1126/science.1224004 (In Eng.)
2. Ruff K., Olsen S. The Need for Analysts in Social Impact Measurement: How Evaluators Can Help. American Journal of Evaluation. 2018; 39(3):402-407. DOI: https://doi.org/10.1177/1098214018778809 (In Eng.).
3. Bornmann L. What Is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of the American Society for Information Science and Technology. 2013; 64(2):217-233. DOI: https://doi. org/10.1002/asi.22803 (In Eng.).
4. De Jong S., Barker K., Cox D., Sveinsdottir T, Van den Besselaar P. Understanding societal impact through studying productive interactions. Den Haag: Rathenau Instituut, 2013. 24 p. (In Eng.)
5. Penfield T., Baker M.J., Scoble R., Wykes M.C. Assessment, evaluations, and definitions of research impact: A review Research Evaluation. 2014; 23(1):21-32. DOI: https:// doi.org/10.1093/reseval/rvt021 (In Eng.)
6. Samuel G.N., Derrick G. Societal Impact Evaluation: Exploring Evaluator Perceptions of the Characterization of Impact Under the REF2014. Research Evaluation. 2015; 24(3):229—241. DOI: https://doi.org/10.1093/ reseval/rvv007 (In Eng.)
7. Paez A. Gray literature: An important resource in systematic reviews. Journal of Evidence-Based Medicine. 2017; 10(3):233-240. DOI: https://doi. org/10.1111/jebm.12266 (In Eng.)
8. Pavlov L.P. Gray literature as a source of scientific and technical information. Moscow: Hotline-Telecom; 2016. 298 p. (In Russ.)
9. Schneider H.W. Science and Social Progress: A Philosophical Introduction to Moral Science. Lancaster, PA: New era printing Company; 1920. 65 p. (In Eng.)
10. Bronowski J. Science and Human Values. New York: Harper and Bros., 1956. 94 p. (In Eng.)
11. K. Marx, F. Engels, V.I. Lenin on science and technology. Volume 2. The role of science and technology in the development of society. Moscow: Nauka; 1985. 480 p. (In Russ.)
12. Latour B. Science in Action: How to Follow Scientists and Engineers Through Society. Cambridge, MA: Harvard University Press; 1987. 276 p. (In Eng.)
13. Godin B. Conceptual Frameworks of Science, Technology and Innovation Policy. Foresight-Russia. 2010; 4(2):34-43 (In Russ.)
14. Mokyr J. The Gifts of Athena: Historical Origins of the Knowledge Economy. Princeton N.J.: Princeton University Press; 2004. 384 p. (In Eng.)
15. Nikiforov A.L. The role of science in modern society. Filosofiya nauki i tekhniki = Philosophy of Science and Technology. 2014; (1):38-63 (In Russ.)
16. Glaz'ev S.Yu. et al. Science, society, state: the history of interaction, balance of interests, mutual responsibility, modern imperatives. Moscow: Kolmogorov I.A.; 2016. 417 p. (In Russ.)
17. Garfield E. Uses and Misuses of Citation Frequency. Essays of an Information Scientist. 1985; 8:403-409 (In Eng.)
18. Ignatiev A.A. et al. (Eds.) Social indicators in the system of scientific and technical policy: collection of articles translated from English. Moscow: Progress; 1986. 483 p. (In Russ.)
19. Rubtsov A.V. (Ed.) Measuring Philosophy: The grounds and criteria for evaluating the impact of philosophical and socio-humanitarian studies. Moscow: Institute of Philosophy of the Russian Academy of Sciences; 2012 159 p. (In Russ.)
20. Akoev M. A., Markusova V. A., Moskaleva O. V., Pislyakov V. V. Handbook for Scientometrics: Indicators of science and technology development. Yekaterinburg: Ural University Publishing House, 2014. 250 p. (In Russ.)
21. Orlov A.I. About the indicators of scientific activities. Ekonomicheskij analiz: teoriya i praktika = Economic Analysis: Theory and Practice. 2014; (7):21-29 (In Russ.)
22. Mindeli L.E., Chistyakova V.E. Methodological bases for assessing the contribution of science to the development of the economy. Moscow: Institute of Problems of the Development of Science of the Russian Academy of Sciences. 2017. 48 p. (In Russ.)
23. Gusev A.B., Doronina E.G., Vershinin I.V., Malakhov V.A. Monitoring and evaluation of the results of scientific and technical activities: foreign experience and Russian practice. Nauka. Innovatcii. Obrazovanie = Nauka. Innovations. Education. 2018; (1):65-91 (In Russ.)
24. Lopatin V.N. On competition in the field of scientific activity, criteria for its success, incentives and ratings.
Rossijskoe konkurentnoe pravo i ekonomika = Russian Competition Law and Economics. 2018; (1):12-30. DOI: https://doi.org/10.32686/2542-0259-2018-1-12-30 (In Russ.)
25. Markusova V.A. Introduction. 50th anniversary of the Science Citation Index: History and Evolution of Scientometrics. In: Handbook for Scientometrics: Indicators of science and technology development. Ekaterinburg: Ural University Publishing House; 2014. P. 14-48. DOI: 10.15826/B978-5-7996-1352-5.0003 (In Russ.)
26. Volodarskaya E.A. Dynamics of the Criteria for Assessing the Research Performance. Sotciologiya nauki i tekhnologii = Sociology of Science and Technology. 2019; 10(2):120-128. DOI: https://doi. org/10.24411/2079-0910-2019-12007 (In Russ.)
27. Gerasimenko P.V. Modifications of the H-index for a differentiated assessment of the results of scientists' creative activity. Science Governance and Scientometrics. 2020; 15(1):55-71. DOI: https:// doi.org/10.33873/2686-6706.2020.15-1.55-71 (In Russ.)
28. Efanov D.V., Sapozhnikov V.V. Iterative Approach to the Formation of Adjustable Scientific Metrics based on the Consideration of the Complete Set of the Scientist's Work Citations. Ekspert: teoriya i praktika = Expert: Theory and Practice. 2021; (3):68-79. DOI: https://doi.org/10.51608/26867818_2021_3_68 (In Russ.)
29. Akoev M.A., Markusova V.A., Moskaleva O.V., Pislyakov V.V. Handbook for Scientometrics: Indicators of science and technology development. Ekaterinburg: Ural University Publishing House; 2021. 358 p. (In Russ.)
30. Vernadskii V.I. Trudy po istorii nauki v Rossii [Works on the history of science in Russia]. Moscow: Nauka, 1988. 467 p. (In Russ.)
31. Titarenko M. L. Mo Di. In: Spiritual culture of China: Encyclopedia: in 5 volumes. Volume 1. Philosophy. Moscow: Oriental literature; 2006. P. 352-355 (In Russ.)
32. Bray F. Science and Civilisation in China. 6(II): Agriculture. Cambridge: Cambridge University Press; 1984. 724 p. (In Eng.)
33. Gassler H., Schibany A. «Useless» Science: How to Evaluate Performance of Basic Research. Foresight-Russia. 2011; 5(1):40-47 (In Russ.)
34. Pielke Sr. R.A. In Retrospect: Science - The Endless Frontier. Nature. 2010; 466(7309):922-923. DOI: https://doi.org/10.1038/466922a (In Eng.)
35. Mirskii E.M. Science as a social institution. Vysshee obrazovanie v Rossii = Higher Education in Russia. 2004; (8):89-108 (In Russ.)
36. Bohme G., van den Daele W., Krohn W. Die Finalisierung der Wissenschaft. Zeitschrift filr Soziologie. 1973; 2(2):128-144 (In Germ.)
37. Pfetsch F.R. The «Finalization» Debate in Germany: Some Comments and Explanations. Social Studies of Science. 1979; 9(1):115—124 (In Eng.)
38. The balance of the national economy of the USSR 1923-24. Reprint of the 1926 edition. Moscow: Republican Information and Publishing Center, 1993. 654 p. (In Russ.)
39. Leontiev V.V. The balance of the national economy. Methodological analysis of the work of the Central Statistical Office. Planovoe hozyajstvo = Planned Economy. 1925; (12):254-258 (In Russ.)
40. Dmitriev V.K. Economic Essays. Moscow: National Research University - Higher School of Economics; 2001. 580 p. (In Russ.)
41. Strumilin S.G. Problems of labor economics: Essays and studies. Moscow: Voprosy truda; 1925. 224 p. (In Russ.)
42. Shcherbakov A.I., Kosolapov V.V., Korol E.V. Science, scientists and their work in the conditions of the modern scientific and technological revolution. Novosibirsk: Institute of Mining of the USSR Academy of Sciences. Siberian branch; 1971. 273 p. (In Russ.)
43. Volkov G.N. The origins and horizons of progress. Sociological problems of the development of science and technology. Moscow: Politizdat; 1976. 335 p. (In Russ.)
44. Sveikauskas L. The contribution of R&D to productivity growth. In: Monthly Labor Review. Washington: U.S. Bureau of Labor Statistics; March 1986. P. 16-20. (In Eng.)
45. Griliches Z. Issues in Assessing the Contribution of Research and Development to Productivity Growth. In: Griliches Z. (Ed.). R&D and Productivity: The Econometric Evidence. Chicago: University of Chicago Press; 1998. P. 17-45. URL: https://www. nber.org/system/files/chapters/c8340/c8340.pdf (accessed 30 July 2021) (In Eng.)
46. Pogosov I.A. Factors of long-term economic growth: scientific and technological progress and capital intensity of production. Problemy Prognozirovaniya = Problems of forecasting. 2015; (5):11 —16 (In Russ.)
47. Verdoorn P.J. Factors that Determine the Growth of Labour Productivity. In: McCombie J., Pugno M., Soro B. (Eds.). Productivity Growth and Economic Performance. London: Palgrave Macmillan; 2002. P. 28-36 (In Eng.)
48. Acemoglu D. Introduction to Modern Economic Growth. Princeton: Princeton University Press; 2008. 1248 p.
49. Skvortsova V.A., Skvortsov A.O. Knowledge as an economic resource. University Proceedings. Volga Region. Economic Sciences. 2014; (1):12—21 (In Russ.)
50. Ilyin V.A., Gulin K.A., Uskova T.V. Strategic reserves of labor productivity growth in the regional economy. Ekonomicheskie i social'nye peremeny: fakty,
tendencii, prognoz = Economic and Social Changes: Facts, Ttrends, Forecast. 2010; 1(9):24-38 (In Russ.)
51. Simachev Yu.V., Kuzyk M.G., Fedyunina A.A., Zaytsev A.A., Yurevich M.A. Labor productivity in the non-resource sectors of the Russian economy: What determines firm-level growth? Voprosy Ekonomiki = Economic Issues. 2021; (3):31-67. DOI: https://doi. org/10.32609/0042-8736-2021-3-31-67 (In Russ.)
52. Ekimova N.A. Factors and reserves of labor productivity growth in Russia: concepts and quantitative estimates. Journal of Applied Economic Research. 2019; 18(6):944-966. DOI: https://doi. org/10.15826/vestnik.2019.18.6.046 (In Russ.)
53. Bush V. Science - The Endless Frontier. A Report to the President on a program for postwar scientific research (Washington: United States Government Printing Office, 1945). Reprint. Washington, DC: National Science Foundation; 1960. 256 p. URL: https://archive.org/details/scienceendlessfr00unit/ page/n15/mode/2up (accessed 30 July 2021) (In Eng.)
54. Gindilis N.L.The Soviet Knowledge of Science in 70-th Years of XX Century. Naukovedcheskie issledovaniya = Science Studies. 2012; (2012):161-215 (In Russ.)
55. Gindilis N.L. The History of the Soviet Science of Science in the 80-th Years of the XX-th Century. Naukovedcheskie issledovaniya = Science Studies. 2013; (2013):171 —214 (In Russ.)
56. Gindilis N.L. The Beginning = and development of Russian Science of Science. Sociologiya nauki i tekhnologij = Sociology of Science and Technology. 2015; 6(1):98—104 (In Russ.)
57. Kantorovich L.V. Mathematics in economics: achievements, difficulties, prospects: A lecture at the Royal Swedish Academy of Sciences in connection with the award of the Nobel Prize for 1975. Economics and Organization of Industrial Production (ECO). 1976; (3):124—134 (In Russ.)
58. Kantorovich L.V., Gavurin M.K. Mathematics and Economics — the interpenetration of sciences. Vestnik Leningradskogo universiteta. Seriya 1: Matematika, mekhanika, astronomiya = Vestnik of the Leningrad University. Series 1: Mathematics, Mechanics, Astronomy. 1977; 13(3):31—38 (In Russ.)
59. Kutateladze S.S. Kantorovich's ideas and the present day. Sibirskie Èlektronnye Matematicheskie Izvestiya = Siberian Electronic Mathematical Reports. 2012; 9:A1—A6 (In Russ.)
60. Garfield E. Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas. Science. 1955; 122(3159):108—111 (In Eng.)
61. Nalimov V.V. Quantitative methods of research of the process of science development. Voprosy filosofii = Problems of Philosophy. 1966; (12):38—47 (In Russ.)
62. Nalimov V.V., Mulchenko Z.M. Scientometrics. The study of the development of science as an information process. Moscow: Nauka; 1969. 192 p. (In Russ.)
63. Weinberg A.M. Impact of Large-Scale Science on the United States. Science. 1961; 134(3473):161-164 (In Eng.)
64. Price D.J.S. Little science, big science. New York: Columbia University Press; 1963. 119 p. (In Eng.)
65. Price D.J.S. Little science, big science... and beyond. New York: Columbia University Press; 1986. 301 p. (In Eng.)
66. Lenchuk E.B., Voitolovsky F.G., Kuvalin D.B. Strategic planning in public administration: experience, opportunities and prospects. Problemy Prognozirovaniya = Problems of forecasting. 2020; (6):46-55. DOI: https://doi.org/10.47711/0868-6351-183-46-55 (In Russ.)
67. Polterovich V.M. Reform of the Project Activity State System, 2018-2019. Terra Economicus. 2020; 18(1):6-27. DOI: https://doi.org/10.18522/2073-6606-2020-18-1-6-27 (In Russ.)
68. Mindeli L.E., Ostapyuk S.F., Fetisov V.P. The role of monitoring in the management of scientific and technological activities: legal aspects. Innovatcii = Innovations. 2019; (3):25-32 (In Russ.)
69. Popova S.M. From managerialism to «slow science»: what use can be gained from the experience of Netherlands? Politics and Society. 2019; (6):41-54. DOI: https://doi.org/10.7256/2454-0684.2019.6.31714 (In Russ.)
70. Sen A. Development as Freedom. New York: Alfred A. Knopf; 1999. 366 p. (In Eng.)
71. Stepashin S.V. State Audit and Economy of Future. Moscow: Nauka; 2008. 608 p. (In Russ.)
72. Stiglitz J., Sen A., Fitoussi, J.-P. Mismeasuring Our Lives: Why GDP Doesn't Add Up. New York: New Press, 2010. 176 p. (In Eng.)
73. Kislitsyna O.A. Approaches to measure the progress and quality of life (well-being). Ekonomicheskij analiz: teoriya i praktika = Economic Analysis: Theory and Practice. 2016; (10(457)):28-38 (In Russ.)
74. Mindeli L.E., Chistyakova V.E. Improving the methodology of cost accounting and measurement of R&D results. Innovatcii = Innovations. 2013; (9):36-42. (In Russ.)
75. Buxton M., Hanney S. How can payback from health services research be assessed? Journal of Health Service Research and Policy. 1996; 1(1):35-43 (In Eng.)
76. Buxton M., Hanney S., Jones T. Estimating the economic value to societies of the impact of health research: a critical review. Bulletin of the World Health Organization. 2004; (82):733-739. URL: https://www.who.int/bulletin/volumes/82/10/733. pdf (accessed 30 July 2021) (In Eng.)
77. Thomas D.A., Nedeva M., Tirado M.M., Jacob M. Changing research on research evaluation: A critical literature review to revisit the agenda. Research
Evaluation. 2020; 29(3):275-288. DOI: https://doi. org/10.1093/reseval/rvaa008 (In Eng.)
78. Shcherbakov A.I. The efficiency of scientific activity in the USSR: A methodological aspect. Moscow: Economika; 1982. 223 p. (In Russ.)
79. Godin B, Doré C. Measuring the impacts of science; beyond the economic dimension. Quebec: Department of Research, Science and Technology; 2005. 44 p. (In Eng.)
80. Osipov G.V., Klimovitsky S.V. Indicators of science and technology: history, methodology, measurement standards. Moscow: Institute of Socio-Political Research of the Russian Academy of Sciences; 2014. 180 p. (In Russ.)
81. Osipov G.V., Klimovitsky S.V. Evaluation of the social effectiveness of fundamental scientific research. Social'no-gumanitarnye znaniya = Socio-Humanitarian Knowledge. 2014; (5):54-62 (In Russ.)
82. Bukharin N.I. The struggle of two worlds and the tasks of science. Moscow; Leningrad: State socioeconomic Publishing House; 1931. 31 p. (In Russ.).
83. Toshchenko Zh.T., Aitov N.A., Lapin N.I. Social project planning. Moscow: Mysl'; 1982. 254 p. (In Russ.)
84. Golosovsky S.I. The effectiveness of scientific research in industry. Moscow: Economika; 1986. 159 p. (In Russ.)
85. Muhonen R., Benneworth P., Olmos-Peñuela J. From productive interactions to impact pathways: Understanding the key dimensions in developing SSH research societal impact. Research Evaluation. 2020; 29(1):34-47. DOI: https://doi.org/10.1093/ reseval/rvz003 (In Eng.)
86. Molas J., Salter A.J., Patel P., Scott A., Duran X. Measuring Third Stream Activities. Falmer, UK: University of Sussex; 2002. 89 p. (In Eng.)
87. Zinevich O.V., Balmasova T.A. The «Third mission» and Social Engagement of Universities: to the Problem Statement. Vlast' = Power 2015; (6):67-72 (In Russ.)
88. MacFadden B. J. Broader Impacts of Science on Society. Cambridge: Cambridge University Press; 2019. 320 p. (In Eng.)
89. Sivertsen G., Meijer I. Normal versus extraordinary societal impact: how to understand, evaluate, and improve research activities in their relations to society? Research Evaluation. 2020; 29(1):66-70. DOI: https:// doi.org/10.1093/reseval/rvz032 (In Eng.)
90. De Jong S.P.L., Muhonen R. Who benefits from ex ante societal impact evaluation in the European funding arena? A cross-country comparison of societal impact capacity in the social sciences and humanities. Research Evaluation. 2020; 29(1):22-33. DOI: https://doi.org/10.1093/reseval/rvy036 (In Eng.)
91. Mayne J. Useful Theory of Change Models. Canadian Journal of Program Evaluation. 2015; 30(2):119-142. DOI: https://doi.org/10.3138/cjpe.230 (In Eng.)
92. Boshoff N., de Jong S.P.L. Conceptualizing the societal impact of research in terms of elements of
logic models: a survey of researchers in sub-Saharan Africa. Research Evaluation. 2020; 29(1):48-65. DOI: https://doi.org/10.1093/RESEVAL/RVZ020 (In Eng.)
93. Reed M.S., Ferré M., Martin-Ortega J., Blanche R., Lawford-Rofe R., Dallimer M., Holden J. Evaluating impact from research: A methodological framework. Research Policy. 2021; 50(4):104147. DOI: https:// doi.org/10.1016/j.respol.2020.104147 (In Eng.)
94. Podufalov N.D., Khannanov N.K. Development of approaches to the analysis of scientific research efficiency in the Russian Academy of Education (on the example of researches results monitoring in 2007— 2008). Problemy sovremennogo obrazovaniya = Problems of modern education. 2011; (2):78-98 (In Russ.)
95. Gritskevich O.V. Economic, Social and Ecological Effects of Innovative Programs in Current Russia. Interekspo Geo-Sibir' = Interexpo Geo-Siberia. 2014; (1):113—117 (In Russ.)
96. Watson P., Wilson J., Thilmany D., Winter S. Determining Economic Contributions and Impacts: What is the difference and why do we care? The Journal of Regional Analysis & Policy. 2007; 37(2):7—19. URL: https://jrap.scholasticahq.com/ article/9291 (accessed 30 July 2021) (In Eng.)
97. Mirkin B.G. Notion of Research Impact and Current Indexes for Scoring it. Large-Scale Systems Control. 2013; (44):292—307 (In Russ.)
98. Shcherbin V. Scientific knowledge: a product or a public good? The Science and Innovation. 2010; 9(91):66—69 (In Russ.)
99. Lebedintseva L.A. Intellectual Labor in Scholarship: to the Issue of Results Evaluation. Problems of Modern Economics. 2012; (1):365—369 (In Russ.)
100. Kasavin I.T. Science: a Public Good and a Humanistic Project. Tomsk State University Journal of Philosophy, Sociology and Political Science. 2021; (60):217—227. DOI: https://doi. org/10.17223/1998863X/60/19 (In Russ.)
101. Makarov V.L. Economics of knowledge: lessons for Russia. Vestnik Rossijskoj Akademii Nauk = Bulletin of the Russian Academy of Sciences. 2003; 73(5):450-456 (In Russ.)
102. Tsybulevsky S.E., Murakaev I.M. On the question of the impact of space activities on the socio-economic state of society and the generation of public goods. Moskovskij ekonomicheskij zhurnal = Moscow Economic Journal. 2019; (4):4 (In Russ.)
103. Payson D.B. Features of the application of the category of public good to the analysis of the efficiency and institutional design of space activities. Theoretical and Applied Economics. 2018; (4):1—20. DOI: https://doi.org/10.25136/2409-8647.2018.4.27646 (In Russ.)
104. Chen H.-T. Theory-driven evaluations: Need, difficulties and options. Evaluation Practice. 1994; 15(1):79—82 (In Eng.)
105. Weiss C. H. Theory-based evaluation: Past, present, and future. New Directions for Evaluation. 1997; (76):41-55 (In Eng.)
106. Rogers P., Weiss C.H. Theory-based evaluation: Reflections ten years on: Theory-based evaluation: Past, present, and future. New Directions for Evaluation. 2007; 2007(114):63-81. DOI: https:// doi.org/10.1002/ev.225 (In Eng.)
107. Ivanova N., Savchenko N. How to evaluate the effectiveness of R&D. Ekonomika i zhizn' = Economics and Life. 2019; (8(9774)) (In Russ.)
108. Medvedev V.Yu., Gasparyan E G., Pankova A.R. Efficiency and effectiveness: correlation of concepts and methods of their evaluation. Molodoj uchenyj = Young Scientist 2021; (11):64-65 (In Russ.)
109. Akoev M.A. Science, Technology and Society. In: Handbook for Scientometrics: Indicators of science and technology development. Ekaterinburg: Ural University Publishing House; 2014. P. 49-74 (In Russ.)
110. Zhuo L., Lu Y., Deng X. Study on the Contribution Rate of Scientific and Technological Progress to Economic Growth in a Coal Enterprise. In: Xu J., Nickel S., Machado V., Hajiyev A. (Eds). Proceedings of the Ninth International Conference on Management Science and Engineering Management. Advances in Intelligent Systems and Computing. Volume 362. Berlin, Heidelberg: Springer; 2015. P. 1319-1329. DOI: https://doi. org/10.1007/978-3-662-47241-5_111 (In Eng.)
111. Sukharev O.S. «Knowledge economy» and its contribution to the formation of economic growth rates. Obshchestvo i ekonomika = Society and Economy. 2020; (1):22-37. DOI: https://doi. org/10.31857/S020736760008028-9 (In Russ.)
112. Bozeman B., Rogers J.D. A churn model of scientific knowledge value: Internet researchers as a knowledge value collective. Research Policy. 2002; (31):769-794. DOI: http://doi.org/10.1016/ S0048-7333(01)00146-9 (In Eng.)
113. Boldov O.N. The correlation between economic growth and national wealth dynamics with accounting for intangible capital. Studies on Russian Economic Development. 2010; 21(2):124—131. DOI: https://doi.org/10.1134/ S1075700710020024 (In Eng.)
114. Abdikeev N.M., Grineva N.V. Models of the valuation of the intellectual capital in the organization in the frameworks of the digital transformation. Economic Problems and Legal Practice. 2020; (6):23—30 (In Russ.)
115. Jardon C.M., Martinez-Cobas X. Measuring intellectual capital with financial data. PLoS ONE. 2021; 16(5):e0249989. DOI: https://doi. org/10.1371/journal.pone.0249989 (In Eng.)
116. Lukashov V.N., Lukashov N.V., Slepinina A.K. Improving Economic Assessment Methodology Basic Research. Innovatcii = Innovations. 2016; (12):55—66 (In Russ.)
117. Pokrovsky V. A. Improving the efficiency of scientific research and development. Moscow: Ekonomika; 1978. 199 p. (In Russ.)
118. Weger L.L. Economic effect and R&D Management. Moscow: Nauka; 1985. 132 p. (In Russ.)
119. Puzyn'a K.F. (Ed.). Economic stimulation of development and introduction of new technology. Leningrad: Publishing House of the Palmiro Tolyatti Leningrad Engineering and Economic Institute; 1987. 159 p. (In Russ.)
120. Belyakov S.A., Krasnova G.A. Assessment of the contribution of the education system to the socio-economic development of the region: international trends and Russian experience. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. 2016; (3):8—15. DOI: https://doi.org/10.15826/ umj.2016.103.011 (In Russ.)
121. Kurbatova M.V., Kagan E.S. The role of universities in the formation of scientific and technical potential and in the development of the regions of the Russian Federation. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. 2017; 21(5):74—81. DOI: https://doi. org/10.15826/umpa.2017.05.063 (In Russ.)
122. Kranzeeva E.A. New models of universities: contribution to regional development. Universitetskoe upravlenie: praktika i analiz = University Management: Practice and Analysis. 2017; 21(5):64—73. DOI: https://doi. org/10.15826/umpa.2017.05.062 (In Russ.)
123. Untura G.A. Assessment of the impact of human capital on the economic growth of Russian regions under financial constraints. Spatial Economics. 2019; 15(1):109—133. DOI: https://doi. org/10.14530/se.2019.1.107-131 (In Russ.)
124. Weiss C.H., Connell J.P. Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families. In: Connell J. et al. (Eds.). New Approaches to Evaluating Community Initiatives: Concepts, Methods, and Contexts. Washington, DC: Aspen Institute; 1995. P. 65—92 (In Eng.)
125. Ebrahim A., Rangan V.R. What Impact? A Framework for Measuring the Scale & Scope of Social Performance. California Management Review. 2014; 56(3):118—141. DOI: https://doi. org/10.1525/cmr.2014.56.3.118 (In Eng.)
126. Reale E., Avramov D., Canhial K., Donovan C., Flecha R., Holm P., Larkin C., Lepori B., Mosoni-Fried J., Oliver E., Primeri E., Puigvert L., Scharnhorst A., Schubert A., Soler M, Soôs S., Sordé T., Travis C., van Horik R. A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research. Research Evaluation. 2018; 27(4):298—308. DOI: https://doi. org/10.1093/reseval/rvx025 (In Eng.)
127. Díaz Mariño B.L., Caballero-Rico F.C., Roque Hernández R.V., Ramírez de León J.A., González-Bandala D.A. Towards the Construction of Productive Interactions for Social Impact. Sustainability. 2021; 13(2):485. DOI: https://doi. org/10.3390/su13020485 (In Eng.)
128. Belcher B.M., Davel R., Clausa R. A refined method for theory-based evaluation of the societal impacts of research. MethodsX. 2020; 7:100788. DOI: https:// doi.org/10.1016/j.mex.2020.100788 (In Eng.)
129. Kuzmin A. I., Kosheleva N. A. Theory of changes: general recommendations for use (from the experience of the CChF «Victoria»). Moscow: Prospekt Publishing House; 2014. 59 p. (In Russ.)
130. Kuznetsova S.V. Problems of assessing the social results and effects of social enterprises. Moskovskij ekonomicheskij zhurnal = Moscow Economic Journal. 2020; (3) (In Russ.)
131. Mayne J. Contribution Analysis: An Approach to Exploring Cause and Effect. ILAC Brief. 2008; (16):1 —4. URL: https://www.betterevaluation.org/ sites/default/files/I LAC_Brief1 6_Contribution_ Analysis.pdf (accessed 30 July 2021) (In Eng.)
132. Mayne J. Contribution analysis: Coming of age? Evaluation. 2012; 18(3):270-280. DOI: https://doi. org/10.1177/1356389012451663 (In Eng.)
133. Mayne J. Linking Evaluation to Expenditure Reviews: Not Realistic Nor a Good Idea. Canadian Journal of Program Evaluation. 2018; 32(3):316-326. DOI: https://doi:10.3138/cjpe.43178 (In Eng.)
134. Mayne J. Revisiting Contribution Analysis. Canadian Journal of Program Evaluation. 2019; 34(2):171—191. DOI: https://doi:10.3138/cjpe.68004 (In Eng.)
135. Kok M.O., Schuit A.J. Contribution mapping: a method for mapping the contribution of research to enhance its impact. Health Research Policy and Systems. 2012; 10(1):21-37. DOI: https://doi. org/10.1186/1478-4505-10-21 (In Eng.)
136. Morton S. Creating Research Impact: The Roles of Research Users in Interactive Research Mobilisation. Evidence and Policy. 2015; 11(1):35— 55. DOI: https://doi.org/10.1332/17442651 4X13976529631798 (In Eng.)
137. Morton S. Progressing research impact assessment: A 'contributions' approach. Research Evaluation. 2015; 24(4):405-419. DOI: https://doi. org/10.1093/reseval/rvv016 (In Eng.)
138. Phipps D., Morton S. Qualities of knowledge brokers: reflections from practice. Evidence & Policy. 2013; 9(2):255-265. DOI: https://doi. org/10.1332/174426413X667784 (In Eng.)
139. Tanner S. Measuring the Impact of Digital Resources: The Balanced Value Impact Model. London: King's College; 2012. 112 p. (In Eng.)
140. Bozeman B. Public value mapping of science outcomes: theory and method. Knowledge Flows
and Knowledge Collectives: Understanding the Role of Science & Technology Policies in Development. 2003; 2(1):3—48. URL: https://cord.asu.edu/sites/ default/files/wp-content/uploads/2015/02/ Bozeman-B.-2003.pdf (accessed 30 July 2021). (In Eng.)
141. Spaapen J., van Drooge L. Introducing "Productive Interactions" in Social Impact Assessment. Research Evaluation. 2011; 20(3):211-218. DOI: https://doi.or g/10.3152/095820211X12941371876742 (In Eng.)
142. Molas-Gallart J., Tang P. Tracing «productive interactions» to identify social impacts; an example from the social sciences. Research Evaluation. 2011. 20(3):219-226. DOI: https://doi.org/10.31 52/095820211X12941371876706 (In Eng.)
143. Wolf B., Lindenthal T., Szerencsits M., Holbrook J.B., Heß J. Evaluating Research beyond Scientific Impact. How to Include Criteria for Productive Interactions and Impact on Practice and Society. GAIA - Ecological Perspectives on Science and Society. 2013; 22(2):104-114. DOI: https://doi. org/10.14512/gaia.22.2.9 (In Eng.)
144. De Jong S., Barker K., Cox D., Sveinsdottir T, Van den Besselaar P. Understanding societal impact through studying productive interactions. Den Haag: Rathenau Instituut; 2013. 24 p. (In Eng.)
145. Kaluzhsky A.D. On the assessment of the efficiency of the functioning of systems: the method of discrete effectometry. Nacional'naya associaciya uchenyh = National Association of Scientists. 2021; (65):24-29. DOI: https://doi.org/10.31618/nas.2413-5291.2021.4.65.398 (In Russ.)
146. Sindyashkina E.N. An assessment of the forms of social effect when implementing investment projects. Studies on Russian Economic Development. 2010; (21):99-103. DOI: https://doi.org/10.1134/ S1075700710010107 (In Russ.)
147. Ignatieva G.A., Krainikova M.N., Matukina A.N. Social effects of Federal Innovative Platform «Project - Network Institute of Innovative Education» as a new social practice foretype. Integraciya obrazovaniya = Integration of Education. 2014; (3):12—18 (In Russ.)
148. Khairullin V.A., Terekhov I.G., Ogneva A.S. The method of calculating the social effect during the implementation of the investment and construction process. Naukovedenie: Online Journal. 2013; (4) (In Russ.)
149. Ivaschenko N.P., Bulygina N.I. On the Effectiveness of Social Entrepreneurship Support in Russia. Moscow University Economis Bulletin. 2019; (3):128-154. DOI: https://doi. org/10.38050/01300105201938 (In Russ.)
150. Nelson R. The agenda for growth theory: A different point of view. Cambridge Journal of Economics. 1998; 22(4):497-520 (In Eng.)
151. Pisarenko E.E. Patriarch of the Russian Social Science. Vestnik Rossijskoj Akademii Nauk = Bulletin of the Russian Academy of Sciences. 1999; 69(1):50—56 (In Russ.)
152. Yurevich A.V., Tsapenko I.P. Once again about the assessment of the world contribution of Russian science. Nauka. Innovatcii. Obrazovanie = Science. Innovations. Education. 2013; (13):60—83 (In Russ.)
153. Pipia L.K., Dorogokupets V.S. On the issue of evaluating the results of scientific activity. Innovatcii = Innovations. 2017; (1):39—45 (In Russ.)
154. Ivanchik A.I. Features of evaluation of researchers and research programs in the humanities. Vestnik Rossijskoj Akademii Nauk = Bulletin of the Russian Academy of Sciences. 2018; 88(11):985—991. DOI: 10.31857/S086958730002331-2 (In Russ.)
155. Lukashov V.N., Lukashov N.V., Slepinina A.K. Analysis of approaches to the economic assessment of basic research within the framework of complete innovative projects. Innovatcii = Innovations. 2016; (9):55—61 In Russ.)
156. Babiyuk G.V. Fundamentals of scientific research. Alchevsk: Donbass State Technical University; 2007. 247 p. (In Russ.)
157. Petrovskii A.B., Tikhonov I.P. Fundamental research focused on practical results: approaches to evaluating efficiency. Vestnik Rossijskoj Akademii Nauk = Bulletin of the Russian Academy of Sciences. 2009; 79(11):1006—1011 (In Russ.)
158. Usoltsev I.A. Conceptual foundations for assessing the potential of intellectual products of the scientific sphere. Russian Journal of Economic Theory. 2011; (2):159—163 (In Russ.)
159. Troshin D.V. The method of evaluating the results of research works. Ekonomicheskij analiz: teoriya i praktika = Economic Analysis: Theory and Practice. 2014; (46(397)):50—59 (In Russ.)
160. Pedersen D.B., Gr0nvad J.F., Hvidtfeldt R. Methods for mapping the impact of social sciences and humanities — A literature review. Research Evaluation. 2020; 29(1):4—21. DOI: https://doi. org/10.1093/reseval/rvz033 (In Eng.)
161. Spaapen J., Sivertsen G. Assessing societal impact of SSH in an engaging world: focus on productive interaction, creative pathways and enhanced visibility of SSH research. Research Evaluation. 2020; 29(1):1 —3. DOI: https://doi.org/10.1093/ reseval/rvz035 (In Eng.)
162. Gorshkov M.K., Chernysh M.F. On the criteria for evaluating the performance of scientific organizations and scientists in the field of social sciences. Education and Science in Russia: The State and Development Potential. 2018; (3):663—677 (In Russ.)
163. Tatarinov Yu.B. Quantitative and qualitative assessment of the results of fundamental research.
Vestnik Akademii nauk SSSR = Bulletin of the USSR Academy of Sciences. 1989; (10):28—41 (In Russ.)
164. Libenson B.C. Scale for assessing the significance of scientific works. The Problems of Scientist and Scientific Groups Activity. 1971; (4):300—304 (In Russ.)
165. Libenson V.S. Informational approach to the assessment of scientific achievements. Vestnik Akademii nauk SSSR = Bulletin of the USSR Academy of Sciences. 1979; (1):62—65 (In Russ.)
166. Patton R.M., Stahl C.G., Wells J.C. Measuring scientific impact beyond citation counts. D-Lib Magazine. 2016; 22(9/10). DOI: https://doi. org/10.1045/september2016-patton (In Eng.)
167. Martin B.R. The Research Excellence Framework and the "Impact Agenda": Are We Creating a Frankenstein Monster? Research Evaluation. 2011; 20(3):247—254. DOI: https://doi.org/10.3152/09 5820211x13118583635693 (In Eng.)
168. Hicks D., Wouters P., Waltman L., de Rijcke S., Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015; 520(7548):429-431. DOI: https://doi.org/10.1038/520429a (In Eng.)
169. Wilsdon J., Allen L., Belfiore E., Campbell P., Curry S., Hill S., Jones R., Kain R., Kerridge S., Thelwall M., Tinkler J., Viney I., Wouters P., Hill J., Johnson B. he Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. Bristol: HEFCE; 2015. 163 p. DOI: 10.13140/RG.2.1.4929.1363 (In Eng.)
170. Nichols T. The Death of Expertise. The Campaign Against Established Knowledge and Why It Matters. Cary, NC: Oxford University Press, 2017. 252 p. (In Eng.)
171. Williams L.D.A., Moore S. Guest Editorial: Conceptualizing Justice and Counter-Expertise. Science as Culture. 2019; 28(3):251—276. DOI: https://doi.org/10.1080/09505431.2019.1632820 (In Eng.)
172. Brown M.J., Havstad J.C. The Disconnect Problem, Scientific Authority, and Climate Policy. Perspectives on Science. 2016; 25(1):67—94. DOI: https://doi. org/10.1162/POSC_a_00235 (In Eng.)
173. Nowotny H., Scott P., Gibbons M. Re-Thinking Science: Knowledge and the Public in an Age of Uncertainty. Cambridge/Malden, MA: Polity/ Blackwell; 2001. 278 p. (In Eng.)
174. Tishchenko P.D. Epistemic injustice as a systemic communicative dysfunction. Epistemologiya i filosofiya nauki = Epistemology and Philosophy of Science. 2020; 57(2):42—47. DOI: https://doi. org/10.5840/eps202057219 (In Russ.)
175. Shevchenko S.Yu. To despise and prompt: epistemic injustice and counter-examination. Epistemologiya i filosofiya nauki = Epistemology and Philosophy of Science. 2020; 57(2):20—32. DOI: https://doi. org/10.5840/eps202057217 (In Russ.)
176. Fricker M. Epistemic Injustice: Power and the Ethics of Knowing. Oxford: Oxford University Press; 2007. 208 p. (In Eng.)
177. Joly P.-B., Gaunand A., Colinet L., Laredo P., Lemarie S., Matt M. ASIRPA: A Comprehensive Theory-Based Approach to Assessing the Societal Impacts of a Research Organization. Research Evaluation. 2015; 24(4):440-453. DOI: https://doi. org/10.1093/reseval/rvv015 (In Eng.)
178. Aiello E., Donovan C., Duque E., Fabrizio S., Flecha R., Holm P., Molina S., Oliver E., Reale E. Effective strategies that enhance the social impact of social sciences and humanities research. Evidence & Policy. 2020; 10(10):1 — 16. DOI: https://doi.org/ 10.1332/174426420X15834126054137 (In Eng.)
179. Burget M, Bardone E, Pedaste M. Definitions and Conceptual Dimensions of Responsible Research and Innovation: A Literature Review. Science and Engineering Ethics. 2017; 23(1):1-19. DOI: https:// doi.org/10.1007/s11948-016-9782-1 (In Eng.)
180. Delgado A. Am H. Experiments in interdisciplinarity: Responsible research and innovation and the public good. PLoS Biology. 2018; 16(3):e2003921. DOI: https://doi.org/10.1371/journal.pbio.2003921 (In Eng.)
181. Grebenshchikova E.G. Responsible Research and Innovation (RRI): Rethinking Accountability and Participatory Strategy. Electronic scientific & practical journal «Humanities scientific researches». 2015; (12) (In Russ.)
182. Gavrilina E.A., Kazakova A.A. Institutionalization of TA and RRI in Russia: current status and prospects. Filosofiya nauki i tekhniki = Philosophy of Science and Technology. 2019; (2):162-169. DOI: https:// doi.org/10.21146/2413-9084-2019-24-2-162-169 (In Russ.)
183. Stepin V.S. Scientific knowledge and the values of technogenic civilization. Voprosy filosofii = Problems of Philosophy. 1989; (10):3—18 (In Russ.)
184. Yudin B.G. Ethics of science and responsibility of a scientist. In: Philosophy and methodology of science. Part II. Moscow: SvR-Argus; 1994. P. 132-154 (In Russ.)
185. Stepin V.S., Gorokhov V.G., Rozov M.A. Philosophy of Science and Technology. Moscow: Gardarika; 1996. 400 p. (In Russ.)
186. Gubanov N.N., Gubanov N.I., Cheremnykh L.G., Turova E.I. Social Responsibility of a Scientist and Freedom of Scientific Creativity. Humanities Bulletin of BMSTU. 2020; (5):1-16. DOI: https://doi. org/10.18698/2306-8477-2020-5-681 (In Russ.)
187. Kowszyk Y., Vanclay F. The possibilities and limitations regarding the use of impact evaluation in corporate social responsibility programs in Latin America. Corporate Governance. 2021; 21(2):279-293. DOI: https://doi.org/10.1108/ CG-01-2020-0038 (In Eng.)
188. Strizhkova L. A., Kuranov G.O. Potentials and limitations of «input-output» analysis (To the 60th Anniversary of statistical work in the field of intersectoral research in the CIS countries). Mir novoi ekonomiki = The World of New Economy. 2021; 15(1):60—74. DOI: https://doi.org/10.26794/2220-6469-2021-15-1-60-74 (In Russ.)
189. Merton R.K. Sociology of science and sociology as science. New York, NY: Columbia University Press; 2010. 320 p. (In Eng.)
190. Siguröarson E.S. Capacities, capabilities, and the societal impact of the humanities. Research Evaluation. 2020; 29(1):71—76. DOI: https://doi. org/10.1093/reseval/rvz031 (In Eng.)
191. Collingridge D. The Social Control of Technology. New York: St. Martin's Press; 1980. 200 p. (In Eng.)
192. David P.A. Clio and the Economics of QWERTY. American Economic Review. 1985; 75(2):332—337 (In Eng.)
193. North D.C. Institutions, Institutional Change and Economic Performance. Cambridge: Cambridge University Press; 1990. 159 p. (In Eng.)
194. Pierson P. Increasing returns, path dependence, and the study of politics. American Political Science Review. 2000; (92):251—267. DOI: https://doi. org/10.2307/2586011 (In Eng.)
195. Stephan P.E. Research Efficiency: Perverse Incentives. Nature. 2012; 484(7392):29—31. DOI: https://doi.org/10.1038/484029a (In Eng.)
196. Stephan P.E. How Economics Shapes Science. Cambridge, MA: Harvard University Press; 2012. 384 p. (In Eng.)
197. Komkov N.I., Chekadanova M.V. Methodological Foundations of the Management by Objectives of the Socio-economic Systems Developmen. Nauchnye trudy: Institut narodnokhozyaistvennogo prognozirovaniya RAN = Science Reports: Institute of Economic Forecasting of the Russian Academy of Sciences. 2019; (17):75—96. DOI: https://doi. org/10.29003/m812.sp_ief_ras2019/75-96 (In Russ.)
198. Polterovich V.M. Institutional Traps: Is there a way out? Social Sciences and Contemporary World. 2004; (3):5—16 (In Russ.)
199. Polterovich V.M. Strategies of institutional reforms. Promising trajectories. Ekonomika i matematicheskie metody = Economics and Mathematical Methods. 2006; 42(1):3—18 (In Russ.)
200. Auzan A. Path Dependence Problem and Possibilities of its Overcoming. Mirovaya ekonomika i mezhdunarodnye otnosheniya = World economy and international relations. 2017; 61(10):96—105. DOI: https://doi.org/10.20542/0131-2227-2017-61-10-96-105 (In Russ.)
201. Donovan C. For Ethical 'Impactology'. Journal of Responsible Innovation. 2019; 6(1):78—83. DOI:
https://doi.org/10.1080/23299460.2017.13007 56 (In Eng.)
202. Âm H., Solbu G., Serensen K.H. The imagined scientist of science governance. Social Studies of Science. 2021; 51(2):277-297. DOI: https://doi. org/10.1177/0306312720962573 (In Eng.)
203. Bono P.-H., Debu S., Desplatz R., Hayet M., Lacouette-Fougère C., Trannoy A. Vingt ans d'évaluations d'impact en France et à l'étranger. Paris: France Stratégie, 2018. 54 p. URL: https:// www.strategie.gouv.fr/sites/strategie.gouv.fr/ files/atoms/files/fs-dt-impact-politiques-publiques-decembre-2018.pdf (accessed 30 July 2021) (In French)
204. Fonotov A. G. Goals, assessments, and programs. In: The target stage of planning and the problems of making socio-economic decisions. Moscow: Central Economic and Mathematical Institute of the USSR Academy of Sciences; 1972. Р. 34-45 (In Russ.)
205. Agaphonov V.A. Analysis of strategies and development of integrated programs. Moscow: Nauka; 1990. 214 p. (In Russ.)
206. Tambovtsev V.L., Rozhdestvenskaya I.A. Goal-oriented planning: yesterday, today... tomorrow? Voprosy ekonomiki = Economics Issues. 2016; (6):76-90. DOI: https://doi.org/10.32609/0042-8736-2016-6-76-90 (In Russ.)
The article was submitted 13.07.2020; approved after reviewing 16.08.2021; accepted for publication 23.08.2021
About the author:
Andrey A. Yanik, Leading Researcher, Institute for Demographic Research, Federal Center of Theoretical and Applied Sociology of the Russian Academy of Sciences (6-1, Fotievoy st., Moscow, 119333), Moscow, Russian Federation, Candidate of Technical Sciences, ORciD ID: 0000-0002-1599-6280, aa.yanick@yandex.ru
The author read and approved the final version of the manuscript.
