CC BY
7УДК 001.893 DOI 10.48612/agat/space_economics/2023.02.05.05
О критериях оценки эффективности деятельности научных организаций ракетно-космической
промышленности
On the criteria for evaluating the effectiveness of scientific organizations of the rocket and space industry
В настоящее время для оценки научной деятельности головных научно-исследовательских институтов ракетно-космической промышленности (далее - РКП), входящих в периметр деятельности Государственной корпорации по космической деятельности «Роскос-мос» (Госкорпорация «Роскосмос»), используется Методика оценки результативности деятельности научных организаций Госкорпорации «Роскосмос», выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения (далее - НИОК и ТР) [1], основу которой составляют методические подходы, заложенные постановлением Правительства Российской Федерации от 08.04.2009 № 312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» [2] и получившие свое дальнейшее развитие в типовой методике, утвержденной приказом Минобрнауки России от 05.03.2014 № 161 «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» [3].
Поскольку основной целью проводимой оценки является задача формирования эффективной системы научных организаций, способствующей повышению социально-экономического благосостояния страны,
Currently, to assess the scientific activities of the main research institutes of the rocket and space industry, which are part of the perimeter of the activities of the State Corporation for Space Activities "Roscosmos" (State Corporation "Roscosmos"), the Methodology for evaluating the performance of scientific organizations of the State Corporation "Roscosmos", performing research, development and technological work of civil appointments (next - R&D and TR) [1], which is based on methodological approaches laid down by the Decree of the Government of the Russian Federation No. 312 dated 08.04.2009 "On the assessment and monitoring of the effectiveness of scientific organizations performing research, development and technological work for civil purposes" [2] and further developed in the standard methodology, approved by the Order of the Ministry of Education and Science of the Russian Federation dated 05.03.2014 No. 161 "On approval of the Model Regulations on the Commission for evaluating the performance of Scientific Organizations, performing research, development and technological work for civil purposes, and a standard methodology for evaluating the effectiveness of scientific organizations performing research, development and technological work for civil purposes" [3]. Since the main purpose of the assessment is the task of forming an effective system of scientific organizations that contribute to improving the socio-economic well-being of the country, the prestige and popularization of scientific knowledge in modern Russian society, as well as improving the quality of management decisions in the scientific field, the question of relevance of the evaluation criteria and indicators used to measure the effectiveness of the activities of the main research institutes of the rocket and space industry and the sufficiency of the proposed approaches to
престижа и популяризации научных знаний в современ- evaluation in the space industry is of particular interest. ном российском обществе, а также совершенствованию качества принимаемых управленческих решений в научной сфере деятельности, то представляет определённый интерес вопрос релевантности используемых критериев и показателей оценки для измерения эффективности деятельности головных научно-исследовательских институтов ракетно-космической промышленности и достаточности предлагаемых подходов к оценке в космической отрасли.
Ключевые слова: результативность, научная деятельность, показатели оценки, научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения.
Keywords: effectiveness, scientific activity, evaluation indicators, research, development and technological work for civil purposes.
ЦЫБУЛЕВСКИИ СЕРГЕЙ ЕВГЕНЬЕВИЧ
Заместитель начальника Управления, начальник отдела инновационного развития и разработки перспективных методов организации управления РКП Управления корпоративного обеспечения и коммуникаций, АО «Организация «Агат» E-mail: TsybulevskySE@agat-roscosmos.ru
TSYBULEVSKY SERGEY
Deputy Head of the Department, Head of the Department of Innovative Development and Development of promising management methods of the RCP Management of Corporate Support and Communications of JSC "Organization "Agat"
САПОЖНИКОВА ОЛЬГА АЛЕКСАНДРОВНА
Главный эксперт отдела корпоративного Управления и имущественных вопросов, АО «Организация «Агат» E-mail: SapozhnikovaOA@agat-roscosmos.ru
SAPOZHNIKOVA OLGA
Chief Expert of the Corporate Governance and Property Issues Department of Agat Organization JSC
Введение
В настоящее время отечественная практика широко использует апробированные международным научным сообществом наукометрические подходы к оценке результативности проводимых исследовательских работ. Преимущественно применяются следующие параметры оценки эффективности научной деятельности: инновационные (результативность и востребованность научных исследований), кадровые (развитие кадрового потенциала), библиометрические (интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки), финансовые (ресурсное обеспечение деятельности научной организации) [4].
Несмотря на достаточно хорошее освещение в экспертной среде темы оценки результатов научной деятельности, в среде научных работников продолжается многолетняя дискуссия о неоднозначности применяемых принципов и подходов к проведению оценки результативности научных организаций, выполняющих НИОК и ТР гражданского назначения, изложенных в базовом нормативном акте - постановлении Правительства Российской Федерации от 8 апреля 2009 г. № 312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».
Консолидированная позиция научного сообщества с критикой используемых подходов была отражена в обращении Совета Общества научных работников от 28 апреля 2014 г. в адрес Председателя Правительства Российской Федерации Д.А. Медведева «Об оценке эффективности научных организаций» [5].
Ключевая критика сводилась к следующим аргументам:
1. Целесообразно рассматривать в качестве основного объекта оценки не саму научную организацию целиком, а отдельное подразделение (научную лабораторию, научную группу и т.п.). Анализ результативности на уровне научной организации приводит к некорректным выводам, поскольку
в настоящее время достаточно большое число указанных организаций имеют уникальную специализацию в основе которой лежат междисциплинарные научные исследования. В то же время проведение научных исследований по наиболее востребованным темам может давать определенное преимущество тем подразделениям, которые участвуют в данных проектах, где соответственно цитирований больше. Таким образом, можно предположить, что объектом оценки должна стать не научная организация и даже не отдельное научное подразделение, а само направление научных исследований [6].
2. Библиометрические показатели, используемые при оценке результативности деятельности научной организации, имеют определенные ограничения, поскольку метрические индикаторы можно сравнивать непосредственно в пределах одной научной дисциплины.
Необходимо учитывать, что данные показатели являются статистическими и ни в коем случае не показывают качество цитируемой статьи, а также уровень научного работника, являющегося ее автором.
Публикационная активность является полезным показателем, отражающим результативность научной деятельности в области фундаментальных исследований, но, к сожалению, не вся научная деятельность сводится к данному направлению исследований, особенно применительно к организациям оборонно-промышленного комплекса.
В любом случае библиометрические показатели необходимо использовать с целью подкрепления либо уточнения экспертной оценки [7].
Основная часть
Применяемая в настоящее время Методика оценки результативности научных организаций Госкорпорации
«Роскосмос», выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения (далее - Методика) [1], созданная на основе типовой методики Министерства образования и науки Российской Федерации, утвержденной приказом от 05.03.2014 № 161 «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» [3], не позволяет в полной мере проводить объективную оценку деятельности организаций РКП, выполняющих работы по профилю деятельности научной организации, поскольку выбранные критерии оценки не отражают сложившуюся отраслевую специфику научной деятельности.
Сформировавшаяся практика предполагает, что результатом любого законченного научного исследования должно стать новое научное знание, которое будет выражено во внешнем мире в результатах интеллектуального труда, что в конечном счете должно привести к приросту научно-технического потенциала.
На сегодняшний день подавляющее большинство организаций РКП, выполняющих работы по профилю деятельности научной организации, не имеют достаточных объемов НИОК и ТР гражданского назначения в год в процентном соотношении с НИОК и ТР военного, специального или двойного назначения, что формально не позволяет провести их оценку в соответствии с Методикой.
Соответственно, возникает ряд специфических особенностей, связанных с возможностью оценки результатов деятельности научных организаций РКП в рамках существующей Методики:
• основная масса НИОК и ТР научных организаций РКП, как организаций, входящих в число организаций оборонно-промышленного комплекса, носит закрытый характер, следовательно, научные организации РКП не могут преодолеть входное пороговое значение доли НИОК и ТР гражданского назначения;
• проведение публикаций организаций РКП, индексируемых в российских и международных информационно-аналитических системах научного цитирования, в рамках научных работ, носящих формат ограниченного доступа, не представляется возможным, что в соответствии с Методикой влия-
ет на показатели результативности и востребованности научных исследований.
Учитывая изложенное, необходима выработка иных показателей оценки деятельности научных организаций РКП, поскольку использование такого основного показателя как А (число публикаций, индексируемых в журналах Web of Science 1 или Scopus 2, и количество опубликованных произведений в расчете на 100 научно-педагогических работников) не представляется возможным (рис. 1).
Следует обратить внимание на то, что значения показателей результативности для референтных групп научных организаций РКП не в полной мере могут соответствовать минимальным пороговым значениям показателей результативности, рассчитанным на основании Единой методики расчета минимальных (пороговых) значений показателей результативности для референтных групп и оценки организаций, выполняющих НИОК и ТР гражданского назначения, одобренной Межведомственной комиссией по оценке результативно-
1 Web of Science - платная поисковая платформа, объединяющая несколько библиографических и реферативных баз данных рецензируемой научной литературы.
2 Scopus - крупнейшая база аннотаций (рефератов) и ссылок рецензируемой литературы со встроенными инструментами мониторинга, анализа и визуализации научно-исследовательских данных.
сти деятельности научных организаций, выполняющих НИОК и ТР (протокол от 18.07.2019 № ГТ-66/пр), ввиду выполнения научными организациями РКП НИОК и ТР, носящих формат ограниченного доступа.
При этом темпы роста научных результатов должны иметь положительную динамику, поэтому оценка организаций в референтной группе осуществляется по минимальному (пороговому) значению основного и дополнительных показателей результативности, рассчитанных по данным текущего периода. Минимальные (пороговые) значения показателей результативности научной деятельности текущего периода не должны быть ниже минимальных (пороговых) значений показателей результативности, рассчитанных на основе данных предыдущего периода. В случае если минимальные (пороговые) значения показателей результативности по текущему периоду ниже минимальных (пороговых) значений показателей результативности предыдущего периода, значение показателей не меняется.
Расчет минимальных (пороговых) значений показателей результативности для каждой из референтных групп осуществляется на основании статистических данных, представляемых научными организациями независимо от их ведомственной принадлежности. Так как количество научных организаций РКП, представляющих сведения и учитываемых при расчете минимальных (пороговых) значений, достаточно мало по
45 00 4000 3500 3000 2.5 DD ZDDD 1500 1000 500 0
0,31% 0,32% 0,33% 0,33% D,32% 0,31% 0,31%
. ÍU L ÍU hi fu ÍU íl
2015
2016
2017
201В
201Э
2020
2021
Число организации noEcew. секторам деятельности Государственный сеитор Сектор высшего о&раюЕанич
Доля организации Госкорпорацни "Рос косм ос* в оЕшем. о&ъем.е
1 Предпринимательский сектор Н е ко м.м.е рчески й се ктор
Рис. 1. Число научных организаций, выполняющих НИОК и ТР по секторам. Источник: составлено авторами на основе данных Федеральной службы государственной статистики [9]
сравнению с количеством научных организаций других ведомственных принадлежностей (рис.2), то соответственно рассчитываемые минимальные (пороговые) значения не могут учитывать специфику научных организаций РКП, выполняющих работы, носящие формат ограниченного доступа.
Учитывая изложенное, без учета отраслевой специфики исключается возможность отнесения научных организаций РКП к профилю деятельности -I. «Генераторы знаний».
Большинство научных организаций РКП возможно отнести к профилю деятельности - III. «Научно-технические услуги», так как показатель А не является определяющим для данного профиля.
В основу используемой Методики положен наукометрический (библиометрический) подход, имеющий свои пределы, в рамках которого происходит релевантное отражение происходящих процессов. Вместе с тем преувеличение значимости данного подхода и применение его в качестве определяющего для принятия решений управленческого характера может впоследствии привести к некорректным выводам, искажающим действительное положение дел.
Концепция формализации управления и оценки научных исследований появилась в странах западного
мира исходя из ограниченности имеющейся ресурсной базы (бюджетных средств), следствием чего стала потребность экономической оценки эффективности расходов на научные исследования и разработки.
Предложенные бизнес-подходы по сути сместили акценты в уровне культуры проведения научных исследований, что привело к неоднозначности полученных по качеству научных результатов (невозможность воспроизведения), и, следовательно, к расфокусировке научного целеполагания - не к поиску истинности полученного результата, а к созданию «оправдывающего» вложения формата, способного представить заказчику научных работ результаты (научные доклады на конференциях, публикации, патенты и т.д.).
Регулярная подготовка отчетной документации о произведенных затратах в НИОК и ТР и полученных результатах, согласно существующим бюджетным правилам, вынуждает научные коллективы в краткосрочном периоде показывать конкретные научные достижения, смещая приоритет в пользу краткосрочных научных проектов, что, к примеру, не укладывается в парадигму длительного цикла производства ракетно-космического техники, поскольку длительность проектов в космической отрасли в среднем занимает 5-7 лет.
Растущее административное регулирование научной
Рис. 2. Удельный вес научных организаций Госкорпорации «Роскосмос» в общем количестве научных организаций, выполняющих
НИОК и ТР.
Источник: составлено авторами на основе данных Федеральной службы государственной статистики [9]
сферы в процессе конкурсного распределения бюджетных средств выводит на передний план проекты, обладающие актуальностью и востребованностью в текущем моменте, что зачастую идет в ущерб проектам, имеющим перспективный и долгосрочный характер, где фактор времени в дальнейшем будет иметь определяющее значение конкурентного преимущества.
На сегодняшний день сложилась практика, когда заказчики научно-технической продукции, обладающие правом принятия решения по вопросу возможности финансирования проектов в области НИОК и ТР, оценивают полученные результаты научных исследований по количественным показателям, согласно Методике, и формируют дальнейшие приоритеты научного развития безотносительно к позиции научного коллектива либо используя его в качестве вспомогательного инструмента поддержки, что в итоге не способствует повышению качества научных исследований.
В данном случае получается дуализм подходов, когда без независимой научной экспертизы, выражающей качественную составляющую, невозможно по одним лишь количественным показателям оценить полученный результат.
Как только критерии оценки научно-исследовательской деятельности приобретают четкую структуру и строгие формулировки, они незамедлительно становятся разменной монетой в интересах многих ученых. Постулат «наука ради науки» перестает играть роль священной коровы, и на свет божий появляются махинации различной степени креативности и сложности, которые отнюдь не служат украшением научного сообщества [4].
Некоторые исследователи видят выход из этого противоречия в модификации библиометрического подхода, вернее в необходимости дополнения его системой научной независимой экспертизы [5].
Действительно, высокая результативность, выраженная в количественных показателях, не имеет большой ценности без признания работ ученого со стороны его коллег, но при этом необходимо зафиксировать особое обстоятельство: то, что успешно применимо для оценки деятельности индивидуального ученого, может не подходить для оценки деятельности научной организации в целом или целого научного направления [6].
Описание вышеизложенных тенденций и подходов к оценке результативности деятельности научных организаций позволяет сделать вывод о необходимости доработки Методики инструментами экспертного мнения и отраслевой специфики, позволяющими повысить качественную составляющую процесса оценки деятельности научных организаций РКП.
На данном этапе необходимо четкое понимание того,
что предметом оценки должны являться не только научные результаты, но и сама научная организация, достигшая оговоренные результаты.
Выбор инструмента оценки должен основываться на анализе эффективности деятельности научной организации, проводимом, прежде всего, ее учредителем (участником), как лицом, заинтересованным в получении положительного результата, на предмет достижения целей создания организации и выполнения возложенных на нее обязанностей и функций.
Осуществляя полномочия акционера акционерных обществ, пакеты акций которых переданы в качестве имущественного взноса Российской Федерации, Госкорпорация «Роскосмос» для достижения целей, установленных Федеральным законом от 13 июля 2015 г. № 215-ФЗ «О Государственной корпорации по космической деятельности «Роскосмос» [7], осуществляет деятельность, направленную на создание условий и механизмов эффективного осуществления космической деятельности, где под космической деятельностью понимается любая деятельность, связанная с непосредственным проведением работ по исследованию и использованию космического пространства (включая Луну и другие небесные тела), в том числе по созданию (разработке, изготовлению и испытаниям), использованию (эксплуатации) космической техники, космических материалов и космических технологий, оказанию связанных с осуществлением космической деятельности услуг, а также использование результатов этой деятельности, осуществление международного сотрудничества Российской Федерации в области исследования и использования космического пространства в мирных целях.
Из чего можно заключить, что Госкорпорация «Роскосмос», в том числе наделена соответствующими полномочиями по осуществлению целостной оценки эффективности достижения научными организациями РКП установленных целей деятельности.
Следует отметить, что анализ результативности деятельности научной организации и ее эффективность не являются синонимами, поскольку не всегда полученный высокий научный результат, признаваемый научным сообществом, является отражением эффективности с позиции ее учредителя (участника).
Поэтому выбор инструментов экспертного мнения будет отличаться как по критериям, так и по методам проведенной оценки, но в любом случае, сочетание различных подходов позволит получить более объективный инструмент оценки деятельности научной организации.
Учитывая, что научные организации различаются по целям их деятельности и по возложенным на них функциям, проведение соответствующей оценки результа-
тивности деятельности должно дифференцироваться от вида (класса) сектора науки.
Ассоциация государственных научных центров «Наука» предложила следующую условную классификацию элементов государственного сектора науки, состоящую из академического, отраслевого и вузовского сегментов. Она отражает в первую очередь основное функциональное назначение каждого из них. В частности:
• академический сегмент (Российская академия наук и другие государственные академии) обеспечивает проведение преимущественно фундаментальных исследований;
• отраслевой (прикладной) сегмент, включающий научные организации, государственные научные центры (ГНЦ), научно-исследовательские центры и отдельные институты (НИЦ и НИИ), учредителями которых являются Правительство Российской Федерации, министерства, ведомства и государственные корпорации, проводящие взаимоувязанный комплекс ориентированных фундаментальных исследований, прикладных исследований и разработок, создание масштабных производств;
• вузовский сегмент занимается в основном фундаментальными и прикладными исследованиями,
в первую очередь для нужд образования [8].
По решаемым задачам научные организации академического сегмента отвечают за развитие фундаментальной науки, как правило сюда входят научные организации Российской академии наук.
Отраслевые (прикладные) научные организации обеспечивают комплексное решение отраслевых (межотраслевых) научных проблем, разрабатывая критически важные (прорывные) технологии, подготавливая экспертизу по закрепленным направлениям научной деятельности и др. Перед данной категорией научных организаций учредитель, как правило, ставит целевую задачу - обеспечение национальной безопасности и обороноспособности страны, где основными критериями оценки выступают надежность полученного результата и сроки выполнения заказа. Значительную долю сегмента организаций данной категории занимают научные организации оборонно-промышленного комплекса и силовых ведомств.
Задача вузовского сегмента - подготовка высококвалифицированных кадров для наукоемких отраслей экономики, включая подготовку научных кадров для поддержания кадрового потенциала науки.
Приведенный пример классификации секторов науки и дифференциации стоящих перед ними задач показывает необходимость более детальной проработки вопроса оценки результативности деятельности научных организаций, изложенной в Методике, с точки зрения выбора корректных критериев оценки, соотнесения параметров результативности и эффективности, а также учета местоположения в уровне классификации секторов науки.
Используемые в настоящее время инструменты оценки результативности деятельности научных организаций ракетно-космической промышленности, выполняющих НИОК и ТР гражданского назначения, не в полной мере отражают специфику деятельности космической отрасли, затрудняя проведение объективного мониторинга их деятельности и нуждаются в корректировке.
Заключение
Анализируя сложившуюся ситуацию, можно увидеть, что научные организации Госкорпорации «Роскосмос» в подавляющем большинстве случаев не попадают в первую категорию, то есть категорию лидеров в отечественной отрасли (научном направлении), а практически по всем профилям рассматриваемых референтных групп относятся к третьей категории, то есть их результаты научной деятельности не являются значимыми либо уникальными для отрасли (научного направления). Спасает их от полного отнесения к третьей группе обычно один из дополнительных индикаторов, при том, что основные индикаторы по профилю I и профилю II практически у всех организаций во всех референтных группах существенно меньше минимальных значений референтных групп, что говорит о том, что результаты научной деятельности организаций не являются значимыми либо уникальными для отрасли (научного направления) в рамках существующей Методики отнесения организаций.
Таким образом, актуальным является вопрос поиска нового подхода к оценке значимости полученного научного результата НИОК и ТР для космической отрасли.
Список литературы
1. Приказ Государственной корпорации по космической деятельности «Роскосмос» от 19.12.2018 № 393 «Об утверждении Методики оценки результативности деятельности научных организаций Государственной корпорации по космической деятельно-
сти «Роскосмос», выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (Зарегистрировано в Минюсте России 18.01.2019 № 53440) // Официальный интернет-портал правовой информации http://www.pravo.gov.ru (дата обращения 08.06.2023).
2. Постановление Правительства РФ от 08.04.2009 № 312 (ред. от 08.06.2019) «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (вместе с «Правилами оценки и мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения») //Первоначальный текст документа опубликован в издании «Собрание законодательства РФ», 13.04.2009, № 15, ст. 1841 (дата обращения 08.06.2023).
3. Приказ Минобрнауки России от 05.03.2014 № 161 (ред. от 29.11.2017) «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» // Первоначальный текст документа опубликован в издании «Российская газета», № 160, 18.07.2014 (дата обращения 08.06.2023).
4. Приказ Минобрнауки России от 05.03.2014 № 162 (ред. от 03.03.2016, с изм. от 06.05.2022) «Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка подтверждения указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений
о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки» // «Российская газета», № 106, 14.05.2014 (дата обращения 08.06.2023).
5. Письмо Совета ОНР Председателю Правительства Российской Федерации Д.А. Медведеву «Об эффективности научных организаций» http://www.saveras.ru/archives/9102 (дата обращения 08.06.2023).
6. Дежина И. «Разработка системы оценки эффективности научных организаций как продолжение быстрых реформ» // Экономическое развитие России № 6, 2014, С.44.
7. О Государственной корпорации по космической деятельности «Роскосмос»: федеральный закон от 13 июля 2015 г. № 215-ФЗ // Собрание законодательства Российской Федерации от 20 июля 2015 г. № 29 (часть I) ст. 4341. - текст Федерального закона опубликован на «Официальном интернет-портале правовой информации» (www.pravo.gov.ru) 13 июля 2015 г., в «Российской газете» от 16 июля 2015 г. № 154. - URL: https:// www.garant.ru (дата обращения 08.06.2023).
8. Ограничения в использовании библиометрических методах http://bonus.basnet.by/aktivnost/ogranichenie/#:~:text=Несмо-тря%20на%20то%2С%20что%20библиометрические,моделей%20цитирования%20в%20разных%20областях (дата обращения 08.06.2023).
9. Федеральная служба государственной статистики [Электронный ресурс] https://rosstat.gov.ru/folder/1548497print (дата обращения 08.06.2023).
List of literature
1. Order of the State Corporation for Space Activities «Roscosmos» dated 19.12.2018 No. 393 «On approval of the Methodology for evaluating the performance of scientific organizations of the State Corporation for Space Activities «Roscosmos» performing research, development and technological work for civil purposes» (Registered with the Ministry of Justice of Russia on 18.01.2019 No. 53440) // Official Internet-legal information portal http://www.pravo.gov.ru (accessed 08.06.2023).
2. Decree of the Government of the Russian Federation No. 312 dated 08.04.2009 (ed. dated 08.06.2019) «On the assessment and monitoring of the performance of scientific organizations performing research, Development and technological work for civil Purposes» (together with the «Rules for evaluating and monitoring the performance of scientific organizations performing research, Development and technological works for civil purposes») //The original text of the document is published in the publication «Collection of Legislation of the Russian Federation», 13.04.2009, No. 15, Article 1841 (accessed 08.06.2023).
3. Order of the Ministry of Education and Science of the Russian Federation dated 05.03.2014 No. 161 (ed. dated 29.11.2017) «On Approval of the Standard Regulations on the Commission for Evaluating the Performance of Scientific Organizations Performing Research, Development and Technological Work for Civil Purposes, and the standard methodology for evaluating the performance of scientific organizations performing research, Development and technological works for civil purposes» // The original text of the document is published in the publication «Rossiyskaya Gazeta», No. 160, 18.07.2014 (accessed 08.06.2023).
4. Order of the Ministry of Education and Science of Russia dated 05.03.2014 No. 162 (ed. dated 03.03.2016, with amendments. dated 06.05.2022) «On Approval of the Procedure for the Provision by Scientific Organizations Performing Research, Development and Technological Work for Civil Purposes, Information on the results of Their Activities and the Procedure for Confirming the specified Information by Federal Executive Authorities for Monitoring Purposes, the procedure for the provision by scientific organizations Performing research, Development and Technological Work for Civil Purposes appointments, information about the results of their activities for evaluation purposes, as well as the composition of information on the results of the activities of scientific organizations performing research, development and technological work for civil purposes, provided for monitoring and evaluation purposes» // «Rossiyskaya Gazeta», No. 106, 05/14/2014 (accessed 08.06.2023).
5. Letter of the ONR Council to the Chairman of the Government of the Russian Federation D.A. Medvedev «On the effectiveness of scientific organizations» http://www.saveras.ru/archives/9102 (accessed 08.06.2023).
6. Dezhina I. «Development of a system for evaluating the effectiveness of scientific organizations as a continuation of rapid reforms» // Economic development of Russia No. 6, 2014, p.44.
7. On the State Corporation for Space Activities «Roscosmos»: Federal Law No. 215-FZ of July 13, 2015 // Collection of Legislation of the Russian Federation No. 29 (Part I) of Article 4341 of July 20, 2015. - the text of the Federal Law is published on the «Official Internet Portal of Legal Information» (www.pravo.gov.ru ) July 13, 2015, in Rossiyskaya Gazeta No. 154 dated July 16, 2015. - URL: https:// www. garant.ru (accessed 08.06.2023).
8. Limitations in the use of bibliometric methods http://bonus .basnet.by/aktivnost/ogranichenie/#:~:text=Despite%20na%20 to%2C%20to%20bibliometric,models%20citation%20b%20different%20oblasts (accessed 08.06.2023).
9. Federal State Statistics Service [Electronic resource] https://rosstat.gov.ru/folder/1548497print (accessed 08.06.2023).
Рукопись получена: 07.08.2023 Рукопись одобрена: 22.09.2023
