CC BY
39
СТАТИСТИЧЕСКИЕ И ЭКСПЕРТНЫЕ МЕТОДЫ НАУКОМЕТРИИ ПРИ УПРАВЛЕНИИ НАУЧНОЙ ДЕЯТЕЛЬНОСТЬЮ
Александр Иванович ОРЛОВ1
STATISTICAL AND EXPERT METHODS OF SCIENTOMETRICS IN THE MANAGEMENT OF SCIENTIFIC ACTIVITIES
Alexander Ivanovich ORLOV2
РЕЗЮМЕ. В статью включены новые (Биокосмологические) наработки по науковедению и наукометрии, выполненные в рамках контроллинга научной деятельности - важной составной части контроллинга организационно-экономических методов. Оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. В статье приведен перечень основных положений разрабатываемой нами новой области контроллинга - контроллинга научной деятельности. Доказано, что ключевой показатель результативности научной деятельности - число цитирований. Проанализированы распространенные заблуждения, связанные с оценкой эффективности научной деятельности.
КЛЮЧЕВЫЕ СЛОВА: Аристотель, наука, управление, контроллинг, информационно-коммуникационные технологии, цифровая экономика, наукометрия, статистические методы, показатели продуктивности и результативности, экспертные оценки.
Содержание
1. Аристотель - отец науки
2. Контроллинг - наука о современных технологиях управления
3. Контроллинг организационно-экономических методов
4. Новая область контроллинга - контроллинг научной деятельности
5. Распространенные догмы
6. Показатели продуктивности и результативности научной деятельности
7. Позиция по ряду часто обсуждаемых вопросов
8. Экспертные методы наукометрии, применяемые при управлении научной деятельностью
Выводы
1 Московский государственный технический университет им. Н.Э. Баумана, г. Москва.
2 Bauman Moscow State Technical University, Moscow, Russia.
ABSTRACT. The article includes new (Biocosmological) developments in the field of science of science and scientometrics, carried out as part of scientific activity controlling - an important component of organizational and economic methods' controlling. Estimation of the productivity and effectiveness of scientific activity is carried out everywhere in universities and scientific organizations. The article provides a list of the main provisions of the new area of controlling that we are developing - the controlling of scientific activity. It is proved that the key indicator of the effectiveness of scientific activity is the number of citations. The common misconceptions associated with the effectiveness estimation of scientific activity are analyzed.
KEYWORDS: Aristotle, science, management, controlling, information and communication technologies, digital economy, scientometrics, statistical methods, indicators of productivity and effectiveness, expert estimators.
Table of contents
1. Aristotle - the father of science
2. Controlling - the science of modern management technologies
3. Controlling of organizational and economic methods
4. New area of controlling - controlling of scientific activities
5. Common dogmas
6. Indicators of the productivity and effectiveness of scientific activity
7. Position on a number of frequently discussed issues.
8. Expert methods of scientometrics used in the management of scientific activities
Conclusions
BIOCOSMOLOGY - NEO-ARISTOTELISM
Vol. 9, Nos. 3&4, Summer/Autumn 2019
SYNOPSIS
It is generally recognized that Aristotle is the father of modern European and world knowledge and science. It is difficult to name at least one branch of science that would not find the beginning of Aristotle. Many of the ideas of Aristotle, relating to the analysis of the internal structure of science, are still very relevant. New in comparison with the times of Aristotle is a huge number of workers of science and their accumulated scientific results. If Aristotle could personally know his contemporary scientists, now it is impossible. As a result, each of us is familiar with only a small part of publications and people related to his subject. Therefore, the main problem of modern science is the general ignorance of scientific workers.
Problems of scientific management are relevant both for researchers and administrators at various levels. We offer to solve the problems of scientific management to use the most advanced management technology - controlling. Controlling is a system of information and analytical support for the process of making management decisions in an organization. We consider it useful for the successful development of scientific research to single out a new area of controlling (or a new direction of controlling) - controlling of scientific activities. To substantiate this distinction, it is necessary to discuss controlling in general and its integral part - controlling methods. Then we consider the main points of controlling of scientific activity developed by us, paying attention to the criticism of common dogmas. We conclude the article with some recommendations for improving the management of scientific activities in universities and research institutes arising from the controlling of scientific activities.
Innovations in the field of management in industry and other sectors of the national economy are based, in particular, on the use of new, adequate organizational and economic methods. Controlling in this area is the development of procedures for managing the compliance of the organizational and economic methods used and the newly created (implemented) with the tasks.
Scientometrics (literally: measurements in science) is a field of knowledge that studies science through statistical and expert studies of the structure and dynamics of scientific activity. Scientometrics as part of the science of science is the basis for making management decisions in the field of scientific management. The main provisions of scientometrics were formulated by V.V. Nalimov and Z.M. Mulchenko
back in 1969. By now applied scientometrics has been enriched with a large number of tools using various information and communication technologies, in particular, big data technology. An example is the Russian Science Citation Index (RSCI).
However, a variety of dogmas are common, leading to unreasonable management decisions that are detrimental to the development of scientific research. For example, individuals consider publications in scientific journals as the main type of scientific publications; believe in the real existence of "world science"; give priority to publications in foreign journals indexed in the WoS and Scopus bibliometric databases; without any justification, the Hirsch index is considered as the main scientometric indicator; negatively refer to self-citations; ignore publications older than 5 years, in particular, when calculating the impact factors of journals, etc.
We will highlight applied science, when research is done in the interests of a specific customer, and basic science, aimed at increasing knowledge. In applied science, publication of the results obtained in the open press is not the goal and is not always advisable, in particular, because of the need to respect commercial and state secrets. In fundamental science, on the contrary, the result of the research is the publication, and its estimation is the demand of the scientific community, expressed in the number of citations in further works.
A critical analysis of expert methods of scientometrics is given. We consider four types of methods: reviewing articles, the work of dissertation councils, appointments (elections) to administrative posts, elections to the RAS.
It is necessary to jointly apply statistical and expert methods of scientometrics in the management of scientific activities, getting rid of the archaic.
РЕФЕРАТ
Общепризнанно, что Аристотель - отец современного европейского и мирового знания, науки. Трудно назвать хоть одну отрасль науки, которая не находила бы начало у Аристотеля. Многие идеи Аристотеля, относящиеся к анализу внутренней структуры науки, являются и сейчас весьма актуальными. Новым по сравнению с временами Аристотеля является огромное количество работников науки и накопленных ими научных результатов. Если Аристотель мог лично знать современных ему ученых, то ныне это невозможно. Как следствие, каждый из нас знаком лишь с малой долей публикаций и людей,
относящихся к его тематике. А потому основная проблема современной науки -всеобщее невежество научных работников.
Проблемы управления научной деятельностью актуальны как для исследователей, так и для администраторов различных уровней. Предлагаем для решения проблем управления научной деятельностью использовать наиболее передовую управленческую технологию - контроллинг. Контроллинг - это система информационно-аналитической поддержки процесса принятия управленческих решений в организации. Считаем полезным для успешного развития научных исследований выделить новую область контроллинга (или новое направление) - контроллинг научной деятельности. Для обоснования этого выделения необходимо обсудить контроллинг в целом и его составную часть - контроллинг методов. Затем мы рассматриваем основные положения разрабатываемого нами контроллинга научной деятельности, уделяя внимание критике распространенных догм. Завершаем статью некоторыми рекомендациями по совершенствованию управления научной деятельностью в вузах и НИИ, вытекающими из контроллинга научной деятельности.
Инновации в сфере управления в промышленности и других отраслях народного хозяйства основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области - это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам.
Наукометрия (буквально: измерения в науке) - область знания, занимающаяся изучением науки путем статистических и экспертных исследований структуры и динамики научной деятельности. Наукометрия как часть науковедения служит основой для принятия управленческих решений в области управления научной деятельностью. Основные положения наукометрии были сформулированы В.В. Налимовым и З.М. Мульченко еще в 1969 г. К настоящему времени прикладная наукометрия обогатилась большим числом инструментов, использующих разнообразные информационно-коммуникационные технологии, в частности, технологии больших данных. Примером является Российский индекс научного цитирования (РИНЦ).
Однако распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред развитию
научных исследований. Например, отдельные лица считают публикации в научных журналах основным видом научных публикаций; верят в реальное существование «мировой науки»; отдают приоритет публикациям в зарубежных журналах, индексируемых в базах библиометрических данных WoS и Scopus; основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша; отрицательно относятся к самоцитированию; игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т. д.
Выделим прикладную науку, когда работа выполняется в интересах конкретного заказчика, и фундаментальную науку, нацеленную на увеличение знаний. В прикладной науке публикация полученных результатов в открытой печати не является целью и не всегда целесообразна, в частности, из-за необходимости соблюдения коммерческой и государственной тайны. В фундаментальной науке, наоборот, итогом выполненного исследования является именно публикация, а ее оценкой является востребованность научным сообществом, выраженное в числе цитирований в дальнейших работах.
Дан критический анализ экспертных методов наукометрии. Рассматриваем четыре вида методов: рецензирование статей, работа диссертационных советов, назначения (выборы) на административные должности, выборы в РАН.
Необходимо совместно применять статистические и экспертные методы наукометрии при управлении научной деятельностью, избавляясь от архаики.
ОСНОВНОЕ СОДЕРЖАНИЕ СТАТЬИ
1. Аристотель - отец науки
Общепризнанно, что Аристотель - отец современного европейского и мирового знания, науки. Трудно назвать хоть одну отрасль науки, которая не находила бы начало у Аристотеля.
Как такового слова «наука» у Аристотеля нет, хотя имеется его древнегреческий аналог. Речь в его трудах идет о знании («эпистеме») и о размышлении («дианойа»), а также о мудрости («софиа»), которая заключает в себе оба эти момента. Но поскольку одним из главных признаков мудрости является способность научить кого-то чему-то, то аристотелевские «мудрость»
и «знание» для целей настоящей статьи можно считать эквивалентами нашего слова «наука».
О Биокосмологии, Аристотелизме и перспективах становления универсальной науки и философии писал К.С. Хруцкий [2010] в редакционной статье первого номера журнала «Биокосмология - нео-Аристотелизм»:
В познавательной системе Аристотеля, его физика (вторая философия) и метафизика (или первая философия, у Аристотеля) ... имеют принципиально однородное значение, различаясь лишь по степени обобщения эмпирически достоверного материала, отражающего единый целостный органический универсальный мир (космос). Это означает, что философская система Аристотеля (в ее истинном значении) обеспечивает осуществление реалистического универсального (Органицистского) познания, выступая необходимым основанием для объединения современных сциентистской и гуманитарной парадигм (расцениваемых в настоящем как полностью несовместимых). Поэтому, наш (Биокосмологический - неоАристотелевский) исследовательский подход имеет прямое отношение ко всем разделам философии и науки. Однако его стартовой позицией всегда является космологическое прояснение предмета исследования. В случае необходимости, также осуществляется в полной мере выяснение условий метафизического, гносеологического, методологического, аксиологического и праксиологического познания исследуемого вопроса. Все это является необходимым для решения вопросов эффективной социокультурной организации и развития; и, в конечном итоге, - для реализации вопросов индивидуального здоровья (благополучия) каждого человека на всем протяжении ее/его жизни (онтогенеза) [Хруцкий, 2010].
Присоединяемся к словам того же автора:
... решительно настало время для осуществления смены курса (shift) в отношении к используемым основаниям научной деятельности; прежде всего - чтобы вернуть (официально признать для научной теории и практики) значение принципов рационального (научного) знания, заложенных в текущей мировой истории гением Стагирита - в первую очередь, включая его принципы Динамизма, Гилеморфизма и Энтелехизма природных субъектов, и их субстантивной Целе-движимой активности [Хруцкий, 2019].
Многие идеи Аристотеля [1983], относящиеся к анализу внутренней структуры науки, являются и сейчас весьма актуальными. Новым по сравнению с временами Аристотеля является огромное количество работников науки и накопленных ими научных результатов. Если Аристотель мог лично знать современных ему ученых, то ныне это невозможно. Как следствие, каждый из нас знаком лишь с малой долей публикаций и людей, относящихся к его тематике. А потому основная проблема современной науки - всеобщее невежество научных работников.
Обсудим ряд актуальных вопросов науки о научной деятельности, т.е. науковедения. В настоящее время научной деятельностью (наукой и научным обслуживанием) занимаются многие миллионы работников. На 12.01.2020 в Российском индексе научного цитирования зарегистрированы 956363 авторов научных публикаций, т.е. почти миллион. Эта сфера деятельности (кратко -наука) заслуживает тщательного изучения.
Проблемы управления научной деятельностью актуальны как для исследователей, так и для администраторов различных уровней. Исследователь заинтересован в выявлении перспективных направлений науки, в ответах на вопросы типа «кто есть кто». Администраторы распределяют ресурсы, формируют программы развития исследователей и выполняющие их коллективы. Предлагаем для решения проблем управления научной деятельностью использовать наиболее передовую управленческую технологию - контроллинг.
2. Контроллинг - наука о современных технологиях управления
Сначала кратко обсудим научную область под названием «контроллинг».
Начнем с определения используемых терминов. Исходим из определения основоположника контроллинга в нашей стране проф. С.Г. Фалько: «Контроллинг - это ориентированная на перспективу и основанная на измерении факта система информационно-аналитической и методической поддержки менеджмента в процессе планирования, контроля, анализа и принятия управленческих решений, обеспечивающая координацию и интеграцию подразделений и сотрудников по достижению поставленных целей» [Фалько, 2005]. Короче говоря, контроллинг - это система информационно-аналитической поддержки процесса принятия управленческих
решений в организации. Если эта организация - научная, то речь идет о контроллинге науки.
Приведем еще одну схожую формулировку С.Г. Фалько: «Сегодня контроллинг в практике управления российских предприятий понимается как "система информационно-аналитической и методической поддержки по достижению поставленных целей"». Таким образом, контроллер разрабатывает правила принятия решений, руководитель принимает решения, опираясь на эти правила. В литературе используются и многие другие определения контроллинга, но несмотря на различие используемых слов смысл остается тем же. Данное выше определение является наиболее распространенным. В перечне определений понятия «контроллинг» известный специалист в этой области В.С. Чугунов [2017] приводит его первым.
В современных условиях научное направление «Контроллинг» выделяется не только своей активностью, но и быстрым интенсивным и экстенсивным ростом. Расширяется многообразие конкретных областей применения концепций контроллинга, разрабатываются новые интеллектуальные инструменты контроллинга [Орлов, 2016].
В настоящее время часто используют скрытый контроллинг, т.е. системы информационно-аналитической поддержки процесса принятия управленческих решений в организации без использования термина «контроллинг». В таких случаях мы предлагаем говорить о «контроллинге под псевдонимами» [Орлов, 2018]. Так, работы по информационно-аналитической поддержке процесса принятия управленческих решений в организациях проводились с давних времен, задолго до появления термина «контроллинг». Например, для принятия решений в военной области необходима информация о числе военнообязанных. О переписи военнообязанных рассказано в Ветхом Завете в Четвертой книге Моисеевой «Числа». При обсуждении этой переписи уместно использовать термины «статистические методы», «эконометрика», «контроллинг», однако самих этих появившихся значительно позже терминов нет в Библии.
Однако и после появления рассматриваемых терминов они не всегда используются. В одних организациях действуют службы контроллинга, в других информационно-аналитические подразделения носят иные названия, ведущие свое происхождение, например, от контрольных органов,
аналитических центров и отделов по разработке и эксплуатации автоматизированных систем управления.
Псевдонимы используют не только для контроллинга. Например, термин «эконометрика» стал применяться в России начиная с 1990-х годов, хотя работы, посвященные статистическим методам в экономике и управлении (т.е. эконометрике в современном понимании), весьма активно велись еще в XIX в. [Орлов, 2016а]. За рубежом термин появился раньше, чем у нас, но не намного - в ХХ в. В 1930 г. в США было создано первое международное эконометрическое общество. С 1933 г. стал издаваться журнал «ЕсопотеМса» -первый журнал, в названии которого есть этот термин. В 1941 г. выпущен первый учебник по эконометрике, автором которого был Я. Тинберген (19131994), в будущем - первый эконометрик, получивший нобелевскую премию по экономике (1969).
По нашему мнению, подходы современного контроллинга могут и должны с успехом использоваться в любой конкретной области. С развитием работ возникает новое направление научной и практической деятельности под названием «контроллинг такой-то области». В настоящей статье в качестве конкретной области рассмотрим научную деятельность. Как известно, для управления научной деятельностью в высших учебных заведениях и научно-исследовательских организациях администраторы используют различные показатели и процедуры, причем зачастую неадекватно. Контроллинг научной деятельности позволяет подойти к технологиям управления в этой области с научной точки зрения.
Считаем полезным для успешного развития научных исследований выделить новую область контроллинга (или новое направление) - контроллинг научной деятельности. Для обоснования этого выделения необходимо обсудить контроллинг в целом и его составную часть - контроллинг методов. Затем мы рассматриваем основные положения разрабатываемого нами контроллинга научной деятельности, уделяя внимание критике распространенных догм. Завершаем статью некоторыми рекомендациями по совершенствованию управления научной деятельностью в вузах и НИИ, вытекающими из контроллинга научной деятельности.
3. Контроллинг организационно-экономических методов
Инновации в сфере управления в промышленности и других отраслях народного хозяйства основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области - это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам. В деятельности управленческих структур выделяем интересующую нас сторону - используемые ими организационно-экономические методы. Такие методы рассматриваем с точки зрения их влияния на эффективность (в широком смысле) процессов управления промышленными предприятиями и организациями других отраслей народного хозяйства, в частности, вузами и научно-исследовательскими институтами. Если речь идет о новых методах (для данного предприятия), то их разработка и внедрение - организационная (управленческая) инновация, соответственно контроллинг организационно-экономических методов можно рассматривать как часть контроллинга инноваций.
В работе [Орлов, 2008] мы обосновываем выделение в контроллинге новой области - контроллинг методов - и обсуждаем содержание этой области. Речь идет прежде всего об организационно-экономических методах. По нашему мнению, следует говорить не только и не столько о методах, сколько об инструментах контроллинга, прежде всего математических (или, точнее, экономико-математических, учитывая направленность на решение задач экономики и управления) [Орлов, 2016]. Впрочем, обсуждение содержания терминов «метод» и «инструмент» не входит в задачи настоящей статьи.
Необходимость принятия обоснованных управленческих решений возникает в самых разных областях человеческой деятельности. Правила принятия таких решений - компетенция структур контроллинга, даже если они действуют под другими названиями.
В лаборатории экономико-математических методов в контроллинге Научно-образовательного центра «Контроллинг и управленческие инновации» МГТУ им. Н.Э. Баумана проведены исследования в области контроллинга (явного и скрытого) в ряде научных и прикладных областей [Орлов, 2018]. В частности, рассмотрены проблемы контроллинга рисков, научной деятельности, персонала, качества продукции и услуг, организационно-
экономического обеспечения решения задач управления в аэрокосмической отрасли, экологической безопасности, контроллинга агропромышленного комплекса. Методы принятия управленческих решений во всех перечисленных областях имеют много общего.
4. Новая область контроллинга - контроллинг научной деятельности
Перейдем к обсуждению одной из перечисленных областей исследований - контроллингу науки (научной деятельности). В настоящее время оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. Поэтому контроллинг инструментов управления научной деятельностью (как составная часть контроллинга организационно-экономических методов) представляет как теоретический, так и практический интерес [Орлов, 2019].
Мы с 1970-х годов занимаемся разработкой ряда проблем контроллинга науки. Конкретные результаты приведены в многочисленных статьях, прежде всего выпущенных начиная с 2013 г. Промежуточные итоги подведены в совместной монографии 2017 г. [Лойко и др.] и статье [Орлов, 2017]. Рецензия [Москалева, 2017] на эту монографию интересна тем, что в ней дан перечень основных положений разрабатываемого нами контроллинга научной деятельности. Обсудим этот перечень.
Наукометрия (буквально: измерения в науке) - область знания, занимающаяся изучением науки путем статистических и экспертных исследований структуры и динамики научной деятельности. Наукометрия как часть науковедения служит основой для принятия управленческих решений в области управления научной деятельностью. Основные положения наукометрии были сформулированы В. В. Налимовым и З. М. Мульченко еще в 1969 г. [Налимов, Мульченко, 1969]. По нашей оценке, с тех пор в теоретической наукометрии единственным заметным, но сомнительным новшеством является появление так называемого «индекса Хирша». Этот показатель предложен в 2005 году аргентино-американским физиком Хорхе Хиршем из Калифорнийского университета в Сан-Диего первоначально для оценки научной продуктивности физиков. Автор (или коллектив), опубликовавший N работ, имеет индекс Хирша И, если И из его публикаций цитируются как минимум И раз каждая, в то время как оставшиеся ^ — И)
работ цитируются не более чем h раз каждая. Таким образом, индекс Хирша -это некоторая характеристика центральной тенденции (т.е. средняя величина) для количеств ссылок на отдельные работы рассматриваемого автора (или коллектива). Неясно, чем индекс Хирша лучше средней цитируемости, т.е. частного от деления числа цитирований на число публикаций.
Однако за полвека с момента появления монографии В. В. Налимова и З. М. Мульченко [Налимов, Мульченко, 1969] прикладная наукометрия обогатилась большим числом инструментов, использующих разнообразные информационно-коммуникационные технологии, в частности, технологии больших данных (big data). Примером является Российский индекс научного цитирования (РИНЦ). Развитие цифровой экономики [Орлов, 2019а] расширило возможности наукометрии.
Как известно, наукометрические данные широко используют при управлении научной деятельностью, коллективами НИИ и вузов. Однако такое использование не всегда является обоснованным. К сожалению, к ошибочным решениям приводят распространенные догмы в области управления научной деятельностью. Данное ниже обсуждение этих догм основано как на проведенных исследованиях, так и на личном опыте исследователя. Согласно РИНЦ, автор настоящей работы - один из наиболее цитируемых отечественных ученых по направлениям "Математика" и "Экономика. Экономические науки". Согласно В.В. Налимову, вклад ученого в фундаментальную науку оценивается числом цитирований его работ.
5. Распространенные догмы
Распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред развитию научных исследований. Например, отдельные лица:
- считают публикации в научных журналах основным видом научных публикаций;
- верят в реальное существование «мировой науки»;
- отдают приоритет публикациям в зарубежных журналах, индексируемых в базах библиометрических данных WoS и Scopus;
- основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша;
- отрицательно относятся к самоцитированию;
- игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т. д.
Поясним последнее понятие на примере. Если импакт-фактор журнала за 2018 год равен 2, значит, опубликованные в нем в 2016 и 2017 годах статьи цитировались в 2018 году в среднем по 2 раза. Базовый период в 2 года иногда заменяют на более длинный - 5 лет. Одна из вредных догм состоит в том, что импакт-фактор — это численный показатель важности научного журнала. Эта догма ориентирует на скороспелый эффект. Между тем фундаментальные работы имеют продолжительный «срок жизни», цитируются через много лет и десятилетий. Например, как показано в [Кудлаев, Орлов], статьи А.Н. Колмогорова 1930-х годов отнюдь не потеряли актуальности. Как и книги Н.Ф. Чарновского по организации производства, выпущенные в 1911-1927 гг.
Опубликовать статью на английском языке за рубежом - это возможность продемонстрировать начальству, как ценят автора этой статьи во всем мире. И совсем неважно, что для соотечественников знакомство с этой статьей будет затруднено - как из-за трудностей при обращении к журналу, так и из-за языковых проблем. Зато специалисты в англосаксонских странах, являющихся геополитическими конкурентами нашей страны, совершенно бесплатно получают в свое распоряжение научные результаты, найденные на деньги российских налогоплательщиков.
Кому выгодна глобализация? В современных условиях - геополитическим конкурентам России. Патриотизм означает, что заботиться надо прежде всего о своей стране, а не о геополитических конкурентах.
6. Показатели продуктивности и результативности научной деятельности
На основе каких величин целесообразно принимать решения при управлении научной деятельностью, в частности, при распределении финансирования? При ответе на этом вопрос будем исходить из общих положений контроллинга.
Как разъясняет С.Г Фалько:
В экономике под показателями понимают абсолютные и относительные величины, а также их совокупности, которые отражают
явления хозяйственной деятельности предприятия. EyfcktlbtenH мы хотим узнать что-то о конкретном явлении, то мы измеряем некоторые его свойства... Таким образом, показатели, а также их совокупности выступают в качестве измерителей. Процесс измерения осуществляется при помощи измерительной системы, разрабатываемой службой контроллинга предприятия" [Фалько, 2008, с.106].
Выделим прикладную науку, когда работа выполняется в интересах конкретного заказчика, и фундаментальную науку, нацеленную на увеличение знаний. В прикладной науке публикация полученных результатов в открытой печати не является целью и не всегда целесообразна, в частности, из-за необходимости соблюдения коммерческой и государственной тайны. В фундаментальной науке, наоборот, итогом выполненного исследования является именно публикация, а ее оценкой является востребованность научным сообществом, выраженное в числе цитирований в дальнейших работах. В настоящей статье рассматриваем фундаментальную науку и изучаем ее как информационный процесс [Налимов, Мульченко].
Обсудим часто используемые показатели продуктивности и результативности научной деятельности. Это - ключевые показатели результата научной деятельности, по аналогии с популярными в менеджменте KPI, т.е. «key performance indicators», по-русски КПЭ - ключевыми показателями эффективности.
Основной показатель продуктивности - число публикаций. Варианты -учет видов публикаций и их объемов. Ясно, продуктивность определяется активностью автора, иногда - его административным положением, но не влиянием на развитие науки. Очевидно, нельзя оценивать научную деятельность только по числу публикаций.
Ключевой показатель результативности - число цитирований. Если работу цитируют - значит, она нужна научному сообществу. Согласно основополагающей работе [Налимов, Мульченко] результативность научной деятельности необходимо оценивать по числу цитирований и использовать этот показатель при принятии управленческих решений. Хорошо известны возмущающие факторы, которые могут исказить этот показатель. Так, с помощью административных методов можно его несколько завысить. Можно
заметно исказить индекс Хирша [Луценко, Орлов, 2016]. Однако анализ данных РИНЦ показывает, что искажения мало влияют на общую картину.
Обсудим некоторые широко распространенные догмы. Управление наукой на основе числа публикаций в рецензируемых журналах (именно в журналах!) и индексов цитирования в журналах объективно замедляет развитие науки, переход полученных результатов в область практического применения, поскольку замедляет выход монографий и учебников. Действительно, как только научный результат попадает в учебник, ссылаться начинают на этот учебник, а не на исходные статьи, и наукометрические показатели автора результата перестают расти (если учитывать только журнальные ссылки). Зачем же тратить силы на написание учебника?
Публикации в научных журналах являются наименее значимым типом научных публикаций. Естественная цепочка развития научного результата такова: тезисы доклада - тематический сборник - монография - учебник -широкое использование. Для развития нового направления публикации в научных журналах, вообще говоря, не нужны. Эти положения подтверждает история развития таких направлений (автор настоящей статьи активно участвовал в создании этих направлений), как статистика объектов нечисловой природы (статистика нечисловых данных, нечисловая статистика) и теория экспертных оценок. Ясно, что издание собственных журналов или завоевание позиций в уже существующих возможно лишь на этапе зрелости нового направления, но не на этапе его создания.
Необоснованность некоторых широко распространенных утверждений поражает. Например, на основе данных библиографической базы Scopus утверждают, что вклад России в мировую науку составляет порядка 1% (ссылок не даем, чтобы не пропагандировать недостойные работы и их авторов). Однако в указанную базу включено более 6000 американских журналов и только около 200 - российских (а только в «списке ВАК» - несколько тысяч журналов). Чему же удивляться - просматривается один российский журнал на 30 американских! Если сделать естественную поправку - умножить на 30 - то получим, что оценка доли России - 30%, что вполне сопоставимо с американской долей (28,7%).
«Мировая наука» - это миф. Сильная сторона современной отечественной фундаментальной науки - ее самодостаточность. Для получения нужных стране
научных результатов мировая наука российским исследователям практически не нужна. Более того, возвеличивание «мировой науки» - это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны. О реальной роли «мировой науки» размышляет проф. С.Н. Гринченко [2014].
На основе опыта многих исследователей констатируем, что для успешного ведения научной работы обычно вполне достаточно литературы на русском языке, цитирование иностранных источников - зачастую дань моде, а не необходимый элемент исследования. Вытекает это, в частности, из наличия огромного объема научных публикаций на русском языке. Известно, что начать и провести исследование можно «с нуля», без анализа литературных источников. Так, великий физик Л.Д. Ландау физические журналы не читал [Воспоминания, 1988]. Он проводил исследования «с нуля».
7. Позиция по ряду часто обсуждаемых вопросов
В последние годы интерес к проблемам управления наукой заметно вырос. Как следствие, вспух поток публикаций по вопросам оценки эффективности научной деятельности. Кратко сформулируем нашу позицию по ряду часто обсуждаемых вопросов.
Отметим полезность и необходимость самоцитирования. Подчеркнем, что активное самоцитирование научных организаций и научных сотрудников -показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. Действительно, только начинающий исследователь в своей первой публикации не может на себя сослаться. По мере продвижения исследований в выбранном направлении уменьшается значение чужих работ, зато резко увеличивается необходимость ссылок на свои публикации. Во-первых, с целью опоры на ранее полученные результаты. Во-вторых, с целью демонстрации связи своих новых результатов со старыми. С самоцитированием не следует бороться, его надо поощрять.
Тезис В.В. Налимова о большом значении «незримых коллективов» [Налимов, Мульченко] приводит к неизбежности существования «региональной науки» и заключению о снобизме «столичной науки». Понятие «мусорных журналов», т.н. «мурзилок», пропагандируется загнившей частью научного сообщества с целью принижения значения новых научных направлений и
журналов, особенно действующих вне Москвы. Цель такого принижения -переключение потока направляемых в печать статей и соответствующих финансовых потоков на академические центры, в настоящее время быстро теряющие свои творческие потенции.
Объем накопленной научной информации на много порядков превышает возможности творческого освоения информации отдельным исследователем. Как следствие, основная проблема современной науки состоит во всеобщем невежестве научных работников, о чем уже шла речь выше. Современные информационно-коммуникационные технологии, в частности, методы анализа больших данных, лишь частично позволяют справиться с этой проблемой [Лойко и др., 2018].
Подходы к управлению научной деятельностью на основе современной наукометрии достаточно подробно и всесторонне проанализированы в монографии [Лойко и др., 2017]. Здесь мы сосредоточились на вопросах контроллинга научной деятельности.
8. Экспертные методы наукометрии, применяемые при управлении научной деятельностью
Экспертные методы основаны на сборе и анализе мнений людей [Орлов, 2011]. Именно экспертные методы используются на практике при управлении научной деятельностью. Статистические данные лишь учитываются, хотя сфера их применения растет. Если списки публикаций используются с давних времен, число цитирований стало возможным измерять и применять при управлении лишь в текущем веке, опираясь на достижения цифровизации, а именно, систем типа РИНЦ, основанных на сплошном просмотре информационных ресурсов (т.е. на методологии больших данных).
Какие методы предпочтительнее в конкретных ситуациях - статистические или экспертные? Этот вопрос заслуживает подробного обсуждения.
Обсудим экспертные методы наукометрии. Рассмотрим четыре вида методов: рецензирование статей, работа диссертационных советов, назначения (выборы) на административные должности, выборы в РАН.
Как уже говорилось, основная проблема современной науки - всеобщее невежество научных работников, вызванное огромным объемом накопленных научных результатов. Для решения этой проблемы построена система
формальных или неформальных научных кланов (сообществ). Члены клана знают и поддерживают друг друга, выработали общие взгляды на научные проблемы, имеют базовые организации, научные журналы, проводят международные и всероссийские конференции и т.п. А также создали систему проверки «свой - чужой». Именно эта система прежде всего проявляется при рецензировании статей. Работы лиц из своего клана получают положительные рецензии, иногда с указанием на необходимость устранения опечаток. А работы «чужих» отклоняются под благовидными предлогами. Как следствие, информация о новых научных результатах не распространяется, развитие науки тормозится. Система рецензирования нужна лишь утвердившимся кланам для поддержания своего монопольного положения. Целесообразно отказаться от обязательного рецензирования. Впрочем, де-факто это уже происходит.
Диссертационные советы позволяют осуществлять контакты между различными кланами. Подготовка диссертаций полезна для развития профессиональных навыков молодых ученых. Однако сама процедура защиты в России - архаика. Стандартная продолжительность процедуры защиты - два часа. Диссертация лежит невостребованной. Впрочем, это естественно - члену диссертационного совета нереально познакомиться с текстом диссертации за время защиты. Особенно возмущает, что по правилам защиты нельзя исправить ошибки и недостатки диссертации, выявленные при защите.
Назначения (выборы) на административные должности в научных организациях и высших учебных заведениях проводятся на основе мнений людей, т.е. экспертных оценок. Администраторы занимаются управлением, в то время как предполагается, что у них есть значительные достижения в науке. Это - архаическое предположение, от него надо избавляться.
Архаикой является и восприятие Российской академии наук (РАН) как центра научной деятельности в России. На самом же деле члены РАН занимает довольно скромное место среди наиболее продуктивных ученых, как видно по данным Российского индекса научного цитирования (РИНЦ). В этом нет ничего удивительного - результаты выборов в РАН определяются борьбой кланов, а не научными достижениями. Например, на 12.01.2020 в РИНЦ зафиксировано 14467 математиков, в то время как отделение математики РАН почти полностью сформировано из сотрудников институтов математики в Москве, Санкт-Петербурге и Новосибирске, в этих институтах работает менее 500
человек. Указанный клан довольно слабо представлен в РИНЦ. Такое положение демонстрирует кризис в российской математике.
Развернутое обсуждение применения статистических и экспертных методов наукометрии при управлении научной деятельностью дано в монографии [Лойко и др., 2017]. На практике необходимо совместно применять оба указанных вида методов, избавляясь от архаики, от устоявшихся предрассудков.
Выводы
Идея Аристотеля о структуре науки и управлении научной деятельностью весьма актуальны и в настоящее время.
Контроллинг научной деятельности, как и контроллинг в целом, - быстро растущая область теоретических и прикладных исследований. Однако информация о научных достижениях распространяется медленно. Необходимо резко ускорить распространение информации о полученных научных результатах.
Основным показателем, по которому надо оценивать научную деятельность исследователя или организации, является число цитирований в РИНЦ. Ориентация на зарубежные базы данных Скопус и WoS наносит вред интересам нашей страны, поскольку, в частности, при этом игнорируется основная часть отечественной научной продукции.
Необходимо совместно применять статистические и экспертные методы наукометрии при управлении научной деятельностью, избавляясь от архаики.
Библиографический список
Аристотель. Политика // Сочинения в 4-х томах. - М:, Мысль, 1983. Т.4. - 830 с. Воспоминания о Л.Д. Ландау. - М.: Наука, 1988. - 352 с.
Гринченко С.Н. Является ли мировая наука «организмом»? // Biocosmology -
neo-Aristotelism. Vol. 4. Nos. 1&2 (Winter/Spring 2014). - С. 115-122. Кудлаев Э.М., Орлов А.И. Вероятностно-статистические методы исследования в работах А.Н. Колмогорова // Заводская лаборатория. Диагностика материалов. 2003. Т.69. № 5. С.55-61.
Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии. -Краснодар: КубГАУ, 2017. - 532 с.
Лойко В.И., Луценко Е.В., Орлов А.И. Современная цифровая экономика. -Краснодар: КубГАУ, 2018. - 508 с.
Луценко Е.В., Орлов А.И. Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию // Научный журнал КубГАУ. 2016. №121. С. 202 - 234.
Москалева О.В. Рецензия на книгу: Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии (Краснодар: КубГАУ, 2017. 532 с.) // Научный редактор и издатель. 2017. Т.2. № 2-4. С. 130-132.
Налимов В.В., Мульченко З.М. Наукометрия. Изучение науки как информационного процесса. - М.: Наука, 1969. - 192 с.
Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. 2008. №4 (28). С. 12-18.
Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. — М.: Изд-во МГТУ им. Н. Э. Баумана, 2011. -486 с.
Орлов А.И. Отечественная научная школа в области эконометрики // Научный журнал КубГАУ. 2016а. № 121. С. 235-261.
Орлов А.И. Многообразие областей и инструментов контроллинга // Научный журнал КубГАУ. 2016. № 123. С. 688-707.
Орлов А.И. Современные проблемы науковедения и наукометрии // Biocosmology - neo-Aristotelism. Vol.7, Nos. 3&4 (Summer/Autumn 2017). С. 389-410.
Орлов А.И. Контроллинг явный и контроллинг скрытый // Контроллинг. 2018. №3 (69). С. 28-32.
Орлов А.И. Контроллинг научной деятельности // Контроллинг. 2019. № 71. С. 18-24.
Орлов А.И. Аристотель и цифровая экономика // Biocosmology - neo-Aristotelism. Vol. 9, Nos. 1&2 (Winter/Spring 2019а). С. 7-20.
Фалько С.Г. Предмет контроллинга как самостоятельной научной дисциплины // Контроллинг. 2005. № 1 (13). С. 2-6.
Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 272 с.
Хруцкий К.С. О Биокосмологии, Аристотелизме и перспективах становления универсальной науки и философии // Biocosmology - neo-Aristotelism. Vol.1, No.1 (Winter 2010). С. 18-32.
Хруцкий К.С. Обсуждая гипотезу «пространственного гомеостаза» О.И. Эпштейна - о Биокосмологических параллелях и терминологических коррекциях, и общих основаниях Органистской -ОрганонКосмологической - науки в России // Biocosmology - neo-Aristotelism. Vol. 9, Nos. 1&2 (Winter/Spring 2019). С. 21-136.
Чугунов В.С. Контроллинг: философия, теория, методология: монография. -М.: НП «Объединение контроллеров», 2017. - 140 с.
