CC BY
56
УДК 021.8 + 025.1 ББК 78.34
ДИСКУССИЯ О ПРОБЛЕМАХ ОЦЕНКИ НАУЧНЫХ ЖУРНАЛОВ: ВВОДНОЕ СЛОВО ГЛАВНОГО РЕДАКТОРА
Новиков Д. А.1
(Учреждение Российской академии наук Институт проблем управления РАН, Москва)
Статья предваряет собой дискуссию о проблемах построения рейтингов научных журналов, проводимую на страницах настоящего выпуска сборника «Управление большими системами» (далее - Сборник) в результате рассмотрения редколлегией Сборника статьи О. В. Федорца «Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга» (далее - Статья). Описываются предпосылки дискуссии, цели и форма ее проведения.
Ключевые слова: результативность научной деятельности, методы экспертизы, рейтинги научных журналов.
Основным результатом научной деятельности любого ученого являются научные публикации, в первую очередь - статьи в научных журналах. Журналы, даже посвященные одной и той же предметной области, различаются и по тематике, и по уровню требований, предъявляемых к авторам, и по множеству других параметров.
Любая группа ученых, работающих по близкой тематике, быстро придет к единому мнению о том, какой из журналов более «солиден», а какой является более слабым. Более того, то, в каком журнале публикует свои результаты тот или иной ис-
1 Дмитрий Александрович Новиков, доктор технических наук, профессор, член-корреспондент РАН ([email protected]).
следователь, в существенной степени определяет его неформальный «рейтинг» среди коллег.
Спрашивается, а можно ли предложить универсальную формальную процедуру рейтингования научных журналов? И нужна ли такая процедура?
Ответ на второй вопрос прост: самим ученым такая формальная процедура вряд ли нужна, но есть много субъектов, для которых она необходима. Поясним это утверждение.
Исторически известны два основных подхода к научным исследованиям. Автором первого является Г. Галилей. Целью науки, с его точки зрения, является установление порядка, лежащего в основе явлений, чтобы представлять возможности объектов, порожденных этим порядком, и, соответственно, открывать новые явления. Это так называемая «чистая наука», теоретическое познание.
Автором второго подхода был Ф. Бэкон. О нем вспоминают гораздо реже, хотя сейчас возобладала именно его точка зрения: «я работаю, чтобы заложить основы будущего процветания и мощи человечества. Для достижения этой цели я предлагаю науку, искусную не в схоластических спорах, а в изобретении новых ремесел...». Наука сегодня идет именно по этому пути -пути технологического совершенствования практики [5].
Фундаментальная наука представляет собой труднопрогнозируемую область, для которой характерное время получения отдачи в виде конкретных технологий может составлять десятки лет, а некоторые результаты так никогда и не дадут практической отдачи. Поэтому «стимулирование» науки со стороны государства в рамках Галилеевской парадигмы не должно быть искусственным. Фундаментальная наука развивается естественным путем, по своим внутренним законам, по ей присущей (и, наверное, не всегда понятной самим ученым) внутренней логике. Поэтому управление фундаментальной наукой, как в масштабах отдельной научной организации, так и в масштабах страны, заключается в том, чтобы «поливать», и «поливать» качественно в смысле размера финансирования, максимально широкое поле (потому что неизвестно, в каком месте посеяны 6
зерна будущих результатов). На этом поле потом «взойдут» результаты. А управление здесь может заключаться в том, чтобы либо расширить поле, либо/и полить некоторые участки обильнее других, но не в ущерб последним. С этой точки зрения требовать результаты априори (какие бы совершенные методы оценки, экспертизы и рейтинги при этом не применялись) бессмысленно - «поливая» избранные «делянки», можно вырастить сорняки и загубить ростки великих открытий.
С другой стороны, государство (наверное, следуя Ф. Бэкону), тратя деньги на фундаментальные исследования, обоснованно стремится понять, насколько эффективно расходуются средства, а для этого нужны институализированные методы формальной оценки результатов1 как индивидуальной, так и коллективной - в рамках научных организаций и их подразделений - научной деятельности (РНД).
Таким образом, первым субъектом, заинтересованным в системе оценке РНД, и, в первую очередь, в рейтинге журналов, в которых публикуются результаты научных исследований, является государство в лице чиновников от науки (см. также обзор проблем управления научными проектами и соответствующие библиографические ссылки в [7]).
Вторым таким субъектом являются руководители научных организаций, вынужденные (как минимум в силу наличия первого субъекта) заниматься оценкой индивидуальных и коллективных РНД своих подчиненных. Задачи, стоящие пред этими руководителями, проще, чем у чиновников - как правило, будучи активными учеными, первые прекрасно понимают как объективно существующую дифференциацию индивидуальной про-
1 Всем памятны дискуссии (отраженные, например, на страницах газеты академического сообщества «Поиск») по поводу внедрения в 2007 году в институтах Российской академии наук системы индивидуальных показателей РНД (так называемая «система ПРНД»). Другим примером служит внедряемая в настоящее время Минобрнауки система критериев оценки научных организаций.
дуктивности исследователей (см. [2, 6, 14]), так и порождаемую ею (а также административными и другими факторами) дифференциацию научных журналов.
Третьим субъектом являются организации, профессионально специализирующиеся в области наукометрики, а также сбора, систематизации и распространения научной информации (сюда, конечно, относятся и научные библиотеки).
Четвертую группу субъектов составляют сами ученые - во-первых, вторгаясь в новую для себя предметную область, полезно иметь в качестве ориентиров «объективные» характеристики приоритетов в этой области. Также существуют формальные показатели, которым вынуждены соответствовать ученые для подтверждения своей квалификации. Примерами являются квалификационные требования к сотрудникам, занимающим научные должности, и так называемый «список ВАК», включающий журналы, в которых Высшая аттестационная комиссия РФ рекомендует соискателям ученой степени доктора или кандидата наук публиковать свои результаты.
Итак, ответ на второй из сформулированных выше вопросов однозначен: без формальной процедуры рейтингования научных журналов обойтись нельзя. Остается первый вопрос - существует ли такая процедура, которая была бы универсальной и устраивала все перечисленные выше группы субъектов? Ответ на этот вопрос далеко не тривиален. Единственно, что очевидно, так это то, что искомая процедура должна быть экспертной, так как пользователи процедуры - чиновники - не могут быть специалистами во всех разделах науки одновременно.
Статья Олега Владимировича Федорца «Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга» [10] описывает используемую ВИНИТИ РАН методику сбора и агрегирования экспертных оценок для построения экспертного рейтинга научных журналов в области естественных и технических наук с целью формирования списка важнейших российских и зарубежных журналов, необходимых для обеспечения подготовки Реферативного журнала и Базы данных ВИНИТИ РАН с требуемым уровнем отра-8
жения зарубежных публикаций и наиболее полного отражения отечественных и русскоязычных журналов.
В нашем Сборнике регулярно публикуются статьи, посвященные моделям принятия решений и методам экспертизы, тем не менее, за все время его существования (более 10 лет) ни одна из статей не вызывала таких бурных дискуссий членов Редакционной коллегии Сборника.
Поступившие рецензии официальных рецензентов, носящие, в основном, полемический характер, сходились во мнении, что «статья представляет несомненный общественный и исторический интерес». Поэтому редколлегия Сборника приняла решение организовать тематическую подборку статей по данной проблеме и обратилась к ведущим специалистам в области экспертных оценок с просьбой высказать свое мнение.
Эта просьба была встречена с большим пониманием и энтузиазмом - в короткое время редколлегия получила восемь очерков (см. [1, 3, 4, 8, 9, 11-13]), довольно сильно различающихся формой, мнениями авторов по поводу построения рейтинга научных журналов вообще и отношением к статье О. В. Федор-ца в частности. Часть очерков в большей степени концентрируется на анализе описанного в [10] подхода, часть - на предложениях по его улучшению; есть и специалисты, придерживающиеся принципиально иных взглядов на рассматриваемую проблему. Хочется надеяться, что, несмотря на разницу в стилистике очерков, в совокупности они представляют более или менее полную и выпуклую картину проблемы построения рейтингов научных журналов.
В рамках проводимой дискуссии принят следующий регламент. За настоящим вводным словом следует статья [10] Олега Владимировича Федорца, послужившая стартовой точкой дискуссии. Затем следуют очерки [1, 3, 4, 8, 9, 11-13] специалистов, выстроенные в алфавитном порядке по фамилии автора и содержащие как критические замечания по поводу статьи [10], так и личные соображения авторов очерков по теме дискуссии. В конце дискуссии О. В. Федорцу дается возможность ответить в краткой заметке на критику, прозвучавшую в очерках.
Редколлегия Сборника надеется, что публикуемые ниже статьи, посвященные экспертным методам построения рейтингов научных журналов, вызовут интерес у читателей Сборника и побудят их к продолжению конструктивной дискуссии (способствующей не только развитию соответствующих методов, но и совершенствованию реальных процедур), а также проиллюстрируют пользователям как нетривиальность соответствующей проблемы, так и необходимость понимания причин относительности/сомнительности любых рейтингов.
В заключение хотелось бы выразить глубокую признательность как инициатору дискуссии - О. В. Федорцу, так и всем ее участникам за принципиальность их профессиональных и гражданских позиций.
Литература
1. АБАЕВ Л. Ч. Об одном подходе к использованию экспертных методов для оценки научных журналов // Управление большими системами. - 2009. - Выпуск 27. - С. 36 - 46.
2. АРУТЮНОВ В. С., СТРЕКОВА Л. Н. Социологические основы научной деятельности. - М.: Наука, 2003.
3. МАЗАЛОВ В. В., ПЕЧНИКОВ А. А., ФАЛЬКО И А. О построении рейтинга научных журналов // Управление большими системами. - 2009. - Выпуск 27. - С. 47 - 52.
4. МИРКИН Б. Г. О статье «Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга» // Управление большими системами. - 2009. - Выпуск 27. - С. 53 - 58.
5. НОВИКОВ А. М., НОВИКОВ Д. А. Методология научного исследования. - М.: Книжный дом «ЛИБРОКОМ», 2010.
6. НОВИКОВ Д. А. Задача стимулирования Парето-агента // Автоматика и телемеханика. - 2007. - №1. - С. 137-146.
7. НОВИКОВ Д. А. Теория управления образовательными системами. - Народное образование, 2009.
8. ОРЛОВ А. И. Методологические ошибки ведут к неправильным управленческим решениям // Управление большими
системами. - 2009. - Выпуск 27. - С. 59 - б5.
9. СИДЕЛЬНИКОВ Ю. В. Трудности построения системы рейтингов научных журналов // Управление большими системами. - 2009. - Выпуск 27. - С. бб - 74.
10. ФЕДОРЕЦ О. В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами. -2009. - Выпуск 27. - С. 12 - 35.
11. ХОВАНОВ Н. В. Статья о построении рейтинга российских научных журналов как повод подумать об общих принципах применения метода сводных показателей // Управление большими системами. - 2009. - Выпуск 27. - С. 75 - 80.
12. ЧЕБОТАРЕВ П. Ю. О рейтинге журналов и агрегировании неполных балльных оценок // Управление большими системами. - 2009. - Выпуск 27. - С. 81 - 90.
13. ШАХНОВ И. Ф. К вопросу построения рейтингa российских научных журналов // Управление большими системами. - 2009. - Выпуск 27. - С. 91 - 94.
14. ЯБЛОНСКИЙ А. И. Модели и методы исследования науки. - М.: Эдиториал УРСС, 2001.
DISCUSSION ON THE SCIENTIFIC JOURNALS’ EVALUATION PROBLEM
Dmitry Novikov, Institute of Control Sciences of RAS, Moscow, Dr. Sc., professor ([email protected]).
Abstract: The paper precedes the discussion on the scientific journals’ evaluation problem, induced by the paper of Oleg V. Fedorets “Collective expert examination of scientific journals: procedure of expert judgments aggregation and rating construction”, presented for the “Large-Scale Systems Control”. This article describes preconditions, goals and agenda of the discussion.
Keywords: efficiency of scientific activity, collective expert examination, rating of scientific journals.
