CC BY
40А.И. Ракитов
НАУКА, НАУКОВЕДЕНИЕ, НАУКОМЕТРИЯ
Ключевые слова: качественная экспертиза науки; рейтинги вузов; наука; науковедение; наукометрия; управление наукой; инвестиции в науку.
Keywords: qualitative evaluation of science; university rating; science; science of sciences; scientometrics; science management; science investments.
Аннотация: Научные исследования и разработки являются важнейшей отраслью социально-экономической деятельности развитых и развивающихся стран. Целесообразность инвестирования значительных средств в научные исследования и разработки и эффективность научного менеджмента зависят от адекватности оценок результатов научной деятельности, научных коллективов и отдельных ученых. В современном науковедении преобладают количественные наукометрические методы таких оценок. Однако они не гарантируют объективности оценочных результатов. На примере рейтингов высших учебных заведений, прежде всего российских, показана многозначность и неадекватность таких рейтингов. Высокой степенью субъективности страдают и качественные экспертные оценки. Важнейшей задачей науковедения является создание прочных теоретических основ для проведения однозначных объективных и строго научных наукометрических и экспертных качественных оценок эффективности научной деятельности.
Abstract: Scientific research is the main area of modern countries development. Only on the base of adequate assessement of individual scientist and science society effectiveness the true investment decision can be made. Today the quantitative assessment tools are widespread among managers and investors. On the base of rating analysis the
weakness of pure quantitative assessment is represented. But the qualitative expert assessment is not objective enough and well suits to the needs of scientific assessement. The construction of theoretical basement for individual researchers and science teams assessment is the science of sciences problem of great significance.
В общественном сознании развитых и быстроразвивающихся стран прочно укоренилась мысль о том, что рост благосостояния населения, повышенная комфортность жизни, новые возможности для массовых коммуникаций и даже будущее человечества в целом возможны благодаря научно-техническому прогрессу. Сам научно-технический прогресс представляется довольно просто. Ученые делают открытия, инженеры и техники на основании этих открытий создают новые вещества, машины, механизмы, приборы, лекарства, транспортные средства и многое другое, что делает жизнь удобнее, привлекательнее, интереснее, содержательнее. И дальше воображение каждого рисует картинки неуклонного и непрерывного роста. Но в эту прелестную картинку врывается реальность.
Чтобы новые транспортные средства, электробытовые приборы, лекарства, диагностическое оборудование, компьютеры и многие другие полезные и приятные вещи существовали, их необходимо произвести. А для этого следует затратить иногда чрезвычайно значительные денежные средства. Эти средства производителям земных благ должны предоставить частные лица, различные фирмы или государства. И все они, естественно, будут делать это только при условии, что инвестиции, совершаемые ими, со временем принесут прибыль, и чем большую, тем лучше. Нетрудно понять, что большую прибыль принесут инновационные, высококонкурентные продукты и услуги. А для этого должны быть созданы высокоэффективные технологии, которым по самой логике процесса должны предшествовать эффективные результативные прикладные исследования, опирающиеся в конечном счете на исследования поисковые и фундаментальные.
Чтобы профинансировать эту непростую цепочку событий, действий, взаимосвязей, инвестору желательно знать (или по крайней мере иметь предварительное представление) о том, насколько заслуживает доверия реципиент инвестиций. И вот здесь на сцену выходит новая научная дисциплина, или, вернее, букет новых научных дисциплин, изучающих саму науку и отвечающих в том числе на вопрос о том, насколько выгодно ее финансирование, на что тратят свои средства частный предприниматель, член корпора-
ции или государство. Комплекс этих дисциплин называется науковедением. В его состав входят экономика науки, психология науки, социология науки, основы научного менеджмента и основы государственной и корпоративной научно-технологической политики.
Но чтобы избежать субъективности, произвольности, неточности, приблизительности в оценке значимости тех или иных научных открытий, результатов исследований и практической целесообразности научных исследований и основанных на них инновационных конкурентоспособных технологий, необходимы точные расчеты, количественные методы, позволяющие избежать субъективности или по крайней мере свести ее к минимуму. И к середине XX в. такие методы и инструменты количественной оценки эффективности научной деятельности как отдельных ученых, так и научных коллективов были созданы и получили название «наукометрия» и «библиометрия»1.
Известно, что ученые общаются друг с другом, обсуждают трудности, встречающиеся в исследованиях, объединяются в лаборатории, институты и другие, в том числе неформальные, коллективы для решения интересующих их общих проблем. Результаты исследовательской деятельности - новые знания о законах природы, обществе и человеке, новые факты и методы решения задач.
Как правило, эти новые знания излагаются в виде книг и журнальных статей. При этом журналы имеют разный научный вес, разный авторитет. Он оценивается в зависимости от публикуемых в них статей с помощью особого индекса, который называется импакт-фактором. Чем выше импакт-фактор журнала, тем авторитетнее публикация в нем. И тем больше шансов у ее автора заработать высокий научный авторитет, возглавить научный коллектив, тем более вероятно, что потенциальный научный инвестор выберет его консультантом или экспертом, призванным определить, в какие научные проекты целесообразнее и выгоднее вкладывать средства.
Кроме того, ученые, работающие над одной и той же или сходной тематикой, цитируют друг друга. Чем больше цитируют данного автора, тем большим авторитетом он пользуется. Таким образом, количественные методы позволяют выделить в каждой науке ученых-лидеров, создателей научных школ и направлений. Именно к ним обращаются государственные ведомства или предпринимательские организации, когда хотят заказать исследователь-
1 Создателем термина «наукометрия» является В.В. Налимов. - Прим. авт.
ский проект определенного рода, разработать схему инновационного процесса какой-либо отрасли производства или области сферы услуг. Именно из них вербуются научные элиты общества. На этом, казалось бы, заканчиваются поиски ответа на вопрос о том, где найти объективные гарантии целесообразности вложения средств в инновационный исследовательский процесс, как обезопасить себя от того, что инвестиции будут потрачены на неэффективные научные исследования, а субъективизм в оценке исследовательского потенциала ученого и научного коллектива будет сведен к минимуму. Но оказывается, что шутки с диалектикой количества и качества - совсем не такая безвредная вещь.
Старый гегелевский закон гласит, что постепенные количественные изменения (происходящие иногда быстро, иногда не очень) приводят к принципиальным качественным изменениям. Известно также, что в большинстве развитых и развивающихся стран не только подготовку кадров высшей квалификации, но и основной объем научных исследований, прежде всего фундаментальных, поисковых и экспериментальных, выполняют университеты. Такова традиция, насчитывающая сотни лет.
После революции 1917 г. перед Советским Союзом встала задача быстро нарастить научно-технологический потенциал, прежде всего в интересах создания мощного военно-технологического комплекса. Надвигалась Вторая мировая война, а создать такой комплекс на основе старых дореволюционных вузов в крайне сжатые сроки было невозможно. Поэтому в нашей стране пошли по другому пути и создали разветвленную сеть научно-исследовательских институтов, находившихся в ведении различных Наркоматов, а позднее - министерств и бюджетных академий наук. Естественно, что в этих условиях вузы нашей страны, даже самые крупные, считающиеся престижными внутри страны, при сопоставлении с зарубежными университетами в основных мировых рейтингах оказались не в первой сотне лучших. Но времена меняются, и Министерство образования и науки, правительственные департаменты, курирующие науку и высшее образование, решили сделать российские вузы не только «кузницами кадров», но и генераторами научных идей, учреждениями, способными давать значительные результаты в области фундаментальных, поисковых, экспериментальных и прикладных исследований, а также создавать на основе своих достижений инновационные, высококонкурентные предприятия.
Однако при сопоставлении по согласованным индикаторам с тысячами зарубежных вузов, особенно с вузами высокоразвитых стран, картинка оказалась не очень привлекательной. И самый авторитетный отечественный вуз оказался в конце второй сотни рейтингового списка мировых вузов «Times higher education world university rankings»1.
Вроде бы с этим ничего нельзя поделать, работают объективные количественные методы, проверенные, просчитанные, проанализированные лучшими специалистами по наукометрии, но не тут-то было. Оказалось, что и количественные методы обладают высокой пластичностью.
Известно, что такие крупные и густонаселенные страны, как Китай, Индия, Россия, Бразилия и Южная Африка (страны БРИКС), создали свой собственный рейтинг ведущих вузов. В этом рейтинге за 2014 г. самый крупный российский вуз - МГУ им. Ломоносова - занял 3-е место, вслед за двумя крупнейшими китайскими вузами.
И все было бы просто, если бы в других рейтингах место нашего вузовского лидера не изменило свою позицию. Так, по известному Шанхайскому рейтингу (Academic ranking of world universities), МГУ в 2014 г. занял 84 место, по версии британского рейтинга QS World university ranking МГУ занимает 114-е место, а в рейтинге University subject ranking - 151-е2.
В мою задачу не входит решать, какой из упомянутых рейтингов является объективным. Важно лишь понять, что так называемые количественные наукометрические методы оценивания качества профессорско-преподавательского состава, проводимых научных исследований, уровня востребованности выпускников и объема цитируемых публикаций сотрудников в соответствующих вузах подвержены влиянию субъективного фактора, так как набор индикаторов в каждом рейтинге и методы подсчета их числовых значений зависят от того, кто эти индикаторы выбирает, как их вычисляют, каким образом проверяют достоверность данных и т.д. Предположение о том, что чисто количественные методы избавляют нас от субъективности, не столько ошибочно, сколько наивно.
1 МГУ им. М.В. Ломоносова занял 196 место в рейтинге «Times higher education» в 2014-2015 гг. - Режим доступа: http://www.timeshighereducation.co.uk/ world-university-rankings/2014-15/world-ranking/range/001-200
2 Режим доступа: http://si-sv.com/publ/28-1-0-393
Есть, конечно, мнение, что при оценивании организаций как потенциальных реципиентов инвестиций, необходимых для проведения высококачественных научных работ, предпочтительнее пользоваться не количественными, а качественными методами, т.е. экспертными оценками. Поэтому я позволю себе привести здесь цифры одного рейтинга, составленного при помощи экспертных оценок. По версии Times Higher Education World Reputation Rankings (ТНЕ) (репутационный рейтинг), в 2015 г. в числе 100 наиболее престижных вузов, определенных по результатам опросов 10 507 авторитетных ученых из почти 150 стран, оказались два российских: МГУ им. М.В. Ломоносова и Санкт-Петербургский государственный университет (СПбГУ). Первый занял 25-е место, второй вошел в рейтинг впервые, попав в группу университетов на 71-80-м местах1.
Сравнивая результаты чисто количественных наукометрических и качественных экспертных методов рейтингования, мы видим, что все они дают разные результаты в зависимости от субъективных установок специалистов, отбиравших индикаторы для рейтингования, и исполнителей этой работы, которые, естественно, внесли свой вклад в ее конечный результат.
К тому же следует заметить, что отбор экспертов, в свою очередь, производится на основе наукометрических данных в различных индексах цитирования при помощи, например, ранжирования ученых по количеству цитат или по индексу Хирша. И при этом в различных индексационных списках показатели эти могут быть различными. Так, например, количество цитат в индексаци-онной системе РИНЦ и Академии Гугл у одних и тех же авторов достаточно сильно различается. Я думаю, что оценка эффективности исследований, проводимых научными или вузовскими коллективами, научными институтами, лабораториями, научными школами и направлениями, можно и нужно оценивать иначе.
В сообществе ученых, как и в других профессиональных сообществах, существуют свои авторитеты, мнение которых о той или иной научной работе иногда является решающим. Но, конечно, в отличие от некоторых видов обычных юридических приговоров, эти часто подвергаются пересмотру. Наука по самому существу представляет собой принципиально критическую деятельность, которая в значительной мере состоит в пересмотре уже признанных знаний и замене их новыми. Тем не менее авторитет признанных научным сообществом ученых часто оказывается не только
1 Режим доступа: http://www.poisknews.ru/theme/edu/13883/7print
чрезвычайно устойчивым, но и более надежным и объективным, чем результаты наукометрических расчетов и вычислений.
Ученый А признает научный результат, содержащийся и описанный в статье ученого Б, заслуживающим внимания, в высшей степени интересным или сразу же принимает его как открытие не потому, что статья ученого Б процитирована третьими лицами, а потому, что он сам непосредственно прочитал эту статью и на основании личного (заметьте, субъективного) опыта признал, что никогда ранее с подобным результатом не встречался, считает сформулированный в статье закон или признак изучаемого объекта оригинальным, а описанный факт, установленный экспериментально, совершенно новым и крайне важным для понимания изучаемых явлений. Если рассматриваемая статья производит подобное впечатление на всех или хотя бы на большинство членов данного профессионального научного сообщества, то автор статьи, т.е. ученый Б, завоевывает высокий научный авторитет. В случае если подобная ситуация повторяется неоднократно, Б становится признанным экспертом а данном сообществе. Его авторитет не ставится в зависимость от частоты цитирования его научных публикаций и от количества этих публикаций, а также от того, в каких журналах его публикации появляются.
Наиболее правдоподобно, что, став признанным экспертом, Б будет публиковать свои статьи в журналах с наиболее высоким импакт-фактором. Такой ход событий является достаточно типичным, и я сошлюсь на пример с публикациями всего двух статей Курта Гёделя, после появления которых он стал безусловным математическим авторитетом высшего уровня.
Таким образом, оценка эффективности результатов научной деятельности определенного ученого, осуществленная экспертами высшего уровня, без использования наукометрических методов, может иметь в глазах компетентных лиц, научных менеджеров или потенциальных инвесторов, желающих поддержать тот или иной научный проект, больший вес, чем подсчеты количества цитат или индекса Хирша.
К тому же следует иметь в виду, что с того момента, когда чисто наукометрические индексы становятся решающим фактором в оценке эффективности деятельности отдельного исследователя или исследовательского коллектива, погоня за цитатами часто приводит к нарушению всех норм научной этики и крайне затрудняет получение объективных оценочных результатов.
В одном из заседаний руководимого мною науковедческого семинара участвовал проректор по учебной части весьма респектабельного и почтенного российского университета, который откровенно сказал, что по инициативе ректората было проведено собрание будущих выпускников нескольких факультетов этого университета, на котором им было предложено после окончания университета в обязательном порядке во всех своих публикациях цитировать друг друга, и особенно своих профессоров и преподавателей.
Для оправдания этого по меньшей мере странного предложения упомянутый проректор сослался на опыт, распространенный в китайских университетах, выпускники которых непрерывно цитируют в отечественных и зарубежных изданиях друг друга и своих преподавателей.
Существуют методы «накрутки» публикаций. Некоторые научные работники рассылают во множество журналов модифицированные варианты одной и той же статьи, не содержащие никаких новых фактов, теоретических положений, эффективных исследовательских программ или описания новых научных методов. В конечном счете это не только приводит к удлинению списка публикаций, но и содействует увеличению числа цитат.
Когда оценка эффективности научной деятельности дается не на основании тщательного изучения самих полученных результатов, а на основании вторичных признаков - числа цитат, индекса Хирша, количества публикаций или импакт-факторов журналов, публикующих данного автора, оценка не является такой объективной, как при качественной экспертной оценке, полученной с помощью действительно авторитетных ученых.
Я думаю, что наиболее актуальной задачей современного науковедения является поиск методов бинарной ориентации, которые могли бы надежно сочетать как количественные, так и качественные подходы к оценке результатов научной деятельности и отдельных ученых, и научных коллективов. Если для научных менеджеров более доступными являются количественные методы оценки, то для самих ученых важна экспертная оценка надежных научных авторитетов. Трудность заключается лишь в том, что до сих пор не выработаны механизмы однозначного и бесспорного оценивания весомости самих этих авторитетов.
