CC BY
60
УДК 001: 316 ББК 12.21
ЭФФЕКТИВНОСТЬ ОТЕЧЕСТВЕННОЙ СОЦИОГУМАНИТАРНОЙ НАУКИ: НАУКОМЕТРИЧЕСКИЙ ПОДХОД*
Юревич А. В.1,
(ФГБУН Институт психологии РАН, Москва) Цапенко И. П.2
(ФГБУН Институт мировой экономики и международных отношений РАН,
ГБОУВПОМосковский городской психолого-педагогический университет, Москва)
Демонстрируются многочисленные недостатки методов количественной оценки эффективности национальной науки, получивших в последнее время широкое распространение по инициативе чиновников от науки и встречающих все более активное сопротивление научного сообщества. Показано также, что при оценке эффективности национальной науки ее вкладу в мировую придается гипертрофированное значение. В частности, осуществленный авторами анализ выявил отсутствие значимых корреляций показателей этого вклада с различными индикаторами национального благополучия.
Ключевые слова: социогуманитарная наука, эффективность, вклад национальной науки в мировую, количественные оценки, импакт-фактор, экспертные оценки.
Статья подготовлена при финансовой поддержке Российского гуманитарного научного фонда, проект №11-03-00513а, Российского фонда фундаментальных исследований, проект №12-06-00208-а.
1 Андрей Владиславович Юревич, член-корреспондент РАН, доктор психологических наук, заместитель директора (yurev@orc.ru).
2 Ирина Павловна Цапенко, доктор экономических наук, ведущий научный сотрудник (tsapenko@bk.ru).
1. Введение
В последние годы все чаще предпринимаются попытки количественной оценки эффективности отечественной науки, в том числе и социогуманитарной, а адекватность результатов такой оценки стала очередной ареной противостояния реформаторов и их оппонентов. При этом используются критерии и методики, широкое применение которых за рубежом рассматривается как гарантия их адекватности, хотя и там они имеют немало противников. Соответствующие дискуссии политизированы, нередко увенчиваются обвинениями в полной неэффективности, которые особенно часто раздаются в адрес нашей социогумани-тарной науки. Ведь, согласно данным зарубежной статистики, по числу научных публикаций в международных журналах, Россия отстает не только от многих развитых государств, но и от целого ряда развивающихся стран, в частности, от Китая и Индии [14, с. 384-385].
2. Однополярный смысл наукометрических показателей
Число журнальных публикаций и уровень их цитируемости чаще всего анализируются на основе базы данных Web of Science (WoS), принадлежащей компании Thomson Reuters Corporation, а это подчас дает довольно-таки нелепые результаты. Так, согласно этой информационной системе, которая является старейшей и наиболее авторитетной в данной области [6, с. 3], все отечественные философы вместе взятые в 2000-е гг. публиковали во включенных в WoS международных журналах, издаваемых за рубежом, порядка 3-4, а социологи - 2-3 статей в год, в то время как в действительности, например, только сотрудники Института философии РАН, далеко не исчерпывающие весь корпус отечественных философов, ежегодно публикуют там от 40 до 80 статей [4, с. 141].
Аналогичные расхождения реальности и баз данных WoS проявляются и в других социогуманитарных дисциплинах. Вряд ли столь респектабельное учреждение, как Корпорация Томсона, можно заподозрить в заведомой некомпетентности или в
умышленном принижении вклада российской науки. Но даже базы данных WoS неспособны объять необъятное - учесть публикации российских ученых во всех международных научных журналах, а та подборка журналов, на основе которых формируется оцениваемая выборка, хотя и впечатляет своим размером, вряд ли может считаться репрезентативной. Налицо проблема адекватности источников данных, имеющая много общего с хорошо известной в социогуогуманитарных дисциплинах проблеме репрезентативности используемых выборок.
Среди журналов, включенных в базы данных WoS (Master Journal List), на основе которых принято делать выводы о величине вклада в мировую науку, от 25% до 70% (в разных дисциплинах - по-разному) издается в США, а от 10% до 35% - в Англии. На долю России приходится менее 1% подобных журналов, причем в экономических, политических и юридических науках отечественных изданий и вовсе нет в списке WoS. Американо-центризм используемых выборок отражает доминирование западной, в первую очередь американской науки в мировом мейнстриме. На долю Северной Америки приходилось свыше 52% статей по социальным наукам, опубликованных в 1998-2007 гг. и индексированных компанией Thomson (Social science citation index), на долю Европы (без стран СНГ) - 38%, а собственно стран СНГ - всего 1,2% [14, с. 144]. Подобный перекос угрожает неблагоприятными последствиями для общего состояния социогуманитарных исследований [14, с. 150]. Так, эстонский психолог А. Тоомела сетует, что последние 60 лет развития психологической науки прошли впустую из-за того, что она развивалась по американскому пути [12].
Известны и другие принципиальные недостатки баз данных WoS: их лингвистическая асимметрия - явный крен в сторону англоязычных публикаций и принижение значимости работ на других языках, порождающие «асимметрию в международной видимости» и иерархии результатов научной деятельности [14, с. 3]. Так, среди статей по социальным наукам, опубликованных в 1998-2007 гг. и индексированных компанией Thomson (Social science citation index), 94,5% были изданы на английском языке [14, с. 151]. Очевидно, что «лингвистические преимущества англоязычных стран способствуют усилению конкурент-
ных преимуществ этих стран в науке и в связанном с ней бизнесе, в частности, издательском» [14, с. 154].
Отмечается также отсутствие учета прочих видов печатной научной продукции - монографий, статей в сборниках, материалов конференций и т.д. [5]. Однако проблема не сводится лишь к неадекватности источников данных и способов их формирования, она коренится в неадекватности самого сложившегося подхода к оценке мирового вклада национальной науки.
Прежде всего, нельзя сводить вклад в мировую науку к вкладу в мировой массив научных публикаций. Например, такие ученые, как И.В. Курчатов и С.П. Королев по понятным причинам не публиковались ни в отечественных, ни тем более в международных научных журналах. Можно ли на этом основании сделать вывод о том, что они не внесли никакого вклада в мировую науку? Или задать другой, не менее нелепый вопрос: к какому количеству публикаций можно приравнять запуск первого в мире космического аппарата? А в социогуманитарных дисциплинах аналогичной нелепостью была бы оценка вклада таких мыслителей, как, например, М.К. Мамардашвили, по количеству их публикаций.
В данной связи следует упомянуть и о том, что вообще одна из главных функций социогуманитарной науки - сделать человека и общество лучше, причем не столько все человечество, сколько общество в той стране, в которой та или иная национальная наука развивается. В результате отечественная социо-гуманитарная наука в основном изучает те проблемы, которые характерны для современного российского общества. Однако далеко не всякий международный научный журнал примет публикации на внутрироссийские темы, дабы не загружать читателей из других стран не слишком интересными для них проблемами, скажем, отношения россиян к богатству и бедности. Налицо и очевидная несостыковка «национальной привязки» наших статей с тематическим америко-центризмом журналов, включенных в базы данных WoS. Подчас наши социогуманитарии вынуждены выбирать между повышением своего цитат-индекса в международных журналах и, например, тем, как найти пути уменьшения безработицы или беспризорности в России, а
выбор ими последнего свидетельствует не об их неэффективности, а об их патриотичности.
Трудно не заметить, что используемые ныне показатели вклада в мировую науку имеют достаточно выраженный однополярный смысл. Если ученый имеет много публикаций и высокий индекс цитирования в международных научных журналах, то действительно есть весомые основания считать, что он вносит ощутимый вклад в мировую науку. Но нет оснований констатировать, что ученые, не преуспевшие по подобным показателям, вклада в нее не вносят. Делать выводы об их низкой продуктивности, а тем более начислять им зарплату в соответствии с этими показателями, означает искажать достаточно очевидный (но, к сожалению, не для всех) логический смысл последних.
Достаточно известны и механизмы обретения известности в мировой науке. Причем оно не всегда предполагает публикации именно в американских научных журналах, а, например, публикации в интернете, как в случае Г. Перельмана. Однако гораздо чаще, особенно в социогуманитарных науках, обретение ученым мировой известности предполагает механизмы «социализации» самого произведенного им научного знания.
Известный исследователь науки У. Корнхаузер разделил всех ученых на «местников», которые осуществляют научную деятельность в основном в рамках своих организаций и публикуются преимущественно в национальных научных журналах, и «космополитов», ориентированных на международные научные контакты и реализующих свою научную активность в основном за пределами организаций, в штате которых состоят [10]. «Ме-стники» имеют худшие, нежели «космополиты», шансы обрести известность в мировой науке, в силу своих личных особенностей. К тому же действуют хорошо известный в социологии науки принцип «снежного кома», описанный Р. Мертоном «эффект Матвея» и т.п. В результате научные журналы предпочитают публиковать статьи хорошо известных авторов, обретение же известности предполагает не только научные заслуги ученого, но и упомянутые социальные механизмы.
3. Многообразие функций науки
Необходимо различать мировую науку и мировой мейнстрим научных публикаций, русло которого сформировано на Западе. Мировая наука - не этот мейнстрим, а совокупность национальных наук, какими бы непохожими на англо-американскую науку они ни были. Российская наука вносит вклад в мировую по определению, являясь ее частью, а отрицать это так же нелепо, как не считать нашу страну частью человечества.
Помимо национальной специфичности науки любой страны, необходимо учитывать и многообразие ее функций, не позволяющее судить о ее эффективности по чему-либо одному, например, по количеству публикаций. Не пытаясь в данном контексте охватить все многообразие последних, упомянем лишь две - образовательную и прикладную.
Как хорошо известно, значительная часть наших социогуманитариев, в том числе и работающих в академических институтах, преподают в вузах, многие из которых созданы на базе этих институтов. В результате очевидна необходимость оценки продуктивности отечественных ученых не только по количеству и резонансности их публикаций в международных научных журналах, но и по их вкладу в учебный процесс, который тоже можно количественно (труднее качественно, но и это тоже возможно) оценить - например, по количеству подготовленных под их руководством дипломных работ, диссертаций и т.д.
Еще чаще недооценивается прикладная функция социогу-манитарной науки. Очевидный парадокс состоит в том, что это происходит в стране, в течение 70 лет испытывавшей на себе последствия воплощения в жизнь марксистского учения, а затем - монетаристских экономических концепций. И ее потенциальная востребованность пропорциональна остроте социальных проблем.
Подобные сюжеты выводят еще на один важный аспект проблемы: влияние национальной науки и конкретных ученых на мировую науку нельзя сводить лишь к их непосредственному влиянию. Приведем наиболее банальный пример: некий российский ученый не имеет международного признания и никогда не публиковался в международных научных журналах, а группа
его учеников, уехав за рубеж, выходит там на ведущие позиции. Подобное косвенное влияние с учетом сложности механизмов распространения научных идей и знаний по объему и значимости нередко намного превышает влияние прямое.
Возникает вопрос и о прагматическом смысле для той или иной страны вклада ее ученых в мировую науку. Вроде бы здесь все просто: чем больше этот вклад, тем продуктивнее национальная наука, тем значительнее ее вклад и в социальноэкономическое развитие страны, тем больше преуспевает страна и тем лучше живут ее граждане. Но так ли это на самом деле?
Таблица 1. Корреляции между вкладом стран в мировую науку и рядом их социально-экономических показателей
2 3 4
1. Вклад в мировую науку 0,12 0,11 0,08
2. ВВП в долл. на душу населения О, 0, 0,851
3. Благоприятность для жизни О, 0,
4. Индекс развития человеческого потенциала
Как видно из таблицы 1, рейтинги стран по трем использованным показателям национального благополучия - ВВП на душу населения, благоприятности для жизни и Индексу развития человеческого потенциала - в значительной мере коррелируют между собой, но ни один из них не обнаруживает стати-
1 Корреляция значима на уровне 1%.
Источник: расчеты Института психологии РАН на основе данных [7, 9,
11, 13].
стически значимой корреляции с величиной вклада в мировую науку. Это можно трактовать по-разному, например, как наличие у той или иной страны латентного потенциала, который скажется на ее благосостоянии лишь по прошествии некоторого времени. Но самым естественным представляется наиболее «крамольное» объяснение, состоящее в том, что «лучше живут» не те страны, которые вносят наибольший вклад в мировую науку, а те, которые больше «выносят» из нее, т.е. наиболее эффективно используют результаты научно-технического прогресса.
Соответственно, если рассмотреть данный вопрос в прагматическом плане, то гипертрофированное значение вклада национальный науки в мировую предстает как стереотип, имеющий не прагматическое, а, скорее, символическое значение. Но надо ли стране, запустившей первого в мире космонавта и имевшей немало других выдающихся научных достижений, постоянно доказывать, что ее ученые на что-то способны? А если согласиться, например, с тем, что «Россия может и должна по качеству жизни сравняться с лидерами мирового развития» [5, с. 586], то путь к этому лежит явно не в наращивании количества публикаций в англо-американских журналах, а совсем в другом. Учитывая выше сказанное, стоит ли придавать столь гипертрофированный смысл символическим и к тому же многократно искаженным, напоминающим, по выражению
Н.В. Мотрошиловой, систему кривых зеркал [4], показателям?
4 Система «кривых зеркал»
Наукометрические методы оценки научного вклада встречают активное сопротивление не только отечественных, но и зарубежных ученых, регулярно подвергающих эти методы разрушительной критике, примеры которой приведены ниже.
«Использовать лишь только импакт-фактор при оценке журналов - это все равно, что при оценке здоровья человека учитывать только его вес» [1, с. 7].
«В некоторых случаях й-индекс (индекс Хирша - А.Ю., И.Ц.) или его варианты используются государственными органами, оценивающими исследования. Это не что иное, как использование данных не по назначению» (там же: 25).
«Ученых стали вынуждать отойти от общепринятых целей научного исследования, заменив стремление совершать открытия на желание публиковать как можно больше статей, пытаясь при этом помещать их непременно в журналах с высоким им-пакт-фактором. Как следствие, научная деятельность деформировалась, а полезность, качество и объективность статей ухудшились» [3, с. 39].
«Меня, как главного редактора журнала Nature, беспокоит имеющаяся среди академической администрации тенденция сосредоточиваться на импакт-факторе журнала при оценке значимости научного вклада исследователя, влияющая на его продвижение прием на работу и, в некоторых странах, на финансовые вознаграждения за каждую статью» [2, с. 46].
Исследования импакт-фактора выявили и другие обстоятельства, крайне неудобные для его адептов:
Примерно 90% ссылок, например, на математические журналы, выходят за пределы двухлетнего окна, в пределах которого он подсчитывается, т.е. «импакт-фактор основывается всего лишь на 10% ссылочной активности и игнорирует подавляющее большинство ссылок»
Импакт-фактор существенно варьируется в зависимости от выбора научной дисциплины, в результате чего с его помощью нельзя сравнивать журналы, представляющие разные дисциплины.
Нельзя с его помощью сравнивать и разные типы журналов.
Его нельзя использовать для сравнения отдельных работ, конкретных ученых, теоретиков и экспериментаторов, исследовательских программ и даже целых областей знания.
Значительная часть цитирований носит «риторический», «признательный» и т.п. характер [1, с. 14].
Следует подчеркнуть и то, что даже корпорация Thomson Scientific, являющаяся цитаделью распространения импакт-фактора и других подобных показателей, предостерегает от его неосторожного использования: «Импакт-фактор не может быть использован без учета многочисленных показателей, влияющих на цитируемость, например среднего числа ссылок в одной статье. Импакт-фактор должен быть дополнен компетентной экспертной оценкой» [1, с. 18].
Похожая ситуация наблюдается и в нашей стране. Несмотря на постоянные предупреждения разработчиков РИНЦ (Российского индекса научного цитирования) о том, что этот индекс пока несовершенен, не учитывает значительную часть необходимой информации и в целом пока не готов к широкому применению, чиновники от науки настаивают именно на этом. В чем главная причина подобной, вполне интернациональной ситуации? Это интернациональная «магическая вера» в примат статистики, которая дополняется магической верой отечественных реформаторов в то, что любые сложившиеся в западных странах практики эффективны там и применимы без какой-либо их коррекции в наших условиях. При этом наблюдаются также систематическое запаздывание и вообще странный характер их переноса на нашу почву: мы заимствуем на Западе в основном те практики, от которых там начинают отказываться.
В заключение отметим, что в условиях, когда мы уделяем столь гипертрофированное внимание тому, как российская наука выглядит в базах данных Корпорации Томсона, имеет смысл учитывать и то, как ее оценивает сама эта Корпорация. В аналитическом отчете Корпорации, вышедшем в январе 2010 г. и посвященном состоянию российской науки, действительно отмечается снижение ее вклада в мировую науку в период 1994-2006 гг., что подается авторами Отчета как тенденция, с одной стороны, достаточно парадоксальная, с другой, - вполне понятная на фоне уровня финансирования российских исследовательских институтов, который оценивается в Отчете как составляющий 3-5% от уровня финансирования исследовательских учреждений аналогичной численности в США. Отмечается и то, что по «валовым» показателям вклада в мировую науку Россия сейчас отстает от целого ряда стран, которые она раньше опережала, - Китая, Индии, Канады, Австралии и др. Вместе с тем, ситуация в нашей науке характеризуется как неоднозначная. Авторы Отчета подчеркивают, что ухудшение ее мировых позиций в «науках 20-го века», таких как физика и технические науки, сочетается с улучшением в «науках 21-го века», таких как нейронауки и науки о поведении. Отмечается и то, что снижение общего представительства российской науки в мировой в
1994-2006 гг. до 22000 статей в год впоследствии - в 20072008 гг. - сменилось его повышением до 27600 статей [8].
Но главное, общий тон отчета Корпорации Томсона в отношении российской науки полон сочувствия и одновременно оптимизма. А завершается он констатацией необходимости не более активного включения российской науки в мировую, а равноправного сотрудничества с нашей наукой других стран. Три же последние фразы звучат особенно поучительно. «Выгоды партнеров России обещают быть значительными уже хотя бы в силу ее исторического вклада в науку. Но эти партнеры должны обеспечить финансовые ресурсы для участия России в сотрудничестве. Вложения в российскую науку впоследствии принесут финансовые и интеллектуальные дивиденды для всего мира» [5, с. 8].
Похоже, в том, что наша страна имела и имеет великую науку, не сомневается никто, кроме нас самих, точнее, наших чиновников от науки, которые не только сами ею не занимаются, но и имеют очень смутные представления о количественных практиках ее оценивания.
Литература
1. АДЛЕР Р., ЭВИНГ ДЖ., ТЕЙЛОР П. Статистики цитирования // Игра в цыфирь, или как теперь оценивают труд ученого (Сборник статей по библиометрике). - М.: Изд-во МЦНМО, 2011. - С. 6-38.
2. КЕМПБЕЛЛ Ф. Бегство от импакт-фактора // Игра в цы-фирь, или как теперь оценивают труд ученого (Сборник статей по библиометрике). - М.: Изд-во МЦНМО, 2011. -С. 46-51.
3. ЛОУРЕНС П.А. Потерянное при публикации: как измерение вредит науке // Игра в цыфирь, или как теперь оценивают труд ученого (Сборник статей по библиометрике). - М.: Изд-во МЦНМО, 2011. - С. 39-45.
4. МОТРОШИЛОВА Н.В. Недоброкачественные сегменты наукометрии // Вестник РАН. - 2011. - №2. - С. 134-146.
5. РОГОВ С.М. Россия должна стать научной сверхдержавой // Вестник РАН. - 2010.- №2. - С. 579-590.
6. САВЕЛЬЕВА И.М., ПОЛЕТАЕВ А.В. Публикации российских авторов в зарубежных журналах по общественным дисциплинам в 1993-2008 гг.: количественные показатели и качественные характеристики // Препринт WP6/2009/02. -М.: Изд. дом ГУ - ВШЭ, 2009. - 52 c.
7. 2010 Quality of Life Index. - URL:
http://internationalliving.com/2010/02/quality-of-life-2010 (дата обращения: 25.04.2011).
8. Global research report - Russia: Research and collaboration in the new geography of science. January 2010. - URL: http://researchanalytics.thomsonreuters.com/m/pdfs/ grr-russia-jan10.pdf (дата обращения: 20.03.2010).
9. Human Development Report 2009. - URL:
http://hdr.undp.org/en/media/HDR_2009_EN_Complete.pdf (дата обращения: 22.04.2010).
10. KORNHAUSER W. Scientists in industry conflict and accommodation. - Berkeley: University of California Press, 1962.
11. Science and Engineering Indicators 2010. - URL:
http://www.nsf.gov/statistics/seind10/pdf/seind10.pdf (дата обращения: 20.03.2010).
12. TOOMELA A. 60 Years in Psychology Has Gone Astray // Integrative Psychology & Behavioral Science. - 2007. - Vol. 41, №1.- Р. 75-82.
13. Wikipedia. List of countries by GDP (PPP) per capita. - URL: http://en.wikipedia.org/wiki/List_of_countries_by_GDP_(PPP)_ per_capita (дата обращения: 13.08.2012).
14. World Social Science Report. - Paris: UNESCO Publishing, 2010. - 422 р.
EFFICIENCY OF NATIONAL SOCIAL SCIENCE AND HUMANITIES: SCIENTOMETRICS APPROACH
Andrey Yurevich, Institute of Psychology of RAS, Moscow, RAS associate member, Doctor of Science, deputy director (yurev@orc.ru).
Irina Tsapenko, Institute of World Economy and International Relations of RAS, Moscow State University of Psychology and Education, Moscow, Doctor of Science, leading research fellow (tsapen-ko@bk.ru).
Abstract: We demonstrate multiple defects of methods of quantitative assessment of national science efficiency, which have been lately wide spread by science ombudsmen and encounter active resistance of the academic community. We also show that significance of contribution of national science to the world one is exaggerated while assessing efficiency of national science. In particular, our investigation revealed the absence of significant correlation between these indicators of contribution and various indicators of national wellbeing.
Keywords: social science and humanities, efficiency, contribution of national science to the world one, quantitative assessment, impact-factor, expert assessment.
Поступила в редакцию 21.02.2013.
Опубликована 31.07.2013.
