CC BY
680
Управление большими системами. Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой»
УДК 001 + 519.24 ББК 72
НАУКОМЕТРИЯ И УПРАВЛЕНИЕ НАУЧНОЙ ДЕЯТЕЛЬНОСТЬЮ
Орлов А. И.1
(Московский государственный технический университет им. Н. Э. Баумана; Московский физико-технический институт; Группа компаний «Волга-Днепр», Москва)
Попытки административного управления научной деятельностью зачастую опираются на неверные предположения, а потому приносят вред развитию науки. В статье подводятся итоги дискуссии по наукометрии и управлению научной деятельностью. Дан критико-аналитический обзор статей Интернет-конференции с минимальным привлечением дополнительной информации. Коллективными усилиями приходим к выводу, что оценка деятельности научных работников и организаций должна даваться в результате тщательной экспертизы и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.
Ключевые слова: наука, управление, наукометрия, научная деятельность, цитирование статей, итоги дискуссии.
1. Введение
Подведем некоторые итоги дискуссии, посвященной проблемам управления научной деятельностью. Она была организована по предложению главного редактора сборника «Управ-
1 Александр Иванович Орлов, доктор экономических наук, доктор технических наук, кандидат физико-математических наук, профессор ([email protected]).
ление большими системами» член-корр. РАН Д.А. Новикова тремя исследователями (не чиновниками, не предпринимателями и не журналистами) - д.ф.-м.н. П.Ю. Чеботаревым, к.т.н. М.В. Губко и мною. Неожиданно для нас дискуссия вызвала большой интерес у тех, кто делает науку. За отведенное на дискуссию время (январь - июнь 2013 г.) в специально созданной для дискуссии рубрике «Наукометрия» Интернет-конференции сборника «Управление большими системами» (http://ubs.mtas.m/fomm/mdex.php?PAGE_NAME=Hst&FГО=19) были размещены 32 статьи и заметки и 689 комментариев к ним (по состоянию на 29 июня 2013 г.). В Специальный выпуск сборника включена 31 публикация. Много интересных соображений высказано в комментариях. Их количество и широта охвата обсуждаемых тем уникальны для сборника «Управление большими системами».
Дадим критико-аналитический обзор статей Интернет-конференции (за исключением «затравочных» статей) с минимальным привлечением дополнительной информации.
2. Современные проблемы использования
наукометрических инструментов в управлении научной деятельностью
По нашему мнению, в России в области науки и образования в настоящее время нет острого кризиса. Впечатление о кризисе создается искусственно. Аналитический журнал «Эксперт» пишет так: «Министр образования старательно пытается поставить российские университеты в затылок университетам развивающихся стран. Упорно не замечая, что ведущие высокотехнологичные корпорации мира оценивают их на уровне лидеров» [8]. По ряду научно-технических направлений наша страна находится далеко впереди остального мира. Например, в области нечисловой статистики [31]. Разработанная в 2010-2012 гг. автоматизированная система прогнозирования и предотвращения авиационных происшествий не имеет себе равных в мире [2]. Опыту научного признания новых методических подходов к
оценке технического уровня образцов вооружения и военной техники на примере управляемых авиационных бомб посвящена наша статья [35]. Продолжать можно весьма долго.
Конечно, в области управления научной деятельностью имеется много проблем, которые надо решать. Некоторые из них перечислены в «затравочных» статьях [29, 47]. Однако в проведенной дискуссии основным стержнем является обсуждение частного вопроса - проблем использования наукометрических индексов для оценки результатов научной деятельности. Очевидно, это вызвано попытками административно внедрить в практику управления научными и образовательными структурами широкое использование интеллектуальных инструментов указанного типа. Другими словами [3], основная тема настоящей дискуссии - возможность оценки труда российского ученого по количественным показателям его публикационной активности и индексам научного цитирования (ИНЦ) - возникла вследствие напряженности, недавно возникшей в среде российских ученых при введении Министерством образования и науки этих показателей в систему оценки деятельности подведомственных организаций.
Основные идеи наукометрии были рассмотрены еще в 1969 г. в классической монографии В.В. Налимова и
З.М. Мульченко [25]. Дальнейшее развитие описано в статье Ю.В. Грановского [5], одного из соратников В.В. Налимова. За прошедшие с тех пор четыре с лишним десятилетия прогресс в наукометрии не слишком велик. В теоретическом плане - введены индекс Хирша и ему подобные характеристики описания распределения числа цитирований. В практику вошло использование библиометрических баз данных и расчета на их основе наукометрических индексов.
Два основных недостатка подобного подхода, которые выделяют все специалисты по наукометрии [46]:
«1. Так как наукометрические показатели легко вычислить, то велик риск их неадекватного использования в качестве единственного критерия оценки многогранной научноисследовательской деятельности ученого.
2. Использование наукометрических показателей в качестве критериев оценки научной деятельности провоцирует ученых к «накрутке» этих показателей различными способами».
На Западе необоснованность использования результатов таких расчетов для принятия решений в области управления наукой была выявлена достаточно давно. Международный союз математиков публично предостерег от неправильного использования статистики цитирований [50]. Это предостережение было сделано на основе доклада, написанного по заказу Международного союза математиков (The International Mathematical Union) в сотрудничестве с Международным советом по промышленной и прикладной математике (The International Council on Industrial and Applied Mathematics) и Институтом математической статистики (The Institute of Mathematical Statistics). Сборник переводов на эту тему выпущен под ироничным названием «Игра в цыфирь, или как теперь оценивают труд ученого» [13]. Информация была доведена до общественности [18]. Но проигнорирована как чиновниками, так и исследователями.
К сожалению, не все пишущие о наукометрии знают ее историю [21]. Важно также единство употребления терминов. В данной статье мы термины не обсуждаем, иначе статья разрослась бы до книги. Однако удивительно, что находятся авторы, которые пытаются свести науку в целом к ее малой доле - естественным наукам. Так, О.В. Михайлов «не считает науками такие известные их разновидности, как технические, педагогические, политические, сельскохозяйственные, медицинские» [21]. Социолог И.А. Жукова [12] не различает понятия «библиографическая база данных» и «индекс цитирования».
Необоснованность распространенных утверждений поражает. Например, на основе данных библиографической базы Scopus утверждают, что вклад России в мировую науку составляет порядка 1%. Однако в указанную базу включено более 6000 американских журналов и только около 200 - российских (а только в «списке ВАК» более 1000 журналов) [8]. Чему же удивляться - просматривается один российский журнал на 30 американских! Если сделать естественную поправку - умножить
на 30 - то получим, что оценка доли России - 30%, что вполне сопоставимо с американской долей (28,7%). Разоблачению ряда необоснованных утверждений в области управления научной деятельностью посвящена работа Р.М. Нижегородцева [26].
Из ложного утверждения о малом вкладе России в мировую науку делают не менее ложные выводы о необходимости массовых публикаций отечественных ученых в западных журналах, естественно, на английском языке. Было бы странно, если бы статьи о новых идеях отечественных ученых в области разработки ВТО (высокоточного оружия) появились сначала на английском языке, а только потом - на русском. Об основополагающей роли русского языка в науке подробно рассказано в работе К.С. Хруцкого [45].
Информационная работа стратегической разведки [38] основана, в частности, на анализе зарубежных публикаций, в том числе научных. Однако для обеспечения национальных интересов необходимо, чтобы полученные отечественными учеными научные результаты прежде всего были доступны внутри страны, в частности, первые публикации должны быть на русском языке. Отметим, что, по нашим наблюдениям, для ведения научной работы обычно вполне достаточно литературы на русском языке, цитирование иностранных источников - зачастую дань моде, а не необходимый элемент исследования. Вытекает это, в частности, из наличия огромного объема научных публикаций на русском языке.
Для информационной поддержки международного сотрудничества целесообразно иметь систему переводов на иностранные языки (в настоящее время - на английский, в недалеком будущем - на китайский). В СССР такой работой занималось издательство «Мир», для современных условий схема продвижения отечественных научных результатов на зарубежный рынок предложена в статье [19].
Основополагающая идея наукометрических рейтингов основана на поверхностном взгляде на процесс получения научного результата. Для рассмотрения обычно выбирается промежуточная публикация - статья в научном журнале, в то время как
наиболее ценные публикации, по мнению франко-русского коллектива авторов статьи [10] - начальная (тезисы доклада) и итоговая (монография) - игнорируются. В нашей работе [29] на примере развития ряда научных областей показано, что наиболее естественная цепочка развития научного результата такова: тезисы доклада - тематический сборник - монография - учебник - широкое использование. В частности, для развития нового направления публикации в научных журналах, вообще говоря, не нужны. Отметим, что принципиально новую работу в устоявшемся научном журнале зачастую просто не поместят, поскольку она противоречит традициям журнала. Примером является статья К.С. Хруцкого [45], основоположника междисциплинарной научной дисциплины - биокосмологии, позволяющей по-новому взглянуть на развитие науки.
Имеет ли решение задача перманентной оценки вклада учёного в науку? Эту задачу С.Н. Гринченко переформулирует [7] в задачу рассмотрения наукометрического анализа как элемента научной деятельности в рамках самоуправляющейся системы человечества, функционирующей по алгоритмам иерархической адаптивной поисковой оптимизации. Тогда научная активность выступает как элемент поисковой активности, а научные результаты - как форма проявления системной памяти человечества. Для них ранее выявлены характерные системные времена изменения/закрепления, которые актуальны и для научной деятельности. Оценка вклада учёного в сокровищницу мировой науки объективно может быть произведена через срок (после публикации) по меньшей мере от нескольких лет до нескольких десятилетий. Исходя из этого, С.Н. Гринченко делает вывод о том, что задача перманентной оценки вклада учёного в науку имеет решение лишь при базировании её на среднесрочную и долгосрочную ретроспективу, но никак не на краткосрочную.
Из систематического рассмотрения научной деятельности логически вытекает необходимость выделять в среде уже современных нам учёных - докторов наук - наиболее продвинутых их представителей, уровень образованности и научные результаты которых существенно выделяются (в лучшую сторону) на фоне
остальных учёных этой группы. Следует отказаться от практики использования при оценке вклада учёного в науку различных искусственных показателей, ориентирующихся на краткую ретроспективу его деятельности, заменив её, по крайней мере в отечественных научно-организационных структурах, совокупностью взаимоувязанных и взаимокоррелирующих интегральных оценок, опирающихся на среднесрочную и долгосрочную ретроспективу научной деятельности. Конкретные предложения С.Н. Гринченко таковы.
1. Следует различать участие российских учёных в мировом научном процессе с использованием английского языка и русского языка. Действительно, публикация на английском языке и в зарубежном журнале ускоряет донесение научной информации до зарубежного читателя. Но она практически бесполезна для отечественной читательской аудитории, особенно для студентов, аспирантов и др. обучающихся ввиду как малодоступности, так и дороговизны доступа к ней (полные тексты этих статей выкладываются в интернет далеко не всегда, обычно с большим запозданием и небесплатно, а их бумажные версии недоступны в России практически полностью). Другое дело, если будет обеспечиваться квалифицированный перевод и публикация двуязычных (русско-английских) статей, монографий и учебников! (Аналогичное предложение выдвинуто в [19].) При этом лицам, заявляющим, что печатать статьи на русском языке вообще бесполезно, что мировая научная общественность их не читает и нужно печататься на английском языке (т.е. за рубежом), следует помнить, что подобное поведение, разрушающее русскоязычный образовательно-научный процесс здесь в России, контрпродуктивно и чревато весьма опасными (хотя, возможно, и отдалёнными) последствиями и для нашей страны в целом, и для всех её граждан.
2. Следует вновь разделить «перечень ВАК» на «докторский» (достаточно краткий, не более 10% от текущего списка) и «кандидатский», что даст дополнительный параметр при оценке научной публикации.
3. Следует восстановить на новой основе использовавшееся в СССР ранжирование научных издательств на «центральные» (теперь с обязательным размещением издаваемых книг в интернете) и «прочие», введя дополнительно понятие «регионального» научного издательства (с размещением не менее половины издаваемых книг в интернете), что даст ещё один дополнительный параметр при оценке научной публикации.
4. Следует привязывать монографии к написанным на их базе учебникам/учебным пособиям, как бумажным, так и электронным, что делает двойку «монография-учебник» при их совокупной оценке значительно более весомой в глазах научной общественности и официальных структур.
5. Следует рекомендовать (и содействовать) авторам при заключении издательских договоров фиксировать право обязательного размещения текстов бумажных монографий и учебников/учебных пособий в интернете.
6. Государственные (и иные) академии наук могли бы существенно расширить спектр и частоту присуждения ими на конкурсной основе почётных золотых/серебряных/бронзовых медалей и премий имени выдающихся отечественных учёных за конкретные научные исследования и разработки, написанные монографии и учебники и т.п. (причём сделав эти процедуры публичными, с бессрочным размещением в интернете и списков претендентов, и отзывов/рецензий любых заинтересованных специалистов, и ответов претендентов на критику, и результатов конкурсов).
7. При проведении научных конференций (или сразу после их окончания) следует внедрить практику подведения итогов с выделением авторов нескольких лучших докладов (сделав эти процедуры публичными, с бессрочным размещением в интернете и процесса обсуждения этого вопроса членами Программного комитета, и результатов их голосования).
8. Следует дополнить существующую двойку «кандидат наук - доктор наук» третьей, наивысшей учёной степенью «заслуженный доктор наук», которая должна присуждаться университетом или академическим институтом докторам наук за
выдающиеся научные заслуги без выполнения формальных условий - т.е. honoris causa (также сделав эти процедуры публичными, с бессрочным размещением в интернете и списков претендентов, и отзывов/рецензий любых заинтересованных специалистов, и ответов претендентов на критику, и результатов конкурсов). В свою очередь, право присуждения этой наивысшей учёной степени должно быть предоставлено не всем желающим организациям, а лишь наиболее авторитетным, учёные-сотрудники которых заслужили такое право десятилетиями успешной научной деятельности.
9. Следует создавать и развивать академии, ассоциации и другие научные сообщества с членством, подтверждаемым ежегодно по результатам научной деятельности за последние 3-5 лет, а не пожизненным.
В заключение этого перечня вслед за С.Н. Гринченко следует признать, что лишь система этих и иных аналогичных мер может обеспечить удовлетворение как тяги учёных к познанию, так и адекватную общественную оценку их усилий.
А.А. Воронин [3] обсуждает ряд когнитивных, социальнопсихологических, организационно-управленческих аспектов использования наукометрических индексов для оценки эффективности научной деятельности и, следовательно, для решения задач управления наукой. По его мнению, «подводная» тема настоящей дискуссии - эффективность современной организации и управления научной работой в России в целом и в отдельной организации. Из пессимистического утверждения о том, что «в последние десятилетия фактической целью России, российской культуры (как ее части) и российской науки (как части последней) было выживание», вытекает не менее пессимистичный вывод: «Стремление к быстрым и преимущественно инфраструктурным преобразованиям в отсутствие ясных целей реформы и механизмов самоорганизации вряд ли внесет позитивные перемены в научную сферу».
Насыщенная субъективными утверждениями и оценками статья Б.Т. Поляка [37] заканчивается оптимистическими словами: «...Опасения по поводу наукометрических показателей
сильно преувеличены. Как и всякий инструмент, он хорош в руках умного врача. При этом болезни, которые надо лечить, совершенно различны у нас и на Западе». В статье подчеркивается ведущая роль экспертных оценок.
Необходима интенсивная разработка теоретических вопросов науковедения и наукометрии. Примером таких исследований является статья Ю.М. Кузнецовой, Г.С. Осипова, Н.В. Чудовой [15]. Она посвящена проблеме определения перспективности научных исследований. На основе анализа эволюции теоретических представлений о содержании, направленности и продуктивности научного познания и соответствующих им наукометрических показателях обосновывается необходимость и возможность разработки методов интеллектуального анализа публикационной активности, направленных на оценку новизны и перспективности научных исследований, а также авторитетности исследователей и научных коллективов.
В ироничной статье Ю.Д. Григорьева [6] глубоко анализируется реальная ситуация в вузовской науке. Он констатирует мировой процесс снижения общей грамотности, анализирует пороки принятых схем управления научной деятельностью, неудержимый рост числа бесполезных «научных» публикаций, приходит к выводу о ненужности чрезмерного числа публикаций. Обсуждая организацию защит диссертаций, обращает внимание распространенные манипуляции - подготовку рецензий соискателем, плагиат и т.п. Он пишет: «Чиновнику от науки очень удобен придуманный им ритуал защиты - подсчитать количество публикаций, вогнать оригинальные свежие мысли в казенные формулировки автореферата и присвоить степень не за полученный результат, а на основе формального подсчета числа публикаций, формальных формулировок (с заранее подготовленными шаблонами) заключения ДС (диссертационного совета) и одобрения диссертации демократическим большинством членов ДС. В статье приведено много примеров того, что качество научных кадров стремительно падает, научные школы и коллективы распадаются и деградируют (подчеркнем - даются примеры, а не абстрактные заявления и не ссылки на науко-
метрические индексы). При этом рейтинги университетов и наукометрические индикаторы отечественной науки находятся на неправдоподобно низких уровнях по сравнению с западными. Действительно, «просто смешно, нашими инженерами-физиками, выпускниками МФТИ, МИФИ и т. д., переполнены все ядерные центры Франции и Швейцарии (западные эмиссары рыщут по Москве в поисках застрявших в столице физиков), а подготовившие их вузы находятся в хвосте западных рейтингов (об этом же пишет Д. Гришанков [8] в «Эксперте»). Ю.Д. Григорьев отмечает, что чрезмерная абсолютизация индекса Хирша в наших условиях наносит только вред: «Применяя китайские технологии (взаимное цитирование, размножение количества статей комбинаторным способом за счет многоав-торства, написание заведомо никому ненужных статей и др.) и, конечно, публикуясь только в западных журналах, можно сравнительно легко довести индекс Хирша до Н = 20-30». Ю.Д. Григорьев предлагает использовать наукометрический паспорт ученого, в котором, наряду с типовыми наукометрическими индексами, учитывались бы многие другие показатели, перечень которых дан в статье.
Основные предложения Ю.Д. Григорьева подробно расписаны:
- изменить процедуру подготовки и защиты диссертаций;
- ввести в номенклатуру специальностей научных работников новые специальности, исключать (возможно, поглощая другими) те из них, на которые у научного сообщества нет устойчивого спроса;
- ввести в структуру управления вузом службу социологического мониторинга, задача которой - отслеживать с использованием современных статистических методов параметры функционирования вуза;
- руководству кафедр и факультетов вменить в должностную обязанность функции научного менеджмента;
- обязать руководство вузов приглашать для чтения циклов лекций видных докторов и профессоров других вузов, в том
числе зарубежных, и наоборот, содействовать собственным профессорам выполнять ту же миссию.
3. Наукометрические индексы как интеллектуальные инструменты
К анализу эффективности методов управления научной деятельности следовало бы подойти с позиций системного анализа роли науки в обществе, элементы которого имеются в работах С.Г. Кара-Мурзы [14], С.Н. Гринченко [7], Ю.М. Кузнецовой, Г.С. Осипова, Н.В. Чудовой [15], И.А. Лыпаря, И.А. Кацко, Н.Г. Давыденко [16] и других авторов. Однако общепринятой теории в этой области нет, и участники дискуссии сосредоточились на частных вопросах, прежде всего на анализе различных вариантов наукометрических индексов (библиометрических показателей).
С.Д. Штовба и Е.В. Штовба провели обзор основных наукометрических показателей, которые учитывают количество публикаций и количество цитирований как отдельно, так и совместно [48]. Они продемонстрировали способы учета дополнительной информации по количеству соавторов, по статусу журнала, продолжительности научной карьеры, договорным цитированиям и т.п. В [48] предложено семейство «Хиршпо-добных» наукометрических показателей. Рассмотрены «подводные камни» наукометрических показателей, связанных со скрытыми и неформальными ссылками, а также с ошибками в списке литературы.
В статье А.В. Цыганова [46] даны определения некоторых наиболее популярных наукометрических индексов, основанных на цитируемости публикаций в научных журналах. Обсуждаются примеры (в частности, биомедицинские) их возможного использования при проведении различных экспертных мероприятий.
Ю.Ю. Тарасевич [41] отмечает, что оценивать можно только объекты или результаты внутри однородной группы. С целью стимулирования соблюдения этических норм он предлагает
при оценке научной публикации учитывать её объём, число соавторов и уровень издания (импакт-фактор).
Фундаментальная статья И.В. Маршаковой-Шайкевич [17] привлекательна широким использованием статистических данных. Получено много интересного. Например, отмечено, что «за Западе, и в частности в Польше, от использования импакт-фактора журнала для оценки ученого отказались». Из-за дефектов библиометрических баз данных «импакт-факторы для оценки и сравнения естественнонаучных журналов, широко используемые в мире и в России, не могут быть определены для философских и других гуманитарных журналов» (попросту такие отечественные журналы не учитываются в западных базах данных). Где много результатов - много и возможностей для критики. Так, рейтинги вузов в конце статьи, естественно, не учитывают закрытые научно-исследовательские работы, а потому не соответствует реальной научной значимости вузов. В [17] некорректно сравниваются продуктивность и популярность Ю.А. Шрейдера и Д.Г. Лахути. Первый из этих двух ученых хорошо известен в нашей стране, автор данной статьи многократно ссылался на его книги. О втором, работам которого И.В. Маршакова-Шайкевич отдает предпочтение, узнал впервые из ее статьи. Эта коллизия - хороший пример того, что основной вклад ученого в науку проявляется в его книгах, а не в статьях.
ВАК считает признанными международными системами цитирования (библиографическими базами) Web of Science, Scopus, Web of Knowledge, Astrophysics, PubMed, Mathematics, Chemical Abstracts, Springer, Agris, GeoRef, MathSciNet, BioOne, Compendex, CiteSeerX. А также РИНЦ. Поскольку разработано большое число библиометрических показателей (для каждой из баз данных - общее число зафиксированных в базе публикаций, общее число ссылок, индекс Хирша, показатель значимости публикаций (на основе импакт-фактора), индекс качества опубликованных работ и т.д., и т.п.), то для оценки эффективности
научной деятельности можно использовать десятки показателей. Естественной является популярная в теории принятия решений идея агрегирования (усреднения) отдельных показателей. Поскольку методов агрегирования бесконечно много [34], то и область наукометрических исследований безгранична. Естественно выбирать метод агрегирования, соответствующий априорным предпочтениям выбирающих. В Спецвыпуске к этому направлению исследований относится статья [1], в которой процедура порогового агрегирования позволила упорядочить условных исследователей в соответствии с априорными предпочтениями авторов статьи.
Критическому анализу возможности использования наукометрических индексов при управлении научной деятельностью посвящена насыщенная фактами статья В.Г. Горохова [4]. Он разбирает различные ситуации в различных странах и научных специальностях. Например, он сообщает: «Результаты научной политики, основанной на якобы «объективных» измерениях, могут привести к самым неожиданным и прямо противоположным ожидаемым результатам, как, например, это произошло с австралийской наукой, финансирование которой было поставлено в зависимость от количественных показателей, что привело к резкому сокращению качества проводимых в Австралии научных исследований».
4. Необходимость применения экспертных технологий
В нашей «затравочной» статье [29] и комментариях к ней была обоснована необходимость широкого применения экспертных технологий [27, 30, 31, 40] при оценке эффективности научной деятельности. Одно из предложений - регулярно (скажем, раз в пять лет) подробно обсуждать научные результаты, полученные за отчетный срок, примерно так, как на защите диссертаций. Как справедливо отмечает М.В. Ульянов [42], написание «кирпича» диссертации должно уйти в прошлое, отчитываться надо по совокупности опубликованных работ.
Практический опыт реализации проекта «Корпус экспертов по естественным наукам» отражен в статье М.Г. Фейгельмана и Г.А. Цирлиной [43]. Они являются «не противниками библиометрии, а сторонниками ее адекватного использования. Таковое возможно, если библиометрические показатели используются как частный инструмент в продуманной системе поиска и выбора научных экспертов, в организации оценок и конкурсных процедур именно экспертным способом». В их статье отражен опыт работы с библиометрическими базами данных, обсуждаются проблемы неполноты и неточности информации.
Статья О.В. Москалевой [22] начинается с анализа терминологии, приводящего к важному выводу: «библиометрические показатели могут в принципе применяться только для тех областей научной или научно-технической деятельности, результаты которых описываются в научных статьях или иных научных публикациях, т.е. преимущественно для фундаментальных исследований и в какой-то мере для прикладных научных исследований, но не для разработок. Для этих областей деятельности более адекватным измерителем будут патенты или какие-либо иные практические результаты». Далее О.В. Москалева обсуждает возможные места публикации научных результатов, почему-то игнорируя учебники, через которые эти результаты поступают следующим поколениям. Дальнейшие рассуждения, к сожалению, нельзя признать полностью обоснованными из-за иногда некорректного применения методов прикладной статистики [31, 32]. Так, исключение очевидного выброса на рис. 6 резко меняет выводы автора. Нельзя не согласиться с выводом в конце статьи: «Возможность и способы использования библио-метрических показателей для оценки научной деятельности в значительной степени зависит от целей, с которыми проводится оценка, и должна сочетаться с другими показателями и экспертной оценкой».
Б.Г. Миркин [20] полагает, что «при ранжировании вклада учёных в науку надо следовать иерархической классификации наук». К сожалению, конкретные примеры дискуссионны. Весьма интересно и полезно описание опыта Соединённого Королевства,
где каждый университетский департамент проходит всестороннюю оценку каждые 5-6 лет в рамках так называемого Упражнения по оценке научных исследований (Research Assessment Exercise). Из многих интересных и полезных предложений процитируем заключительную фразу статьи: «Для повышения объективности оценок, вероятно, стоит шире использовать привлечение сторонних экспертов в комиссии по оценке, а также систему проверки комиссий с широкими правами по наказанию за неадекватные оценки». Таким образом, Б.Г. Миркин - за широкое использование экспертных технологий.
Справедливо пишет А.Л. Фрадков [44]: «... Важны понятность и безупречность процедур экспертизы - механизмов установления научной истины. Безукоризненность экспертизы важна и при рецензировании научных публикаций, и при отборе научных и технологических проектов и, наконец, при защите диссертаций - оценке квалификации научных работников». К сожалению, пример, который он рассматривает, чисто условный, не имеет отношения к реальному миру: «требовалось проверить достижение основной цели: создать за два года устойчиво работающую лабораторию мирового уровня» - очевидно, что это невозможно (см., например, статью С.Н. Гринченко [7]). Впрочем, для проверки невозможного применялась примитивная схема экспертного оценивания (основанная на «сумме баллов экспертов»), не соответствующая современным рекомендациям теории экспертных технологий ([27, 30, 31, 40]). А.Л. Фрадкова удивляет то, что «изменение весов практически не повлияло на порядок расположения заявок в списке по убыванию рейтинга». С этим явлением хорошо знакомы все мои студенты, с которыми мы каждый год проводим деловую игру по построению обобщенного показателя (см. [34]). Печально, что при подготовке процедур принятия важных решений используют примитивные методы, очевидно, из-за низкой квалификации разработчиков этих процедур.
5. Значение качества библиометрической информации
По крайней мере половина наших статей отсутствует в распространенных библиометрических базах [29]. Видимо, давно опубликованы, до появления Интернета. Поскольку написанные мной учебники также отсутствуют в этих базах, то придется, видимо, перепечатать научные результаты в нынешних журналах.
Большой интерес представляют статьи, подготовленные на основе опыта работы с библиометрическими базами данных. Так, С.М. Гусейн-Заде [9] на примере системы ИСТИНА, используемой в Московском государственном университете им. М.В. Ломоносова, весьма доказательно продемонстрировал, что использование показателей публикуемости и цитируемости для сравнения ученых различных специальностей неправомерно. В частности, установлено, что «в смысле «публикуемости» механико-математический факультет никуда не годится». Остается не ясным, как в наукометрическом анализе учитывать статьи с несколькими тысячами авторов. Эмпирический прием деления баллов за статью на квадратный корень из числа соавторов не имеет обоснования. Почему квадратный корень, а не кубический?
А.В. Юревич и И.П. Цапенко [49] демонстрируют многочисленные недостатки методов количественной оценки эффективности национальной науки, получивших в последнее время широкое распространение по инициативе чиновников от науки и встречающих все более активное сопротивление научного сообщества. Так, согласно WoS все отечественные философы вместе взятые в 2000-е гг. публиковали в международных журналах, издаваемых за рубежом, порядка 3-4, а социологи - 2-3 статей в год, в то время как в действительности, например, только сотрудники Института философии РАН, далеко не исчерпывающие весь корпус отечественных философов, ежегодно публикуют там от 40 до 80 статей. Налицо проблема адекватности источников данных, имеющая много общего с хорошо известной в социогуманитарных дисциплинах проблемой ре-
презентативности используемых выборок. Однако «проблема не сводится лишь к неадекватности источников данных и способов их формирования, она коренится в неадекватности самого сложившегося подхода к оценке мирового вклада национальной науки». Далеко не всякий международный научный журнал примет публикации на внутрироссийские темы, дабы не загружать читателей из других стран не слишком интересными для них проблемами, скажем, отношения россиян к богатству и бедности. Подчас наши социогуманитарии вынуждены выбирать между повышением своего цитат-индекса в международных журналах и, например, тем, как найти пути уменьшения безработицы или беспризорности в России, а выбор ими последнего свидетельствует не об их неэффективности, а об их патриотичности. Убедительно продемонстрировано, что при оценке эффективности национальной науки ее вкладу в мировую придается гипертрофированное значение. Обнаружен весьма важный факт: три наиболее используемые в международных сопоставлениях показателя национального благополучия - ВВП на душу населения, «Благоприятность для жизни» и «Индекс развития человеческого потенциала» - в значительной мере коррелируют между собой (коэффициенты корреляции от
0,74 до 0,85), но ни один из них не обнаруживает статистически значимой корреляции с величиной вклада в мировую науку (коэффициенты корреляции от 0,08 до 0,12). Наиболее естественное объяснение этого на первый взгляд парадоксального научного результата таково: «лучше живут» не те страны, которые вносят наибольший вклад в мировую науку, а те, которые больше «выносят» из нее, т.е. наиболее эффективно используют результаты научно-технического прогресса».
Наукометрические методы оценки научного вклада - это, по выражению Н.В. Мотрошиловой [23], система «кривых зеркал». А.В. Юревич и И.П. Цапенко [49] приводят многочисленные примеры сокрушительной критики этой системы со стороны авторитетных западных исследователей. Основной объект анализа - это база данных Web of Science (WoS), принадлежащая компании Thompson Reuters Corporation. Любопыт-
но, что общий тон отчета [51] этой компании в отношении российской науки полон сочувствия и одновременно оптимизма. А завершается он констатацией необходимости не более активного включения российской науки в мировую, как можно было бы ожидать, а равноправного сотрудничества с нашей наукой других стран.
В статье Н.В. Дербенева и В.О. Толчеева [11] дается общая характеристика наукометрических методов, отмечаются их недостатки. Подчеркивается, что как пропагандисты этих методов, так и их противники признают, что наукометрические показатели лишь косвенно свидетельствуют о качестве научных исследований, реальном вкладе ученого в развитие предметной области. Разделяя мнение, что «измерять» научную деятельность надо и другой работоспособной альтернативы, по мнению авторов статьи [11], пока не предложено (использование экспертных технологий ими отброшено без подробного обсуждения), было бы правильно сместить акцент в дискуссии с критики современной наукометрии на вопросы улучшения ее инструментария.
Разделяем удивление авторов [11]: несмотря на огромное внимание, которое уделяется в наукометрии анализу текстов статей, их тематик, размеров, библиографических ссылок и цитирования, авторства-соавторства, тем не менее в наукометрических исследованиях практически полностью игнорируется такой феномен, как тиражирование авторами одних и тех же материалов (издание статей-дубликатов), и не уделяется должного внимания борьбе с распространением документов с существенными заимствованиями (т.е. плагиатом - умышленном использовании фрагментов чужих работ без указания источника заимствования или изданием под своим именем чужой статьи). Возможно, использование программных средств вроде «Антиплагиата» закроет одну из «брешей» наукометрии и повысит эффективность борьбы с материалами, содержащими большое число заимствований.
Авторы разработали методы выявления дубликатов. К дубликатам (неуникальным публикациям) принято относить доку-
менты с идентичным (полностью совпадающим) содержанием. Нечеткими (неполными) дубликатами или почти дубликатами считаются документы, в содержательную часть которых внесены незначительные изменения. Отметим, что дубликаты библиографических документов могут появляться не только из-за желания автора (авторов) растиражировать одни и те же результаты и сведения, но и по независящим от него причинам:
- ошибочное добавление статьи в базу данных из-за опечаток в названии (или номере) журнала, фамилиях авторов, названиях и аннотациях, неправильного указания номеров страниц и их количества;
- «недобросовестных» действий соавторов, которые самостоятельно (без согласования с другими авторами) осуществляют переиздание документов, изменяют последовательность фамилий соавторов,
- недостаточно ответственный подход к составлению аннотаций;
- наличие тематически близких «связанных» публикаций, например, соответствующих последовательным этапам разработки темы, и т.п.
Окончательное суждение о том, являются ли статьи (нечеткими) дубликатами и содержат ли они некорректно оформленные заимствования, можно сделать только с помощью экспертов на основе изучения и оценки полнотекстовых вариантов статей.
Была сформирована выборка из 7 257 библиографических документов (название, аннотация, ключевые слова, инициалы авторов, место издания) в области автоматики и вычислительной техники. Использовалась метрика подобия, измеряющая расстояние между множествами терминов (в библиографических документах) и рассмотренная в 1986 г. в нашей статье с Г.В. Раушенбахом [36]. (Видим, что через 25 лет тот же математический объект возник совсем под другими - западными -именами.) Было выявлено 178 полных дубликатов и 186 неполных, проведен анализ причин их появления. Разработка и внедрение процедур выявления нечетких дубликатов способны существенным образом расширить инструментарий наукомет-
рии и стать барьером для информационного шума, в частности предотвратить тиражирование статей-клонов.
6. Проблемы оценки эффективности научноисследовательской деятельности в конкретных предметных областях
Н.В. Мотрошилова убедительно доказывает, что «существуют непреодолимые реальные факторы, препятствующие использованию показателя количества цитирований и индексов цитирования в качестве точных инструментов оценки эффективности научно-исследовательской деятельности» [24]. Анализ проводится на основе философских наук. По ее мнению, «само по себе число публикаций и цитатных ссылок (даже если бы применительно к реальным людям их было возможно, абстрактно говоря, точно подсчитать - что нереально) абсурдно истолковывать в качестве критериев оценки качества чьего-либо научно-исследовательского труда, его эффективности и результативности». Анализ проводится на основе философских наук. По нашему мнению, основные выводы верны и для обширной совокупности гуманитарных, социально-экономических, экологических, географических, биологических наук, в которых многие проблемы представляют интерес для отечественных исследователей, но не для зарубежных.
В статье В.В. Новочадова и А.А. Широкого [28] предпринимается попытка проанализировать эффективность применения классических наукометрических показателей, заложенных в открытую базу данных РИНЦ Электронной научной библиотеки elibrary.ru, на большой репрезентативной выборке (502 автора) учёных-биологов России. Применённые в системе РИНЦ показатели характеризуют преимущественно только два качества научной деятельности конкретного ученого: публичную продуктивность в профессиональных изданиях достаточного уровня и востребованность этих продуктов (публикаций) аналогичными учеными, т.е. участниками публикаций в изданиях того же уровня. С помощью статистических методов (которые авторы
этой статьи почему-то относят к популяционной биологии) предпринята попытка выделить группы учёных-биологов и проанализировать сравнительные показатели в образовавшихся группах. Сопоставление полученных данных с реальной ситуацией в современной биологии (на основе тщательного статистического анализа) обосновало критическое отношение авторов статьи к использованию накопительных показателей научной продуктивности (число публикаций, цитирований, индексы цитирования и Хирша) для оценки труда конкретного учёного-биолога. Их вывод таков: «основывающийся на формальном анализе количественных показателей поиск популяционных закономерностей развития науки представляется нетривиальной и актуальной задачей».
В статье Ю.В. Савельевой и А.В. Хоперскова [39] несколько тенденциозно обсуждаются проблемы применения наукометрических параметров для оценки эффективности научной работы, хотя и констатируется, что «использование исключительно систем WoS/Scopus позволяет характеризовать по разным оценкам 2-10% научных работников и преподавателей университетов нашей страны». Проведено сравнение импакт-факторов 108 российских журналов, рассчитанных с использованием баз данных научных поисковых систем Scopus, Web of Science, e-library. Статистические методы применяются не вполне корректно из-за наличия явных выбросов. Импакт-факторы отечественных журналов оказались в среднем в два раза ниже значений по всей выборке. Сформулировано субъективное мнение авторов о некоторых причинах сравнительно низких показателей российских журналов. Статистический анализ наукометрических величин для ученых, имеющих высокие показатели в международных библиографических и реферативных базах данных, показывает их высокий результат и в системе e-library.
С социологической точки зрения ссылки на публикации отражают отношения между людьми. И.А. Жукова пишет [12]: «...для конструктивистов цитирование связывается не с ценностью самой работы, т.е. не с ее смысловым содержанием, а скорее с тем, какую позицию занимает ее автор в стратифика-
ционной структуре науки». У социологов есть попытки увязать разные подходы: «Ссылка признается в качестве одного из инструментов в системе вознаграждения, в то же время она играет значительную роль и в риторической системе (посредством которой ученые пытаются убедить друг друга в значимости своих притязаний), и, наконец, в процессе коммуникации в науке также используются механизмы цитирования». Очевидно, подобные взгляды весьма далеки от классического: научный работник цитирует те работы, которые оказались необходимыми для выполнения его исследования.
7. Заключительные замечания
Как говорил мне член-корреспондент АН СССР Г.Б. Бокий, с которым я работал в Комиссии по классификации Совета научных и инженерных обществ: «Говорят, что в споре рождается истина. Это утверждение надо уточнить. Участники спора обычно остаются при своем мнении. Но слушающие знакомятся с их аргументами и делают свои выводы».
Так и в нашей дискуссии. Наша точка зрения, сформулированная в «затравочной» статье [29], не изменилась, только подтвердилась аргументами и фактами, приведенными в выступлениях участников дискуссии. (Для полноты обсуждения отмечу, что иногда дискуссия действительно приводит к изменению (уточнению) исходной позиции, как это продемонстрировано в статье [33].) Поэтому формулировать подробные выводы и предложения нет необходимости - они приведены в «затравочной» статье [29]. Только поместим в конце этой статьи несколько замечаний.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить с помощью соответствующего программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - «владельцы» журналов (в частности, редакторы, члены редакцион-
ных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.
Как отмечают М.В. Фейгельман и Г.А. Цирлина: «И чем больше подписок на WoS продает российским организациям Thomson Reuters - тем больше становится библиометристов» [43]. По нашему мнению, развернутая в последние годы пропаганда использования наукометрических показателей и баз данных, необходимости публикации статей в англоязычных зарубежных журналах является маркетинговой кампанией определенных коммерческих структур, имеющей целью создание и захват отечественного рынка указанных услуг с целью получения прибыли. Как отмечено в докладе UNESCO, «лингвистические преимущества англоязычных стран способствуют усилению конкурентных преимуществ этих стран в науке и в связанном с ней бизнесе, в частности, издательском» [52, с. 154].
В статье [49] сделан важный вывод: «... «лучше живут» не те страны, которые вносят наибольший вклад в мировую науку, а те, которые больше «выносят» из нее, т.е. наиболее эффективно используют результаты научно-технического прогресса». Из этого факта вытекает наиболее рациональная стратегия для нашей страны - изучать чужие достижения, свои же разработки применять прежде всего для собственных нужд, а также в целесообразном объеме предоставлять зарубежным странам (ср. [19]).
Итог - в одном абзаце.
Мы полагаем, что оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.
Литература
1. АЛЕСКЕРОВ Ф.Т., КАТАЕВА ЕС., ПИСЛЯКОВ ВВ.,
ЯКУБА В.И. Оценка вклада научных работников методом
порогового агрегирования // Управление большими системами. - 2013. - № 44 - С. 172-189.
2. БУТОВ А.А., ВОЛКОВ М.А., МАКАРОВ В.П., ОРЛОВ А.И., ШАРОВ В.Д. Автоматизированная система прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок // Известия Самарского научного центра Российской академии наук. - 2012. - Том 14. - №4(2). - С. 380-385.
3. ВОРОНИН А.А. Какая эффективность нужна российской науке // Управление большими системами. - 2013. - № 44 -С.56-66.
4. ГОРОХОВ В.Г. Проблема измерения продуктивности отдельных ученых и целых институтов // Управление большими системами. - 2013. - № 44 - С. 190-209.
5. ГРАНОВСКИИ Ю.В. Второе пришествие наукометрии в Московский университет // Управление большими системами. - 2013. - № 44 - С. 67-82.
6. ГРИГОРЬЕВ Ю.Д. Некоторые закономерности перехода к западной системой управления вузовской наукой // Управление большими системами. - 2013. - № 44 - С. 83-105.
7. ГРИНЧЕНКО С.Н. Имеет ли решение задача перманентной оценки вклада учёного в науку? // Управление большими системами. - 2013. - № 44 - С. 280-291.
8. ГРИШАНКОВ Д. Вождь лилипутов // Эксперт. - 24 июня 2013 - 1 июля 2013. - №25(856). [Электронный ресурс]. -иЯЬ: http://expert.ru/expert/2013/25/vozhd-liliputov/ (дата обращения: 29.06.2013).
9. ГУСЕЙН-ЗАДЕ С.М. Повесть об ИСТИНЕ // Управление большими системами. - 2013. - № 44 - С. 422-435.
10. ДЕЗА М.М., ДЕЗА Е.И. Несколько замечаний к вопросу об оценке научных публикаций // Управление большими системами. - 2013. - № 44 - С. 362-365.
11. ДЕРБЕНЕВ Н.В., ТОЛЧЕЕВ В О. Что можно улучшить в наукометрическом анализе - учет наличия дубликатов и заимствований в научных публикациях // Управление большими системами. - 2013. - № 44 - С. 366-380.
12. ЖУКОВА И.А. Индексы цитирования: взгляд социолога // Управление большими системами. - 2013. - № 44 - С. 436-452.
13. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: МЦНМО, 2011. - 72 с.
14. КАРА-МУРЗА С.Г. Состояние и перспективы реформирования российской науки // Научный эксперт. - 2013. - №5. -С. 5-46. [Электронный ресурс]. - иЯЪ: http://www.rusrand.ru/text/Jornal5_2013.pdf (дата обращения:
30.06.2013).
15. КУЗНЕЦОВА Ю.М., ОСИПОВ Г.С., ЧУДОВА Н.В. Изучение положения дел в науке с помощью методов интеллектуального анализа текстов // Управление большими системами. - 2013. - № 44 - С. 106-138.
16. ЛЫПАРЬ И.А., КАЦКО И.А., ДАВЫДЕНКО Н.Г. Наукометрия: философские аспекты состояния, пути совершенствования. [Электронный ресурс]. - иЯЪ: http://ubs.mtas.ru/forum/index.php?PAGE_NAME=message& FID=19&TID=723 (дата обращения 29.06.2013).
17. МАРШАКОВА-ШАИКЕВИЧ ИВ. Роль библиометрии в оценке исследовательской активности науки // Управление большими системами. - 2013. - № 44 - С. 210-247.
18. Международный союз математиков предостерегает от
неправильного использования статистики цитирований // Полит.ру/Наука. - 16 июня 2008. [Электронный ресурс]. - иЯЬ: http://www.polit.ru/news/2008/06/16/
та^пю^ (дата обращения: 08.01.2013).
19. МИЛЕК О.В., ШМЕРЛИНГ Д.С. О продвижении университета на международном академическом «рынке» // Управление большими системами. - 2013. - № 44 - С. 139-143.
20. МИРКИН Б.Г. О понятии научного вклада и его измерителях // Управление большими системами. - 2013. - № 44 -С. 292-307.
21. МИХАИЛОВ О.В. Размышления об оценке научной деятельности // Управление большими системами. - 2013. -№ 44 - С. 144-160.
22. МОСКАЛЕВА О.В. Можно ли оценивать труд ученых по
библиометрическим показателям? // Управление большими системами. - 2013. - № 44 - С. 308-331.
23. МОТРОШИЛОВА Н.В. Недоброкачественные сегменты наукометрии // Вестник РАН. - 2011. - №2. - С. 134-146.
24. МОТРОШИЛОВА Н.В. Реальные факторы научноисследовательского труда и измерения цитирования // Управление большими системами. - 2013. - № 44 -С. 453-475.
25. НАЛИМОВ В В., МУЛЬЧЕНКО З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
26. НИЖЕГОРОДЦЕВ Р.М. Монополизация рынков интеллектуальных услуг: борьба с демпингом и неблагоприятный отбор // Методика преподавания экономических дисциплин: Материалы Четырнадцатых Друкеровских чтений /
Под ред. Р.М. Нижегородцева. - М.: ОО «НИПКЦ ВосходА», 2013. - С. 4-26. [Электронный ресурс]. - ИКЬ: http://ubs.mtas.ru/forum/index.php?PAGE_NAME=message&FI D=19&TID=766 (дата обращения: 29.06.2013).
27. НОВИКОВ Д.А., ОРЛОВ А.И. Экспертные оценки - инструменты аналитика // Заводская лаборатория. Диагностика материалов. - 2013. - Т. 79, №4. - С. 3-4.
28. НОВОЧАДОВ В В., ШИРОКИЙ А.А. Как работают наукометрические показатели: выборочное исследование учё-ных-биологов России // Управление большими системами. -2013. - № 44 - С. 476-495.
29. ОРЛОВ А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами. - 2013. - № 44 - С. 32-54.
30. ОРЛОВ А.И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов.
- 2010. - Т. 76, №11. - С. 64-70.
31. ОРЛОВ А.И. Организационно-экономическое моделирование: учебник: в 3 ч. Ч.1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. 2009. - 541 с.; Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана,
2011. - 486 с.; Ч.3. Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. - 624 с.
32. ОРЛОВ А.И. Прикладная статистика. - М.: Экзамен, 2006.
- 671 с.
33. ОРЛОВ А.И. Теория измерений как часть методов анализа
данных: размышления над переводом статьи
П. Ф. Веллемана и Л. Уилкинсона // Социология: методология, методы, математическое моделирование. - 2012. - №35.
- С. 155-174.
34. ОРЛОВ А.И. Теория принятия решений. - М.: Экзамен, 2006. - 576 с.
35. ОРЛОВ А.И. Уникальный сборник о работах ГНПП «Регион» (рецензия на научно-технический сборник (Боеприпасы» № 5-6 за 2007 год) // Научно-технический сборник «Боеприпасы». - 2011. - №6. - С. 144-146.
36. ОРЛОВ А.И., РАУШЕНБАХ Г.В. Метрика подобия: аксиоматическое введение, асимптотическая нормальность // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1986. -С. 148-157.
37. ПОЛЯК Б.Т. Наукометрия: кого мы лечим? // Управление большими системами. - 2013. - № 44 - С. 161-170.
38. ПЛЭТТ В. Информационная работа стратегической разведки. Основные принципы. - М.: ИЛ, 1958. - 341 с.
39. САВЕЛЬЕВА Ю.В., ХОПЕРСКОВ А.В. Научные журналы и эффективность научной работы: поисковые системы и базы данных // Управление большими системами. - 2013. -№ 44 - С. 381-407.
40. Сетевая экспертиза / Под ред. Д.А. Новикова, А.Н. Райкова. - М.: Эгвес, 2010. - 168 с.
41. ТАРАСЕВИЧ Ю.Ю. Наукометрическая информация и ее анализ. [Электронный ресурс]. - URL: http://ubs.mtas.ru/ bitrix/ components/bitrix/ forum. interface/show_file .php?fid=8330 (дата обращения: 29.06.2013).
42. УЛЬЯНОВ М.В. Заметки на наукометрических полях. [Электронный ресурс]. - URL: http://ubs.mtas.ru/forum/ index.php?PAGE_NAME=message&FID= 19&TID=724&MID= 3269#message3269 (дата обращения: 29.06.2013).
43. ФЕЙГЕЛЬМАН М.В., ЦИРЛИНА ГА. Библиометрический азарт как следствие отсутствия научной экспертизы // Управление большими системами. - 2013. - № 44 -С. 332-345.
44. ФРАДКОВ АЛ. Блеск и нищета формальных критериев научной экспертизы // Управление большими системами. -2013. - № 44 - С. 346-360.
45. ХРУЦКИЙ К.С. Трехмерный биокосмологический подход к вопросам развития наукометрии в России. [Электронный ресурс]. - URL: http://ubs.mtas.ru/forum/index.php? PAGE_NAME=message&FID=19&TID=736 (дата обращения:
29.06.2013).
46. ЦЫГАНОВ А.В. Краткое описание наукометрических показателей, основанных на цитируемости // Управление большими системами. - 2013. - № 44 - С. 248-261.
47. ЧЕБОТАРЕВ П.Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами. -2013. - № 44 - С. 14-31.
48. ШТОВБА С.Д., ШТОВБА Е.В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. - 2013. - № 44 -С. 262-278.
49. ЮРЕВИЧ А.В., ЦАПЕНКО И.П. Эффективность отечественной социогуманитарной науки: наукометрический подход // Управление большими системами. - 2013. - № 44 -С. 408-420.
50. ADLER R., EWING J. (CHAIR), TAYLOR P. Citation Statistics // A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08. - [Электронный ресурс]. - URL: http://www.mathunion.org/fileadmin/
IMU/Report/CitationStatistics.pdf (дата обращения:
08.01.2013). Перевод: АДЛЕР Р., ЭВИНГ Дж., ТЕЙЛОР П. Статистики цитирования // Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: МЦНМО, 2011. - С. 6-38. - URL: http://www.mccme.ru/free-books/bibliometric.pdf (дата обращения: 16.06.2013).
51. Global research report - Russia: Research and collaboration in the new geography of science // January, 2010. [Электронный ресурс]. -
URL: http://researchanalytics.thomsonreuters.com/m7pdfs/ grr-russia-jan10.pdf (дата обращения: 02.07.2013).
52. World Social Science Report. - Paris: UNESCO Publishuing, 2010. - 422 р.
Управление большими системами. Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой»
SCIENTOMETRICS AND RESEARCH MANAGEMENT
Alexander Orlov, Bauman Moscow State Technical University, Moscow Institute of Physics and Technology (State University), Volga-Dnepr Group, Moscow, DSc (economics), DSc (technics), PhD (mathematics), professor ([email protected]).
Abstract: Attempts of research activity administration are often based on wrong assumptions and, therefore, do harm to the development of science. This article summarizes the discussion on scientometrics and research management. We provide a critical review and analysis of papers from the Online-conference with minimal involvement of additional information. It has emerged from the discussion that assessment of researchers ’ and organizations ’ activities requires a strict expert examination and public discussion of scientific results. Scientometric indicators calculated on the basis of publications and citations count in scientific journals, can only play a supporting (reference) role.
Key words: science, management, scientometrics, research activities, citations of papers, summarizing the discussion.
Поступила в редакцию 15.07.2013.
Опубликована 31.07.2013.
