CC BY-NC-ND
773
Индекс Хирша в Российском индексе научного цитирования
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова
Болотов Виктор Александрович
академик РАО, профессор, научный руководитель Российского тренингового центра Института управления РАО. Адрес: Москва, 119121, ул. Погодинская, д. 8. E-mail: vikbolotov@yandex.ru Квелидзе-Кузнецова Натела Нодарьевна директор Фундаментальной библиотеки Российского государственного педагогического университета им. А. И. Герцена. Адрес: Санкт-Петербург, 191186, наб. Реки Мойки, д. 48. E-mail: natela@herzen.spb.ru Лаптев Владимир Валентинович академик РАО, профессор, проректор по научной работе Российского государственного педагогического университета им. А. И. Герцена. Адрес: Санкт-Петербург, 191186, наб. Реки Мойки, д. 48. E-mail: laptev@herzen.spb.ru Морозова Светлана Александровна заместитель директора Фундаментальной библиотеки Российского государственного педагогического университета им. А. И. Герцена. Адрес: Санкт-Петербург, 191186, наб. Реки Мойки, д. 48. E-mail: morozova@herzen.spb.ru
Аннотация. Тенденцией последних лет стало включение в состав критериев для рейтингов и мониторингов, в процедуру оценки эффективности вузов и научных организаций наряду с показателями материально-технического обеспечения и образовательной деятельности также количественных измерений исследовательской работы. Анализирует-
ся один из показателей публикационной активности — индекс Хирша как наиболее удачный, с точки зрения авторов, наукометрический индикатор, позволяющий преодолеть многие недостатки оценивания научных достижений на основе простого подсчета количества публикаций или количества цитирований. Обсуждается применение наукометрических платформ Web of Science и Scopus для оценки научной продуктивности российских ученых. Их использование не всегда дает возможность получить корректные и полные данные по двум основным причинам: учет только англоязычных публикаций и традиционно естественно-научная направленность в отборе журналов. Показано, как рассчитывается индекс Хирша в Российском индексе научного цитирования в настоящий момент и каковы перспективы оптимизации показателей в случае обработки уже имеющегося в РИНЦ массива информации и добавления новых данных. На основании проведенного эксперимента — расчета индекса Хирша для трех авторов на платформе РИНЦ — авторы пришли к выводу, что количественные методы оценки науки чаще всего будут не вполне объективны и могут применяться только в комплексе с экспертными оценками. Ключевые слова: наукометрия, Российский индекс научного цитирования, суммарное цитирование, индекс Хирша, эффективность науки, рейтинг вузов.
Статья поступила в редакцию в декабре 2013 г.
http://vo.hse.ru
241
ДИСКУССИЯ
Указ Президента Российской Федерации от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки», высокий удельный вес наукометрических показателей при формировании рейтингов университетов, в мониторингах вузов, ужесточение требований к составу диссертационных и экспертных советов ВАК вывели на официальный государственный уровень проблему, которая активно обсуждалась в России последние десять лет.
Задача увеличения к 2015 г. доли работ российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных Web of Science, до 2,44% и вхождения к 2020 г. пяти российских вузов в топ-100 мировых рейтингов [О мерах по реализации государственной политики...] поставила точку в дискуссии о том, что будет главным в оценке научных исследований.
Рассчитываемые в индексах цитирования показатели научной деятельности будут превалировать над экспертными заключениями. Целые пласты научных достижений уместятся в колонки цифр, озаглавленные: «количество публикаций», «суммарное цитирование», «индекс Хирша», «импакт-фактор». «Именно с целью сравнительной оценки эффективности научной деятельности в разных областях науки крупнейшие наукометрические базы разрабатывают специальные аналитические инструменты. В последнее время в мире все больше и больше начинают использовать такие инструменты при стратегическом планировании науки, при оценке работы отдельных организаций, для принятия решений о выделении финансирования конкретных проектов и организаций» [Москалева, 2012]. Революционные изменения в способах оценки научных достижений в России — один из этапов интеграции российских исследований в общемировой научный процесс, где инструменты наукометрии знакомы каждому исследователю.
Цель данной статьи — показать исследователям, работающим в социально-гуманитарных отраслях науки, как рассчитывается индекс Хирша в Российском индексе научного цитирования (далее РИНЦ) в настоящий момент и каковы перспективы оптимизации показателей в случае обработки уже имеющегося в РИНЦ массива информации или добавления новых данных. Безусловно, представленное исследование и его результаты не претендуют на статус глобальной научной разработки, а являются только элементом не утихающей дискуссии о наукометрических показателях и методах их расчетов. Важно, чтобы обсуждения не сводились только к словам, моделям, экспериментам, исследованиям ради исследований, а становились шагом в решении насущных вопросов и проблем, с которыми сталкиваются российские авторы. Ведь дискуссия «представляет собой серию утверждений, по очереди высказываемых участниками. <...> [Это] одна
242
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
из важнейших форм коммуникации, плодотворный метод решения спорных вопросов и вместе с тем своеобразный способ познания» [Ивин, Никифоров, 1997. С. 90-91].
Не рассматривая подробно истоки наукометрии и историю ее развития, отраженные в сотнях источников только на русском языке, отметим главное. Аналитическая составляющая наукометрии нацелена на триаду изучаемых ею объектов: автор — публикация — журнал (издание). Основные показатели, получаемые в результате исследования массива данных наукометрическими инструментами, делятся на две большие группы: показатели на основе количества публикаций и показатели на основе количества цитирований.
В странах с развитой рыночной экономикой, в особенности в США, где традиционно центрами научных исследований являются университеты, а признание научной значимости деятельности университета означает гарантированный приток перспективных студентов и возможность получения государственной поддержки, на наукометрические данные всегда было направлено пристальное внимание. «По мере того как международные и национальные индексы научного цитирования заработали в „промышленном" режиме, результаты АЦ (анализа цитирования.— Авт.) стали востребованы администраторами науки и руководителями научных фондов как один из инструментов принятия решений относительно их важности в рассматриваемой области исследований» [Бредихин, Кузнецов, Щербакова, 2013. С. 5].
Один из главных показателей, на которые опирается наукометрия,— совокупное (суммарное) цитирование публикаций автора (коллектива авторов, подразделения или организации в целом) — вызывал особое недовольство тех, кто пользовался им в практике оценивания научной продуктивности ученых или научных организаций. Интегральный показатель, рассчитываемый путем простого сложения количества упоминаний того или иного опубликованного исследования, не всегда отражает реальную значимость публикации, поскольку допускает:
От интегральных показателей к индексу Хирша
• возможность спекуляций, «заказных» цитирований;
• самоцитирование (автором самого себя, соавторами друг друга, в журнале — публикаций того же журнала, аспирантами — научного руководителя и т. п.);
•«противоцитирование» (упоминание публикации автора в контексте несогласия с его исследованиями).
«Когда говорят „одна статья цитирует другую", это всего лишь означает, что в списке цитируемой литературы первой статьи содержится вторая статья» [Писляков, 2011]. Суммарный показа-
http://vo.hse.ru
243
ДИСКУССИЯ
тель цитирования отражает востребованность исследования одного ученого среди других ученых, но не дает оценки качества его работы, не отражает новизны представленных результатов. Кроме того, специфика каждой науки определяет свои традиции цитирования публикаций других исследователей и собственных разработок.
Признавая несправедливость применения интегрального показателя цитирования для сравнения продуктивности ученых и научных коллективов, работающих в разных областях науки, исследователи различных направлений вели поиск альтернативного инструмента расчетов, основанного на третьей группе результатов, получаемых при сочетании количества публикаций и количества цитирований. Доказательство тому — существующие на данный момент подходы к расчетам:
• g-индекс [Egghe, 2006]. Для данного множества статей, отсортированного в порядке убывания количества цитирований, которые получили эти статьи, g-индекс — это наибольшее число д самых цитируемых статей, которые получили (суммарно) не менее д2 цитирований;
• ftg-индекс [Alonso et al., 2010]. Комбинируется на основе ft-индекса и д-индекса;
• е-индекс [Zhang, 2009]. Попытка учитывать работы автора, отбрасываемые при расчетах ft-индекса;
• АЯ-индекс [Jin, 2007]. Включает в расчеты упущенный в ft-индекс возраст публикации.
• Этот ряд можно продолжить и методом, совсем недавно предложенным украинскими исследователями: «Новый показатель представляет собой дробную модификацию индекса Хирша. В нем целая часть является обычным индексом Хирша, а дробная показывает, насколько близко автор приблизился к следующему значению индекса Хирша. В соответствии с наукометрическими традициями новый показатель назовем Sft-индекс» [Штовба, Штовба, 2011]. Существует и множество других подобных показателей, фрагментарно используемых в наукометрии, чаще всего при попытке показать несправедливость данных, полученных с помощью других инструментов.
Наиболее удачным в научном сообществе был признан способ оценки, разработанный Хорхе Хиршем, физиком из Калифорнийского университета (Сан-Диего), и он очень быстро нашел применение (наряду с суммарным показателем) в официальных мировых индексах цитирования. Метод был представлен в лаконичной статье An Index to Quantify an Individual’s Scientific Research Output, опубликованной в 2005 г. в Proceedings of the National Academy of Sciences of the United States of America.
244
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
Формула расчета проста: «Пусть N (N > 1) — общее число публикаций некоторого автора. Будем полагать, что этот автор имеет индекс Хирша, равный h, если h из его N научных трудов цитируются как минимум h раз каждый, в то время как оставшиеся (N - h) трудов цитируются не более чем h раз каждый. Иными словами, автор имеет индекс Хирша, равный h, если он опубликовал h трудов, на каждый из которых сослались как минимум h раз» [Бредихин, Кузнецов, 2012. С. 151]. При этом индекс Хирша учитывает и общее число цитирований, и временное распределение исследований, и протяженность во времени признания исследования, выраженные в упоминании в других публикациях. Важно отметить, что h-индекс — это целое число, поэтому его динамика невелика, рост показателя определяется значимой совокупностью факторов.
Одна яркая публикация (возможно, созданная большим коллективом авторов), набравшая сотни цитирований, но не получившая поддержки в ссылках на другие публикации того же автора, не позволит исследователю, имея значительный суммарный показатель цитирования, обладать высоким индексом Хирша. Скорее всего, он будет равняться 1 или 2. Зато h-индекс будет справедливой оценкой научного вклада авторов, имеющих десятки цитирований для десятков своих работ, созданных на протяжении многих лет. h-индекс применим и для оценки деятельности организации в целом. Признанные научным сообществом (посредством многократного цитирования) единичные работы отдельных авторов позволят организации, в которой работают эти исследователи, иметь высокий суммарный показатель цитирования. Но значимый индекс Хирша будет только у тех организаций, где большинство авторов из года в год проводят признаваемые коллегами в мировом научном сообществе исследования, постоянно публикуют их результаты, и эти публикации неизменно упоминаются в исследованиях других ученых.
Таким образом, показатель, предложенный Хиршем, частично ответил на претензии научного мира, но не смог решить всех проблем, в частности не преодолел разрыв в наукометрических показателях между естественно-научными дисциплинами и социально-гуманитарными областями знаний (что является вопросом отдельного исследования, поскольку Хирш и не ставил перед собой такой задачи). «Х. Хирш считал, что применение одной этой количественной меры может дать только грубую аппроксимацию индивидуального профиля ученого, ее следует применять в случае, если дело касается грантов или подтверждения статуса ученого» [Бредихин, Кузнецов, Щербакова, 2013. С. 267].
Опубликованный в 2005-м, индекс Хирша уже к концу десятилетия стал неотъемлемым инструментом двух наиболее признанных мультидисциплинарных индексов цитирования: Web of
http://vo.hse.ru
245
ДИСКУССИЯ
Science (Thomson Reuters)1 и Scopus (Elsevier)2. На этих наукометрических платформах ft-индекс может быть рассчитан для любой группы документов: для публикаций одного автора или группы авторов (за любой период), для отобранного массива статей, для публикаций организации, страны, исследовательской группы. «Предоставление ft-индекса ББД (библиографическими базами данных.—Авт.) в качестве индикатора (менее чем через два года после определения!) является показателем того, что он стал общепринятой мерой академических достижений. На основе ft-индекса определено большое количество новых индексов, предназначенных для преодоления недостатков и использования совместно с ft-индексом. Тем более что в работах ряда авторов высказывается предположение о невозможности использования одномерной метрики в многомерном пространстве библиометрии» [Бредихин, Кузнецов, Щербакова, 2013. С. 269].
И Web of Science, и Scopus однозначно признаны в научном мире. Рассчитываемые с помощью их инструментов показатели используются в мировых рейтингах университетов, в повседневной научной деятельности. Однако применение указанных наукометрических платформ для оценки публикационной активности и научной продуктивности именно российских исследователей не всегда дает корректные (полные) данные по двум основным причинам: в этих индексах цитирования учитываются только англоязычные публикации и отбор журналов традиционно имеет естественно-научную направленность.
Кроме того, многие российские ученые социально-гуманитарного профиля считают данные мировых индексов цитирования и всей наукометрии в целом некорректными, поскольку объектом изучения в данной дисциплине в большинстве случаев является статья в рецензируемом научном журнале. «Специфика историко-филологических наук заключается в том, что они нацелены не только на получение новых знаний, но и на поддержание культурных традиций общества, сохранение и реализацию его культурного наследия. Фундаментальные исследования здесь носят преимущественно монографический характер, одной из важнейших форм научной работы является создание и обновление базовых ресурсов, необходимых для поддержки культуры и гуманитарного знания: академические многотомные словари, издания памятников классической литературы 1 2
1 Web of Knowledge (индекс цитирования и наукометрические инструменты). New York: Thomson Reuters http://isiknowledge.com; Web of Knowledge (информационный портал на русском языке) http://wokinfo. com/russian/
2 SciVerse. Scopus (индекс цитирования). Amsterdam: Elsevier B. V. http:// www.scopus.com; Elsevier (русскоязычный официальный сайт) http:// elsevierscience.ru/products/scopus/
246
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
и фольклора, комментированные публикации исторических источников, древних памятников письменности, каталоги археологических материалов, фундаментальные интернет-ресурсы (например, Национальный корпус русского языка), научные экспедиции, справочные и картографические издания, научные отчеты об экспедиционной деятельности» [ОИФН РАН, 2013].
Этот аргумент относится и к социальным наукам, в частности к исследованиям в сфере образования, где к монографическим работам добавляются методические публикации.
Содержательным ответом на этот и ряд других вопросов должен был стать национальный индекс научного цитирования. Подобные индексы создаются, в том числе, и в странах, где алфавит отличается от английского. Это страны, использующие иероглифы, кириллицу. И такой индекс был создан по государственному заказу Министерства образования и науки РФ. Старт проекту был дан в 2005 г., а официально и полнофункционально Российский индекс научного цитирования (далее РИНЦ) вступил в действие в 2010 г. Именно с этого момента данные публикационной активности, получаемые с помощью РИНЦ, нашли свое место в отчетных документах Минобрнауки, в рейтинговых и мониторинговых показателях, в грантовой деятельности.
Первоначально контент РИНЦ составляли российские научные журналы и статьи, опубликованные в них. Это журналы из «Перечня российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук», а также научные периодические издания, передаваемые на платформу Научной электронной библиотеки E-Library (контент которой и используется в РИНЦ для индексирования и расчетов) по договору с Научной электронной библиотекой (НЭБ) самими издателями. Позднее в E-Library были добавлены рефераты статей российских авторов из Scopus. «Это более 500 тыс. библиографических записей о публикациях в зарубежных журналах с участием хотя бы одного российского автора и свыше 1 млн статей, которые цитируют эти произведения. Глубина архива заимствованных данных из базы Scopus превышает 15 лет — с 1996 г. по настоящее время. <...> По соглашению с производителями Web of Knowledge в онлайновом режиме для каждой статьи в РИНЦ отображаются показатели ее цитирования в Web of Science (WoS), разумеется, в случае наличия этого произведения в самой WoS» [Арефьев, Еременко, Глухов, 2012. С. 67]. Безусловно, проблемы авторов из сферы социально-гуманитарных наук таким образом решить не удалось, поскольку индексируемый контент вновь ограничивался журналами, а публикации из мировых индексов цитирования повысили показатели иссле-
Российский индекс научного цитирования
http://vo.hse.ru
247
ДИСКУССИЯ
дователей, работающих в естественно-научных дисциплинах, добавив им данные, которые они и так отражали в своих показателях, используя инструменты Scopus и Web of Science.
Следуя запросам российских исследователей, НЭБ-РИНЦ в 2011-2013 гг. добавил в свою базу библиографические описания авторефератов и диссертаций (за последние 10 лет), а также книжных изданий (монографий, учебников, сборников статей, материалов конференций). Оба массива — из каталога Российской государственной библиотеки (РГБ). Издательствам была предоставлена возможность по договору с НЭБ передавать в РИНЦ структурированную информацию о любых видах изданий. Цитируемые в статьях, размещенных в Научной электронной библиотеке, любые виды публикаций автора также «переносятся» и в раздел публикаций автора.
На данный момент контент РИНЦ составляют [Еременко]:
• статьи из более чем 3500 российских научных журналов (с 2006 г.), НЭБ, 2,8 млн;
• статьи российских ученых из Scopus (с 1996 г.), Elsevier, 680 тыс.;
• диссертации (с 1983 г.), РГБ, 780 тыс.;
• монографии, сборники статей (с 2003 г.), РГБ, 700 тыс.;
• патенты (с 1994 г.), Федеральный институт промышленной собственности, 500 тыс.;
• отчеты по госконтрактам Федеральных целевых научно-технических программ (с 2007 г.), Министерство образования и науки, 3 тыс.;
• публикации разных типов, добавленные организациями, НЭБ, 100 тыс.
«Всего в РИНЦ более 5,7 млн публикаций российских ученых. Каждый день добавляется около 3 тыс. новых публикаций» [Там же].
Таким образом, часть проблем российских авторов была разрешена. Большие массивы добавленной информации повлияли на линейные показатели исследователей — суммарное число публикаций и суммарное число цитирований. «Особенно полезной оказалась роль РИНЦ — я думаю, что уже оказалась и еще окажется,— в плане повышения нашей внутренней видимости журналов по общественным наукам. Потому что раньше, кроме <...> девяти журналов в Scopus, просто нигде наша наука не была доступна. Что касается естественных наук, они уже как-то были, но в общественных науках очень серьезный скачок — появление нашего индекса» [Писляков, 2011].
Большие массивы добавленной информации повлияли и на данные по индексу Хирша. К некорректности в подавляющем числе случаев полученных результатов h-индекса можно было бы отнестись терпимо, списав их на период становления
248
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
и корректировки РИНЦ, если бы указанный числовой показатель не стал частью официальных документов, влияющих на научную деятельность. «Индекс Хирша относится к тем наукометрическим показателям, которые в последнее время (кроме общего количества опубликованных работ и общего числа цитирований) стали рассматриваться как некоторые критерии качества научной (или диссертационной) работы, приобретать все большее значение, особенно в связи с различными проверочными мероприятиями, проводимыми Министерством образования и науки РФ, учитываться при математическом моделировании систем менеджмента качества, для обеспечения социальной мотивации, применения принципов социального партнерства в сфере труда, улучшения качества трудовой жизни преподавателей и управления организационной культурой вузов» [Назаренко, 2013. С. 149].
Проблематика использования ft-индекса находит свое отражение в публикациях отечественных исследователей. По данным Научной электронной библиотеки E-Library, за последние пять лет в российских научных журналах было опубликовано около 200 исследований, обзоров, заметок, рассматривающих ft-индекс. В количественном отношении выделяются статьи М. А. Назаренко (Московский государственный институт радиотехники, электроники и автоматики, филиал в г. Дубна), представляющие российским читателям вводную информацию о ft-индексе и обзор исследований. Большое количество исследований посвящено применению индекса Хирша при оценке деятельности авторов отдельного университета или научной организации. Здесь можно отметить статьи О. В. Михайлова и Т. И. Михайловой из Казанского технологического института [Михайлов, Михайлова, 2010; 2011; Михайлов, 2013]. Проводятся отраслевые исследования, например применение индекса Хирша в области биологии отражено в работах Ю. В. Мохначевой, Т. Н. Харыбиной [2013а; 2013б]. Немало внимания уделено ft-индексу в публикациях авторитетных специалистов в практическом применении наукометрических показателей в российской научной среде: В. В. Пислякова, О. В. Москалевой, Ю. В. Грановского, П. Г. Арефьева. Важное место отводится индексу Хирша в статьях создателей РИНЦ Г. О. Еременко и В. А. Глухова. Подробный анализ ft-индекса и его применения можно найти в публикациях и выступлениях на научно-практических конференциях сотрудников российских представительств мировых индексов цитирования Web of Science (П. Е. Касьянов, О. Г. Уткин, С. В. Парамонов, В. Г. Богоров) и Scopus (В. А. Соболев, Г. П. Якшонок). Значительное внимание наукометрическим параметрам и расчетам индекса Хирша уделяется в работах руководителей и сотрудников Национального электронно-информационного консорциума (НЭИКОН), многолетнего исполните-
Индекс Хирша и Российский индекс научного цитирования в русскоязычных исследованиях
http://vo.hse.ru
249
ДИСКУССИЯ
ля по государственным контрактам Министерства образования и науки РФ в области обеспечения науки и образования электронной научной информацией (А. Ю. Кузнецов, И. К. Разумова, Е. М. Полникова и др.).
Указанные исследования зачастую основываются на массиве публикаций РИНЦ и произведенных расчетах, принятых «как есть», с той лишь оговоркой, что данные РИНЦ могут не отражать публикационную ситуацию полностью. Так, О. В. Михайлов и Т. И. Михайлова пишут: «Показатели среднестатистического исследователя нашего университета „по Хиршу“, откровенно говоря, не впечатляют. <...> А про сравнение с ведущими вузами мира и говорить-то неудобно» [Михайлов, Михайлова, 2011.
С. 341]. Но авторы не упоминают о том, что показатель индекса Хирша в РИНЦ в настоящий момент может неверно отражать реальную публикационную активность отдельно взятого автора.
Зачастую в русскоязычных наукометрических исследованиях авторы предпочитают обращаться к инструментам мировых индексов цитирования, тогда как российские исследователи, особенно в социально-гуманитарной сфере, ждут ответов на вопросы, связанные с РИНЦ и его показателями, которые являются весомой частью отчетных, конкурсных, рейтинговых, грантовых документов Министерства образования и науки, других официальных организаций. Так, на двух конференциях, организованных НЭБ-РИНЦ в 2013 г., кроме самих сотрудников Научной электронной библиотеки, о практическом применении РИНЦ упоминали выступающие в пяти (Science Online, май 2013 г.) и в двух (Science Index, декабрь 2013 г.) докладах, тогда как данные мировых индексов цитирования использовались в восемнадцати и шести докладах соответственноз.
А.И. Орлов после рассмотрения ряда собственных показателей в РИНЦ сформулировал вопрос так: «Для достижения адекватности приводимых библиографических описаний и наукометрических показателей нужно править информацию строчку за строчкой на основе предварительного изучения свойств наукометрических баз данных. Стоит ли тратить на это время?» [Орлов, 2013. С. 40]. Именно желание ответить на него и послужило основанием для проведенного нами исследования.
Анализ расчета индекса Хирша в Российском индексе научного цитирования
С целью обоснования проблемы, выдвигаемой авторами данной статьи в качестве дискуссионной, рассмотрим примеры применения Л-индекса в национальном индексе цитирования. 3
3 Science Online (электронные ресурсы для науки и образования: материалы международных конференций) http://elibrary.ru/project_ scienceonline.asp
250
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
Методический подход заимствован из исследования, рассматривающего применение индекса Хирша при построении рейтингов [Алескеров и др., 2012]. Расчет осуществлялся следующим образом: «Алгоритм вычисления индекса Хирша весьма прост: ранжируем все статьи данного автора (организации) в порядке убывания цитируемости и отбираем статьи с начала списка до тех пор, пока не подходим к статье с цитированием, меньшим порядкового номера этой статьи. Число предшествующих статей и есть индекс Хирша» [Бедный, Сорокин, 2012. С. 26].
Для понимания особенностей расчета индекса Хирша в РИНЦ необходимо иметь в виду следующие сведения о функционировании данного индекса научного цитирования.
• В РИНЦ расчеты индекса Хирша производятся только по тому массиву информации, который загружен на платформу Научной электронной библиотеки и верифицирован, т. е. из суммарного числа публикаций автора учитываются только те, библиографические описания которых размещены в НЭБ-РИНЦ.
• В число верифицированных публикаций попадают также и «найденные в списках литературы»4. Критерии отбора публикаций из списков использованных источников неясны. На сайте РИНЦ они не обосновываются, из ответа службы поддержки пользователей РИНЦ следует, что они отбираются по качеству описания ссылки. Однако среди публикаций, попавших из списков литературы в список публикаций автора, встречаются неполные, не отличающиеся точностью библиографические описания, а с другой стороны, грамотно с библиографической точки зрения оформленные ссылки нередко так и остаются только в списках ссылок на работы автора.
• Аналитическая надстройка «Science Index. Организация», в полноформатном режиме анонсированная и представленная в 2013 г., дает возможность ответственным представителям организаций дополнять и редактировать информацию о публикациях авторов из своих организаций, поэтому приведенные ниже расчеты в настоящее время уже не являются абстрактными, и достижение полученных в результате эксперимента данных возможно путем корректировки массивов библиографической информации.
• Расчет индекса Хирша в РИНЦ основывается на выборочном (неполном) использовании библиографических данных даже из отраженных на платформе НЭБ-РИНЦ (и принципы их отбора не всегда однозначно определены), не говоря уже об отсутствующих. Поэтому в состав референтной группы для
4 Российский индекс научного цитирования http://elibrary.ru/project_risc. asp.
http://vo.hse.ru
251
ДИСКУССИЯ
исследования отбирались авторы, имеющие количество публикаций и цитирований, измеряющееся не единицами, а десятками или сотнями.
Для проведения эксперимента были выбраны три автора, являющиеся сотрудниками Российского государственного педагогического университета им. А. И. Герцена (Санкт-Петербург). При отборе использовались следующие критерии:
• все авторы имеют звание профессора, работают в настоящий момент, имеют солидный публикационный стаж, продолжают активно публиковаться и цитироваться;
• каждый автор представляет одну из трех научных сфер: естественные науки, педагогические науки, гуманитарные науки. Российские авторы социально-гуманитарных областей знания слабо отражены в мировых индексах цитирования, РИНЦ должен был нивелировать это неравенство, максимально полно представляя публикации из всех отраслей знания;
• авторы были отобраны по сходству публикационных показателей: количество публикаций — от 30 до 70, количество цитирований — от 300 до 400. Таким образом, все три автора при начале расчетов имели по этим двум линейным показателям одинаковые (с поправкой на публикационные традиции той или иной науки) позиции.
Мы не называем фамилии авторов, но все представленные числовые данные полностью соответствуют их показателям в РИНЦ в настоящий момент.
Перед началом эксперимента мы предположили, что при расчете индекса Хирша в РИНЦ принимается во внимание только часть представленных на платформе библиографических данных (публикаций и цитирований). Не участвуют в расчетах:
• данные о публикациях автора, имеющихся в пристатейных списках литературы, но не попавших в список публикаций автора;
• цитирования публикаций автора, при автоматической обработке массива данных не сопоставленные с библиографическим описанием публикации в профиле автора, хотя при «ручной» механической обработке данных они представляются сопоставимыми и не содержат критических ошибок, не позволяющих сопоставить описание в списке использованной литературы цитирующей статьи с описанием публикации в списке публикаций автора (все цитирования, которые имеют критические ошибки, не соответствуют стандартам библиографических ссылок, будут исключены из расчетов и выделены в отдельный массив).
252
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
Без использования автоматических средств обработки данных были произведены следующие действия:
• профили авторов перед началом эксперимента были отредактированы: все «непривязанные» (терминология РИНЦ) публикации и ссылки были «привязаны», не принадлежащие авторам публикации удалены из профиля;
• проанализирован массив публикаций и цитирований каждого из трех выбранных авторов;
• проведено сопоставление представленных на платформе НЭБ-РИНЦ сведений о публикациях и цитированиях;
• выявлен полный перечень представленных на платформе публикаций и цитирований;
• сделаны предположения о потенциально возможном количестве публикаций и цитирований каждого автора с учетом всех анализируемых сведений, представленных в РИНЦ;
• выдвинута гипотеза о возможном для каждого автора индексе Хирша в случае, если бы расчеты проводились по всему массиву данных.
В табл. 1 представлены данные, отраженные в профилях авторов в РИНЦ, на начало исследования.
В табл. 2 представлены результаты, полученные после механического сопоставления данных для анализируемых авторов.
Обращает на себя внимание разница «стартовых» показателей рассматриваемых авторов (табл. 1): в профиле автора, работающего в сфере естественных наук, до механического сопоставления данных было больше описаний публикаций, взятых из списков цитируемой литературы (для автора А это двадцать описаний, для авторов Б и В — по два). Добавление большего числа публикаций из списков цитируемой литературы (соответственно и появление большего числа связок «публикации — цитирования» у автора А) повлияло и на расчет индекса Хирша. До начала эксперимента (это положение, которое существует в РИНЦ сейчас) для авторов А, Б, В в расчетах индекса Хирша участвовали публикации — цитирования: 26-87, 13-30, 6-7 соответственно. При сопоставлении всех цитирований, уже существующих в профиле публикаций автора, эти же показатели стали: 26-261, 13-97, 6-24.
В ходе анализа данных о цитированиях авторов были обнаружены публикации, содержащие все ключевые сегменты библиографического описания и не имеющие критических ошибок, которые бы делали невозможным их выявление с помощью алгоритмов автоматической обработки данных. Таким образом, если до проведения механического сопоставления данных показатель «число публикаций автора с учетом статей, найденных в списках литературы» у авторов А, Б и В составлял соответственно 35, 65 и 30, то после механического сопоставления — 79, 105 и 84.
http://vo.hse.ru
253
ДИСКУССИЯ
Таблица 1
Автор А Автор Б Автор В
Показатель (естественные (педагогиче- (гуманитарные
науки) ские науки) науки)
Число публикаций автора в РИНЦ 15 63 28
Число публикаций автора с учетом статей, найденных в списках 35 65 30
литературы
Число цитирований публикаций автора в РИНЦ 26 24 5
Число цитирований публикаций автора с учетом статей, найденных 87 30 7
в списках литературы
Суммарное число цитирований автора 359 309 383
Индекс Хирша 5 3 1
Процитированные публикации, 1-15 1-5 1-2
учтенные в расчете индекса Хирша 1-11 1-4 5-1
(публикаций — цитирований, 1-8 6-2
ранжирование от большего числа 1-7 5-1*
цитирований к меньшему, группи- 1-6
ровка совпадающих по количеству 1-4
цитирований публикаций) 5-3
6-2
9-1
Количество публикаций, процитированных один и более раз 26 13 6
Количество публикаций с показателем цитирования 0 9 51 23
* У автора сумма данных в этом разделе не совпадает с данными в разделе «Число цитирований публикаций автора с учетом статей, найденных в списках литературы», как это должно быть. Все цифры взяты из РИНЦ. Возможно, это связано с не произведенным в момент исследования перерасчетом данных на платформе РИНЦ.
Были выявлены ссылки на работы авторов, которые имеют критические ошибки в описании или не содержат ключевых сегментов библиографического описания (название публикации, год, название источника). Для автора А найдены 24 такие ссылки, для автора Б — 30 ссылок, для автора В — 36 ссылок. Эти ссылки действительно не могут быть точно обработаны автоматическим методом, но вполне могут быть идентифицированы с цитируемой публикацией путем «ручной» обработки данных с помощью инструментов модуля «Science Index. Организация».
После сопоставления всех данных в разделах «Список публикаций автора» и «Список ссылок на работы автора» был определен следующий массив данных (все корректные описания ссылок на работы автора, ранее не отраженные в списке публикаций авто-
254
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
Таблица 2
Автор А Автор Б Автор В
Показатель (естественные (педагогиче- (гуманитарные
науки) ские науки) науки)
Число публикаций автора с учетом 79 105 84
статей, найденных в списках
литературы
Число цитирований тех публикаций автора, которые до эксперимента были приписаны к профилю автора* в случае, если бы с ними были сопоставлены все их цитирования из «Списка ссылок на работы автора» (в скобках показатель, рассчитанный в РИНЦ в настоящий момент) 261 (87) 97 (30) 24 (7)
Число цитирований публикаций 335 279 357
автора с учетом статей, найденных
в списках литературы
Число цитирований с ошибками в ключевых сегментах библиографического описания (название публикации, год издания, название источника), не позволяющими достоверно сопоставить их с публикацией автора 24 30 26
Суммарное число цитирований автора** 359 309 383
Индекс Хирша 10 9 9
Процитированные публикации, 1-53 1-34 1-154
учтенные в расчете индекса Хирша 1-33 1-21 1-34
(публикаций — цитирований, 1-19 1-19 1-18
ранжирование от большего числа 3-15 2-13 1-12
цитирований к меньшему, группи- 2-14 1-12 1-11
ровка совпадающих по количеству 1-13 1-11 2-10
цитирований публикаций) 3-10 1-10 1-9
2-8 1-9 1-8
2-7 4-8 2-5
2-6 3-6 2-4
2-5 3-5 5-3
4-4 2-4 13-2
12-3 7-3 32-1
12-2 11-2
23-1 21-1
Количество публикаций с показателем цитирования 0 8 45 21
* Число публикаций автора с учетом статей, найденных в списках литературы.
** Суммарное число цитирований остается прежним, поскольку оно учитывает и ссылки с точным описанием, и ссылки с ошибками в ключевых сегментах библиографического описания.
http://vo.hse.ru
255
ДИСКУССИЯ
ра, в данном расчете определены как публикации), на основании которого может производиться расчет индекса Хирша: для автора А — 79 публикаций, 335 цитирований, для автора Б — 105 публикаций, 279 цитирований, для автора В — 84 публикации, 357 цитирований.
При использовании алгоритма вычисления, приведенного выше (ранжирование по числу цитирований в порядке убывания приведено в табл. 2), мы получили следующие показатели индекса Хирша: автор А—10 (было 5, увеличение в 2 раза), автор Б — 9 (было 3, увеличение в 3 раза), автор В — 9 (было 1, увеличение в 9 раз).
Полученные показатели могут быть выше, если при механической обработке данных будут внесены изменения в ссылки, содержащие ошибки в ключевых сегментах описания, а также добавлены данные, ранее не индексировавшиеся в РИНЦ (при условии, что добавление новых данных о публикациях будет сопровождаться внесением в E-Library данных о ссылках на эти публикации).
Выводы Разница в показателях авторов естественно-научных и социально-гуманитарных отраслей знания, отражаемая в РИНЦ сейчас, связана не только с особенностями публикационной активности и культуры цитирования в разных сферах науки, но и с разными результатами обработки информации в РИНЦ. Можно предположить, что она обусловлена различиями в структурированности данных при загрузке информации из Scopus (откуда в РИНЦ пришли в основном данные о публикациях авторов — представителей естественных наук) и из других источников. Это предположение основывается на том, что у автора А в списке его публикаций в РИНЦ мы находим 6 публикаций из Scopus, которые совокупно имеют 24 цитирования. У авторов Б и В публикаций, индексируемых в Scopus, нет. Тот факт, что в профиль автора А попало больше публикаций, «извлеченных из списков литературы», возможно, объясняется тем, что все эти ссылки — из академических журналов со строгими требованиями к оформлению, поэтому точность их обработки с помощью алгоритмов выше.
Сравнивая большие группы авторов на примере РГПУ им. А. И. Герцена (показатели взяты из «Science Index. Организация»), мы установили, что индекс Хирша для факультетов естественно-научного профиля находится в диапазоне от 8 до 21, для факультетов педагогического образования — от 5 до 14, для гуманитарных — от 4 до 9. Применение методов механической обработки данных может нивелировать эти расхождения.
В отличие от мировых индексов цитирования создатели РИНЦ пошли по пути включения в список публикаций автора его работ, найденных в списках ссылок (в Web of Science, например, ссылки на публикации, не индексируемые в данном индексе ци-
256
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
тирования, можно найти только с помощью инструмента Cited Reference Search, при этом лишь цитируемые, а не индексированные ранее публикации в список публикаций автора не добавляются), но эта работа не завершена, а критерии, по которым информация из ссылок попала или не попала в список публикаций автора, не всегда ясны.
Внедрение аналитического инструмента «Science Index. Организация» было верным решением создателей НЭБ-РИНЦ. Именно с помощью предлагаемых средств можно все гипотетические расчеты, представленные в проведенном нами эксперименте, воплотить в реальность, уравняв таким образом шансы авторов представлять в официальных документах достоверные данные о своей публикационной активности.
Модуль «Science Index. Организация» реализуется на коммерческой основе в виде ежегодной подписки. Суть инструмента заключается в том, что осуществление части операций, проводимых «в ручном режиме», передается организациям. Официальный представитель организации имеет возможность редактировать и верифицировать уже представленные на платформе НЭБ-РИНЦ библиографические описания (например, найденные в списках цитируемой литературы), после чего данные описания приобретают статус официально размещенных в НЭБ-РИНЦ, и эти публикации автоматически будут учитываться при расчете индекса Хирша для данного автора. Кроме того, представитель организации может добавлять библиографические описания тех публикаций, сведений о которых ранее в НЭБ-РИНЦ не было. Достоверность сведений, добавляемых официальным представителем организации, гарантирует организация; внесенная информация верифицируется оператором РИНЦ.
Автоматическая обработка данных неизбежно порождает ошибки в наукометрических платформах. Это касается как мировых индексов цитирования, где зачастую отобранные массивы данных приходится дообрабатывать «вручную» для получения достоверных сведений, использовать сервисы Feedback для сообщения об ошибках в службу технической поддержки, так и РИНЦ. «Бюджет проекта РИНЦ не позволяет проводить весь цикл обработки поступающей информации операторами в ручном режиме. Поэтому такие операции, как разбор ссылок или привязка публикаций и ссылок к авторам, организациям и журналам, производятся в РИНЦ в автоматическом режиме. Естественно, что далеко не все записи удается точно разобрать, особенно учитывая низкую культуру оформления списков цитируемой литературы в большинстве российских журналов»5. 5
5 Российский индекс научного цитирования http://elibrary.ru/project_ risc.asp.
http://vo.hse.ru
257
ДИСКУССИЯ
Литература
РИНЦ — молодой индекс цитирования. В отличие от мировых наукометрических платформ, он является открытым и общедоступным, и эти свойства ресурса оказывают значительное влияние на динамику происходящих в нем изменений. Уже сделанное на данной наукометрической платформе позволяет надеяться на скорое решение многих из перечисленных в данной статье проблем.
Резюмируя сказанное, необходимо отметить, что количественные методы оценки науки чаще всего будут не в полной мере объективны, в том числе и индекс Хирша. Количественные показатели не должны стать единственным критерием оценки науки. «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую он оценивает, а стремление любой ценой увеличить этот показатель», — отмечает академик РАН А. Н. Паршин6.
Только совокупность методов, которая включает независимую экспертную оценку, наукометрические показатели, разделение показателей для разных отраслей знания, привлечение ученых к обсуждению каждого нового метода оценки, апробирование и проверку того или иного подхода, развитие эффективных инструментов оценки (таких как РИНЦ) не как разовых проектов, а как постоянно поддерживаемых и финансируемых инструментов многоплановой оценки науки, можно назвать объективным подходом к оцениванию научной деятельности, учитывающим полярность мнений и недочеты каждого из методов в отдельности.
1. Алескеров Ф. Т., Катаева Е. С., Писляков В. В., Якуба В. И. Оценка вклада научных работников методом порогового агрегирования // Управление большими системами: сб. тр. 2013. № 44. С. 172-189.
2. Арефьев П. Г., Еременко Г. О., Глухов В. А. Российский индекс научного цитирования — инструмент для анализа науки // Библиосфера. 2012. № 5. С. 66-71.
3. Бедный Б. И., Сорокин Ю. М. О показателях научного цитирования и методах их применения // Высшее образование в России. 2012. № 3. С. 17-28.
4. Бредихин С. В., Кузнецов А. Ю., Щербакова Н. Г. Анализ цитирования в библиометрии. Новосибирск; М.: ИВМиМГ СО РАН; НЭИКОН, 2013.
5. Бредихин С. В., Кузнецов А. Ю. Методы библиометрии и рынок электронной научной периодики. Новосибирск: ИВМиМГ; НЭИКОН, 2012.
6. Еременко Г. О. РИНЦ и SCIENCE INDEX: новые возможности для авторов, издателей и научных организаций http://elibrary.ru/projects/ science_index/conf/2013/presentations/eremenko.pdf
7. Ивин А. А., Никифоров А. Л. Словарь по логике. М.: Туманит; ВЛАДОС, 1997.
8. Михайлов О. В. Размышления об оценке научной деятельности / Управление большими системами: сб. тр. 2013. № 44. С. 144-160.
6 Поверить цифрами науку http://www.gazeta.ru/science/2013/11/11_a 5745593.shtml
258
Вопросы образования. 2014. № 1
В. А. Болотов, Н. Н. Квелидзе-Кузнецова, В. В. Лаптев, С. А. Морозова |
Индекс Хирша в Российском индексе научного цитирования l_£J
9. Михайлов О. В., Михайлова Т. И. Индекс Хирша в оценке деятельности ученого в национальном исследовательском университете // Вестник Казанского технологического университета. 2010. № 11. С. 485-487.
10. Михайлов О. В., Михайлова Т. И. «Хиршеметрия» в Казанском национальном исследовательском технологическом университете //Вестник Казанского технологического университета. 2011. № 18. С. 338-341.
11. Москалева О. В. Поверить индексом науку: лекции. М., 2012 http:// www.gazeta.ru/science/2012/12/19_a_4896245.shtml
12. Мохначева Ю. В., Харыбина Т. Н. Научная продуктивность российских ученых в области биологии, наук об окружающей среде и экологии в период 2002-2011 гг. по базе данных Web of Science // Информационные ресурсы России. 2013а. № 2 (132). С. 7-13.
13. Мохначева Ю. В., Харыбина Т. Н. Публикационная активность российских ученых в области биологии, наук об окружающей среде и экологии в 2002-2011 гг. // Вестник Российской академии наук. 2013б. Т. 83. № 10. С. 867.
14. Назаренко М. А. Индекс Хирша лидеров Российского индекса научного цитирования по числу публикаций // Международный журнал прикладных и фундаментальных исследований. 2013. № 6. С. 149-150.
15. ОИФН РАН. Об оценке научной деятельности институтов гуманитарного профиля: Постановление бюро отделения историко-филологических наук Российской Академии наук. М., 2013 http://www.saveras. ru/archives/3691
16. О мерах по реализации государственной политики в области образования и науки. Указ Президента Российской Федерации от 7 мая 2012 г. № 599 // Российская газета. 2012. 9 мая http://www.rg.ru/2012/05/09/ nauka-dok.html
17. Орлов А. И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами: сб. тр. 2013. № 44. С. 32-54.
18. Писляков В. В. Наука через призму статей: публичные лекции Полит.ру. М., 2011 http://polit.ru/article/2011/12/21/pislyakov_2011/
19. Штовба С. Д., Штовба Е. В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами: сб. тр. 2013. № 44. С. 262-278.
20. Штовба С. Д., Штовба Е. В. Sh-индекс — новая дробная модификация индекса Хирша // Научные труды Винницкого национального технического университета. 2011. № 3 http://archive.nbuv.gov.ua/e-joumals/ VNTU/2011_3/2011-3_ru.files/ru/11sdsmoh_ru.pdf
21. Alonso S., Cabrerizo F., Herrera-Viedma E., Herrera F. (2010) Hg-Index: A New Index to Characterize the Scientific Output of Researchers Based on the Hand G-Indices // Scientometrics. Vol. 82. No. 2. P. 91-400.
22. Egghe L. (2006) An Improvement of the H-Index: The G-Index // ISSI Newsletter. No. 2 (1). P. 8-9.
23. Hirsch J. E. (2005) An Index to Quantify an Individual's Scientific Research Output // Proceedings of the National Academy of Sciences of the United States of America. Vol. 15. P. 16569-16572 http://arxiv.org/abs/ physics/0508025.
24. Jin B. H. (2007) The AR-Index: Complementing the H-Index//ISSI Newsletter. Vol. 3. No. 1. P. 6 http://sci2s.ugr.es/hindex/pdf/Jin2007.pdf.
25. Zhang C.-T. (2009) The E-Index, Complementing the H-Index for Excess Citations // PLoS ONE. Vol. 4. No. 5 http://www.plosone.org/article/info% 3Adoi%2F10.1371%2Fjournal.pone.0005429
http://vo.hse.ru
259
En
DISCUSION
The h-Index in the Russian Science Citation Index
Viktor Bolotov
Director of Research and Development, The Russian Training Center, Institute for Educational Management, Russian Academy of Sciences. Address: 8 Pogodin-skaya str., Moscow, 119121, Russian Federation. E-mail: vikbolotov@yandex.ru
Natela Kvelidze-Kuznetsova
CEO, The Fundamental Library, Herzen State Pedagogical University of Russia. Address: 48 Naberezhnaya reki Moyki, St. Petersburg, 191186,
Russian Federation. E-mail: natela@herzen.spb.ru
Vladimir Laptev
Full Member of the Russian Academy of Sciences, Professor, Pro-rector for research, The Herzen State Pedagogical University of Russia. Address: 48 Naberezhnaya reki Moyki, St. Petersburg, 191186, Russian Federation.
E-mail: laptev@herzen.spb.ru
Svetlana Morozova
Deputy CEO, The Fundamental Library, Herzen State Pedagogical University of Russia. Address: 48 Naberezhnaya reki Moyki, St. Petersburg, 191186, Russian Federation. E-mail: morozova@herzen.spb.ru
Abstract The recent years have witnessed using numerical measurements of research work, apart from the indicator of financial and administrative support and that of educational activities, as a rating and monitoring criterion in assessing performance of higher education institutions and scientific organizations. Assessment of research performance through calculations is unfamiliar to the Russian academic community and is often misunderstood or even rejected. The authors analyze the h-index, an index of published work productivity, considering it to be the most appropriate scientometric indicator that allows to smooth over many drawbacks of assessing research achievements by mere calculation of the number of published works or citations. The authors also discuss using Web of Science and Scopus scientometric platforms to assess research productivity of Russian scientists. There are two reasons why using them sometimes provides information that is imprecise or incomplete: a) only works published in English are taken into account, and b) mostly natural science journals are selected. The paper demonstrates how the h-index is currently calculated in the Russian Science Citation Index and how the indices can be optimized after processing the existing RSCI data files and adding new data. Based on the experiment of calculating the h-index for three authors on the RSCI platform, the authors of the paper have come to the conclusion that quantitative research assessment techniques will most often be non-objective and may only be applied together with expert opinions.
Key words scientometrics, Russian Science Citation Index, total citations, h-index, science efficiency, rating of higher education institutions.
References Aleskerov F., Katayeva Y., Pislyakov V., Yakuba V. (2013) Otsenka vklada nauch-nykh rabotnikov metodom porogovogo agregirovaniya [Using the Threshold Aggregation Method to Assess Researchers' Contributions]. Large-Scale Systems Control: A Collection of Oeuvres, no 44, pp. 172-189.
Alonso S., Cabrerizo F., Herrera-Viedma E., Herrera F. (2010) Hg-Index: A New Index to Characterize the Scientific Output of Researchers Based on the Hand G-Indices. Scientometrics, vol. 82, no 2, pp. 91-400.
260
Educational Studies. 2014. No. 1
DISCUSION
En
Arefyev P., Yeremenko G., Glukhov V. (2012) Rossiyskiy indeks nauchnogo tsiti-rovaniya — instrument dlya analiza nauki [The Russian Science Citation Index as a Science Analysis Instrument]. Bibliosfera, no 5, pp. 66-71.
Bedny B., Sorokin Y. (2012) O pokazatelyakh nauchnogo tsitirovaniya i metoda-kh ikh primeneniya [On Scientific Citation Indices and Methods of Their Application]. Vysshee obrazovanie v Rossii, no 3, pp. 17-28.
Bredikhin S., Kuznetsov A., Shcherbakova N. (2013) Analiz tsitirovaniya v bib-liometrii [Citation Analysis in Bibliometrics]. Novosibirsk; Moscow: Institute of Computational Mathematics and Mathematical Geophysics SB RAS; NEICON.
Bredikhin S., Kuznetsov A. (2012) Metody bibliometrii i rynok elektronnoy nauch-noy periodiki [Bibliometric Methods and the Electronic Marketplace of Scientific Periodicals]. Novosibirsk: Institute of Computational Mathematics and Mathematical Geophysics SB RAS; NEICON.
Bureau of the History and Philology Department, Russian academy of Sciences (2013) Ob otsenke nauchnoy deyatelnosti institutov gumanitarnogo profi-lya [On Assessing Research Activities of Humanities Institutes]. Available at: http://www.saveras.ru/archives/3691 (accessed 30 January 2014).
Egghe L. (2006) An Improvement of the H-Index: The G-Index. ISSI Newsletter, no 2 (1), pp. 8-9.
Hirsch J. E. (2005) An Index to Quantify an Individual's Scientific Research Output. Proceedings of the National Academy of Sciences of the United States of America, vol. 15, pp. 16569-16572. Available at: http://arxiv.org/abs/phys-ics/0508025 (accessed 23 February 2014).
Ivin A., Nikiforov A. (1997) Slovar po logike [Logics Vocabulary]. Moscow: Tu-manit; VLADOS.
Jin B. H. (2007) The AR-Index: Complementing the H-Index. ISSI Newsletter, vol. 3, no 1, pp. 6. Available at: http://sci2s.ugr.es/hindex/pdf/Jin2007.pdf (accessed 23 February 2014).
Mikhaylov O. (2013) Razmyshleniya ob otsenke nauchnoy deyatelnosti [Speculations on Assessing Research Performance]. Large-Scale Systems Control: A Collection of Oeuvres, no 44, pp. 144-160.
Mikhaylov O., Mikhaylova T. (2010) Indeks Khirsha v otsenke deyatelnosti uchy-onogo v natsionalnom issledovatelskom universitete [The h-Index in Assessing Researchers' Activities in a National Research University]. Vestnik Ka-zanskogo tekhnologicheskogo universiteta, no 11, pp. 485-487.
Mikhaylov O., Mikhaylova T. (2011) “Khirshemetriya” v Kazanskom natsionalnom issledovatelskom tekhnologicheskom universitete [Hirsch Metrics in the Kazan National Research Technological University]. VestnikKazanskogo tekhnologicheskogo universiteta, no 18, pp. 338-341.
Moskalyova O. (2012) Poverit indeksom nauku: lektsii [Measuring Science with an Index. A course of lectures]. Available at: http://www.gazeta.ru/sci-ence/2012/12/19_a_4896245.shtml (accessed 30 January 2014).
Mokhnachyova Y., Kharybina T. (2013a) Nauchnaya produktivnost rossiyskikh uchyonykh v oblasti biologii, nauk ob okruzhayushchey srede i ekologii v period 2002-2001 gg. po baze dannykh Web of Science [Scientific Productivity of Russian Researchers in Biology, Environmental Sciences, and Ecology in 2002-2001 based on the Web of Science Database]. Informatsionnye resursy Rossii, no 2 (132), pp. 7-13.
Mokhnachyova Y., Kharybina T. (2013b) Publikatsionnaya aktivnost rossiyskikh uchyonykh v oblasti biologii, nauk ob okruzhayushchey srede i ekologii v period 2002-2001 gg. [Publication Productivity of Russian Researchers in Biology, Environmental Sciences, and Ecology in 2002-2001]. Vestnik Rossi-yskoy akademii nauk, vol. 83, no 10, p. 867.
Nazarenko M. (2013) Indeks Khirsha liderov rossiyskogo indeksa nauchnogo tsitirovaniya po chislu publikatsiy [The h-Index of Russian Science Citation
http://vo.hse.ru
261
En
DISCUSION
Index Leaders by the Number of Published Works]. Mezhdunarodny zhurnal prikladnykh i fundamentalnykh issledovaniy, no 6, pp. 149-150.
Orlov A. (2013) Dva tipa metodologicheskikh oshibok pri upravlenii nauch-noy deyatelnostyu [Two Types of Methodology Mistakes in Scientific Management]. Large-Scale Systems Control: A Collection of Oeuvres, no 44, pp. 32-54.
Pislyakov V. (2011) Nauka cherez prizmu statey [Science through the Prism of Research Papers]. Available at: http://polit.ru/article/2011/12/21/pislyak-ov_2011/ (accessed 30 January 2014).
President of the Russian Federation (2012) O merakh po realizatsii gosudarst-vennoy politiki v oblasti obrazovaniya i nauki. Ukaz ot 7 maya 2012 g. № 599 [On Measures to Implement the State Education and Science Policy. Decree No 599 of May 7, 2012]. Rossiyskaya gazeta, May 9, 2012. Available at: http://www.rg.ru/2012/05/09/nauka-dok.html (accessed 30 January 2014).
Shtovba S., Shtovba Y. (2013) Obzor naukometricheskikh pokazateley dlya ot-senki publikatsionnoy deyatelnosti uchyonogo [A Review of Scientometric Indicators Used to Assess Publication Activities of Scientists]. Large-Scale Systems Control: A Collection of Oeuvres, no 44, pp. 262-278.
Shtovba S., Shtovba Y. (2011) Sh-indeks — novaya drobnaya modifikatsiya in-deksa Khirsha [sh-Index as a New Fractional Modification of the h-Index]. Nauchnye trudy Vinnitskogo natsionalnogo tekhnicheskogo universiteta, no 3. Available at: http://archive.nbuv.gov.ua/e-journals/VNTU/2011_3/2011-3_ ru.files/ru/11sdsmoh_ru.pdf (accessed 30 January 2014).
Yeremenko G. (2013) RINTs i SCIENCE INDEX: novye vozmozhnosti dlya avtor-ov, izdateley i nauchnykh organizatsiy [RSCI & SCIENCE INDEX: New Opportunities for Authors, Publishers, and Scientific Organizations]. Available at: http://elibrary.ru/projects/science_index/conf/2013/presentations/ere-menko.pdf (accessed 30 January 2014).
Zhang C.-T. (2009) The E-Index, Complementing the H-Index for Excess Citations. PLoS ONE, vol. 4, no 5. Available at: http://www.plosone.org/arti-cle/info%3Adoi%2F10.1371%2Fjournal.pone.0005429 (accessed 30 January 2014).
262
Educational Studies. 2014. No. 1
