CC BY
93
Maloletko A.N. (2009) Otsenka sovremennogo sostoyaniya i prognozov obespecheniya ekonomicheskoy bezopasnosti sistemy vysshego i poslevuzovskogo professional'nogo obrazovaniya: monografiya [Assessment of the current status and future prospects of economic security of higher and postgraduate education]. Mosocw: Rossiyskiy gosudarstvennyy universitet turizma i servisa.
4. Човган И.В. Анализ влияния процесса глобализации на обеспечение национальной безопасности государства в сфере высшего образования // NB: Вопросы права и политики. 2013. № 5. С. 135 - 149.
Chovgan I.V. (2013) Analiz vliyaniya protsessa globalizatsii na obespecheniye natsional'noy bezopasnosti gosudarstva v sfere vysshego obrazovaniya [Analysis of the impact of globalization on national security in higher education]// NB: Voprosy prava i politiki. № 5. P. 135 - 149.
5. Шматков Р.Н. Качество высшего профессионального образования в России: системный анализ // Профессиональное образование в современном мире. 2014. № 1 (12). С. 74 - 83.
Shmatkov R.N. (2014) Kachestvo vysshego professional'nogo obrazovaniya v Rossii: sistemnyy analiz [Quality of higher education in Russia: a systemic analysis] // Professional'noye obrazovaniye v sovremennom mire. № 1 (12). P. 74 - 83.
УДК 001
ЦИТИРУЕМОСТЬ КАК ИНСТРУМЕНТ УПРАВЛЕНИЯ КАЧЕСТВОМ НАУЧНЫХ ИССЛЕДОВАНИЙ
CITATIONS AS A WAY TO ASSESS QUALITY OF SCIENTIFIC RESEARCH
Гугелев Александр Владимирович
Gugelev Alexandr Vladimirovich
доктор экономических наук, завкафедрой менеджмента, ССЭИ (филиал) ФГБОУ ВО «РЭУ им. Г.В. Плеханова», г. Саратов
PhD (Economics), head of the department of management, Saratov socioeconomic institute (branch) of Plekhanov Russian University, Saratov
e-mail: [email protected]
Семченко Анжелика Ахмеджановна
Semchenko Anzhelika Ahmedzhanovna
кандидат экономических наук, доцент кафедры экономики и управления качеством, Санкт-Петербургский государственный экономический университет, г. Санкт-Петербург
Cand. Sc. (Economics), associate professor of the department of economics and quality management, St. Petersburg State University of Economics, St. Petersburg
e-mail: [email protected]
В научной статье рассмотрены взаимосвязь между цитируемостью научных публикаций и качеством научных исследований отдельных авторов и научных объединений, современные направления развития основных электронных отечественных и международных баз научного цитирования, проанализирован понятийный аппарат, приведены мнения наиболее авторитетных ученых. Авторами исследованы основные базы данных наукометрической информации, популярные в России, такие как Web of Science, Scopus, Elibrary.ru, Google Scholar. В научной статье рассмотрены такие интересные парадоксы расчета показателей наукометрической информации, как, например, низкий индекс Хирша А. Эйнштейна.
Ключевые слова: цитируемость, научные исследования, Скопус, импакт-фактор, индекс Хирша.
The paper discusses the correlation between the number of citations of scientific publications and quality of scientific research of individual authors and scientific associations as well as the main tendencies in the development of modern Russian and international science citation electronic databases; analyzes its conceptual apparatus, and presents views of the leading academics. The authors examine databases of scientometric information most popular in Russia, such as the Web of Science, Scopus, Elibrary.ru, Google Scholar. The paper discusses interesting paradoxes of calculating scientometric information, such as low Hirsch index of A. Einstein.
Keywords: citation, scientific research, Scopus, impact factor, Hirsh index.
В последние годы перед российскими образовательными учреждениями остро стоит вопрос повышения качества предоставляемых образовательных услуг, основу которых, по нашему мнению, составляют не только образовательная, но и в первую очередь научно-исследовательская деятельность, осуществляемая в рамках того или иного вуза. Однако не секрет, что период после распада СССР был крайне сложным в жизни страны, отголоски чего до сих пор видны в российской науке, несмотря на все принимаемые государством меры в данной области. Например, инициированный Министерством образования и науки проект «5 - 100» [i], основной целью которого является максимизация конкурентной позиции группы ведущих российских университетов на глобальном рынке образовательных услуг и исследовательских программ, направлен на повышение качества образовательных услуг отдельных ведущих вузов, в то время как все остальные должны повышать качество предоставляемых услуг самостоятельно.
«Проект 5 - 100» дает результаты: в октябре 2015 г. стало известно, что число вузов России в рейтинге US News & World Report удвоилось именно за счет участников «Проекта 5 -100», а в предметной области по физике - выросло в 4 раза. Отметим, что ежегодный рейтинг американской компании U.S. News & World Report известен своей объективностью. Рейтинг U.S. News Best Global Universities отражает репутацию в научном сообществе, публикационную активность, цитируемость, совместные исследования с зарубежными учеными, присвоение университетами научных степеней и множество других факторов. Данные для расчета показателей берутся из InCites -онлайн-инструмента для оценки и сравнения научных организаций и исследований на основе наукометрической информации базы данных Web of Science (далее - WoS). В 2015 г. в рейтинг вошли МГУ им. М.В. Ломоносова (227-е место), Национальный исследовательский ядерный университет «МИФИ» (465-е), Санкт-Петербургский государственный университет (515-е) и Новосибирский государственный университет (672-е). Вузы - участники «Проекта 5 - 100» (НГУ и МИФИ) также представлены в предметном рейтинге по фи-
зике. МИФИ находится на 127-й строчке, НГУ -на 170-й. МГУ удалось попасть в число лидеров рейтинга по физике, расположившись на 23-й позиции, СПбГУ - на 241-й строчке. МИФИ также занимает 20-е место в мире по доле публикаций в международном соавторстве [3].
Чтобы попасть в число ранжируемых вузов, университет должен входить в топ-200 по результатам опроса Academic Reputation Survey, ежегодно проводимого компанией Thomson Reuters. Второй из двух возможных фильтров для попадания в рейтинг - количество публикаций в авторитетных журналах, индексируемых в WoS за пятилетний период. WoS является поисковой системой, включающей выходные данные публикаций в научных журналах и взаимоцитирование. WoS охватывает материалы по естественным, техническим, общественным, гуманитарным наукам и искусству и имеет сложные встроенные возможности поиска, анализа и управления библиографической информацией [4]. Однако недостатком WoS, по нашему мнению, можно считать то, что учитываются исключительно англоязычные статьи.
Кроме WoS для оценки результативности научной деятельности ученых применяется ряд других наукометрических показателей, в частности, индекс Хирша и несколько подобных систем, вычисляющих данные показатели, имеющих преимущества и недостатки, например, Elibrary.ru и Google Scholar. Индекс цитирования научных статей рассчитывается по-разному в зависимости от рассматриваемой системы, но в целом представляет собой базу научных публикаций, индексирующую ссылки, указанные в пристатейных списках публикаций, предоставляющую их количественные показатели, например, индекс Хир-ша или суммарный объем цитирования.
Рассмотрим подробнее индекс Хирша - наукометрический показатель, разработанный еще 10 лет назад физиком Х. Хиршем из США для оценки научной активности и результативности физиков. Индекс Хирша представляет собой числовое выражение продуктивности ученого или научного коллектива, учреждения или целого государства, основанное на анализе числа публикаций и их цитирования.
Расчет основан на оценке распределения цитирований научных публикаций анализируемого объекта, для чего научные статьи ранжируются в порядке уменьшения количества ссылок на них. Статья, ранг которой совпадает с числом ее цитирований, и является индексом Хирша.
По нашему мнению, индекс Хирша дает более объективную информацию о научной продуктивности ученого или преподавателя, чем простое общее число цитирований. Индекс применим для сравнения тематической области знаний и в целом, на наш взгляд, должен быть равен количеству лет, затраченных ученым на научные исследования, однако в точных науках данный показатель намного выше. Индекс Хирша может быть основан на учете свободных наукометрических систем, в частности, Elibrary.ru или Google Scholar, а также на платных базах данных - WoS или Scopus. Интересно, что индекс Хирша одного ученого, рассчитанный из различных баз данных, будет существенно отличаться. Вариации объясняются тем, что он может учитывать самоцитирования, снижая тем самым объективность оценки. Недостатками индекса, на наш взгляд, выступает то, что краткость научной работы ведет к недооценке значимости ученого [5]. В частности, индекс Хирша А. Эйнштейна был бы не более пяти, несмотря на неоценимую значимость его работы.
Если обратиться к истории вопроса, то самый первый индекс цитирования в юридической области знаний появился еще в 1873 г., а вот для научных работ он впервые был использован только в 1960 г. в Институте научной информации (ISI) Гарфилда, что и послужило основой введения понятия «Science Citation Index», а потом уже применительно к общественным наукам и деятельности в области искусства. Отметим, что именно с начала XXI в. были внедрены многие подобные информационные источники.
Российский фонд фундаментальных исследований в 1999 г. внедрил информационную платформу Elibrary.ru, обеспечив отечественным ученым доступ к авторитетной зарубежной научной литературе. С 2005 г. в Научной электронной библиотеке (НЭБ, Elibrary.ru) стал работать РИНЦ (Российский индекс научного цитирования), основной целью которого стало создание отечественной библиографической базы данных по научной русскоязычной периодической литературе. На основе данных РИНЦ появился аналитический инструментарий ScienceIndex. С 2005 г. Elibrary.ru учитывает русскоязычную научную литературу и представляет собой основную электрон-
ную библиотеку научной периодики на русском языке в мире. Сегодня кроме подписного доступа на портале выложены публикации более 2 000 научных журналов [6]. В настоящее время Elibrary.ru представляет собой крупнейшую отечественную научную электронную библиотеку, насчитывающую более 21 млн научных статей.
По нашему мнению, среди наукометрических показателей цитируемости наиболее востребованными являются индекс цитирования, экспертная оценка и анализ импакт-фактора научного издания.
В отечественной практике под понятием «Индекс цитирования» часто подразумевают научную значимость и востребованность публикации, рассчитанную на основе последующих публикаций, ссылающихся на данную работу.
Упоминаемый нами выше Scopus (полное наименование - SciVerse Scopus) представляет собой авторитетный в мировом сообществе библиографический инструмент оценки цити-руемости научных работ и статей, внедренный издательской корпорацией Elsevier. В настоящее время Scopus содержит более 18 тыс. научных изданий по техническим, медицинским и гуманитарным наукам более 5 тыс. издательств, включая информацию не только научных журналов, но и материалы конференций, серии и даже художественную литературу. Scopus работает как подписная информационная база, объединенная с поисковой системой Scirus для поиска интернет-страниц и патентной базой данных. По состоянию на 2015 г. Scopus включает более 57 млн записей журналов, в том числе более 21 тыс. рецензируемых журналов, из которых примерно 3,8 тыс. являются полностекстовыми, а также более 360 специализированных изданий. Кроме этого, сюда относятся принятые к публикации «научные статьи в печати» из более 5 тыс. международных издательств. Также в системе размещено более 90 тыс. книг, и предполагается, что к концу 2015 г. их число составит более 120 тыс. Интерфейс Scopus содержит 24 раздела по определенной тематике, предметными областями являются: социальные науки, искусство и гуманитарные дисциплины, наука, технологии, медицина [3].
Важным, на наш взгляд, является то, что индексирование нового издания может быть осуществлено только после одобрения Консультативным комитетом Scopus по отбору содержания (CSAB), который включает 30 ведущих экспертов по конкретному направлению знаний из разных стран. Процедура размещения информации, по нашему мнению, доволь-
но проста, поскольку как отдельные научные деятели, так и эксперты самостоятельно могут подавать информацию о возможности участия в Scopus в Консультативный комитет. Однако отдельные издания ежегодно лишаются включения в Scopus, поскольку перестали удовлетворять его требованиям. Поэтому интересным представляется анализ критериев отбора изданий для включения в базу данных Scopus, которые весьма разнообразны, но в целом сводятся к следующим:
1. И достоинством, и недостатком одновременно, на наш взгляд, является то, что Scopus включает сугубо англоязычные издания и научные статьи, при этом оценка проводится только по качеству англоязычных аннотаций. Полнотекстовые версии научных работ могут публиковаться на языке автора.
2. Издание должно быть периодическим и выходить не реже раза в год.
3. Существует важное требование к общему уровню издания с учетом ряда показателей качества, в частности:
3.1 авторитетность в научном мире и конкретной области знаний, включая репутацию издательства; разнообразие научных организаций, где работают авторы, международный научный авторитет ведущих членов редколлегии и разнообразие мест их работы, а также важным является цитируемость ученых, входящих в состав редакционных коллегий и самих авторов в Scopus;
3.2 популярность и доступность, в частности, цитируемость издания в Scopus, число организаций, имеющих подписку на данное издание, наличие его в других базах данных и число запросов на него в Scopus и поисковых системах интернета;
3.4 издание должно проводить определенную политику, включающую все формы качества публикаций, в том числе стороннее рецензирование и другие;
3.5 у издания должен быть интернет-сайт на английском языке, причем полные версии статей могут быть и на языке авторов, но главная страница, аннотации и списки литературы должны быть переведены на английский язык. Отметим, что оценивается только краткая англоязычная информация о публикации, что, по нашему мнению, является весьма существенным недостатком, который возможно было бы решить путем привлечения национальных экспертов в данной области, однако это требует серьезных усилий и вложений, что удорожило бы подписку на сам Scopus в целом.
Отметим, что все перечисленные выше показатели качества чрезвычайно важны, однако когда Консультативный комитет Scopus
анализирует все запросы на включение названий изданий в систему, учитываются: наличие ISSN; регулярность выхода новых выпусков; качество пристатейных библиографий; система научного рецензирования. А ранее исключенные из Scopus издания проверяются с повышенной тщательностью, что вполне объяснимо.
По нашему мнению, важным отличием Scopus от схожих систем является то, что она не анализирует импакт-фактор, но учитывает индекс Хирша. Но Scopus используется многими ведущими странами как важный, если не основной источник наукометрической информации для проведения исследований и оценки качества научных работ. Например, в нашей стране с 2010 г. Высшая аттестационная комиссия ввела дополнительное условие включения издания в «Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени доктора и кандидата наук» -его индексацию в одной из двух ведущих мировых баз данных отслеживания цитируемо-сти Scopus или Web of Knowledge. Отдельные учебные заведения также рассматривают ци-тируемость научных и учебно-методических работ претендентов в РИНЦ Scopus и Web of Knowledge при замещении вакантных должностей. Информация из Scopus первоначально использовалась в рейтинге ведущих университетов мира QS TopUniversities. Однако в последние годы этот анализ и рейтинг проводится на основе базы данных Web of Science компании Thomson Reuters [7]. Компания Academic Analytics использует данные Scopus для показателя оценки качества научной активности вузов США.
Для объективности исследования нельзя не упомянуть в нашей статье отечественную научную электронную библиотеку «КиберЛе-нинка», построенную на концепции открытой науки, т. е. распространения знаний в открытом доступе, обеспечивая бесплатный оперативный полнотекстовый доступ к научным публикациям в электронном виде, которые в зависимости от договоренностей с правообладателем размещаются по открытой лицензии Creative Commons Attribution.
Другой интересной с научной точки зрения информационной научной системой является Академия Google (англ. Google Scholar), представляющая собой бесплатную поисковую систему по полнотекстовым научным публикациям разных научных направлений. Система была внедрена в 2004 г. Академией Google и сегодня содержит информацию большинства
рецензируемых онлайн-журналов крупнейших научных издательств Европы и Америки. По направлению деятельности система напоминает Scirus Elsevier, CiteSeerX, GetCITED и ряд других, дающих возможность анализировать цитируемость после приобретения подписки [8]. Девиз данной системы «Стоя на плечах гигантов», по нашему мнению, иллюстрирует уважение и приоритет преемственности научных знаний.
Несмотря на то, что Scopus, в отличие от Web of Knowledge, не опирается на импакт-фактор (далее - ИФ), на наш взгляд, его нельзя не учитывать, поскольку он выступает еще одним важным инструментом оценки цитиру-емости, являющимся, по сути, численным показателем авторитетности научного журнала. Если обратиться к истории вопроса, то еще с 1960 г. ИФ ежегодно анализировался Институтом научной информации ISI, а в 1992 г. был приобретен корпорацией Thomson (сейчас Thomson Scientific) и публикуется в научном журнале Journal Citation Report. В соответствии с ИФ оценивают уровень журналов, качество научных статей, опубликованных в них, выделяются гранты и помощь на проведение научных исследований, а также ИФ учитывается при трудоустройстве научных работников и преподавателей учебных заведений.
Хотя ИФ имеет ряд преимуществ, таких как широта охвата, историческая оправданность, авторитетность и влиятельность в научном мире, следует отметить, что ИФ основан на трехлетней оценке, а для вновь издаваемых журналов - на двухлетней. При этом анализе не рассматриваются некоторые работы, такие как письма, информационные сообщения, перечни опечаток и другие. При этом ИФ периодического издания, с одной стороны, определяется сферой научных исследований, обеспечивая сопоставимость, а с другой - находится в зависимости от области знаний. Не секрет, что точные науки, например, физика и медицина, обычно цитируются чаще, поскольку точность определяет необходимость учета мнений предшественников в отличие от более широких гуманитарных направлений научных исследований.
В ИФ имеется ряд недостатков, в частности число цитирований не может четко определять качество публикации, поскольку известны случаи, когда плохая статья вызывает множество нареканий, тем самым обеспечивая себе высокую цитируемость. Также издания с большой историей публикуют статьи старше трех лет, тем самым они исключаются из ИФ при проведении оценки. Отдельные журналы рассматривают возможность публикации научной статьи два года и более, что оставляет
менее года для возможности ее цитирования в ИФ. Но здесь есть и положительная сторона, ведь это делает ИФ более стабильным по отношению к временным изменениям.
Таким образом, выделим основные недостатки ИФ:
- количество цитирований отражает именно их число, а не качество проделанной научной работы;
- при расчете ИФ следовало бы увеличить период оценки цитирования для достижения большей объективности;
- разные научные направления исторически цитируются с разной частотой, что не учитывается при расчете ИФ;
- расчет ИФ непрозрачен и монополизирован.
Однако в связи с тем, что научные журналы
с высоким ИФ более интересны для авторов и научного сообщества в целом, они имеют возможность публиковать передовые исследовательские работы, тем самым повышая качество научной работы в данном направлении в целом, обеспечивая сопоставимость и доступность результатов научных трудов.
Преимуществами ИФ выступают большой охват научной периодики (всего более 8,5 тыс. журналов); открытость и доступность материалов оценки, прозрачность применения, а также уверенность в высоком качестве рецензирования периодической литературы, имеющей высокий ИФ.
Проведенное в данной статье исследование цитируемости как инструмента управления качеством научных исследований позволяет сделать вывод о наличии прямой взаимосвязи между научной цитируемостью преподавателей и качеством оказываемых вузом образовательных услуг, хотя сама цитируемость может оцениваться по-разному и подвержена влиянию многих факторов, в числе которых особо следует отметить влияние временного интервала, охвата целевой аудитории, специфику научного направления, в котором работает ученый или научная группа. Исследование и анализ основных особенностей и путей повышения качества и количества цитирований способствуют укреплению позиций российских вузов в международном образовательном пространстве, повышают их ранги в национальных и международных рейтингах не только за счет роста их активности в абсолютных показателях, но и путем повышения их внутренней результативности, сотрудничества с зарубежными научными сообществами, вовлечения в базы научного цитирования разных стран, а также роста публикационной активности авторов нашей страны, что способствует повышению качества научных исследований.
Библиoграфичeский список (References)
1. [Электронный ресурс]. URL: http^^toploo.ru/.
2. Гyгeлeв A.B., Сeмчeнкo A.A. Опыт участия отечественных вузов в международных рейтингах как стимул к повышению конкурентоспособности // Вестник саратовского государственного социально-экономического университета. 20^. № 2 (б6). С. 29 - Зб.
2. Gugelev A.V., Semchenko A.A. (20^) Opyt uchastiya otechestvennykh vuzov v mezhdunarodnykh reyt-ingakh kak stimul k povysheniyu konkurentosposobnosti [Participation of Russian universities in international rankings as an incentive to increase competitiveness] // Vestnik saratovskogo gosudarstvennogo sotsial'no-eko-nomicheskogo universiteta. № 2 (б6). P. 29 - Зб.
3. [Электронный ресурс]. URL: http://бtopl00.ru/news/200б3/•
4. Бонюшко Н.А., Семченко A.A. Стратегические основы управления качеством в вузах: монография для аспирантов всех форм. СПб.: Культ-информ-пресс, 20^. С. l6o.
Bonyushko N.A., Semchenko A.A. (20^) Strategicheskiye osnovy upravleniya kachestvom v vuzakh: monografiya dlya aspirantov vsekh form [Strategic basis of quality management in higher education: a monograph for postgraduate students of all disciplines] St. Petersburg.: Kul't-inform-press. P. l6o.
б. Бонюшко Н. А., Семченко A.A. Инновационные аспекты развития системы высшего образования // Научное обозрение. 20^. № l2. С. 373 - 377.
Bonyushko N. A., Semchenko A.A. (20^) Innovatsionnyye aspekty razvitiya sistemy vysshego obrazovani-ya [Innovative aspects of higher education system development] // Nauchnoye obozreniye. № l2. P. 373 - 377.
6. Семченко A.A. Организационно-экономические механизмы управления качеством в образовательных учреждениях: монография. СПб.: Культ-информ-пресс, 20l4. С. l6o.
Semchenko A.A. (20l4) Organizatsionno-ekonomicheskiye mekhanizmy upravleniya kachestvom v obrazovatel'nykh uchrezhdeniyakh: monografiya [Organizational and economic mechanisms of quality management in educational institutions]. St. Petersburg: Kul't-inform-press. P. l6o.
7. Гугелев А.В., Семченко A.A. Бенчмаркинг конкурентоспособности отечественных вузов в контексте современных интеграционных процессов. Саратов: Изд-во СГСЭУ, 20^. С. l48.
Gugelev A.V., Semchenko A.A. (20^) Benchmarking konkurentosposobnosti otechestvennykh vuzov v kontekste sovremennykh integratsionnykh protsessov [Benchmarking the competitiveness of Russian universities in the context of current integration processes]. Saratov: Izd-vo SGSEU. P. l48.
8. [Электронный ресурс]. URL: http://www.elsevier.com/solutions/scopus/content.
