CC BY
46НАУЧНЫЕ КОММУНИКАЦИИ И ИНФОРМАЦИОННО-АНАЛИТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ НАУКИ. ЦВЕТКОВА В.А., МОХНАЧЕВА Ю.В. НАУЧНАЯ СРЕДА И ПУБЛИКАЦИОННАЯ АКТИВНОСТЬ: РИСКИ БИБЛИОМЕТРИЧЕСКИХ ОЦЕНОК
Представлен анализ подходов оценки науки и научной деятельности, базирующихся на: а) количественных оценках публикаций и их цитирования - библиометрические показатели; б) оценках затрат на исследования и разработки, численности научного персонала и т.д.; в) технологических результатах научных исследований и разработок. Библиометрические показатели стали доминирующими при принятии решений управленческого характера. Приведены решения на государственном уровне по использованию библиометрических показателей в России. Исследовано состояние научно-исследовательской среды в России, которое показало, что наблюдается сокращение количества научно-исследовательских организаций и исследователей при росте числа публикаций. Проанализированы особенности работы с библиометрическими данными на примере WoS CC (Clarivate Analytics), Scopus (Elsevier) и РИНЦ (ООО «Научная электронная библиотека). Показано, что при оценке публикационной активности необходимо учитывать тематическую зону и масштабы оценки. Выбор конкретной методики исследования должен учитывать следующие уровни: макроуровень, мезоуровень, микроуровень. Показаны основные типы неточностей. Подтверждены ограничения при работе с библиометрическими инструментами.
Ключевые слова: научная среда, библиометрия, библиометрические показатели, оценка научной деятельности, исследовательская среда, публикационная активность в мире и в России, особенности методик на макро-, мезо-, микроуровнях.
Tsvetkova V. A., Mokhnacheva Yu.V.
Scientific environment and publication activity: risks of bibliometric estimates
The analysis of approaches to evaluating science and scientific activity based on: a) quantitative estimates of publications and their citations - bibliometric indicators; b) estimates of research and development costs, the number of scientific personnel, etc.; C) technological results of research and development. Bibliometric indicators have become dominant in decision-making of a managerial nature. The article presents decisions at the state level on the use of bibliometric indicators in Russia. The state of the research environment in Russia was studied, which showed that there is a decrease in the number of research organizations and researchers with an increase in the number of publications. The features of working with bibliometric data are analyzed on the example of WoS CC (Clarivate Analytics), Scopus (Elsevier) and RSCI (Scientific electronic library LLC). It is shown that when evaluating publication activity, it is necessary to take into account the thematic area and the scale of the assessment. The choice of a specific research methodology should take into account the following levels: macro-level, meso-level, micro-level. The main types of inaccuracies are shown. Confirmed restrictions when working with bibliometric tools.
Keywords: scientific environment, bibliometry, bibliometric indicators, evaluation of scientific activity, research environment, publication activity in the world and in Russia, features of methods at macro-, meso -, micro-levels
НАУЧНЫЕ КОММУНИКАЦИИ И ИНФОРМАЦИОННО-АНАЛИТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ НАУКИ. ЦВЕТКОВА В.А., МОХНАЧЕВА Ю.В. НАУЧНАЯ СРЕДА И ПУБЛИКАЦИОННАЯ АКТИВНОСТЬ: РИСКИ БИБЛИОМЕТРИЧЕСКИХ ОЦЕНОК
Не сравнивайте себя ни с кем. Это оскорбительно, в первую очередь, для Вас.
Билл Гейтс
Вам не нужно принимать множество блестящих решений -достаточно не принимать ужасных решений. Бондарева А.Н. Афоризмы знаменитых современников / сост. А.Н. Бондарева.
- Москва: ООО «Хит-Книга», 2019. - 320 с. - с. 24 (Баффет Уоррен)
ВВЕДЕНИЕ
Научная деятельность базируется исключительно на интеллекте отдельных личностей или коллективов. Перед руководящими структурами стояли и стоят задачи оптимизации направлений исследований, выявления наиболее важных (прорывных) направлений, поддержки всего научного
сообщества, эффективного распределении средств на научные исследования. Принцип индивидуальности, накладываемый на эти процессы, делает эту задачу особенно трудноразрешимой.
Начиная с средины ХХ века, был разработан и предложен для оценки состояния и развития науки и экономики, основанной на знаниях, целый ряд методик [1], среди которых наиболее активно используются три группы показателей оценки науки и научной деятельности на основе:
- количественных оценок публикаций и их цитирования - библиометрические показатели,
- оценки затрат на исследования и разработки, численности научного персонала и т.д.,
- технологических результатов научных исследований и разработок.
В качестве примера набора критериев (метрик) сошлёмся на работу [2] и Snowball Metrics [3]. Наибольший интерес в настоящее время вызывает подход, изложенный в Snowball Metrics, поскольку он ориентирован как на научную, так и образовательную сферы. В группу показателей оценки научной деятельности вводят и библиометрические показатели.
Библиометрические показатели благодаря лёгким способам расчёта и простоте восприятия стали доминирующими при принятии решений управленческого характера. Библиометрия получила свой статус благодаря идеям Ю. Гарфилда. В 1960 г. в США был создан Институт научной информации - ИНИ (ISI). В ИНИ создавались указатели (индексы) научного цитирования, которые охватили практически все области знаний [4]. Необходимо отметить, что библиометрия основана исключительно на статистике, на количественных оценках и никоем образом не затрагивает содержательную часть публикаций. Определение понятия «Библиометрии» как комплекса количественных методов изучения потоков научных документов опирается на количественные параметры информационных потоков. В работе [5] отмечено, что механический учёт публикаций -одно из некорректных применений в наукометрии, но при этом — это очень мощный и действенный инструмент на настоящем этапе в системе управления наукой.
Именно количественные показатели стали обозначаться термином «оценка вклада в науку». В нашем понимании «публикационная активность» и «вклад в науку» - очень разные понятия. Библиометрические показатели всё-таки оценивают публикационную активность, то есть, основаны исключительно на учёте количества публикаций, или ссылок на публикации (цитирований). Тогда как «вклад в науку» — это реальные достижения учёного, имеющие важное теоретическое или практическое приложение в научных и прикладных исследованиях или практических работах.
Настоящая статья имеет своей целью показать, что современные базы данных с элементами аналитических функций (библиометрические инструменты) различны, а полученные на их основе показатели публикационной активности не подлежат сравнению между собой. Более того, разные методики поиска внутри одной базы данных часто приводят к разным результатам.
ГОСУДАРСТВЕННЫЕ ПОДХОДЫ К ОЦЕНКЕ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
В апреле 2009 г. было принято постановление Правительства Российской Федерации «Об оценке результативности деятельности научных организаций» [6]. Такие подходы привели к тому, что использование библиометрических показателей приобрело порой гротескные формы.
Согласно Указу Президента Российской Федерации (РФ) от 7 мая 2012 г. N 599 «О мерах по реализации государственной политики в области образования и науки» перед российским научным сообществом была поставлена цель: «увеличение к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science), до 2,44 процента» [12]. Эта задача была полностью выполнена [7]. Спустя шесть лет (7 мая 2018 г.) Президент РФ подписал Указ «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года». Согласно этому Указу Правительству РФ дано поручение при разработке национального проекта в сфере науки исходить из того, что в 2024 году «необходимо обеспечить присутствие Российской Федерации в числе пяти ведущих стран мира, осуществляющих научные исследования и разработки в областях, определяемых приоритетами научно-технологического развития» [8]. Для реализации поставленной задачи Правительством РФ принято решение о создании национального проекта «Наука». Одной из основных целей создаваемого проекта является вхождение РФ в пятерку ведущих стран мира в приоритетных для неё областях науки [9,10]. Кроме того, одной из задач национального проекта является увеличение доли публикаций российских ученых в базе WoS CC с 2,99% до 5% [11, 12]. В регламентирующих документах все оценки проведены на основе базы данных WoS CC.
ИССЛЕДОВАТЕЛЬСКАЯ СРЕДА В РОССИИ
Согласно данным [13] наблюдается устойчивая тенденция к сокращению числа организаций, выполняющих исследования и разработки: если в 1992 г. их насчитывалось 4555, то к 2017 г. их число составило - 3944 организации, таблица 1.
Таблица 1. Численность персонала, занятого исследованиями и разработками (на конец года), в тыс. чел.
Исследователи 1992 год
ВСЕГО, в том числе 1532,6
Исследователи 804,0
Вспомогательный персонал 382,2 Прочие сотрудники
2017 год
707,9
359,8
170,3
118,1
сокращению научно-
165,7
Таким образом, мы наблюдаем устойчивую тенденцию к исследовательских организаций и сокращению количества исследователей.
Посмотрим, какова ситуация по публикационной активности российских авторов по данным РИНЦ, WOS CC и Scopus, поскольку общее число научных публикаций, проиндексированных в международных базах данных, остаётся важным индикатором развития науки. РИНЦ показывает следующую статистику, рис. 1.
Рис. 1. Динамика российских публикаций в РИНЦ
С января 2013 г. наблюдается устойчивая положительная динамика роста публикаций: начиная с января 2013 г. (12803929 публикаций) по январь 2019 г. (28798357 публикаций) - рост составил 2,26%. Это наблюдается на фоне сокращения числа научных организаций: 1992 год - 4555; 2017 год - 3944. Численность персонала, занятого исследованиями и разработками, за тот же период сократилась с 804,0 тыс. человек до 359,8 тыс. человек (без вспомогательного персонала) [13].
Очевидно, что нагрузка по подготовке научных публикаций на каждого исследователя значительно возросла. Безусловно, стал более активным исследовательский корпус в образовательной среде, но на настоящем отрезке времени это не меняет общей картины.
Общая ситуация по публикационной активности по данным WoS CC и Scopus приведена в таблице 2.
Таблица 2. Публикационная активность в мире и в России по данным WoS CC и Scopus
Годы.
WoS CC
Scopus
Тип публикации Мир Россия Мир
число публ. ранг доля
1995 - всего 1212176 30884 8 2,55 1046120
1995 - статьи 667883 25330 7 3,79 819450
2017 - всего 3086907 79797 12 2,59 2441729
2017 - статьи 1935633 54147 14 2,80 1741160
По данным двух ведущих библиометрических ресурсов наблюдается устойчивый рост научных публикаций как в общемировом масштабе, так и на российском информационном пространстве.
Таким образом, мы видим, что рост количества публикаций наблюдается как в мировом масштабе, так и в поле российских публикаций.
Сопоставление этих данных показывает, что на российском полигоне наблюдается достаточно уникальная ситуация: число научно-исследовательских организаций и
количество исследователей сокращается, а число публикаций растёт. Очевидно, что нагрузка на учёных-исследователей возрастает, что не лучшим образом сказывается на качестве научных исследований и, соответственно, публикаций.
Перед российским исследователями вновь поставлена задача увеличения числа публикаций, не только в российских журналах, но и в зарубежных изданиях, признанных в мире, как ведущие. Условия, в которые поставлены наши учёные весьма жёсткие и не вполне оправданные.
■■■■■■■■■■■■■■А
ОСОБЕННОСТИ РАБОТЫ С БИБЛИОМЕТРИЧЕСКИМИ ДАННЫМИ
Опыт работы с тремя ведущими библиометрическими инструментами WoS CC (Clarivate Analytics), Scopus (Elsevier) и РИНЦ (ООО «Научная электронная библиотека) показал, что при использовании методик оценки публикационной активности необходимо учитывать полигон, на котором проводятся соответствующие оценки, то есть тематическую зону и масштабы оценки.
При этом наши наблюдения показывают, что выбор конкретной методики исследования должен учитывать следующие уровни, или масштабы исследования:
Макроуровень: библиометрический анализ публикационных массивов стран, в которых ведутся активные научные исследования (небольшие погрешности);
Мезоуровень: библиометрический анализ публикационной активности научных организаций различной ведомственной принадлежности (средние погрешности);
Микроуровень: библиометрический анализ публикационной активности отдельных учёных (максимальные погрешности).
Оценки на макроуровне позволяют пренебречь опечатками и неточностями. На большом массиве данных это как бы нивелируется. Если мы оцениваем место российской науки в целом в мировом потоке публикаций, то по данным WOS CC всего отражено документов 3 096 331, вклад России 2,742 %, что соответствует 13 позиции в мировом рейтинге [14]. В данном случае мы пренебрегаем неточностями, присущими любой реферативной базе данных. Например, мы пренебрегаем такими неточностями как публикации Нобелевского лауреата В. Л. Гинзбурга (1916 -2009 гг.), появившиеся раньше его рождения. (рис.2)
№
Публикация
Цит,
1 Gtnzbvrg V.L.f Tsvtovkh V.N. Physics Reports.! 1919] C. 49.
г КВАНТОВАЯ ТОРИЯ СВЕТОВОГО ИЗЛУЧЕНИЯ ЭЛЕКТРОНАг РАВНОМЕРНО ДВИЖУЩЕГОСЯ в СРЕДЕ
. Гинзбург Б.Л.
- Журнал Русского физико-химического общества,
1904,
Т. Ш. С. 589,
3 SOME REMARKS ON PHASE TRANSITIONS OF THE SECOND KIND AND THE MICROSCOPIC THEORY OF FERROELECTRIC MATERIALS
Ginzburg V.L.
= Physics of the Solid State, 1Д24. T, 2, C, 637,
Рис. 2. Скрин-шот фрагмента профиля В.Л.Гинзбурга в РИНЦ
На мезоуровне такие неточности уже могут оказывать влияние, но в большинстве случаев ими тоже можно пренебречь, поскольку они не исказят общую картину позиционирования организации, университета в целом, но они уже требуют более внимательной оценки.
А вот на микроуровне, когда речь идёт о конкретном учёном, такие неточности становятся критичными и могут сильно изменить библиометрические оценки как в положительную сторону, так и отрицательную. Они влияют на показатели количества публикаций и цитируемости, соответственно, на все другие показатели, в том числе, на индекс Хирша.
Первая группа неточностей связана с первоисточником информации, который был основой для ввода сведений в базу данных. Вторая группа - это неточности, возникшие в процессе ввода сведений в базу данных, включая операторские и технологические. За первую группу неточностей ответственность можно возложить на редакции журналов и авторов, за вторую - только на генераторов баз данных.
Таким образом, в библиометрических инструментах мы встречаем следующие типы неточностей:
- опечатки при вводе данных в информационную систему;
- прямой перенос опечаток из оригинальных статей в первичных журналах;
- отсроченное опубликование работ;
- переиздание учебников, монографий приводит к дублированию публикаций;- в список статей могут «перекочевать» ошибки из пристатейной библиографии других статей;
- отсутствие возможностей актуализации и редактирования информации в БД по различным причинам;-сложность однозначной идентификации авторов-однофамильцев, разные подходы к транслитерации имен и фамилий;
- неоднозначность написания организаций, где выполнена работа (аффилиации), и определение принадлежности авторов к организации, если она меняла своё название неоднократно;
- представительность авторов - свободных исследователей, то есть не привязанных к конкретным организациям (не аффилированным);
Кроме того, используя различные инструменты, необходимо учитывать следующие аспекты:
- неполнота представления публикаций российских учёных в базах данных WoS CC и Scopus как по причине ограниченного индексирования российских научных журналов, так и ограниченной ретроспективы;
- разные подходы к отбору научных источников для индексирования в базе данных:
- WoS СС. Имеет строго отработанную методику отбора научных журналов в области точных, естественных и технических наук (Science Citation Index Expanded), общественных наук (Social Sciences Citation Index), искусства (Arts & Humanities Citation Index). Российских около 200, часть тематических направлений представлено ограниченно, например: экономика, сельское хозяйство, геология, горное дело и др.;
- Scopus. Отбор источников осуществляется, как и в WoS СС, по формальным правилам. Однако здесь допускается индексирование статей в статусе «в печати», то есть из не вышедших ещё «в свет» журналов. Всего индексируется около 22 тыс. журналов; российских - около 650;
- РИНЦ. Использует принцип наиболее полного отражения российских публикаций, разных видов (статьи из журналов, сборников, трудов конференций, патенты и др.). Специальной
методики отбора источников не имеет. Более того, часто пополнение основной базы проводится за счёт пристатейных ссылок, что заметно отражается на корректности наполнения и аналитических оценках. Безусловно, что в РИНЦ наиболее полно отражены данные о российских публикациях.
- Языковые особенности Web of Science Core Collection, Scopus, РИНЦ. Обязательным требованием для индексирования российских журналов в WoS CC и Scopus является перевод на английский язык, как минимум, названия статьи, аннотации, ключевых слов и транслитерации авторов. Это необходимо для интеграции российских изданий в мировое научно-информационное пространство. Как известно, официальным языком международного научного общения сегодня стал английский. Подавляющая доля изданий, индексируемых в WoS CC и Scopus - на английском языке. Поэтому от учёных требуется свободное владение этим языком для представления своих результатов для мирового научного сообщества. Но нельзя забывать и о национальном приоритете. Нет уверенности в том, что врачи, инженеры, биологи и ведущие специалисты разных областей научного знания готовы читать и писать о своих достижениях на чужом языке. Не отрываем ли мы этим подходом значительную часть российских специалистов от информационных потоков? Поэтому значение РИНЦ для русскоговорящего научного сообщества трудно переоценить. Пока это -единственный наиболее полный источник получения сведений о российских научных публикациях и изданиях, включая широкий спектр наукометрических и библиометрических данных.
- Призывы к опубликованию в зарубежных журналах - потеря для российских исследователей сведений о достижениях российской науки, так как подписки на большинство журналов нет в библиотеках из-за ограничения финансирования, в открытом доступе представлены далеко не все журналы и публикации.
Учитывая комплекс неточностей и особенностей, присущих конкретным библиометрическим инструментам, мы ещё раз обращаем внимание на:
1) недопустимость сравнения библиометрических показателей, полученных из разных баз данных. Более детально эти вопросы рассмотрены нами в работе [15]. Опять же, упоминая Нобелевского лауреата В.Л. Гинзбурга, имеем: WoS CC показывает около 140 работ, h-индекс - 24; Scopus - 207, Ь-индекс-25.
2) недопустимость сравнения оценок разных тематических направлений между собой, как полученных на основе разных инструментов, так и на основе одного при использовании разных методик поиска и оценки публикационной активности особенно на микроуровне [15]. Это иногда используют, применяя нормализацию, но и в этом случае признать сравнения корректными, возможно лишь при участии специальных заключений экспертов;
3) недопустимость сравнения журналов разных тематических направлений по показателю «импакт-фактор». Например, для изданий по направлению «математическая физика» медианный ИФ соответствует 1,306 (в тематическую группу входят 55 изданий), а максимальный ИФ -3,748 у издания «Computer Physics Communications». Другой пример - «Онкология»: медианный импакт-фактор - 3,193 (в тематическую группу входят 223 издания), а максимальный показатель ИФ у издания «CA-Cancer Journal for Clinicians» - 244,585Щ. В данном случае более корректным является сравнение журналов по квартилям изданий в Journal Citation Reports (InCites), или CiteScore (Scopus).
4) следует учитывать, что 40% опубликованных научных статей никогда не цитируются, из цитируемых около 70% цитируются 1 раз в год, 24% - 2-4 раза в год, менее 1% цитируются 10 и более раз в год. Это не значит, что в малоцитируемых публикациях не содержатся результаты серьёзных научных исследований, и, наоборот, в высокоцитируемых публикациях есть крохи серьёзных научных результатов.
ЗАКЛЮЧЕНИЕ
Национальный проект «Наука» [9] вновь делает ставку на развитие научно-образовательных центров мирового уровня (не менее 15 к 2024 году), а число российских публикаций в мировом массиве по WoS СС должно составить не менее 5% .
Мы придерживаемся позиции, что все рассмотренные нами три базы данных располагают обширными информационными материалами, имеют неплохие инструменты для подсчёта публикационной активности и основанных на ней различных показателей, называемых часто аналитическими, но, вместе с тем, пользоваться этим обширным материалом необходимо с большой осторожностью.
СПИСОК ИСТОЧНИКОВ
1. Гиляревский Р.С., Родионов И.И., Залаев Г.З., Цветкова В.А., Барышева О.В., Калин А.А. Информатика как наука об информации: Информационный, документальный, технологический,
экономический, социальный и организационный аспекты. Под ред. Р.С. Гиляревского; авт.-сост. В.А. Цветкова. - М.: ФАИР-ПРЕСС, 2006. - 592 с. - С. 333-341.
2. Клещева И.В. Оценка эффективности научно-исследовательской деятельности студентов. -С-Пб: НИУ ИТМОБ, 2014. - 91 с.
3. Критерии оценки НИР [Электронный ресурс]. -URL: https://pandia.ru/text/78/085/35828.php (дата обращения 09.04.2019).
4. Акоев М.А. Руководство по наукометрии: индикаторы развития науки и технологии [монография] / М.А. Акоев, В.А. Маркусова, О.В. Москалева, В.В. Писляков; [под ред. М.А. Акоева]. -Екатеринбург: Изд-во Урал. Ун-та, 2014. - 250 с. - с. 14-48.
5. Стерлигов И. Симуляция науки как ответ на управленческий примитивизм [Электронный ресурс]. - URL: https://republic.ru/posts/l/1148735 (дата обращения 09.04.2019).
6. Постановление Правительства Российской Федерации «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (с изменениями и дополнениями) от 8 апреля 2009 г. № 312. - [Электронный ресурс]. -URL: http://base.garant.ru/195302/ (дата обращения 09.04.2019).7. Указ Президента Российской Федерации от 7 мая 2012 г. N 599 «О мерах по реализации государственной политики в области образования и науки» [Электронный ресурс] // Российская газета. Столичный выпуск. - 2012. - № 5775 (102). - URL: https://rg.ru/2012/05/09/nauka-dok.html (дата обращения 09.04.2019)
8. Указ Президента Российской Федерации от 7 мая 2018 года «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» [Электронный ресурс]. - 2018. - URL: http://kremlin.ru/events/president/news/57425 (дата обращения 09.04.2019).
9. Национальный проект «Наука» (2019-2024 годы). Утвержден Президиумом Совета при Президенте РФ по стратегическому развитию и национальным проектам - Протокол от 24 декабря 2018 года № 16). \\ URL: www.consultant.ru/document//cons doc LAW 31304/ (дата обращения 02.02.2020)
10. Медведев Ю. Прорваться в пятерку [Электронный ресурс] // Российская газета-Федеральный выпуск. - 2018. - №7665 (202). - URL: https://rg.ru/2018/09/11/nacproekt-nauka-poiavilsia-v-rossii.html (дата обращения 10.12.2018)
11. Бутрин Д. Наука концентрации внимания [Электронный ресурс] // Газета «Коммерсантъ». -2018. - 8.11.2018. - URL: https://www.kommersant.ru/doc/3688368 (дата обращения 09.04.2019).
12. Путин В.В. Послание Президента Федеральному Собранию. 15.01.2020. // Официальный сайт Президента России. Режим доступа: http://kremlin.ru/events/president/news/625 82 (дата обращения: 28.01.2020).
13. Россия в цифрах, 2019. /Красноярскстат/Яндекс Дзен. 2019. URL: Http://www.gks.ru/free doc/doc 2019/rusfug/rus19/rar (дата обращения 14.02.2020)
14. Мохначева Ю.В., Цветкова В.А. Россия в мировом массиве научных публикаций // Вестник РАН. - 2019. - Т. 89. - № 8. - С. 820-830. DOI: https://doi.org/10.31857/S0869-5873898000-0001.
RSCI:39212; РИНЦ:39212212. Перевод: Mokhnacheva Yu.V., Tsvetkova V.A. Russia in the Global Array of Scientific Publications // Head of the Russian Academy of Sciences. - 2019. - Vol. 89. - No 4. - P. 370-378. D0I:10.1134/S1019331619040075. Scopus: 2-s2.0-85073188719
15. Цветкова В.А., Мохначева Ю.В., Калашникова Г.В. Парадоксы библиометрических инструментов // Научные и технические библиотеки. - 2018. - № 8. - С. 3 - 19.
СВЕДЕНИЯ ОБ АВТОРАХ
Цветкова Валентина Алексеевна - доктор технических наук, профессор, главный научный сотрудник Библиотеки по естественным наукам РАН, профессор кафедры библиотечно-информационных наук Московского государственного института культуры (МГИК) vats08@mail.ru
Мохначева Юлия Валерьевна - кандидат педагогических наук, ведущий научный сотрудник Библиотеки по естественным наукам РАН 1 -v-m@yandex.ru
ПРИМЕЧАНИЯ
[1] Данные по импакт-факторам приводятся по БД Journal Citation Reports-h-индекс 2017
