CC BY
156
УДК 070.1:001
Т. А. Лоскутова
Байкальский государственный университет, г. Иркутск, Российская Федерация
СОВРЕМЕННЫЕ ПОДХОДЫ К ОЦЕНКЕ КАЧЕСТВА РОССИЙСКИХ НАУЧНЫХ ЖУРНАЛОВ
АННОТАЦИЯ. На современном этапе развития редакционно-издательского комплекса научной периодики России актуальной проблемой является оценка качества научных журналов, так как это способствует искоренению появившихся в большом количестве «околонаучных» журналов, готовых публиковать любые материалы. В статье рассматриваются подходы к оценке качества научных журналов, представлен обзор мероприятий, в рамках которых проводилась оценка качества российских научных журналов: конкурс по государственной поддержке программ развития российских научных журналов, формирование пула изданий, вошедших в Russian Science Citation Index, и Перечня рецензируемых научных изданий. Показывается, что соответствие журнала набору формальных критериев не может служить абсолютной гарантией того, что он журнал имеет высокий научный уровень, а наиболее эффективными подходами к оценке качества журналов являются те, в которых в совокупности используются качественные и количественные методы. В результате исследования сделан вывод, что проведение любой оценки журналов заставляет редакции повышать качество своих изданий, стремиться соответствовать обозначенным критериям оценок.
КЛЮЧЕВЫЕ СЛОВА. Научный журнал; качество журнала; оценка качества; критерии оценки; подходы к оценке; методика оценки; библиометрические показатели; импакт-фактор; экспертная оценка; экспертиза.
ИНФОРМАЦИЯ О СТАТЬЕ. Дата поступления 17 февраля 2017 г.; дата принятия к печати 6 марта 2017 г.; дата онлайн-размещения 31 марта 2017 г.
T. A. Loskutova
Baikal State University, Irkutsk, Russian Federation
PRESENT-DAY APPROACHES TO ASSESSING QUALITY OF RUSSIAN ACADEMIC JOURNALS
ABSTRACT. At the present development stage of Russia's editorial and publishing complex of topical issue is assessing the quality of academic journals as it contributes to liquidating the «would-be scientific» journals that have sprung around in a great number and are prepared to publish any materials. The article considers approaches to assessing the quality of academic journals, presents a review of the events involving assessment of Russian academic journals: competition of state-supported development programs for the Russian academic journals, formation of the pool of publications enrolled into the Russian Science Citation Index, and of the List of peer-reviewed academic publications. It shows that a journal's concordance to the formal criteria set is not an absolute guarantee of the journal's high scientific level, while the most effective approaches to assessing the quality of the journals are those that use, as a whole, the quantitative and qualitative methods. As a result of the investigation, a conclusion is made that making any assessment of journals will necessitate the editorial staff to increase the quality of their publications, to strive to correspond to the mentioned assessment criteria.
KEYWORDS. Academic journal; quality of journal; quality assessment; assessment criteria; approaches to assessment; assessment methods; bibliometric indicators; impact factor; expert assessment; expert examination.
ARTICLE INFO. Received Februsry 17, 2017; accepted March 6, 2017; available online March 31, 2017.
© Т. А. Лоскутова, 2017
Введение. В стремительно развивающемся научном сообществе все более важным становится спрос на актуальные исследования, опубликованные в высококачественных журналах. Качество журналов, как и качество контента, размещенного в них, во многом зависит от деятельности редакций, их способности выдерживать жесткую конкуренцию в поиске востребованного материала и его надлежащей подачи.
В научном сообществе распространено мнение о том, что подтверждением качества научного журнала является, прежде всего, его вхождение в международно признанные базы данных научного цитирования журналов Scopus и Web of Science, а журналы, не включенные в эти базы, воспринимаются как издания, имеющие недостаточно высокий научный уровень. Особенно эта проблема актуальна для России. В последние годы предпринимались попытки исправить эту ситуацию: в 2014—2015 гг. в России проводились мероприятия, по оценке качества научных журналов с использованием методик, приближенных к методикам, применяемым при отборе журналов для индексирования в базах данных Scopus и Web of Science.
Данная публикация носит обзорный характер, целью которой является сопоставление и анализ подходов к управлению оценкой качества научных журналов, используемых в России.
Информационную базу исследования составили положения нормативной и справочной литературы, периодических изданий; официальные статистические и аналитические материалы Министерства образования и науки Российской Федерации, Ассоциации научных редакторов и издателей, а также другие материалы сети Интернет.
Проблемам оценки качества научных журналов и включения их в базы данных цитирования посвящены материалы таких практикующих специалистов, как О. В. Кириллова, Г. О. Еременко, А. Я. Назаренко, В. В. Богоров, Н. Г. Попова, А. Локтев и др.
При решении современных, насущных проблем деятельности редакций наиболее востребованными являются публикации Президента Ассоциации научных редакторов и издателей О. В. Кирилловой. Она инициирует проведение семинаров и других мероприятий, направленных на обучение редакторов и издателей и совершенствование деятельности редакций в целом, показывает возможности практического решения интеграции журналов в ведущие мировые базы данных, дает рекомендации по повышению качества научных журналов. На основе этих мероприятий издаются сборники конференций [1; 2] и методические рекомендации [3; 4]. В 2016 г. начал издаваться научно-практический журнал «Научный редактор и издатель»1, главным редактором которого является О. В. Кириллова.
Методика оценки качества научных журналов. Вопрос о том, как объективно оценить качество научных журналов на современном этапе развития научной периодики поднимается довольно часто.
Совсем недавно редакционно-издательский комплекс научной периодики России жил своей «внутрироссийской» жизнью, ориентируясь на требования Высшей аттестационной комиссии Министерства образования и науки Российской Федерации (далее — ВАК). С начала 2000-х гг. ВАК формирует Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук (далее — Перечень ВАК). За время своего существования Перечень ВАК несколько раз обновлялся, для его формирования разрабатывались новые требования. Однако эти требования носят формальный характер (наличие свидетельства о регистрации средства массовой информации, ISSN, сайта жур-
1 Познакомиться с материалами и узнать подробнее о журнале можно на его официальном сайте (URL: http://www.scieditor.ru/jour/index).
нала, редакционной коллегии или редакционного совета, аннотации, ключевых слов, пристатейных списков литературы для каждой публикации, рассылка обязательного экземпляра, строгая периодичность и т. д.).
В сферу научной деятельности все активнее входит дисциплина «наукометрия», изучающая эволюцию науки через многочисленные измерения и статистическую обработку информации. Наукометрические показатели используются для оценки состояния и перспективности научно-исследовательской деятельности авторов, организаций и журналов, их сравнения и ранжирования в различных рейтингах. Важной частью наукометрического подхода изучения науки является библиометрия — научное направление, базирующееся на методах количественного анализа библиографической информации, которые служат основой для их качественной оценки [5—7].
В мире широко используется способ оценки качества журналов по такому библиометрическому показателю, как импакт-фактор2. Однако этот показатель, по словам генерального директора Научной электронной библиотеки elibrary.ru Г. О. Еременко и советника вице-президента Российской академии наук А. Я. На-заренко «сильно зависит от научного направления и легко поддается искусственной "накрутке" за счет повышения самоцитирования в журнале или взаимного цитирования из "дружественных" журналов» [10].
В своем исследовании И. Д. Котляров приходит к мнению, что в методике оценки качества научных журналов «количественные факторы имеют преимущество, хотя они оценивают не содержательные аспекты журнала, а формальные, но при этом существует перечень формальных требований, соответствие которому в научном сообществе считается обязательным для "хорошего" журнала. Качественные параметры позволяют лучше и объективнее оценить научный уровень журнала, однако их использование связано с большими затратами ресурсов» [11, с. 18—19].
Г. О. Еременко и А. Я. Назаренко также говорят о количественной и качественной оценке уровня научных журналов: «существует два основных подхода к оценке результатов научной деятельности — использование библиометрических показателей и экспертиза. Эти же подходы используются и при оценке научных журналов» [10]. Однако они утверждают, что добиться адекватных результатов оценки можно, только «грамотно сочетая преимущества разных подходов к оценке» [Там же]. Указанные ими подходы имеют как плюсы, так и минусы.
Использование библиометрических показателей позволяет быстро оценить или ранжировать большое количество публикаций, ученых, организаций, журналов и др. [6; 7; 10]. При оценке качества журналов может проводиться анализ библиографических показателей как самого журнала (импакт-фактор, число цитирований, коэффициент самоцитирования, число ссылок в списках цитируемой литературы и т. д.), так и членов его редакционной коллегии (число публикаций, количество цитирований, индекс Хирша и др.). К достоинствам такого подхода можно отнести его объективность, однако этот подход часто оказывается слишком упрощенным для оценки научного исследования. Экспертная оценка позволяет при необходимости провести всесторонний анализ научного исследования, но занимает много времени. Основным ее недостатком является субъективность, которая может проявляться на разных стадиях процесса экспертизы — начиная с выбора соответствующих экспертов и заканчивая интерпретацией результатов и оказывать серьезное влияние на результаты оценки [10].
2 Импакт-фактор — число цитирований в текущем году статей, опубликованных в журнале за предыдущие годы, поделенное на число этих статей. Импакт-фактор, т. е. фактор влияния, относится только к журналу и не является метрическим уровнем статьи. Эта метрика была разработана с целью выявления наиболее значимых журналов в конкретной области исследования [8; 9, с. 122]. Рассчитываются двухлетний и пятилетний импакт-факторы, учитывающие и не учитывающие самоцитирование.
Стоит отметить, что и правообладатели Scopus и Web of Science при оценке качества научных журналов, включаемых в свои информационные системы, также применяют указанные подходы.
Характеристика мероприятий по оценке качества научных журналов, проводимых в России. В последние годы в России предпринималось несколько попыток оценки качества научных журналов, которая проводилась в рамках соответствующих мероприятий (табл. 1). Стоит отметить, что в данной работе представлены мероприятия по оценке качества журналов и их методики, получившие официальное признание общественности, результаты которых распространяются на деятельность всего научного сообщества. Однако существуют и другие мероприятия, по итогам которых создаются «черные» и «белые» списки журналов. Они используются для информирования научной общественности или применяются в отдельных учебных заведениях. Так, можно отметить проект Высшей школы экономики, где создаются списки изданий, публикации в которых учитываются или не учитываются при назначении академических надбавок и в оценке публикационной активности сотрудников учебного заведения, а также проект «Диссеропе-дия», реализуемый специальным сетевым сообществом «Диссернет», содержащий русскоязычные научные периодические издания, демонстрирующие, по мнению «Диссернета», признаки некорректной редакционной политики, а, следовательно, такие издания могут иметь низкий научный уровень.
Таблица 1
Перечень мероприятий, в рамках которых проводилась оценка качества российских научных журналов
Период проведения Мероприятие Организаторы Основание для проведения
2014 Конкурс по государственной поддержке программ развития российских научных журналов Некоммерческое партнерство «Национальный электронно-информационный Консорциум»; Министерство образования и науки Российской Федерации Федеральная целевая программа «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» (Мероприятие 3.3.1 — IV очередь-1) по теме «Разработка и внедрение инструментов демонстрации и популяризации научно-исследова-тельских и научно-технических работ и достижений в образовании и науке, стимулирующих формирование положительной оценки в освещении актуальных процессов в области научных исследований, интеллектуальных технологий»
2014-2015 Формирование пула изданий, вошедших в Russian Science Citation Index Компания Thomson Reuters; Научная электронная библиотека elibrary.ru Соглашение о сотрудничестве между подразделением по научным исследованиям и интеллектуальной собственности компании Thomson Reuters (Intellectual Property & Science, IP & Science) и Научной электронной библиотекой elibrary.ru, подписанное 25 сентября 2014 г. в г. Москва
2014-2015 Формирование Перечня рецензируемых научных изданий, в которых должны быть опубликованы основные результаты диссертаций на соискание ученых степени кандидата наук, на соискание ученой степени доктора наук Высшая аттестационная комиссия Министерства образования и науки Российской Федерации Приказ Министерства образования и науки Российской Федерации «Об утверждении правил формирования в уведомительном порядке перечня рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, и требований к рецензируемым научным изданиям для включения в перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук» от 25 июля 2014 г. № 793 (зарегистрирован Минюстом России 25 августа 2014 г., регистрационный № 33863, вступил в силу 19 октября 2014 г.)
Кроме того, можно выделить основные показатели обозначенных мероприятий (табл. 2).
Таблица 2
Основные показатели мероприятий по оценке качества российских научных журналов
Показатель Конкурс по государственной поддержке программ развития российских научных журналов Формирование пула изданий, вошедших в Russian Science Citation Index Формирование Перечня рецензируемых научных изданий, в которых должны быть опубликованы основные результаты диссертаций на соискание ученых степени кандидата наук, на соискание ученой степени доктора наук
Цели Повышение уровня информационного сопровождения достижений фундаментальной и прикладной науки, образования и интеллектуальных технологий; а также авторитетности и влияния российского научно-информационного и научно-издательского сегмента в мировом сообществе Размещение 1 000 лучших российских журналов, индексируемых в Российском индексе научного цитирования, на платформе Web of Science в виде отдельной базы данных Повышение качества диссертационных исследований путем развития механизма профессионального и общественного обсуждения их научных результатов
Задачи Для журналов, не входящих в глобальные индекса цитирования — достижение качественного уровня журнала, выполнение требований международных стандартов и критериев отбора индексов цитирования и включение в Scopus и Web of Science. Для журналов, входящих в Web of Science или Scopus — повышение качественного уровня журнала по международным стандартам и достижение библиометрических показателей этого индекса цитирования, приближенных к среднему показателю тематической области, либо — включение в Scopus или Web of Science. Для журналов, входящих в оба ресурса — повышение качественного уровня журнала по международным стандартам и достижение библио-метрических показателей, приближенных к среднему показателю импакт-фактора тематической области Повышение качества российских научных журналов за счет приведения их к международным стандартам. Рост библиометрических показателей российских журналов в Web of Science и интегральных показателей России в целом за счет идентификации ссылок на русскоязычные версии журналов и повышения видимости и цитируемости российских журналов в мире. Создание системы оценки и мониторинга качества научных журналов, сочетающей использование би-блиометрической информации и экспертной оценки. Совершенствование системы оценки эффективности научной деятельности на основе учета статей в коллекции лучших российских журналов(ядра Российского индекса научного цитирования) Формирование условий для демонополизации национального издательского рынка и расширения диверсификации условий для публикации научных трудов. Распределение журналов по тематике публикуемых статей с учетом научных специальностей
Методика оценки Решение об определении победителей принимала Конкурсная комиссия на основании следующей информации: Решение о включении журнала принимала Рабочая группа на основании следующей информации: Решение о включении журнала принимал Президиум ВАК на основании следующей информации:
Окончание табл. 2
Показатель Конкурс по государственной поддержке программ развития российских научных журналов Формирование пула изданий, вошедших в Russian Science Citation Index Формирование Перечня рецензируемых научных изданий, в которых должны быть опубликованы основные результаты диссертаций на соискание ученых степени кандидата наук, на соискание ученой степени доктора наук
- соответствие формальным критериям и полнота состава поданных документов; - библиометрические показатели по Web of Science, Scopus и Российскому индексу научного цитирования; - экспертная оценка специалистами по предметным областям — членами сформированного Российского экспертного совета по отбору и продвижению журналов в международные информационные системы - формальные критерии отбора журналов; - библиометрические показатели журнала, рассчитываемые в Российском индексе научного цитирования; - результаты оценки журналов в экспертных группах по основным областям наук; - общественная экспертиза журналов учеными, зарегистрированными в Science Index - соответствие журналов, утвержденным требованиям; - полнота представленных документов
Входящий поток журналов 536 Более 5 000 2 959
Огра-ниче-ния Выделенная сумма равна 30 млн р. Квоты по тематическим областям (приоритетные — фундаментальные и технические науки) должны были распределиться по 10 победителям. Принадлежность журнала одному издательству (два журнала одного издательства не поддерживались, так же как и журналы одного учредителя) Количество выбранных журналов должно составлять не более 1 000. Рассматривались только журналы, издаваемые в Российской Федерации Издание должно выходить с периодичностью не менее 8 выпусков за 2 года. Тематика журнала должна охватывать не более трех отраслей науки и (или) пяти групп специальностей научных работников в соответствии с Номенклатурой специальностей
Ре-зуль-таты оценки 30 победителей (количество победителей увеличено и, соответственно, уменьшены суммы государственной поддержки) Отобрано 652 издания Включено 2 922 журнала, из них 964 издания, входящих в международные реферативные базы данных и системы цитирования (по состоянию на 16 января 2017 г.)
Составлено по данным: О проекте Russian Science Citation Index // elibrary.ru : науч. электронная библиотека. URL: http://elibrary.ru/rsci_about.asp; Об утверждении правил формирования в уведомительном порядке перечня рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук и требований к рецензируемым научным изданиям для включения в перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук : приказ М-ва образования и науки РФ от 25 июля 2014 г. № 793 // СПС «КонсультантПлюс»; Конкурс по государственной поддержке программ развития российских научных журналов // NT-Inform : информ. Интернет-портал. URL: http://www.rsci.ru/grants/grant_ news/297/236751.php; Russian Science Citation Index // eLibrary.ru : науч. электронная библиотека. URL: http://elibrary.ru/projects/rsci/2015-12-17.pdf.
Во всех проводимых в последние годы в России мероприятиях по оценке качества научных журналов на начальном этапе проверялись так называемые формальные критерии (см. табл. 2). Основной целью такой проверки является исключение из дальнейшего рассмотрения изданий, не соответствующих основным параметрам оценки. В частности, на первом этапе формирования пула изданий, вошедших в Russian Science Citation Index (далее — RSCI) из всех журналов, обрабатываемых в Российском индексе научного цитирования (РИНЦ), были отобраны только журналы, издаваемые в России; не рассматривались реферативные, научно-популярные журналы, и издания, не выходящие в настоящее время, а также совсем новые издания, оценить которые невозможно из-за недостаточности информации по ним [10]. На начальном этапе Конкурса по государственной поддержке программ развития российских научных журналов (далее — Конкурс) проверялся состав (полнота) поданных документов, требовалось обязательное наличие регистрации издания как средства массовой информации и кода ISSN, представление обязательного экземпляра в Российскую книжную палату (в соответствии с Федеральным законом «Об обязательном экземпляре документов»), устанавливалась легитимность заявителя как юридического лица, отслеживались периодичность выхода издания и заявленный объем, наличие сайта и т. д. [12; 13].
В двух из трех мероприятий (Конкурс и RSCI) использовались как анализ библиометрических показателей, так и экспертная оценка. Основная задача би-блиометрической оценки в этих мероприятиях состояла в обеспечении экспертов набором основных наукометрических показателей для каждого журнала.
Далее подробнее представлена методика и результаты оценки качества научных журналов анализируемых мероприятий.
1. Конкурс. Библиометрическая оценка журнала, а также его главного редактора проводилась по трем базам данных — Web of Science, Scopus и РИНЦ. На данном этапе специалистами по библиометрии оценивались:
— импакт-фактор журнала;
— число ссылок на статьи из журнала;
— средняя цитируемость одной статьи;
— число «неучтенных» («скрытых») ссылок на статьи журнала;
— показатели главного редактора (число публикаций и ссылок, индекс Хирша).
Экспертный совет Конкурса (более 40 чел.)3 проводил оценку в режиме онлайн в специально созданной информационной системе. Эксперты-предметники оценивали не только политику журнала, его научный контент, качество формата, языка и библиографической части статей, авторитетность журнала и его редакторов, доступность и распространение издания, но и представленную редакцией журнала программу его развития. По окончании экспертизы журнал получал заключение о целесообразности финансовой поддержки [12].
По оценкам экспертов государственную поддержку на 2014—2016 гг. в Конкурсе могли бы получить более 250 журналов. Однако в соответствии с имеющимися средствами было выбрано только 30, из них половина уже включена в глобальные индексы цитирования (ГИЦ) (9 — в Web of Science и 15 — в Scopus), при этом количество победителей увеличилось в 3 раза. Конкурсная комиссия установила квоты по областям знаний (рис. 1), а также в качестве основного ориентира при выборе определила баллы, полученные журналом в экспертной системе [14].
3 Большая часть ученых, проводивших экспертизу, вошла в Российский экспертный совет по отбору и продвижению журналов в международные информационные системы.
Социальные и гуманитарные науки Сельское хозяйство Медицина и здравоохранение Технические науки Биология Науки о Земле Химия
Физика и астрономия Математика, компьютерные науки
012345678 Рис. 1. Распределение журналов-победителей Конкурса по государственной поддержке программ развития российских научных журналов
по областям знаний Составлено по данным: URL: http://konkurs-jurnalov.neicon.ru
По состоянию на 10 ноября 2016 г. в Scopus были включены 9 участников-победителей Конкурса, подали заявки и находились на рассмотрении — 2, готовились подать заявки — 3, получил отказ — 1 (с эмбарго до декабря 2017 г.); в ESCI принят 1 журнал. Большинство журналов-победителей (11 наименований), включенных в ГИЦ на момент участия в проекте улучшили свои показатели [15].
2. RSCI. В качестве базового показателя для ранжирования журналов при библиометрической оценке был выбран пятилетний импакт-фактор РИНЦ. Для минимизации искусственного влияния на данный показатель дополнительно оценивались среднее число ссылок в публикации, структура списков цитируемой литературы, хронологическое распределение цитирований, самоцитирование журнала, а также проводилась нормировка импакт-факторов по индексу Херфиндаля4. Эта методика позволила выявить журналы с высоким уровнем самоцитирования и журналы, получающие внешние цитирования из очень ограниченного круга других журналов. Общий рейтинг журналов составлялся с учетом научных направлений [10; 16].
Для минимизации влияния субъективных факторов проводилась общественная экспертиза, в которой участвовали более 30 тыс. ведущих российских ученых, зарегистрированных в информационно-аналитической системе Science Index на сайте elibrary.ru. Эта экспертиза заключалась в заполнении специальных анкет, в которых каждый журнал мог быть отнесен к одному из четырех уровней:
— журнал международного уровня (достоин включения в Web of Science Core Collection);
— журнал национального уровня (безусловно достоин включения в RSCI);
— журнал среднего уровня (потенциальный кандидат для включения в RSCI);
— журнал низкого уровня (не достоин включения в RSCI) [10].
Анализ результатов общественной экспертизы показал, что требования к журналам достаточно жесткие. Так, к журналам мирового уровня было отнесено всего 110 из почти 3 тыс. журналов, включенных в анкеты [Там же].
4 Индекс Херфиндаля-Хиршмана — показатель, использующийся для оценки степени монополизации отрасли, рассчитывается как сумма квадратов процентных долей журналов, цитирующих данный, по отношению к общему количеству цитирований. При расчете учитываются цитирования из текущего года на предыдущие 5 лет, в том числе самоцитирования. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Максимальное значение равно 10 000 и достигается, когда все ссылки сделаны из одного журнала.
7
2
5
7
2
1
Экспертная оценка проводилась в группах, в их задачу входила, прежде всего, оценка научного уровня журналов, с учетом специфики научных направлений. Основные критерии, по которым оценивались журналы:
— научный уровень статей, опубликованных в журнале, за последние 5 лет;
— степень неравномерности статей по качеству;
— актуальность статей, опубликованных в журнале;
— известность (узнаваемость) и авторитетность журнала среди профессионального сообщества;
— позиции журнала в России и в мире в данной предметной области [10].
Окончательное решение принимала специально созданная рабочая группа, которая отобрала 652 журнала, что значительно меньше, чем предполагалось изначально. Данный список не является окончательным, работа по ежегодному мониторингу качества журналов будет продолжена [10]. Распределение журналов по тематическим направлениям, включенных в RSCI более равномерное (рис. 2), чем в Web of Science и РИНЦ (в Web of Science индексируются российские журналы, имеющие в основном естественную и техническую направленность, а в РИНЦ — общественно-гуманитарную и мультидисциплинарную). Это можно считать положительным моментом, поскольку недостаточный охват российских журналов с общественно-гуманитарной направленностью в Web of Science затрудняет использование этой базы для корректного отображения деятельности российских ученых и научных организаций общественно-гуманитарного профиля [10].
шЛ
^Я^Ш^^Ш Russian ^В
I Математика и информатика
I Физика, астрономия и химия
| Земля и науки об окружающей среде
Биологические науки
| Технические науки
Медицинские науки
I Сельскохозяйственные науки
I Общественные науки
I Гуманитарные науки
Мультидисциплинарные
Рис. 2. Распределение журналов, вошедших в Russian Science Citation Index, по областям знаний в сравнении со всем корпусом научных журналов, включенных в Российский индекс научного цитирования Источник: Russian Science Citation Index // eLibrary.ru : науч. электронная библиотека. URL: http://elibrary.ru/projects/rsci/2015-12-17.pdf
3. Перечень ВАК. Приказом Министерства образования и науки Российской Федерации от 25 июля 2014 г. № 793 были закреплены основные требования, при выполнении которых можно было войти в формируемый Перечень ВАК, а для журналов, текущие номера которых индексируются в определенных зарубежных базах данных процедура подачи документов была упрощена (индексирование в
зарубежной базе данных является «достаточным» критерием для включения в Перечень ВАК). Таким образом, формирование Перечня ВАК производилось в уведомительном порядке при выполнении издателями только формальных критериев, оценка библиометрических показателей и экспертная оценка журналов не осуществлялись. В результате формирования последней редакции Перечня ВАК он был расширен до объема двух третей всего потока российских научных журналов (1 958 наименований). В него, выполнив основные условия, попали и так называемые «околонаучные» журналы, а также издания, относящиеся к категории «мусорных»5.
Совет по науке Министерства образования и науки Российской Федерации (далее — Совет) на заседаниях 21—22 декабря 2015 г. и 31 марта 2016 г. обсуждал вопросы, связанные с новой редакцией Перечня ВАК. В документах, опубликованных после заседаний на официальном сайте Совета, отмечается, что Перечень ВАК «содержит большое число изданий весьма невысокого научного уровня, не обеспечивающих проведения серьезной профессиональной экспертизы публикуемых материалов. В частности, в Перечень ВАК входят журналы, в которых неоднократно публиковались статьи, содержащие масштабные некорректные заимствования»6. Совет в своих заявлениях призывает Министерство «провести постепенную замену Перечня ВАК списком журналов RSCI на платформе Web of Science, качество которых подтверждено тщательной экспертизой, проведенной российским научным сообществом. К изданиям этого списка должны быть приравнены те издания, которые входят в международные базы данных и системы цитирования Web of Science, Scopus, MathSciNet и др., перечисленные в действующем Положении о присуждении ученых степеней, а также журналы из списка ERIH PLUS»7. Также Совет предлагает Министерству разработать «дорожную карту» планомерной замены Перечня ВАК, в которой должны быть указаны конкретные временные рамки, чтобы обеспечить непрерывность и безболезненность этого процесса8.
В апреле 2016 г. Постановлением Правительства Российской Федерации «О внесении изменений в Положение о присуждении ученых степеней» от 21 апреля 2016 г. № 335 уведомительный порядок формирования Перечня ВАК был отменен. Экспертиза была возложена на экспертные советы ВАК в соответствии с их профилем. Им, по словам заместителя директора Департамента аттестации научных и научно-педагогических работников С. И. Пахомова, было передано на экспертизу 5 841 комплект документов и изначально установлен срок окончания экспертизы — 25 мая 2016 г. [17]. Однако до настоящего момента результаты этой экспертизы не представлены научной общественности. Сам Перечень ВАК в количественном плане никак не меняется, хотя заявки на включение журналов от редакций продолжают поступать9, в него вносится только информация об изменении журналами своих названий.
Выводы. Для проведения оценки качества научных журналов обязательно создается методика оценки или совершенствуется ранее используемая. В рам-
5 Журналы, публикующие быстро за деньги все поступающие статьи без какой-либо их экспертной оценки.
6 Заявление Совета по науке Минобрнауки России о Перечне ВАК от 21—22 дек. 2015 г. URL: http://sovet-po-nauke.ru/sites/sovet-po-nauke.ru/files/data/app7_21_12_2015.pdf.28 ; Заявление Совета по науке при Министерстве образования и науки РФ о «Перечне ВАК» от 31 марта 2016 г. URL: http://sovet-po-nauke.ru/sites/sovet-po-nauke.ru/files/data/Declaration_VAK_ 31_03_2016.pdf.
7 Там же.
8 URL: http://sovet-po-nauke.ru/sites/sovet-po-nauke.ru/files/data/Declaration_VAK_ 31_03_2016.pdf.
9 В Вэб-ресурсе Министерства образования и науки Российской Федерации для подачи на включение научных изданий в Перечень ВАК на 30 марта 2017 г. находится 235 заявок, которые имеют статус «Документы на рассмотрении», 14 — «Замечаний к форме нет».
ках этих методик формируется список критериев, которым обязательно должен удовлетворять оцениваемый журнал. Набор формальных критериев не может служить абсолютной гарантией того, что соответствующий ему журнал обладает высоким научным уровнем. Наиболее эффективными подходами к оценке качества научных журналов являются те, в которых используются комбинированные (качественные и количественные) методы, например, оценка библиометрических показателей и экспертиза. Авторитет международно признанных баз данных научного цитирования журналов Scopus и Web of Science практически безупречен и методика оценки качества научных журналов, применяемая в процессе отбора журналов для индексирования в них, считается наиболее совершенной.
Оценка научных журналов и их ранжирование имеет как плюсы, так и минусы. Основной плюс — стимулирование редакций журнала к его развитию, для того чтобы соответствовать критериям, по которым производится оценка, редакциям приходится улучшать качество журнала. Оценка качества научных журналов на современном этапе развития редакционно-издательского комплекса России является актуальной проблемой, потому что это способствует искоренению появившихся в большом количестве платных псевдонаучных журналов, готовых публиковать любые материалы. Минусом является проблема некорректного использования ранжированных списков журналов для оценки научной деятельности. Здесь хочется согласиться с О. Г. Еременко и А. Я. Назаренко, по их словам, проблема заключается в том, что списки из инструмента статистической оценки превращаются в инструмент административного влияния и давления на ученых, так как «научные чиновники» начинают различными способами «стимулировать» исследователей публиковаться только в журналах из «хорошего» списка [10]. Распространение такого подхода подвергается острой критике со стороны научного и издательского сообщества, так как он приводит к оттоку хороших публикаций из журналов, не попавших в список. В результате журналы «не из списка» лишаются возможности развиваться, постепенно деградируют и теряют конкурентоспособность.
Список использованной литературы
1. Научное издание международного уровня — 2015: современные тенденции в мировой практике редактирования, издания и оценки научных публикаций : материалы 4-й Междунар. науч.-практ. конф., Санкт-Петербург, 26-29 мая 2015 г. / отв. ред. О. В. Кириллова. — СПб. : Сев.-Зап. ин-т упр. — фил. РАНХиГС, 2015. — 188 с.
2. Научное издание международного уровня — 2016: решение проблем издательской этики, рецензирования и подготовки публикаций : материалы 5-й Междунар. науч.-практ. конф., Москва, 17-20 мая 2016 г. / отв. ред. О. В. Кириллова. — Екатеринбург : Изд-во Урал. ун-та, 2016. — 324 с.
3. Методические рекомендации по подготовке и оформлению научных статей в журналах, индексируемых в международных наукометрических базах данных [Электронный ресурс] / под общ. ред. О. В. Кирилловой. — М., 2017. — 144 с. — Режим доступа: http:// rasep.ru/images/materials/Методрекомендации%20полные-на%20сайт%20АНРИ.pdf.
4. Кириллова О. В. Редакционная подготовка научных журналов по международным стандартам. Рекомендации эксперта БД Scopus / О. В. Кириллова. — М. : Elsevier, 2013. — Ч. 1. — 90 с.
5. Санина Л. В. Известия Иркутской государственной экономической академии: четверть века на службе науки (по материалам Российского индекса научного цитирования) / Л. В. Санина, Т. А. Лоскутова // Известия Иркутской государственной экономической академии. — 2015. — Т. 25, № 2. — С. 221-231. — DOI: 10.17150/1993-3541.2015.25(2).221-231.
6. Маршакова-Шайкевич И. В. Роль библиометрии в оценке исследовательской активности науки / И. В. Маршакова-Шайкевич // Управление большими системами. — 2013. — № 44. — С. 210-247.
7. Писляков В. В. Методы оценки научного знания по показателям цитирования /
B. В. Писляков // Социологический журнал. — 2007. — № 1. — C. 128-140.
8. Пономарева Н. И. Библиометрия: краткие методологические комментарии [Электронный ресурс] / Н. И. Пономарева, Г. А. Козбогарова, Т. Ш. Кубиева // Новости науки Казахстана. — 2013. — Вып. 1. — Режим доступа: http://www.vestnik.nauka.kz/ informatika/bibliometriya-kratkie-metodologicheskie-kommentarii.php.
9. Руководство по наукометрии: индикаторы развития науки и технологии : монография / М. А. Акоев, В. А. Маркусова, О. В. Москалева [и др.] ; под ред. М. А. Акоева. — Екатеринбург : Изд-во Урал. ун-та, 2014. — 250 с.
10. Еременко Г. О. Как проводились оценка и отбор российских научных журналов в базу данных Russian Science Citation Index (RSCI) на Web of Science [Электронный ресурс] / Г. О. Еременко, А. Я. Назаренко. — Режим доступа: https://www.hse.ru/science/ news/198490943.html.
11. Котляров И. Д. Принципы оценки качества научных журналов / И. Д. Котляров // Образование и наука. — 2010. — № 8 (76). — С. 4-19.
12. Категории и критерии оценки российских журналов и программы их развития / О. В. Кириллова, А. Ю. Кузнецов, А. В. Диментов, В. В. Лебедев, М. Е. Шварцман // Научная периодика: проблемы и решения. — 2014. — № 5 (23). — С. 20-34.
13. Кириллова О. В. Создание программ комплексного развития журналов и опыт их сравнительной оценки [Электронный ресурс] / О. В. Кириллова // Консолидация ведущих российских научных журналов: проект Russian Science Citation Index на платформе Web of Science : науч. семинар, Москва, 14 окт. 2014 г. — Режим доступа: http://konkurs-jurnalov.neicon.ru/images/kirillova.pdf.
14. Кириллова О. В. Конкурс программ развития журналов как зеркало состояния редакционно-издательской системы российской научной периодики / О. В. Кириллова // Научная периодика: проблемы и решения. — 2015. — Т. 5, № 2. — С. 56-74.
15. Кириллова О. В. Анализ результатов выполнения проекта по господдержке программ развития журналов: показатели, достоинства и недостатки, пожелания на будущее [Электронный ресурс] / О. В. Кириллова // Заключительный семинар по Проекту государственной поддержки программ развития журналов, Москва, 10 нояб. 2016 г. — Режим доступа: http://konkurs-jurnalov.neicon.ru/images/files/Кириллова.pdf.
16. Еременко Г. О. Особенности национальной оценки научных журналов [Электронный ресурс] / Г. О. Еременко // SCIENCE INDEX 2014: аналитические инструменты и сервисы для оценки научной деятельности : науч.-практ. конф., Москва, 15-16 дек. 2014 г. — Режим доступа: http://elibrary.ru/projects/science_index/conf/2014/presentations.asp.
17. Пахомов С. И. О перечне рецензируемых научных изданий [Электронный ресурс] /
C. И. Пахомов // Научное издание международного уровня — 2016: решение проблем издательской этики, рецензирования и подготовки публикаций : материалы 5-й Междунар. науч.-практ. конф., Москва, 17-20 мая 2016 г. — Режим доступа: http ://conf.neicon.ru/ index.php/science/domestic0516/schedConf/program.
References
1. Kirillova O. V. (ed.). Nauchnoe izdanie mezhdunarodnogo urovnya — 2015: sovremen-nye tendentsii v mirovoi praktike redaktirovaniya, iz-daniya i otsenki nauchnykh publikatsii. Materialy 4-i Mezhdunarnoi nauchno-prakticheskoi konferentsii, Sankt-Peterburg, 26—29 maya 2015 g. [Scientific publication of international level — 2015: present-day trends in the world practice of editing, publishing and assessing scientific publications. Materials of the 4th International Research Conference, Saint Petersburg, May 26-29, 2015]. Saint Petersburg, NorthWest Institute of Management Publ., 2015. 188 p.
2. Kirillova O. V. (ed.). Nauchnoe izdanie mezhdunarodnogo urovnya — 2016: reshenie problem izdatel'skoi etiki, retsenzirovaniya i podgotovki publikatsii. Materialy 5-i Mezhdunarnoi nauchno-prakticheskoi konferentsii, Moskva, 17—20 maya 2016 g. [Scientific publication of international level — 2016; solving problems of editorial ethics, peer review and publication preparation. Materials of the 5th International Research Conference, Moscow, May 17-20, 2016]. Yekaterinburg, Ural State University Publ., 2016. 324 p.
3. Kirillova O. V. (ed.). Metodicheskie rekomendatsii po podgotovke i oformleniyu nauchnykh statei v zhurnalakh, indeksiruemykh v mezhdunarodnykh naukometricheskikh
bazakh dannykh [Methodical recommendations on preparing and forming scientific articles in journals indexable in international scientometrical databases]. Moscow, 2017. 144 p. Available at: http://rasep.ru/images/materials/MeTOflpeKOMeH,n;an;HH% 20no^HHe-Ha% 20 caftT%20AHPH.pdf. (In Russian).
4. Kirillova O. V. Redaktsionnaya podgotovka nauchnykh zhurnalov po mezhdunarodnym standartam. Rekomendatsii eksperta BD Scopus [Editorial preparation of academic journals according to international standards. Recommendations of Scopus database experts]. Moscow, Elsevier Publ., 2013. Pr. 1. 90 p.
5. Sanina L. V., Loskutova T. A. Bulletin of Irkutsk State Academy of Economics: a quarter century in the service of science (based on the Russian Science Citation Index). Izvestiya Irkutskoi gosudarstvennoi ekonomicheskoi akademii = Bulltin of Irkutsk State Academy of Economics, 2015, vol. 25, no. 2, pp. 221-231. DOI: 10.17150/1993-3541.2015.25(2).221-231. (In Russian).
6. Marshakova-Shaikevich I. V. The role of bibliometrics in assessing the research activity of science. Upravlenie bol'shimi sistemami = Large-scale Systems Control, 2013, no. 44, pp. 210-247. (In Russian).
7. Pislyakov V. V. Methods of scientific knowledge evaluation in terms of citation. Sotsio-logicheskii zhurnal = Sociological Zhurnal, 2007, no. 1, pp. 128-140. (In Russian).
8. Ponomareva N. I., Kozbogarova G. A., Kubieva T. Sh. Bibliometrics: short methodological comments. Novosti nauki Kazakhstana = News of Kazakhstan Science, 2013. Iss. 1. Available at: http://www.vestnik.nauka.kz/informatika/bibliometriya-kratkie-metodologich-eskie-kommentarii.php. (In Russian).
9. Akoyev M. A., Markusova V. A., Moskaleva O. V.et al. Rukovodstvo po naukometrii: in-dikatory razvitiya nauki i tekhnologii [Guideline for scientometrics: indicators for science and technology development]. Yekaterinburg, Ural State University Publ., 2014. 250 p.
10. Eremenko G. O., Nazarenko A. Ya. Kakprovodilis' otsenka i otbor rossiiskikh nauchnykh zhurnalov v bazu dannykh Russian Science Citation Index (RSCI) na Web of Science [The way of assessing and selecting Russian academic journals into the database of Russian Science Citation Index (RSCI) on Web of Science]. Available at: https://www.hse.ru/science/ news/198490943.html. (In Russian).
11. Kotlyarov I. D. Principles of assessing scientific magazine qualities. Obrazovanie i nauka = Education and Science, 2010, no. 8 (76), pp. 4-19. (In Russian).
12. Kirillova O. V., Kuznetsov A. Yu., Dimentov A. V., Lebedev V. V., Shvarts-man M. E. Categories and criteria for assessing Russian journals and their development programs. Nauchnaya periodika: problemy i resheniya =Scholarly Communication Review, 2014, vol. 5 (23), no. 2, pp. 20-34. (In Russian).
13. Kirillova O. V. Creating programs of complex development of journals and experience of their comparative assessment. Konsolidatsiya vedushchikh rossiiskikh nauchnykh zhurnalov: proekt Russian Science Citation Index na platforme Web of Science. Nauchnyi seminar, Moskva, 14 oktyabrya 2014 g. [Consolidation of leading Russian academic journals: the Russian Science Citation Index Project on the Web of Science platform. Scientific Seminar, Moscow, October 14, 2014]. Available at: http://konkurs-jurnalov.neicon.ru/images/kirillova. pdf. (In Russian).
14. Kirillova O. V. Competition of academic journal development programs as a factor mirroring the state of editorial and publishing system of Russia's scientific periodical. Nauchnaya periodika: problemy i resheniya = Scholarly Communication Review, 2015, vol. 5, no. 2, pp. 56-74. (In Russian).
15. Kirillova O. V. Analysis of results of implementing the state support project for journal development programs: indicators, benefits and drawbacks, wishes for the future. Zakly-uchitel'nyi seminar po Proektu gosu-darstvennoi podderzhki programm razvitiya zhurnalov, Moskva, 10 noyabrya 2016 g. [Closing Seminar on State Support Project for Journal Development Programs, Moscow, November 10, 2016]. Available at: http://konkurs-jurnalov.neicon. ru/images/files/Knpn^^oBa.pdf. (In Russian).
16. Eremenko G. O. Features of national assessment of academic journals. SCIENCE INDEX 2014: analiticheskie instrumenty i servisy dlya otsenki nauchnoi deyatel'nosti. Materialy nauchno-prakticheskoi konferentsii, Moskva, 15-16 dekabrya 2014 g. [SCIENCE INDEX 2014: analytical tools and services of assessing scientific activity. Materials of International Re-
search Conference, Moscow, December 15-16, 2014]. Available at: http://elibrary.ru/projects/ science_index/conf/2014/presentations.asp. (In Russian).
17. Pakhomov S. I. On list of peer-reviewed scientific publications. Nauchnoe izdanie mezhdunarodnogo urovnya — 2016: reshenie problem izdatel'skoi etiki, retsenzirovaniya i podgotovki publikatsii. Materialy 5-i Mezdunarodnoi nauchno-prakticheskoi konferentsii, Moskva, 17—20 maya 2016 g. [Scientific publication of international level — 2016; solving problems of editorial ethics, peer review and publication preparation. Materials of 5th International Research Conference, Moscow, May 17-20, 2016]. Available at: http://conf.neicon.ru/index. php/science/domestic0516/schedConf/program. (In Russian).
Информация об авторе
Лоскутова Татьяна Анатольевна — заведующий отделом единой редакции научных журналов, магистрант, кафедра менеджмента, маркетинга и сервиса, Байкальский государственный университет, 664003, г. Иркутск, ул. Ленина, 11, e-mail: [email protected].
Author
Tatyana A. Loskutova — Head of Department of Integrated Editorial Office, Master Degree Student, Chair of Management, Marketing and Services, Baikal State University, 11 Lenin St., 664003, Irkutsk, Russian Federation; e-mail: [email protected].
Библиографическое описание статьи
Лоскутова Т. А. Современные подходы к оценке качества российских научных журналов / Т. А. Лоскутова // Baikal Research Journal. — 2017. — Т. 8, № 1. — DOI: 10.17150/2411-6262.2017.8(1).16.
Reference to article
Loskutova T. A. Present-day approaches to assessing quality of Russian academic journals. Baikal Research Journal, 2017, vol. 8, no. 1. DOI: 10.17150/2411-6262.2017.8(1).16. (In Russian).
