CC BY
9УДК 60:347.777
Т.А. АБАКУМОВА, инженер-технолог (tamara.rifsm@gmail.com), Е.И. ЮМАШЕВА, инженер-химик-технолог (mail@rifsm.ru)
ООО РИФ «Стройматериалы» (127434, г. Москва, Дмитровское ш., 9, стр. 3, оф. 225)
О проблемах отображения отечественной строительной науки в международных базах данных
Представлена попытка проанализировать публикационную активность ученых, работающих в области строительства, в международном научном пространстве. В качестве одной из причин малого количества публикаций в высокорейтинговых зарубежных изданиях приводится локальный характер исследований для решения инженерных задач, не имеющих международного значения. Проведен описательный анализ российских публикаций в высокорейтинговых иностранных изданиях за период 1996-2015 гг. с использованием данные базы Scopus. Выявлено, что присутствие российских авторов в топ-журналах приближается к 1,5%о (промилле). Сделаны выводы, что наличие международной коллаборации увеличивает средние показатели цитируемости статей. Также поднимается вопрос о необходимости оптимизации требований по публикационной активности ученых прикладных научных направлений, изменении концепции научных исследований в области архитектуры и строительства.
Ключевые слова: публикационная активность, цитируемость, библиометрические индексы, международные индексы цитирования.
T.A. ABAKUMOVA, Engineer-Technologist (tamara.rifsm@gmail.com), E.I. YUMASHEVA, Engineer-Chemist-Technologist (mail@rifsm.ru) OOO RIF «Stroymaterialy» (9, bld. 3, Off. 225, Dmitrovskoe shosse, 127434, Moscow, Russian Federation)
About Problems of Representation of National Construction Science in International Data Bases
An attempt to analyze the publishing activity of scientists, working in the field of construction, in the international scientific space is presented. As one of the reasons for a small number of publications in highly-rated foreign editions, a local character of studies for solution of engineering problems not having the international value is specified. The describing analysis of Russian publications in highly-rated foreign editions for the period of 1996-2015 was made with the use of the Scopus data base. It is revealed that the presence of Russian authors in the top-journals approaches 1.5%o (promille). Conclusions are made that the availability of international collaboration increases the average indexes of articles quoted. The question is also raised about the need to optimize requirements for publishing activity of scientists of applied scientific directions, to change the concept of scientific research in the field of architecture and construction. Keywords: publishing activity, citation, bibliometric indexes, international citation indexes.
Направления науки, отнесенные в Научной электронной библиотеке (http://elibrary.ru/) к тематике «Строительство. Архитектура», являются в значительной мере прикладными, т. е. основная часть исследований направлена на практическое решение различных технических задач. Значительная доля российских ученых занимаются разработками, востребованными внутри страны в регионах с уникальными климатическими, ландшафтными, геодезическими и др. факторами. Зачастую результаты таких исследований не могут быть широко применены, тем более в мировом масштабе, и до недавнего времени их результаты публиковались либо в региональных, либо в национальных изданиях и необходимости печатать статью в иностранном журнале аналогичного профиля объективно не было. При этом будем иметь в виду, что научные достижения российской и советской школы материаловедения в области строительства всегда были известны и высоко ценились мировым научным сообществом. Исследования российских и советских ученых, имеющие интернациональное значение, становились достоянием зарубежных специалистов посредством публикаций в зарубежных журналах и выступлений на международных научных мероприятиях. Также существовала практика перевода отечественных научно-технических журналов и издания их за рубежом, т. е. нельзя говорить о «замкнутости» отечественного строительного материаловедения.
Несколько лет назад государство, как основной инвестор российской науки, озаботилось эффективностью вкладываемых средств, а также ее местом и ролью в мировом масштабе.
Для начала Решением Президиума ВАК № 45.1-132 от 14 октября 2008 г. были изменены принципы формирования Перечня ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой сте-
пени доктора и кандидата наук, который на тот момент включал 1485 изданий. Впервые для журналов были сформулированы весьма жесткие качественные требования.
Затем Министерством образование и науки РФ был издан приказ № 406 от 14 октября 2009 г. «Об утверждении Типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения», в котором количество опубликованных статей и ссылок на них стали оценочными критериями результативности научной деятельности.
Поскольку возникла необходимость в публикациях, ученые мобилизовались и начали публиковаться. Анализ данных табл. 1 показывает значительный рост количества публикаций авторов по тематике «Строительство. Архитектура» в ведущих российских изданиях в период 2009-2011 гг.
Не успели ученые свыкнуться с мыслью, что надо публиковать много статей, как появились новые критерии оценки деятельности ученых. Согласно Распоряжению Правительства РФ от 08.12.2011 № 2227-р «Об утверждении Стратегии инновационного развития Российской Федерации на период до 2020 года» и Указу Президента Российской Федерации от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки», оценка исследовательской деятельности производится в том числе при помощи библиоме-трических показателей, которые оценивают научный вклад ученых или организаций исходя из количества публикаций в научных периодических изданиях и количества полученных ими цитирований. Публикационные и
Таблица 1
Журнал Количество цитирований Количество статей Всего за 2009-2015 гг.
2009 2010 2011 2012 2013 2014 2015
Строительные материалы 13382 261 230 220 224 201 168 175 1479
ПГС 6755 198 124 224 269 274 224 161 1474
Вестник МГСУ 6033 249 421 787 434 333 259 188 2671
Жилищное строительство 3764 65 91 91 101 119 103 123 693
Инженерно-строительный журнал 3265 76 74 83 95 88 66 62 544
Строительная механика и расчет сооружений 2584 86 86 83 91 87 67 79 579
Основания, фундаменты и механика грунтов 2015 38 37 37 41 41 38 34 266
Инженерная геология 1598 40 32 33 35 42 39 38 259
Вопросы инженерной сейсмологии 904 20 19 21 21 20 19 21 141
International Journal for Computational Civil and Structural Engineering 486 42 54 31 51 64 61 52 355
Общее количество статей 1075 1168 1610 1362 1269 1044 933 8461
Примечание. Выбраны журналы, вошедшие в Российский индекс научного цитирования (Russian Science Citation Index) по тематике «Строительство. Архитектура»; расположены в порядке убывания количества цитирований.
цитатные показатели рассматриваются как индикаторы состояния науки [1, 2].
Однако применение библиометрических индексов требует большой осторожности. Они могут создавать искаженное представление о действительном вкладе научных работников в связи со сложностью и многогранностью оцениваемого понятия. Также может появиться соблазн для научных сотрудников прибегать к «новым технологиям» для повышения показателя, по которому осуществляется ранжирование [3].
Обращение к данным табл. 1 за 2012—2015 гг., показывает, что количество статей, ежегодно публикуемых ведущими российскими журналами по тематике «Строительство. Архитектура», пройдя пик 2011 г., стабилизировалось, не смотря на существенный рост общего количества статей.
Не вдаваясь в подробности, которые могут стать предметом отдельной статьи «о публикации статей», отметим, что спрос, как водится, породил предложение: существенно возросло количество журналов, сборников и трудов конференций. Только изданий, входящих в Перечень ВАК, стало вдвое больше, по сравнению с 2009 г.
К чему же привел искусственный рост публикационной активности? Так, по мнению П.Ю. Чеботарева, д-ра физ.-мат. наук, старшего научного сотрудника Института проблем управления им. В.А. Трапезникова РАН, многие статьи выходят с ошибками: от ложных «теорем» до неверной атрибуции результатов, не говоря о «ляпах». Научный приоритет всерьез не проверяется: в областях с мощным потоком публикаций это затруднительно. Качество рецензирования падает.
Кроме того, все спешат. Спешит автор: ему надо опубликовать за год как можно больше статей. Спешит редактор: ему нужно справиться с растущим потоком статей и выбрать те, что принесут ссылки за два года (иные «бесполезны»). Спешит рецензент: во-первых, его ждет собственная работа; во-вторых, пока он будет разбираться со статьей, его завалят новыми, а не всегда удобно отказывать. Спешит и читатель: у него на чтение почти нет времени. Многие уже не читают, а только пролистывают работы, на которые ссылаются. Наука превратилась в гонку за числом публикаций и ростом библиометриче-ских индексов [4]. И удивляться не приходится.
Деятельность любого ученого в России (вне зависимости от его специализации), как правило, регламентируется несколькими параметрами. К числу наиболее значимых следует относить обязательства в рамках научных исследований, финансируемых из различных государственных источников: государственное задание,
РФФИ, ФЦП и др. Одним из решающих показателей, по которым оцениваются академические вузы и институты, является публикационная активность авторов-сотрудников, их видимость в международных базах цитирования, таких как Scopus (Нидерланды), Web of Science (США) и др. [5, 6].
Например, в рамках государственного задания Минобрнауки РФ в среднем в год необходимо опубликовать 4—5 статей в журналах, индексируемых в Scopus, и минимально одну в журналах, входящих в WoS. Таких проектов у одного ученого может быть два-три одновременно. А если вспомнить о невозможности одновременного финансирования одного и того же проекта, следовательно, тематики исследований, финансируемых из различных источников, отличаются. Количество необходимых публикаций увеличивается в разы. В конкурсах, организованных Российским научных фондом, вообще не фигурируют публикации в ВАКовских журналах. В «зачет» идут только публикации в журналах, индексируемых базами Scopus и Web of Science (WoS), как при заявочной оценке проекта и коллектива, так и при отчетности в случае выигрыша. Более того, даже опубликованные в означенных журналах статьи могут быть не зачтены ввиду низкого рейтинга журнала в базах цитирования.
Что же собой представляет публикация в международном издании и какие трудности могут возникнуть у автора на пути к заветной публикации? По оценкам специалистов, основной и самой значительной сложностью является объективная оценка, являются ли достижения такими важными, чтобы поделиться ими с международным научным сообществом. Вторая трудность — отсутствие языковых компетенций. Не все авторы, тем более которые занимаются наукой в региональных вузах России, обладают знанием английского языка на должном уровне. Другие препятствия: отсутствие навыков академического письма; информационной и библиографической работы с научными источниками; отсутствие опыта подготовки международных и национальных публикаций [5, 6]. Немаловажным фактором также является размер регистрационного взноса за статью (Journal submission fees), который у некоторых высокорейтинговых изданий доходит до 1000 евро и более, а также различные накладные расходы: услуги по подготовке англоязычного текста, за обработку изображений, форматирование текста в соответствии с требованиями редакции и т. д. Эти расходы автор несет еще до рецензирования, соответственно, публикация не гарантирована.
Итак, до 2011 г. у ученых, работающих в области строительства, не было директивной необходимости массово
í"j научно-технический и производственный журнал
июль 2016
Таблица 2
Объем публикаций в журналах 1-го квартиля (SJR, 2015)
США 13962 Иран 1334 Израиль 451 Колумбия 153
Китай 6794 Португалия 1255 Таиланд 438 Румыния 145
Великобритания 5319 Швейцария 1137 Новая Зеландия 405 Иордания 130
Канада 3755 Сингапур 1135 Финляндия 396 Сербия 120
Италия 3149 Греция 1113 Южная Африка 312 Пакистан 119
Австралия 2736 Швеция 1086 Мексика 309 Венгрия 116
Франция 2672 Нидерланды 984 Австрия 299 Вьетнам 112
Южная Корея 2601 Бразилия 918 Чехия 289 Тунис 104
Япония 2387 Бельгия 822 Ирландия 228 Кувейт 102
Испания 2175 Дания 743 ОАЭ 222 Литва 99
Гонконг 2105 Египет 651 Словения 218 Словакия 98
Турция 2029 Польша 610 Аргентина 210 Ирак 94
Германия 1553 Малайзия 559 Алжир 206 Хорватия 93
Индия 1544 Норвегия 506 Ливан 178 Кипр 93
Тайвань 1384 Саудовская Аравия 470 Чили 167 Российская Федерация 91
публиковать результаты своих исследований в зарубежных журналах. Как же изменилась ситуация после появления такой необходимости?
Для оценки видимости российских исследователей, работающих в области строительной науки, в международном информационном пространстве проанализировано:
1. Как часто российские исследователи попадают в топ-журналы из индекса Scopus?
2. Как этот объем менялся за последние два десятилетия?
3. Как выглядят другие (не-англоязычные) страны в рейтингах?
Данный анализ проводился по журналам с наиболее высокими показателями цитируемости. Это обусловлено в первую очередь тем, что именно эти журналы приносят наибольшее количество цитат и публикации в них способны оказать наибольшее воздействие на позиции учреждений в академических рейтингах. И во-вторых — среди изданий в нижних квартилях рейтинга Scopus могут быть материалы конференций, в которые авторам попасть существенно легче, чем опубликовать полновесную исследовательскую статью.
Было выбрано 37 журналов (предметная область — инженерия (engineering); предметная категория — строительство (building and construction)), представленных в первом квартиле рейтинга журналов Scopus с показателями 2015 г., опубликованном на сайте лаборатории Scimago (http://scimagojr.com/journalrank.php?category=2 215&area=2200&year=2015).
Из всех представленных журналов 19 зарегистрировано в Великобритании, 8 — в США, 6 — в Нидерландах, по одному журналу в Германии, Дании, Японии и Китае. Отметим, что страна регистрации часто не отражает связи журнала с национальным научным сообществом, а указывает на принадлежность журнала к коммерческому издателю: 11 журналов издаются крупнейшим в мире провайдером научно-технической информации — медиа-холдингом Elsevier, 4 из них под импринтом Pergamon Press; 6 журналов — группой Informa Ltd., 3 — под импринтом Taylor & Francis; 5 журналов выпускаются American Society of Civil Engineers; по два журнала — издательствами American Concrete Institute, ICE Publishing и Earthscan Publications Ltd; 9 журналов выпускают Springer, John Wiley&Sons Inc., SAGE Publications, Kluwer Academic Publishers.
На рисунке показана динамика роста публикаций в выбранных журналах за период 1996—2015 гг.
Всего за выбранный период опубликовано 62236 статей из 158 стран мира. 2505 (4%) статей не содержат информации об аффилиации, что не позволяет судить об их географическом происхождении. С участием авторов из России опубликована 91 статья, что соответствует 60-й позиции в рейтинге стран по общему количеству публикаций в указанных журналах.
В табл. 2 представлены данные базы Scopus по объемам публикаций авторов из разных стран в выбранном квартиле журналов за период 1996—2015 гг. Обратим внимание, что количество ежегодно публикуемых статей в журналах первой квартиле Scopus примерно соответствует аналогичному показателю российских высокорейтинговых журналов по тематике «Строительство. Архитектура».
Статьи российских авторов опубликованы только в 19 журналах из 37 выбранных.
Из 91 статьи российских ученых 47 были написаны с участием зарубежных коллег (табл. 3), они напечатаны в 14 журналах. Статьи, написанные без участия зарубежных коллег, были опубликованы также в 14 журналах. Размер выборки не позволяет говорить о влиянии колла-борации на попадание в отдельные журналы.
Рассмотрим показатели цитируемости публикаций российских ученых (табл. 4). Данные табл. 4 показывают, что статей с международным соавторством примерно такое же количество, как и статей, написанных только российскими авторами, и их средний возраст совпадает. И хотя в наборах присутствуют сравнимые количества
7000 -
^ 6000 -э
! 5000 -
CD
J 4000 -
с
¡5 3000 -
0 ш
1 2000 -
1000 -0
СОГ^СОСПО-'-С^СО^ГЮСОГ^СОСПО-'-С^СО^ГЮ ОЭОЭС^ОЭОООООООООО-'--'--'--'--'--'-
оэоэс^оэоооооооооооооооо
т-т-т-т-С\1С\1С\1С\1С\1С\1С\1С\1С\1С\1С\1С\1С\1С\1С\1С\1
Годы публикаций
Динамика роста публикаций статей за период 1996-2015 гг.
Таблица З
Название журнала Количество статей за период 1996-2015 гг. Без зарубежных соавторов С соавторами Всего статей с российской аффилиацией SJR
62236 44 47 91
1 Cement And Concrete Research 4221 2 5 7 3,826
2 Cement And Concrete Composites 1937 1 1 2 3,017
3 Building And Environment 4061 2,121
4 ACI Structural Journal 2084 2,088
5 Energy And Buildings 5059 8 4 12 2,073
6 Journal Of Composites For Construction 1105 2,051
7 Tunnelling And Underground Space Technology 1692 3 1 4 2,023
8 Journal Of Constructional Steel Research 2868 4 4 1,746
9 Indoor Air 630 1,666
10 Thin-Walled Structures 2319 2 2 4 1,647
11 Structural Safety 638 1 1 2 1,609
12 Construction And Building Materials 7213 5 14 19 1,606
13 Automation In Construction 1815 1 2 3 1,571
14 Structural Control And Health Monitoring 695 1 1 1,549
15 Building Research And Information 529 1,433
16 Journal Of Structural Engineering 3887 1,431
17 ACI Materials Journal 1345 1 1 1,43
18 International Journal Of Refrigeration 2908 12 10 22 1,421
19 Bulletin Of Earthquake Engineering 881 1,395
20 Georisk 187 1 1 1,299
21 Journal Of Earthquake Engineering 939 1,272
22 Journal Of Building Performance Simulation 218 1,231
23 Journal Of Construction Engineering And Management- ASCE 2166 1 1 1,219
24 Materials And Structures/Materiaux Et Constructions 2492 2 2 1,136
25 Journal Of Building Physics 223 1,073
26 Building Simulation 279 1,054
27 Journal Of Bridge Engineering 1524 1,038
28 Construction Management And Economics 1643 0,967
29 Journal Of Materials In Civil Engineering 2340 2 2 0,965
30 Magazine Of Concrete Research 1364 1 1 0,955
31 Journal Of Advanced Concrete Technology 419 1 1 0,941
32 Structural Concrete 393 2 2 0,874
33 Proceedings Of The Institution Of Civil Engineers: Ground Improvement 205 0,732
34 Advances In Building Energy Research 104 0,724
35 PCI Journal 1056 0,716
36 Structure And Infrastructure Engineering 666 0,699
37 Architectural Engineering And Design Management 131 0,696
Таблица 4
Средний возраст, лет Количество статей, шт. h-индекс (без учета самоцитирования) Количество цитат на одну статью, шт. Доля процитированных статей,%
Без зарубежных соавторов 8 44 11 =280/44 (6,36) =26/44 (59%)
С зарубежными соавторами 8 47 11 =525/47 (11,17) =39/47 (83%)
í"j научно-технический и производственный журнал
® июль 2016
высокоцитируемых публикаций, на что указывают одинаковые значения h-индекса, тем не менее участие зарубежных соавторов серьезно увеличивает процент процитированных работ и количество цитат на одну статью.
Обратим внимание на группу из 18 журналов, в которых российские авторы не опубликовали ни одной статьи, и рассмотрим географическую принадлежность тех авторов, которые отметились работами в этих журналах. С 1996 по 2015 г. в данных 18 журналах было опубликовано 20165 статей (около 33% от общего числа) из 123 стран, включая Мозамбик и Вануату. Очевидно, что отсутствие статей российских авторов не может быть объяснено ни региональным характером журналов, ни какими-то исключительно высокими требованиями к уровню исследований. Скорее всего главной причиной является отсутствие потребностей интеграции собственных работ «местного значения» в международное информационное пространство.
Основные выводы.
• Присутствие российских авторов в топ-журналах базы данных Scopus (верхний квартиль рейтинга SJR 2015) приближается к 1,5%с (промилле).
• По общему количеству публикаций в выбранных журналах Россия занимает в рейтинге стран 60-е место.
• 55% статей с участием российских авторов написаны совместно с зарубежными коллегами.
• Наличие международной коллаборации увеличивает средние показатели цитируемости.
• В 18 из 37 выбранных журналов российские авторы за 20 лет не опубликовали ни одной статьи, хотя аудитория авторов этих журналов представлена 123 странами. Прошло несколько лет с момента, когда у российских
ученых, в том числе работающих в области архитектуры и строительства, появилась настоятельная необходимость публиковать статьи в зарубежных журналах. Как показала практика, «мобилизация ресурсов», ориентированная просто на написание статей, которая во многих вузах и научных институтах выражалась в создании внутренних требований, в лучшем случае подкрепленных перспекти-
Список литературы
1. Писляков В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. 2007. № 1. С. 128-140.
2. Третьякова О.В., Кабакова Е.А. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения // Экономические и социальные перемены: факты, тенденции, прогноз. 2013. № 6 (30). С. 189-200.
3. Алескеров Ф.Т., Катаева Е.С., Писляков В.В., Яку-ба В.И. Оценка вклада научных работников методом порогового агрегирования // Управление большими системами. Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой». 2013. C. 172-189.
4. Чеботарев П.Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами. Специальный выпуск 44: «Наукометрия и экспертиза в управлении наукой». 2013. С. 14-31.
5. Арефьев П.Г. Публикационная активность, возможности роста научного продукта и традиционный русский вопрос «Что делать?» // Университетская книга. 2013. № 8. С. 49-55.
6. Арефьев П.Г. Публикационная активность: возможности роста за счет деятельности авторов // Университетская книга. 2013. № 9. С. 80-86.
7. Roberts G.G. SET for Success: the supply of people with science, technology, engineering and mathematic skills: The report ofSir Gareth Roberts' Review / G.G. Roberts. London: HM Treasury, 2002. - URL: http://webarchive. nationalarchives.gov.uk/+/http:/www.hm-treasury.gov.uk/d/ robertsreview_introch1.pdf. - Date ofaccess: 01.06.2016.
вой премирования за публикацию «вскопусе», оказалась малоэффективной, особенно в прикладных направлениях архитектуры и строительства. Ученые, у которых был научный задел, довольно быстро «исписались», при этом статьи часто направлялись в низкорейтинговые издания, даже в сборники трудов конференций, лишь бы «вско-пус». Средства, выделяемые организациями на стимулирование публикаций в журналах, индексируемых в зарубежных базах, иссякли быстро. При этом новых научных исследований, достойных международных публикаций, практически не прибавилось.
Напрашивается вывод, что следует менять концепцию организации научных исследований и представления их результатов научному сообществу, в том числе международному.
Аналогичные проблемы решали многие зарубежные страны на разных этапах развития. Ведь быть лидером в экономике можно только постоянно внедряя инновации во всех сферах деятельности, а инновации без научных исследований сами по себе не возникают [7]. И только высокопрофессиональные исследователи с глубокими предметными знаниями, широким кругозором, навыками работы с большими информационными массивами и международных коммуникаций способны обеспечить стране те самые инновации. Но такие кадры надо растить целенаправленно и системно посредством непрерывного образования и повышения квалификации. И конечно же, посредством востребованности научных разработок в своей стране. А это немалые целевые инвестиции, а не объединение вузов, слияние кафедр, увольнение квалифицированных преподавателей...
Авторы благодарят Научную электронную библиотеку eLIBRARY.RU, за организацию конференций «SCIENCE ONLINE: электронные информационные ресурсы для науки и образования», благодаря участию в которьа авторы получили доступ к статистическим данным и другим информационным материалам, использованным при подготовке статьи. Особая благодарность А.В. Лутай (Elsiver) за внимание к исследованию и участие в обсуждении.
References
1. Pislyakov V.V. Methods for evaluation of scientific knowledge in terms of citation. Sotsiologicheskii zhurnal. 2007. No. 1, pp. 128-140. (In Russian).
2. Tret'yakova O.V., Kabakova E.A. Opportunities and prospects of citation indexes in evaluating the results of a scientific institution. Ekonomicheskie i sotsial'nyepereme-ny: fakty, tendentsii, prognoz. 2013. No. 6 (30), pp. 189200. (In Russian).
3. Aleskerov F.T., Kataeva E.S., Pislyakov V.V., Yaku-ba V.I. Evaluation researchers contribution threshold aggregation method. Upravlenie bol'shimi sistemami. Spetsial'nyi vypusk 44: «Naukometriya i ekspertiza v uprav-lenii naukoi». 2013, pp. 172-189. (In Russian).
4. Chebotarev P.Yu. Scientometrics: how it can help to heal, not to maim? Upravlenie bol'shimi sistemami. Spetsial'nyi vypusk 44: «Naukometriya i ekspertiza v uprav-lenii naukoi». 2013, pp. 14-31. (In Russian).
5. Arefev P.G. Publication activity, the possibility of a scientific product growth and the traditional Russian question "What to do?" Universitetskaya kniga. 2013. No. 8, pp. 49-55. (In Russian).
6. Arefev P.G. Publication activity: growth opportunities due to the activity of authors. Universitetskaya kniga. 2013. No. 9, pp. 80-86. (In Rassian).
7. Roberts G.G. SET for Success: the supply of people with science, technology, engineering and mathematic skills: The report ofSir Gareth Roberts' Review / G.G. Roberts. London: HM Treasury, 2002. - URL: http://webarchive.nationalar-chives.gov.uk/+/http:/www.hm-treasury.gov.uk/d/rob-ertsreview_introch1.pdf. - Date of access: 01.06.2016.
