CC BY
11
Development of educatíon
V fí
Ислакаева Г.Р. Islakaeva G.R.
кандидат экономических наук, старший научный сотрудник Центра стратегических и междисциплинарных исследований, Федеральное государственное бюджетное научное учреждение Уфимский федеральный исследовательский центр Российской академии наук, г. Уфа, Российская Федерация
УДК 330.3
DOI: 10.17122/2541-8904-2019-3-29-106-113
ИНСТИТУТЫ СТИМУЛИРОВАНИЯ ПОВЫШЕНИЯ КАЧЕСТВА НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ В РОССИИ
Статья посвящена исследованию проблемы снижения качества публикационной деятельности в российской академической среде. Сама проблема заключается в том, что наблюдаемый в последние годы рост научных публикаций в определенной степени является результатом имитации научной деятельности. В российской среде это связано отчасти с тем, что увеличение спроса на количество научных изданий привело к увеличению предложения со стороны издательств, предъявляющих низкие требования к качеству публикаций.
Вместе с тем, рост публикаций российских ученых, представленных в международных базах, к сожалению, также не характеризуется высоким уровнем качества научных работ. Как правило, научные работы российских ученых, представленные в Web of Science, опубликованы в изданиях с подпороговым квартальным уровнем, соответственно они существенно уступают по критериям качества в международном сравнении (США, Германия, Китай, ЮАР).
В статье изучены причины данной проблемы. Делается вывод, что существующие в настоящее время в России инструменты по борьбе с низкокачественными научными публикациями не способны в корне решить эту проблему. К сожалению, применяемые Министерством науки и высшего образования РФ административные рычаги в отношении вузов и исследовательских институтов РАН, побуждающие исследователей повышать публикационную активность, рассматривая ее в качестве основного критерия при оценке результативности деятельности вузов и научных учреждений, не сопровождались внедрением таких институтов, которые бы стимулировали высокое качество научных работ.
Сам факт, что в российской научной среде существуют институты, допускающие возможность заниматься имитацией научной деятельности, является свидетельством того, что в российском научном сообществе сложились неформальные институты, препятствующие (замедляющие) повышению качества научной публикационной активности.
В статье обосновывается необходимость развития института, регулирующего этическую сторону научно-исследовательской деятельности, который, по мнению автора, может способствовать повышению качества научных работ.
Ключевые слова: качество научных работ, публикационная активность, академическая среда, институты, международные базы - Web of Science, Scopus, научно-исследовательская деятельность, показатели эффективности вузов и научных институтов.
The article is devoted to the study of the problem of reducing the quality of publishing in the Russian academic environment.
The specificity of the problem is that the growth of scientific publications observed in recent years is not accompanied by an increase in their quality, but is the result of an imitation of scientific activity. In the Russian environment, this is partly due to the fact that an increase in the demand for
INSTITUTIONS THAT STIMULATE THE IMPROVEMENT OF THE QUALITY OF RESEARCH ACTIVITIES IN RUSSIA
Развитие образования
the number of scientific publications has led to an increase in the supply of publishers that have low requirements for the quality of publications.
The growth of publications of Russian scientists in international databases, the result of a set of state measures of a point nature, which provided a cumulative effect on the basis of a low base for dynamics analysis. As a rule, the scientific works of Russian scientists presented in Web of Science are published in publications with subthreshold quartile level, respectively, they are significantly inferior in terms of quality in international comparison (USA, Germany, China, South Africa).
The article explores the causes of this problem. The author concludes that the tools currently existing in Russia to combat low-quality scientific publications are not capable of fundamentally solving this problem.
Unfortunately, the administrative levers applied by the Ministry of Science and Higher Education of the Russian Federation in relation to universities and research institutes of the Russian Academy of Sciences, encouraging researchers to increase publication activity, considering it as the main criterion in assessing the performance of universities and research institutions, were not accompanied by the introduction of such institutions that would stimulate high quality scientific work.
The very fact that there are institutions in the Russian scientific environment that allow the possibility of imitating scientific activity is evidence that informal institutions have formed in the Russian scientific community that impede (slow down) the quality of scientific publication activity.
The article substantiates the need to develop an institution that regulates the ethical side of research activities, which, according to the author, can help improve the quality of research activities.
Key words: quality of scientific work, publication activity, academic environment, institutes, international bases - Web of Science, Scopus, research activities, performance indicators of universities and research institutes
Начиная с 2012 года наращивание публикационной активности российских ученых находится в числе приоритетных направлений образовательной политики России. Это было обусловлено, во-первых, выполнением майского указа № 599 от 07 мая 2012 года в области образования и науки, в котором прописаны следующие цели: увеличение доли публикаций российских исследователей в мировых научных журналах, индексируемых в базе данных «Сеть науки»; вхождение не менее 5 российских вузов в топ-100 ведущих вузов мира согласно мировому рейтингу. Во-вторых, наращивание публикационной активности обусловлено ежегодным мониторингом эффективности вузов, предусматривающим, в частности, оценку публикационной активности ученых в российских и международных изданиях, индексируемых в Web of Science (WoS), Scopus, Российском индексе научного цитирования (РИНЦ).
Для решения задачи, связанной с международной направленностью научной деятельности российских исследователей, Министерство науки и высшего образования РФ стало учитывать такие критерии, как количество публикаций, представленных в
базе WoS, а также количество цитирований статей, опубликованных в научных журналах мира, индексируемых в WoS, а также в РИНЦ, в расчете на 100 НПР, при распределении бюджетного финансирования между вузами [1].
Публикационная активность ученых по другим критериям, как в вузовской системе, так и в системе РАН, учитывается в рамках мониторинга вузов [2], мониторинга результативности деятельности научных организаций [3], по результатам которых делаются оргвыводы, вплоть до закрытия организации.
В свою очередь, вузы и академические институты РАН включили критерии публикационной активности в число показателей результативности деятельности своих сотрудников - исследователей, показатели которых учитываются при распределении стимулирующей части заработной платы, а также при конкурсном избрании на должности научно-педагогических и научных работников.
Таким образом, посредством административных рычагов Министерство науки и высшего образования РФ побуждает исследователей повышать публикационную активность, рассматривая ее в качестве основного
Development of educaton
критерия при оценке результативности деятельности вузов и научных учреждений.
В целом, политика Министерства науки и высшего образования РФ по стимулированию публикационной активности обеспечила рост научных публикаций. Более того, план по реализации майского указа по увеличению публикаций в международных журналах, включенных в базы научного цитирования, оказался перевыполненным [1].
Как отмечается в работе [4], рост публикаций в международных базах - это результат комплекса государственных мер точечного характера, которые обеспечили кумулятивный эффект исходя из низкой базы для анализа динамики. К таковым государственным мерам, которые направлены на интегриро-ванность российских ученых с международным научным сообществом, относятся: программа мегагрантов с привлечением зарубежных исследований, созданный инновационный центр «Сколково», реализация проекта «5-100», Российский научный фонд.
Принципиально важно отметить, что на практике рост количества публикаций не сопровождался ростом их качества. Так, Президент РАН А. Сергеев заявил на общем собрании РАН [1], что из числа опубликованных российскими исследователями статей в журналах WoS за 2013-2017 гг. только 27 % вошло в квартальный список, все остальные статьи опубликованы в изданиях с подпоро-говым квартальным уровнем. У США за аналогичный период доля статей в квартильном списке составила - 60 %, Германии - 56 %, Китая - 43 %, ЮАР - 41 %. Как видно, научные работы российских ученых, представленные в WoS, существенно уступают по критериям их качества в международном сравнении.
Что касается публикационной активности в российских изданиях, то ситуация представляется еще хуже. Дело в том, что если для опубликования в международных изданиях, индексируемых в WoS, даже не входящих в квартальный список, для некоторого числа исследователей имеются определенные барьеры, например, трудности с переводом на английский язык, высокие материаль-
ные затраты для публикационного взноса, то для публикации работ во многих российских научных изданиях барьеров практически нет. Последнее сориентировало исследователей публиковаться на российском рынке научных изданий.
В России с увеличением спроса на количество научных изданий, соответственно, увеличилось и предложение со стороны издательств, предъявляющих низкие требования к качеству публикаций. Достаточно подробно об этом говорится в работе [5]. На практике дело доходит до того, что некоторые исследователи публикуют до 500 статей в год, причем в тех журналах, которые за некую сумму публикуют все подряд [6]. Такие публикации невозможно отнести к разряду научных, поскольку ни по объему, ни по содержанию не соответствуют общепринятым требованиям к научным статьям, изложенным в [7].
Подытоживая результаты публикационной активности российских ученых с 2013 года, можно заключить, что наблюдаемый рост публикаций, как в международных, так и в российских изданиях, на самом деле во многом является результатом имитации научной деятельности. В связи с этим возникает вопрос: «Чем обусловлена эта проблема?».
Исследователи НИУ ВШЭ появление низкокачественных публикаций в современной российской практике связывают с внедрением административных рычагов, направленных на побуждение публикационной активности через внешнее, а не внутреннее стимулирование [8]. Внешняя мотивация заключается в финансовом стимулировании, когда стимулирующая часть заработной платы существенно выше базовой, которая считается низкой. В результате работник, с целью максимизации доходов при определенных трудовых затратах, вынужден наращивать количество публикаций и не концентрироваться на их качестве.
Применяемый в России подход стимулирования публикационной активности через систему оплаты труда для работника означает, что при низкой публикационной активности его накажут рублем: чем меньше публикаций, тем ниже зарплата. Таким обра-
зом, российская специфика внешней мотивации, с одной стороны, создает контролирующий эффект, когда установленные руководством критерии публикационной активности подвергаются формальной количественной оценке и на основании этого принимаются решения о материальном поощрении, что, по сути, стимулирует наращивание публикационной активности, с другой стороны, материальный стимул загоняет работника в ситуацию, когда он вынужден имитировать публикационную активность с целью максимизации своего заработка.
В работе Курбатовой М.В., Каган Е.С. [9] снижение академических стандартов в исследовательской деятельности в вузовской среде обусловлено ограничением академических свобод вследствие формализованной системы оценки деятельности преподавателей. Существующая в РФ формализованная система оценки деятельности преподавателя, исходящая «сверху» (проводимая вузовской администрацией), а не «снизу» (определяемая научным сообществом), ограничивает академические свободы и тем самым ослабляет механизмы внутреннего контроля, основанного на высоких академических стандартах. В результате создаются условия для оппортунистического поведения преподавателей в научной деятельности. Подобное поведение является вынужденным для демонстрации достижения показателей эффективности, устанавливаемых руководством, так как в противном случае применяется система санкций: «Система санкций, которая воспринимается учеными как урезание их академической свободы, может подорвать внутреннюю мотивацию к научному творчеству и снизить качество публикуемых статей (или привести к тому, что ученые будут выбирать «стратегии выживания», связанные с серыми публикационными практиками)» [9, с. 63].
В статье Я.М. Рощиной и М.М. Юдиной, посвященной исследованию институциональных факторов, влияющих на исследовательскую деятельность преподавателей российских вузов, приводятся доводы в пользу того, что наличие благоприятной академиче-
Развитие образования
ской среды является более важным фактором, воздействующим на научные достижения преподавателей, чем контрактные механизмы стимулирования к публикационной активности [10, с. 223].
В последнее время в РФ ведется работа по борьбе с так называемыми «мусорными» журналами [6]. К примеру, из базы РИНЦ, находящейся на платформе электронной научной библиотеки (eLibrary.ru), в 2017 г. были удалены некоторые сборники материалов заочных конференций, 344 российских и международных журнала [11, 12]. Выбранные инструменты по борьбе с «мусорными» журналами говорят о том,что решение проблемы снижения качества научных публикаций основано на применении административных рычагов. Что касается развития институтов, регулирующих этическую сторону этой проблемы, то это до сих пор остается вне поля зрения властных структур.
Учитывая, что в России наличие публикаций в «мусорных» журналах не наказывается научным сообществом, и они засчитываются в научный капитал ученого, то, на наш взгляд, проводимая работа по борьбе с «мусорными» журналами не приведет к повышению качества научных публикаций.
Сам факт, что в российской научной среде существуют институты, допускающие возможность заниматься имитацией научной деятельности, на наш взгляд, говорит о том, что в научном сообществе не развиты неформальные институты контроля качества научной деятельности исследователя, например, института взаимного контроля в академической среде, института взаимной критики между коллегами.
Представляется, что если в системе не сложились институты, культивирующие проведение исследований высокого качества и, соответственно, публикации высокого качества, то прямое (искусственное) навязывание формальных институтов, ограничивающих функционирование «плохих» институтов, не обеспечит должного эффекта - повышения качества научных публикаций.
Возникает вопрос: «Какие же институты могут предотвратить имитацию научной дея-
Development of educaton
тельности, способствовать повышению качества научных исследований и научных публикаций?».
Прежде всего следует упомянуть о созданном не так давно вольном сетевом сообществе экспертов, исследователей, репортеров с самоназванием «Диссернет». Его миссия заключается в выявлении фальсифицированных научных трудов, а также изданий, не удовлетворяющих требованиям строгого научного отбора. При этом их деятельность осуществляется на добровольной основе и она не связана с какими-либо органами власти, политическими и бизнес-структурами. Несмотря на положительное отношение научного сообщества к деятельности «Диссернета», исследователями высказывается критика в отношении методологии ранжирования «Диссернетом» научных журналов России, на основании которых выносятся экспертные заключения [13].
Несомненно, «Диссернет» является одним из неформальных институтов общественной оценки качества опубликованных научных работ. Экспертиза научных работ, проводимая «Диссернетом», предполагает оценку качества работы не в части новизны результатов, а в части борьбы с плагиатом. Бесспорно, что работа, в которой содержатся элементы некорректного заимствования, никоим образом не может относиться к разряду научных работ, даже в том случае, если в ней приводятся научные результаты, обладающие новизной и, соответственно, принадлежащие автору работы, а не другим людям.
Важно отметить, что результаты выявленных «Диссернетом» фальсифицированных научных работ, как правило, не принимаются во внимание Министерством науки и выс-
Список литературы
1. Приказ Министерства образования и науки РФ от 1 апреля 2015 г. № 340 «Об утверждении Порядка проведения конкурса по распределению контрольных цифр приема по профессиям, специальностям и направлениям подготовки и (или) укрупненным группам профессий, специальностей и направлений подготовки для обучения по образова-
шего образования РФ при принятии каких-либо решений (например, административного характера и др.) в отношении вузов, научных организаций, а те, в свою очередь, не делают оргвыводов в отношении своих работников, являющихся авторами этих «научных» работ. На практике результаты «Диссернета» воспринимаются академическим сообществом как информация к сведению, но, к сожалению, она не обеспечивает некий заслон для исследователей, не соблюдающих академические этические нормы.
То, что результаты «Диссернета» не принимаются во внимание академическим сообществом и госорганами власти, говорит о том, что институт репутации в России не работает. Соответственно, если в российском академическом сообществе до сих пор не сформировался неформальный работающий институт репутации, то целесообразно внедрить его на законодательном уровне. Например, ввести «Кодекс академической репутации», подобный клятве Гиппократа, в котором были бы изложены морально-этические принципы работы академического сообщества. На практике его нарушение должно приводить к оргвыводам. Результаты функционирования института академической репутации должны учитываться как госорганами, так и академическим сообществом, только в этом случае можно ожидать решение проблемы имитации научной деятельности частью российского академического сообщества.
Статья подготовлена в рамках выполнения НИР по государственному заданию Министерства науки и высшего образования РФ № 075-00326-19-00 от 27.12.2018.
тельным программам среднего профессионального и высшего образования за счет бюджетных ассигнований федерального бюджета».
2. Курбатова М.В., Каган Е. С. Оценка степени значимости эффектов внешнего контроля деятельности преподавателей вузов // Журнал институциональных исследований. - 2015. - Т. 7. - № 3. - С. 122-143.
3. Приказ Министерства образования и науки РФ от 5 марта 2014 г. № 162 (ред. от 03.03.2016) «Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка подтверждения указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки».
4. Увеличилось количество российских публикаций в престижных журналах. Почему? [URL: http://www.sib-science.info/ru/ ras/zagadochnyy-rost-15082017 (Дата обращения: 25.06.2019).
5. Михайлов О.В. Феномен «мусорных» журналов как прямое следствие коммерциализации науки // Социология науки и технологий. 2018. Том 9. № 2. С. 56-70. URL: https://cyberleninka.ru/article/v/fenomen-musornyh-zhurnalov-kak-pryamoe-sledstvie-kommertsializatsii-nauki (Дата обращения: 25.06.2019).
6. Руководители eLIBRARY.RU: «Исключенные журналы фактически представляют собой дно». URL: https://indicator. ru/article/2017/08/01/interview-elibrary/ (Дата обращения: 25.06.2019).
7. ГОСТ 7.60-2003 «СИБИД. Издания. Основные виды. Термины и определения». URL: http://docs.cntd.ru/document/1200034382 (Дата обращения: 25.06.2019).
8. Калгин А.С., Калгина О.В., Лебедева А.А. Оценка публикационной активности как способ измерения результативности труда ученых и ее связь с мотивацией // Вопросы образования. - 2019. - № 1. - С. 44-86.
Развитие образования
9. Курбатова М.В., Каган Е.С. Оппортунизм преподавателей вузов как способ приспособления к усилению внешнего контроля деятельности // Журнал институциональных исследований. - 2016. - Т. 8. - № 3. - С. 116136. URL: https://elibrary.ru/download/ elibrary_26746769_29291665.pdf (Дата обращения: 25.06.2019).
10. Рощина Я.М., Юдкевич М.М. Факторы исследовательской деятельности преподавателей вузов: политика администрации, контрактная неполнота или влияние среды? // Вопросы образования. - 2009. - № 3. - С. 203-228.
11. Исключенные из РИНЦ журналы. URL: http://phdru.com/publications/ rinzexpelled/ (Дата обращения: 25.06.2019).
12. 300 «мусорным» журналам указали на место / «Газета.т» URL: https://www.gazeta. ru/science/2017/04/19_a_10634891.shtml (Дата обращения: 25.06.2019).
13. Ипполитов С.С. Российские научные журналы под «лупой» «Диссернета»: борьба за «чистоту науки» или «чистой воды болтовня»? URL: https://cyberleninka.ru/article/v/ rossiyskie-nauchnye-zhurnaly-pod-lupoy-disserneta-borba-za-chistotu-nauki-ili-chistoy-vody-boltovnya (Дата обращения: 25.06.2019).
References
1. Prikaz Ministerstva obrazovaniya i nauki RF ot 01.04.2015, № 340 «Ob utverzhdenii Poryadka provedeniya konkursa po raspredeleniyu kontrol'nyh cifr priema po professiyam, special'nostyam i napravleniyam podgotovki i (ili) ukrupnennym gruppam professij, special'nostej i napravlenij podgotovki dlya obucheniya po obrazovatel'nym programmam srednego professional'nogo i vysshego obrazovaniya za schet byudzhetnyh assignovanij federal'nogo byudzheta». [Order of the Ministry of Education and Science of the Russian Federation of 01.04.2015, No. 340 «On approval of the Procedure for the competition on the distribution of admission control figures by professions, specialties and areas of training and (or) enlarged groups of professions, specialties and areas of training for training in educational programs of secondary vocational and higher
Development of educaton
education at the expense of the federal budget allocations»].
2. Kurbatova M.V., Kagan E. S. Ocenka stepeni znachimosti effektov vneshnego kontrolya deyatel'nosti prepodavatelej vuzov [Significance assessment of the external control effects of lecturers]. Zhurnal institucional'nyh issledovanij - Journal of Institutional Studies. 2015. No 3. P. 122-143 [in Russian].
3. Prikaz Ministerstva obrazovaniya i nauki RF ot 5 marta 2014 g. №» 162 (red. ot 03.03.2016) «Ob utverzhdenii poryadka predostavleniya nauchnymi organizaciyami, vypolnyayushchimi nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, svedenij o rezul'tatah ih deyatel'nosti i poryadka podtverzhdeniya ukazannyh svedenij federal'nymi organami ispolnitel'noj vlasti v celyah monitoringa, poryadka predostavleniya nauchnymi organizaciyami, vypolnyayushchimi nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, svedenij o rezul'tatah ih deyatel'nosti v celyah ocenki, a takzhe sostava svedenij o rezul'tatah deyatel'nosti nauchnyh organizacij, vypolnyayushchih nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, predostavlyaemyh v celyah monitoringa i ocenki». [Order of the Ministry of Education and Science of the Russian Federation 05.05.2014, No. 162 (as amended on 03.03.2016) «On approval of the procedure for the provision by scientific organizations performing research, experimental design and technological work of a civil purpose, information on the results of their activities and the procedure for confirming this information by the federal executive bodies for monitoring purposes, the procedure for the provision of scientific organizations performing research, development and technological works «civil purposes, information on the results of their activities for the purpose of evaluation, as well as the composition of information on the results of the activities of scientific organizations performing research, development and
technological works of a civil purpose provided for monitoring and evaluation»].
4. Uvelichilos' kolichestvo rossijskih publikacij v prestizhnyh zhurnalah. Pochemu? [The number of Russian publications in prestigious magazines has increased. Why?]. Available at: http://www.sib-science.info/ru/ras/ zagadochnyy-rost-15082017 (accessed: 25.06.2019) [in Russian].
5. Mihajlov O.V. Fenomen «musornyh» zhurnalov kak pryamoe sledstvie kommercializacii nauki // [The phenomenon of «junk» magazines as a direct consequence of the commercialization of science]. Sociologiya nauki i tekhnologij - Sociology of Science and Technology. 2018. No2. P. 56-70. Available at: https://cyberleninka.ru/article/v/fenomen-musornyh-zhurnalov-kak-pryamoe-sledstvie-kommertsializatsii-nauki (accessed: 25.06.2019) [in Russian].
6. Rukovoditeli eLIBRARY.RU: «Isklyuchennye zhurnaly fakticheski predstavlyayut soboj dno». [ELIBRARY.RU executives: «Excluded magazines are in fact the bottom»]. Available at: https://indicator.ru/ article/2017/08/01/interview-elibrary/ (accessed: 25.06.2019) [in Russian].
7. GOST 7.60-2003 «SIBID. Izdaniya. Osnovnye vidy. Terminy i opredeleniya». [GOST 7.60-2003 «SIBID. Editions. The main types. Terms and Definitions»]. Available at: http://docs.cntd.ru/document/1200034382 (accessed: 25.06.2019) [in Russian].
8. Kalgin A.S., Kalgina O.V., Lebedeva A.A. Ocenka publikacionnoj aktivnosti kak sposob izmereniya rezul'tativnosti truda uchenyh i ee svyaz' s motivaciej [Publication Metrics as a Tool for Measuring Research Productivity and Their Relation to Motivation]. Voprosy obrazovaniya - Educational Studies. 2019.No 1. P.44-86 [in Russian].
9. Kurbatova M.V., Kagan E.S. Opportunizm prepodavatelej vuzov kak sposob prisposobleniya k usileniyu vneshnego kontrolya deyatel'nosti Opportunism of University Lecturers As a Way to Adaptate the External [Control Activities Strengthening]. Zhurnal institucional'nyh issledovanij - Journal of Institutional Studies. 2016. No 3. P. 116-136. Available at: https://
_ПЕДАГОГИЧЕСКИЕ НАУКИ
Развитие образования
elibrary.ru/download/ 12. 300 «musornym» zhurnalam ukazali na
elibrary_26746769_29291665.pdf (accessed: mesto [300 «junk» magazines pointed to a
25.06.2019) [in Russian]. place]. Internet-izdanie Gazeta.ru. Available at:
10. Roshchina Ya.M., Yudkevich M.M. https://www.gazeta.ru/ Faktory issledovatel'skoj deyatel'nosti science/2017/04/19_a_10634891.shtml prepodavatelej vuzov: politika administracii, (accessed: 25.06.2019) [in Russian]. kontraktnaya nepolnota ili vliyanie sredy? 13. Ippolitov S.S. Rossijskie nauchnye [Factors effecting university teachers' research: zhurnaly pod «lupoj» «Disserneta»: bor'ba za Management policies, contract incompleteness «chistotu nauki» ili «chistoj vody boltovnya»? or environment infl uences?]. Voprosy [Russian scientific journals under the "magnifier" obrazovaniya - Educational Studies. 2009. No 3. of Disserneta: the struggle for the «purity of P. 203-228 [in Russian]. science» or «pure chatter»?]. Available at:
11. Isklyuchennye iz RINC zhurnaly https://cyberleninka.ru/article/v/rossiyskie-[Magazines Excluded from RSCI]. Available at: nauchnye-zhurnaly-pod-lupoy-disserneta-http://phdru.com/publications/rinzexpelled/ borba-za-chistotu-nauki-ili-chistoy-vody-(accessed: 25.06.2019) [in Russian]. boltovnya (accessed: 25.06.2019) [in Russian].
