CC BY
109
Научная дискуссия
УДК 001.8
Е.А. Супонина
НАКРУЧИВАНИЕ ИНДЕКСА ЦИТИРОВАНИЯ КАК ОДНО ИЗ ПРОЯВЛЕНИЙ АКАДЕМИЧЕСКОЙ НЕДОБРОСОВЕСТНОСТИ (НА ПРИМЕРЕ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ
МВД РОССИИ)
Воронежский экономико-правовой институт
Аннотация: В статье представлен авторский взгляд на наиболее типичные способы искусственного увеличения индекса цитируемости и индекса Хирша в ущерб научной составляющей. В ходе исследования проанализированы причины академической недобросовестности, имеющей место в образовательных организациях МВД России.
Ключевые слова: индекс Хирша, индекс цитирования, академическая недобросовестность, академическое мошенничество, плагиат, автоплагиат, взаимоцитирование, самоцитирование.
UDC 001.8
E.A. Suponina
ARTIFICIAL INCREASE OF THE CITATION INDEX AS ONE
OF MANIFESTATIONS OF ACADEMIC DISHONESTY (FOR EXAMPLE, EDUCATIONAL INSTITUTIONS OF THE MIA OF RUSSIA)
Voronezh Institute of Economics and Law
Abstract: the article presents the author's view on the most typical ways of artificially increasing citation index and h-index to the detriment of the scientific component. The study analyzed the causes of academic dishonesty in educational institutions of the MIA of Russia.
Keywords: Hirsch index, citation index, academic dishonesty, academic fraud, plagiarism, plagiarism, vzaimootnoshenia, self-citations.
Индекс цитирования научных статей представляет собой реферативную базу данных научных публикаций, которая индексирует ссылки, указанные в пристатейных списках определенного объема публикаций и предоставляет количественные показатели этих ссылок.
Первый индекс цитирования для статей, опубликованных в научных журналах, был введен в 1960 году Институтом научной информации (Institute for Scientific
Information), коммерческой частной компанией, занимавшейся вопросами формирования библиографических баз данных научных публикаций, их индексированием и вычислением индекса цитируемости, импакт-фактора и прочих статистических показателей научных работ. В двадцать первом веке появились и иные источники подобного рода данных (например, Google Scholar - бесплатная поисковая система полнотекстовых научных публикаций всех дисциплин и форматов).
В 2005 году отечественной компанией «Научная электронная библиотека» («eLIBRARY.ru») был создан «Российский индекс научного цитирования» (РИНЦ) -библиографическая база данных научных публикаций российских учёных. На сегодняшний день РИНЦ - один из главных источников получения информации в целях оценки эффективности занимающихся научно-исследовательской работой организаций. Об этом, в частности, свидетельствует тот факт, что нормативной основой использования наукометрических показателей РИНЦ для оценки результативности научных организаций Российской академии наук выступает Постановление Президиума РАН от 12.10.2010 года № 201 [1].
Наиболее распространенным на сегодняшний день в российском и мировом научном сообществе количественным показателем ссылок на имеющиеся у ученого опубликованные работы выступает так называемый индекс Хирша, показатель, разработанный в 2005 году Хорхе Хиршем, профессором физики из Калифорнийского университета в Сан-Диего. В последнее время в научной и околонаучной литературе все чаще можно встретить критические высказывания в адрес данного показателя.
Так, по мнению Е.В. Балацкого и Н.А. Екимовой, механистичный учет РИНЦ-показателей способен дать сильно искаженную картину реальности [2, с. 167].
В.А. Жмудь утверждает, что быстрый рост индекса Хирша зачастую может являться показателем предприимчивости и озабоченности автора в большей степени, нежели показателем интереса научной общественности к его публикациям [3, с. 106].
В.Г. Горохов говорит о том, что повышенная публикационная активность со стороны научных работников сегодня привела к появлению «исследовательской фабрики» - массовой печатной продукции вместо серьезных научных исследований [4, с. 193-194].
Е.В. Луценко и вовсе называет явление, связанное со стремлением, во что бы то ни стало, повысить свой индекс Хирша, «Хиршаманией» [5, с. 2].
В целом, соглашаясь с мнением перечисленных авторов, хотелось бы заметить, что первостепенной задачей сегодня должно являться не стремление представить индекс цитирования и индекс Хирша как чуждые отечественной науке показатели (хотя и данная позиция заслуживает внимания), а максимально оптимизировать их, исключив возможность академического мошенничества и исследовательской недобросовестности.
В качестве объекта исследования были выбраны образовательные организации Министерства внутренних дел Российской Федерации. Основная причина подобного выбора заключается в следующем.
За два десятилетия, минувших с момента преобразования высших школ МВД России в полноправные образовательные учреждения высшего образования - институты (а позднее некоторые - в университеты и в академии), существенным образом изменилось отношение государственной власти к правоохранительным органам. Однако системного анализа деятельности ведомственных вузов в научной литературе до сих пор не прослеживается. Высшие учебные заведения Министерства продолжают жить своей обособленной от остального общества жизнью, спорадически будоражась в предвкушении очередной реформы.
Красноречивым показателем оторванности «полицейской науки» от реалий отечественного образования явилась публикация в ноябре 2012 года на официальном сайте Министерства образования и науки Российской Федерации перечня
II
а 3
ч
1 &
& < о
& * 1
1 & Д
государственных вузов с «признаками неэффективности», в который учреждения МВД включены не были. И хотя подобное игнорирование ведомственных образовательных организаций произошло, скорее всего, по причине того, что некоторые запрашиваемые в отношении них сведения носят конфиденциальный характер, неприятный осадок остался. Ведь там, где отсутствует внешний (в первую очередь, общественный) контроль, как правило, обнаруживаются процессы стагнации, а то и элементарный обман.
Под академической недобросовестностью в научном сообществе понимают разнообразные виды обмана или мошенничества, связанные с образовательной и (или) научной деятельностью [6, с. 116].
В качестве проявлений подобной нечестности выступают: плагиат, выдумывание сведений, манипулирование данными для формирования вымышленных научных результатов и т.п.
Наиболее часто встречающейся разновидностью академической недобросовестности в образовательных организациях МВД России являются всевозможные манипуляции со сведениями, влияющие на показатели числа научных публикаций и их цитируемости (а, значит, и на величину индекса Хирша). К их числу относятся:
- повторение сведений об одной и той же публикации на сайте российской научной электронной библиотеки «eLIBRARY.ru»;
- плагиат (в том числе - автоплагиат);
- накручивание индекса Хирша путем включения в списки литературы научных трудов, не имеющих отношения к публикуемой работе;
- фальсификация данных.
С целью проверки объективности предоставления сведений на сайт научной электронной библиотеки «eLIBRARY.ru», в период с августа по сентябрь 2016 года независимым ученым И.П. Долгих был проведен анализ соответствующих списков публикаций профессорско-преподавательского состава Воронежского института МВД России. В результате проверки все перечисленные выше формы академической недобросовестности были им обнаружены и систематизированы, а информация о характерных примерах опубликована в №53-1-2016 электронного журнала «NovaInfo.ru» и проиллюстрирована необходимыми скриншотами [7].
Казалось бы, публикация в сетевом журнале открытого доступа сведений о массовом нарушении профессиональной этики со стороны лиц, осуществляющих служебную деятельность на должностях федеральной государственной службы в органах внутренних дел, должна была вызвать эффект разорвавшейся бомбы или, как минимум, инициировать широкое обсуждение озвученных проблем. Однако даже в самом Воронежском институте МВД России отмеченные в статье факты ухищрений полностью устранены не были. Судя по всему, остальные вузы вообще остались безучастными к анализируемым вопросам.
Такой вывод можно сделать, заглянув сегодня на сайт научной электронной библиотеки «eLIBRARY.ru», интегрированной с РИНЦ. Все то, о чем говорилось в прошлом, актуально и сейчас. Мало того, степень недобросовестности только увеличилась. Приведем лишь некоторые характерные примеры, по возможности не повторяясь.
1. Заоблачный индекс Хирша у «ученых» из Ставропольского филиала Краснодарского университета МВД России.
Технологии повышения индекса Хирша (в том числе и мошенническим путем) широко известны. Об этом много писалось в научной литературе, а шарлатаны от науки давно и уже достаточно профессионально применяют описанные схемы на практике. Но
II
а 3
ч
1 &
& < о
& * 1
1 & Д
то, что происходит в Ставропольском филиале Краснодарского университета МВД России, пожалуй, заслуживает отдельной рубрики.
По состоянию на 21.12.2017 года в упомянутом филиале, согласно данным «eLIBRARY.ru», работает 5 (пять) ученых, показатели индекса Хирша у которых превышают 20 (для сравнения - в самом Краснодарском университете МВД России такой ученый лишь один). Передовиком в этом направлении является доцент кафедры тактико-специальной и огневой подготовки кандидат технических наук Л.И. Тимошенко, достигший индекса Хирша, равного 44. Чтобы осознать, насколько велик данный показатель, достаточно взглянуть на таблицу № 1, в которой содержится перечень лучших российских вузов за 2017 год, по мнению рейтингового агентства «Эксперт РА» [8], а также сведения о научных публикациях возглавляющих их ректоров, почерпнутые автором из российской научной электронной библиотеки «eLIBRARY.ru» по состоянию на 20 декабря 2017 года.
Таблица 1
Рейтинг индекса Хирша ректоров крупнейших вузов страны_
№ п/п Наименование образовательной организации Фамилия, имя, отчество ректора Количество публикаций в РИНЦ Индекс Хирша
1. Московский государственный университет им. М.В. Ломоносова Садовничий Виктор Антонович 517 25
2. Московский физико-технический институт (государственный университет) Кудрявцев Николай Николаевич 162 8
3. Национальный исследовательский ядерный университет «МИФИ» Стриханов Михаил Николаевич 445 55
4. Санкт-Петербургский государственный университет Кропачев Николай Михайлович 85 14
5. Московский государственный институт международных отношений (университет) МИД РФ Торкунов Анатолий Васильевич 125 17
6. Национальный исследовательский университет «Высшая школа экономики» Кузьминов Ярослав Иванович 144 28
7. Московский государственный технический университет имени Н.Э. Баумана Александров Анатолий Александрович 147 14
8. Национальный исследовательский Томский политехнический университет Чубик Петр Савельевич 102 10
9. Новосибирский национальный исследовательский государственный университет Федорук Михаил Петрович 256 20
10. Санкт-Петербургский политехнический университет Петра Великого Рудской Андрей Иванович 231 20
Среднее значение 221,4 21
Таким образом, несмотря на то, что сегодня ведущие отечественные образовательные организации возглавляют авторитетные ученые, широко известные как в нашей стране, так и за рубежом, лишь ректор Национального исследовательского ядерного университета «МИФИ» М.Н. Стриханов сумел в этом неофициальном, смоделированном нами соревновании, обойти доцента кафедры тактико-специальной и огневой подготовки Ставропольского университета МВД России Л.И. Тимошенко. Смешно? Честно говоря, не очень. Давайте же разберемся, в чем тут дело.
Даже беглого взгляда на статистические выкладки показателей публикационной активности Л.И. Тимошенко достаточно, чтобы понять - наукой здесь и не пахнет. Апофеозом наукометрической вакханалии, устроенной сотрудниками Ставропольского филиала Краснодарского университета МВД России, явилось массовое цитирование трехстраничной статьи «Активные методы обучения в высшей школе», одним из четырех (!) авторов которой является Л.И. Тимошенко. Статья была опубликована в журнале «Вестник АПК Ставрополья» в конце 2013 года [9, с. 11-13] и за минувшее с тех пор непродолжительное время «процитирована» 150 (!) раз. Слово «процитирована» не случайно заключено в кавычки, поскольку прямых ссылок на данную статью, как правило, нет. В большинстве случаев она лишь упомянута в библиографических списках, что, впрочем, неудивительно, если учесть названия (а, следовательно, и специфику) работ, ссылающихся на статью «Активные методы обучения в высшей школе». Приведем всего несколько примеров: 1) Бегларян С.В. «Человеческий фактор как причина травматизма в растениеводстве»; 2) Головинов С.В. «Проблемы охраны труда в зерноводстве»; 3) Савельева Е.В. «Системы заземления электроустановок» и т.п.
Не стоит думать, что доцент Л.И. Тимошенко одинок в стремлении мошенническим образом повысить свои наукометрические показатели. В 2016 году в издательстве «Ветеран» (г. Москва) вышел в свет сборник материалов III Всероссийской научно-практической конференции «Актуальные проблемы науки: от теории к практике» [10]. В числе работ, опубликованных в сборнике, есть и статья под названием «Перспективы модульного обучения в системе физкультурно-педагогического образования» (авторы - Кудря А.Д., Простяков А.А., Гладких Д.Г., Анисимов Б.С.), процитированная на сегодняшний день 61 раз. Что же за инновационная научная мысль раскрыта авторами данной статьи, позволившая последней быть столь цитируемой? Открываем сборник на 335 странице и знакомимся с содержанием «научной работы».
С позволения сказать статья состоит всего из трёх абзацев. В тексте отсутствуют прямые ссылки на какие-либо работы, однако, в списке литературы наличествует 24 (!) источника. По общему объему список литературы превышает текст «статьи» примерно в три раза. Думаю, не надо объяснять, что 61 «научная работа», процитировавшая данную, представляет собой аналогичный фарс.
Возникает резонный вопрос - при чем здесь наука?
2. Плагиат и автоплагиат как основа цитируемости авторов.
О фактах плагиата, то есть незаконного использования или распоряжения результатами чужой научной деятельности в образовательных учреждениях МВД России уже писалось [11]. Справедливости ради следует отметить, что за последнее время число случаев явного, ничем не прикрытого доведения до других лиц ложных сведений о себе как о действительном авторе исследования заметно сократилось. В первую очередь, это связано с широким проведением, как самими учеными, так и представителями гражданского общества, общественных экспертиз различных научных работ на предмет наличия в них плагиата, а также с открытым обнародованием результатов таких экспертиз. Однако положение дел с массовым автоплагиатом (самоплагиатом) по-прежнему остается неважным, если не сказать критическим.
Любой истинный ученый понимает, что главное требование, предъявляемое к научной работе, - это ее научная новизна. Репродукция и тиражирование одних и тех же
II
а 3
ч
1 &
& < о
& * 1
1 & Д
слов, мыслей и идей в разных работах автора лишает их признаков собственно научного труда, так как в этом случае утрачивается научная новизна исследования [12, с. 8].
Само по себе самоцитирование нельзя назвать грехом. Нередко исследователь, ученый просто вынужден обращаться к своим же изданным ранее научным изысканиям. Новая работа может являться продолжением предыдущих, а, следовательно, не сослаться на них автору просто невозможно. Однако часто автор подвергает переработке лишь незначительную часть своего произведения, просто перемещает механически один и тот же фрагмент текста из одной своей публикации в другую. В этом случае принято говорить об автоплагиате. Г.З. Ефимова называет подобное негативное явление самоплагиатом [13, с. 24]. Самоплагиат по своей природе чужд всякой научной деятельности и преследует лишь одну цель - накручивание индекса цитирования.
Автоплагиат как способ повышения индекса цитируемости широко распространен в образовательных учреждениях МВД. Причем, грешат этим неблаговидным делом не только рядовые сотрудники. Приведу один характерный пример. В апреле 2016 года заместитель начальника Воронежского института МВД России С.А. Винокуров опубликовал в сборнике научных трудов МНПК «Современные инновации в науке и технике» статью «Стабилизация управления электромеханической системой с бесконтактным двигателем постоянного тока» [14, с. 60-62], которая представляет собой «ремейк» статьи «Формирование стабилизированного управления бесконтактным двигателем постоянного тока», вышедшей под тем же авторством восемью годами раньше [15, с. 35-37].
В целом же показатели самоцитирования у С.А. Винокурова непостижимо высоки - из 173 имеющихся у автора цитирований - 142 - это самоцитирования (89,9%). Причем, как уже было сказано, в большинстве своем это даже не цитаты, а просто упоминания ранее опубликованных работ.
Разве это имеет какое-то отношение к науке? Весьма сомнительно.
3. Цитирование соавторами или «ну как не порадеть родному человечку».
Бессмертная фраза А.С. Грибоедова, вложенная гениальным автором в уста Фамусова, к сожалению, актуальна и сегодня. А применительно к раскручиванию индекса цитирования - актуальна вдвойне. Поскольку цитирование соавторами в научном сообществе не находит осуждения и вносит определенную лепту в рост индекса Хирша, подобная практика в вузах МВД стала вполне привычным делом. Под этим углом проанализируем статистические показатели научной деятельности профессорско-преподавательского состава двух крупнейших вузов системы МВД -Московского и Краснодарского университетов (с имеющимися у них филиалами). Взглянем на результаты лишь тех сотрудников упомянутых организаций, индекс Хирша которых согласно данным РИНЦ равен либо превышает 10, а процент цитирования соавторами от общего числа цитирований - более 80 (см. таблицу 2).
Таким образом, в Московском университете из авторов с индексом Хирша «10+» каждый десятый достиг высоких показателей благодаря цитированию своих произведений соавторами, а в Краснодарском университете - каждый четвертый. При этом зачастую приверженцы «соавторского цитирования не гнушаются и самоцитированием. В результате высокий индекс Хирша на поверку оказывается абсолютно дутым. Например, у преподавателя кафедры тактико-специальной и огневой подготовки Ставропольского филиала Краснодарского университета МВД России Е.Н. Шарова все 256 указанных на сайте электронной библиотеки «eLIBRARY.ru» цитаты сделаны либо самим автором, либо его соавторами и коллегами по образовательной организации. Иначе, как мошенничеством это и не назовешь!
Таблица 2
Рейтинг индекса Хирша двух крупнейших вузов системы МВД
№ п/п Фамилия, инициалы автора Индекс Хирша Цитирование соавторами (в %)
Московский университет МВД России им. В.Я. Кикотя
II б | 1 & ! < 0 * je '1 5 1 6 д 1. Неганов В.В. 10 87,4
2. Стрелкова Н.В. 11 81,7
3. Галанина Н.В. 12 86,6
4. Шашурина Т.В. 12 84,8
5. Фролова Т.Н. 13 85,1
6. Богданов А.В. 15 84,8
7. Булатецкий С.В. 18 81,1
8. Хазов Е.Н. 34 81,0
Краснодарский университет МВД России
1. Кочеров Ю.Н. 11 90,9
2. Шаров Е.Н. 11 97,7
3. Гоннов Р.В. 12 88,1
4. Анисимов Б.С. 14 93,6
5. Малашенко М.С. 15 82,3
6. Кудря А.Д. 28 85,3
4. В «карманных» изданиях публиковаться легче. В связи с изложенным выше возникает вопрос: каким образом второсортные и не имеющие к науке никакого отношения публикации, преследующие единственную цель - повысить наукометрические показатели, - появляются в базе РИНЦ? Существует два пути. Первый: публиковаться у коммерсантов от науки, готовых за умеренную плату (от 80-90 рублей за 1 страницу печатного текста) включить любую статью в никому не интересный и не востребованный читательской аудиторией сборник материалов «липовой» конференции (не случайно на молодежном, студенческом сленге такие сборники именуют «братскими могилами»). Второй: использовать ведомственные издания, внешний контроль за которыми если и существует, то весьма формальный. В начале 2017 года из РИНЦ было исключено 344 журнала, которые, по словам генерального директора «Научной электронной библиотеки» «eLIBRARY.ru» Г.О. Еременко, являются «мусорными» [16]. Примечательно, что отдельные признаки, которые эксперты отметили у журналов, отнесенных к категории «мусорных», присутствуют и у некоторых изданий МВД, однако, ни один ведомственный журнал при этом не был понижен в своем статусе. Подводя итоги, следует отметить, что настоящее исследование отнюдь не преследовало цель каким-то образом дискредитировать систему высшего образования Министерства внутренних дел РФ или представить профессорско-преподавательский
II
es 3
ч t
1 &
fr < о
Ь * 1
1 & Д
состав ведомственных вузов в качестве сообщества лжеученых. Известно, что среди служащих Министерства было и есть много действительно выдающихся ученых, вписавших свои имена в историю отечественной науки. Но то, что сегодня образовательные организации МВД России переживают серьезный кризис (в том числе и в научном своем сегменте), очевидно, пожалуй, каждому неангажированному исследователю.
По мнению автора, существуют две главные причины кризисных явлений в анализируемой области. Первая - закрытость образовательных учреждений Министерства от общегосударственных тенденций в науке и образовании, а также от реального, а не формального общественного контроля со стороны гражданского общества. Вторая - атавизмы «палочной системы», вынуждающей «ученых в погонах» заботиться в большей степени о своих наукометрических показателях, нежели о самой научной деятельности.
Настоящая статья - всего лишь попытка обозначить проблемные места, инициировать дискуссию, способную оптимизировать систему ведомственной науки. Хотелось бы верить, что эта пока ещё робкая попытка не увязнет в болоте самодостаточного чиновничьего равнодушия.
Список литературы
1. Постановление Президиума РАН от 12.10.2010 №201 «Об утверждении Положения о Комиссии по оценке результативности деятельности научных организаций Российской академии наук и Методики оценки результативности деятельности научных организаций Российской академии наук» / [Электронный ресурс] - Режим доступа. -URL: http://www.base.consultant.ru (дата обращения: 11.12.2017).
2. Балацкий Е.В., Екимова Н.А. Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Серия экономика и управление. Том 14. №2. 2015. С. 166-178.
3. Жмудь В.А. Цели и результаты соревнований по импакт-факторам и h-индексу // Автоматика и программная инженерия. 2016. №4(18). С. 104-127.
4. Горохов В.Г. Проблема измерения продуктивности отдельных ученых и целых институтов // Управление большими системами: сборник трудов. 2013. №44. С. 190-209.
5. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. №04(108). С. 1-29. Режим доступа: http://ej.kubagro.ru/2015/04/pdf/01.pdf (дата обращения: 22.12.2017).
6. Ефимова Г.З., Кичерова М.Н. Анализ причин академического мошенничества и их классификация // Интернет-журнал Науковедение. 2012. №4(13). С. 116.
7. Долгих И.П. Об академической недобросовестности в образовательных организациях МВД России // NovaInfo.Ru. 2016. Т. 1. №53. С. 297-305.
8. Рейтинг лучших вузов России-2017. Сайт рейтингового агентства «Эксперт РА» / [Электронный ресурс] - Режим доступа. - URL: https://raexpert.ru/rankings/vuz/vuz_2017/ (дата обращения: 22.12.2017).
9. Кудрявцев Р.А., Земцев А.М., Тимошенко Л.И., Земляной А.И. Активные методы обучения в высшей школе // Вестник АПК Ставрополья. 2013. №4(12). С. 11-13.
10. Актуальные проблемы науки: от теории к практике: материалы III Всероссийской научно-практической конференции / под ред. Ю. П. Кожаева, О. Ю. Зевеке. - Москва: Ветеран, 2016. - 376 с.
11. Долгих И.П. О некоторых проблемах, возникающих в деятельности образовательных организаций высшего образования Министерства внутренних дел Российской Федерации // NovaInfo.Ru. 2016. Т. 1. № 49. С. 456-467.
12. Иванов А.В. О самоцитировании // Медицинская экспертиза и право. 2016. №3. С. 8-9.
13. Ефимова Г.З. Анализ основных стратегий борьбы с проявлениями недобросовестности в науке и образовании // Современные исследования социальных проблем (Электронный научный журнал). 2013. №2(22). С. 24.
14. Винокуров С.А. Стабилизация управления электромеханической системой с бесконтактным двигателем постоянного тока // Современные инновации в науке и технике: сборник научных трудов 6-ой Международной научно-практической конференции. Ответственный редактор Горохов А.А. 2016. С. 60-62.
15. Винокуров С.А. Формирование стабилизированного управления бесконтактным двигателем постоянного тока // Электротехнические комплексы и системы управления. 2008. №4. С. 35-37.
16. Котляр П. 300 «мусорным» журналам указали на место // Газета.гц. 19.04.2017 / [Электронный ресурс] - Режим доступа. - URL: https://www.gazeta.ru/science/2017/04/19_a_10634891.shtml?updated (дата обращения: 22.12.2017).
Информация об авторе:
Information about author:
Супонина Елена Александровна,
Кандидат юридических наук, доцент, Воронежский экономико-правовой институт, г. Воронеж, Россия
Suponina Elena Alexandrovna,
Candidate of legal Sciences, associate Professor, Voronezh Institute of Economics and law, Voronezh, Russia
