CC BY
57научных изысканий, что для науки в целом, как и для любой иной творческой деятельности, подобно смерти.
Вполне возможно, что отсутствие конкуренции при осуществлении грантовой деятельности в сфере науки приведет со временем к установлению устойчивых вертикальных связей, когда финансирование науки будет осуществляться преимущественно через научные организации (научные подразделения), уже заявленные как устойчивые контрагенты, что при разрушенных производственно-экономических связях и самоустранении государства из этой сферы нивелирует значимость грантовой поддержки науки, как альтернативного инструмента финансирования получения новых знаний.
Литература и источники
1. Сморчкова Л.Н. Реорганизация научных фондов: перспективы государственного финансирования научно-исследовательских работ посредством грантов в России и его правовое регулирование // Современное право. 2021. № 8. С. 38-43.
2. Тищенко Т.В. Анализ деятельности российских институтов развития по стимулированию инноваций // Креативная экономика. 2019. Т. 13. № 1. С. 105-114.
3. Брыкин К.И. Юридические признаки института развития как субъекта финансового права // Вестник ВГУ. Серия: Право. 2021. № 1. С. 211-218.
4. Алексеев С.С. Общая теория права: В 2-х т. Т.2. М.: «Юридическая литература», 1982.
5. Закон о науке - каким ему быть? // URL: https://news.myseldon.com/ru/news/index/216797219
6. Запольский С.В., Сморчкова Л.Н. Правовой режим научного гранта: проблемы определения и пути совершенствования // Право и практика. 2020. № 2. С. 148-156.
7. Репьев А.Г., Першина И.В. Грант как правовая форма поддержки инноваций: понятие, содержание, отличие от смежных категорий // Юридическая наука и практика: Вестник Нижегородской академии МВД России. 2021. № 1. С. 44-49.
References and Sources
1. Smorchkova L.N. Reorganizatsiya nauchnykh fondov: perspektivy gosudarstvennogo finansirovaniya nauchno-issledovatel'skikh rabot posredstvom grantov v Rossii i yego pravovoye regulirovaniye // Sovremennoye pravo. 2021. № 8. S. 38-43.
2. Tishchenko T.V. Analiz deyatel'nosti rossiyskikh institutov razvitiya po stimulirovaniyu innovatsiy // Kreativnaya ekonomika. 2019. T. 13. № 1. S. 105-114.
3. Brykin K.I. Yuridicheskiye priznaki instituta razvitiya kak sub"yekta finansovogo prava // Vestnik VGU. Seriya: Pravo. 2021. № 1. S. 211-218.
4. Alekseyev S.S. Obshchaya teoriya prava: V 2-kh t., T. 2. - M.: «Yuridicheskaya literatura», 1982.
5. Zakon o nauke - kakim yemu byt'? // URL: https://news.myseldon.com/ru/news/index/216797219
6. Zapol'skiy S.V., Smorchkova L.N. Pravovoy rezhim nauchnogo granta: problemy opredeleniya i puti sovershenstvovaniya // Pravo i praktika. 2020. № 2. S. 148-156.
7. Rep'yev A.G., Pershina I.V. Grant kak pravovaya forma podderzhki innovatsiy: ponyatiye, soderzhaniye, otlichiye ot smezhnykh kategoriy // Yuridicheskaya nauka i praktika: Vestnik Nizhegorodskoy akademii MVD Rossii. 2021. № 1. S. 44-49.
ЗАПОЛЬСКИИ СЕРГЕЙ ВАСИЛЬЕВИЧ - доктор юридических наук, профессор, главный научный сотрудник Института государства и права Российской академии наук (Москва, Россия) (zapolsky@mail.ru).
СМОРЧКОВА ЛАРИСА НИКОЛАЕВНА - доктор юридических наук, доцент, ведущий научный сотрудник Института государства и права Российской академии наук (Москва, Россия) (l.smorchkova@mail.ru).
ZAPOLSKY, SERGEY V. - Doctor of Law, Professor, Chief Researcher at the Institute of State and Law of the Russian Academy of Sciences (Moscow, Russia)
SMORCHKOVA, LARISA N. - Doctor of Law, Associate Professor, Leading Researcher of the Institute of State and Law of the Russian Academy of Sciences (Moscow, Russia) (l.smorchkova@mail.ru).
УДК 34.023 DOI: 10.24412/2411-2275-2021-4-149-153
ПАРОНЯН К.М.
ПРЕДЕЛЫ И ОГРАНИЧЕНИЯ ИСПОЛЬЗОВАНИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
В ГОСУДАРСТВЕННО-ПРАВОВОЙ ЖИЗНИ
Ключевые слова: искусственный интеллект, робот, правоприменение, судопроизводство, информационные технологии.
Одной из самых обсуждаемых в отечественной и зарубежной юридической науке проблем в XXI столетии является вопрос о степени и формах внедрения искусственного интеллекта в государственно-правовую жизнь, в целом, и в отдельные сферы правоприменения - в частности. На основе использования общенаучных методов правового познания, автор ставит цель проанализировать предлагаемые подходы к определению сущности и перспектив использования роботов в праве, а также выделить сферы общественной и государственной жизни, где использование указанных технологий нецелесообразно или недопустимо. Сформулирован вывод о том, что внедрение искусственного интеллекта должно носить вспомогательный характер, а принятие любых правотворческих и правоприменительных решений должно осуществляться только человеком. Обосновывается тезис о невозможности внедрения искусственного интеллекта в те сферы, где необходимо оценивать личность и мотивы действий человека.
PARONYAN, K.M.
LIMITS AND LIMITATIONS OF THE USE OF ARTIFICIAL INTELLIGENCE IN PUBLICAND LEGAL LIFE Key words: artificial intelligence, robot, law enforcement, legal proceedings, information technology.
One of the most discussed problems in domestic and foreign legal science in the 21st century is the question of the degree and forms of the introduction of artificial intelligence into state legal life in general, and in certain areas of law enforcement, in particular. Based on the use of
general scientific methods of legal knowledge, the author sets the goal of analyzing the proposed approaches to determining the essence and prospects of using robots in law, as well as highlighting areas of public and state life where the use of these technologies is impractical or unacceptable. The conclusion is formulated that the introduction of artificial intelligence should be of an auxiliary nature, and the adoption of any lawmaking and law enforcement decisions should be carried out only by a person. The thesis is substantiated that artificial intelligence cannot be implemented in areas where it is necessary to assess personality and motives in human actions.
В последнее время своеобразным правилом хорошего тона в юриспруденции стало размышление об искусственном интеллекте и его судьбе в краткосрочной и долгосрочной перспективе. Авторы и исследователи в большинстве своем приводят факты из практики работы государственных органов, следствия и судов в различных странах и выдвигают осторожные предположения о будущем развитии технологий. Общим в указанных исследованиях можно назвать отсутствие квалификации авторов в области программирования, информатики, нейронных сетей и т.д., что ожидаемо влечет лишь осторожные предположения о роли и месте роботов и аналогичных им устройств в правотворчестве и правоприменении.
При этом, как представляется, важно в первую очередь выделить сферы общественной и государственной жизни, где применение искусственного интеллекта обосновано и целесообразно, где использование соответствующих технологий позволит существенно повысить эффективность принимаемых решений или непосредственно того или иного процесса (технологического, образовательного, производственного и т.д.), и области, где подобные технологии не играют существенной роли, а в худшем случае - могут навредить. Наиболее обоснованной и взвешенной в этом плане представляется позиция В.В. Момотова, который считает, что искусственный интеллект по своей природе не способен служить гарантом гуманного и справедливого правосудия, а применять его следует исключительно в ограниченных сферах и в рамках строгих правил (рассмотрение административных и гражданских дел по бесспорным требованиям, внедрение предиктивного правосудия и др. [1, с. 190]).
Характерно также, что все чаще экономисты, социологи и, конечно, правоведы приходят к выводам о том, что привычное мнение о безусловной пользе роботов не соответствует объективной действительности [2, 3]. Определять сферы возможного влияния искусственного интеллекта на правовую систему следует уже сегодня, чтобы в ближайшем будущем быть готовыми, во-первых, к построению четкой теории правоотношений с возможным включением в нее роботов (чего очень не хотелось бы), а во-вторых, - к ответам на соответствующие риски в правоприменении, возникновение которых представляется неизбежным. Лишь опережая время (в той мере, которой это вообще возможно человеку в работе с искусственным интеллектом), можно избежать той неопределенности, о которой высказался Дж.М. Бэлкин, говоря, что использование технологий может быть во благо или во вред, но узнаем мы об этом лишь «в определенный момент» (ataparticular moment) [4, р. 45].
Очевидно, что при определении категории «искусственный интеллект», вошедшей в том числе и в юридическую науку и практику, следует исходить из базовой цели, заложенной в нее автором самого термина, Д. Маккарти, а именно: создать устройства (машины), способные действовать как человек, то есть разумно. В этом плане можно дифференцировать следующие доктринальные подходы к определению искусственного интеллекта:
- роботизированная система, способная самостоятельно выполнять ряд целей и задач и быть автономной независимо от пользователя [2, с. 6]. В этой парадигме искусственный интеллект предлагается рассматривать как источник повышенной опасности, но не наделять его правоспособностью (тем более нельзя говорить о возможности применения юридической ответственности к роботам);
- определенные программные продукты и используемые ими алгоритмы, выполняющие свойственные человеческому интеллекту функции [5, с. 46];
- системы, интерпретирующие данные, а также принимающие в результате такой интерпретации оптимальные решения и способные к адаптации (самообучению) [6, с. 77];
- процесс переноса мыслительных возможностей человека в сферу информационных технологий, когда такие возможности будут лишены пороков, свойственных человеку [7, с. 572];
- область информатики, способная формализовать проблемы и решать задачи, аналогичные тем, что разрешает человек; система, способная при неизвестном алгоритме решения задачи распознать информацию, решить соответствующий вопрос и способная к обучению [8, с. 342];
- система, представляющая собой набор инструментов, призванных решать сложные прикладные задачи, алгоритм принятия которых аналогичен человеческому [9, с. 78];
- моделирование процессов человеческого интеллекта компьютерными системами, включающее в себя обучение (обработку информации), рассуждение (формулировку выводов), самокоррекцию, распознавание вербальных и невербальных знаков [10, с.117-118].
Общим для всех приведенных доктринальных подходов является попытка связать искусственный интеллект с его впечатляющими вычислительными и аналитическими способностями с алгоритмами принятия решений человеком, человеческим разумом. Другими словами, искусственный интеллект - это программа или устройство, которое мыслит и принимает решения как человек, но остается при этом неживым существом.
В определенной мере указанные подходы легли в основу легального определения искусственного интеллекта, которое сформулировано в Указе Президента РФ от 10.10.2019 г. № 490 «О развитии искусственного интеллекта в Российской Федерации». В этом документе искусственный интеллект характеризуется как комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека [11].
Отечественный механизм правового регулирования общественных отношений с применением систем искусственного интеллекта на сегодняшний день охватывает различные сферы и области, к основным из которых, на наш взгляд, относятся:
- систематизация и учет нормативно-правовых актов (в России сегодня насчитывается более 220 000 действующих нормативных правовых актов, упорядочить которые и обеспечить их «умный» поиск может исключительно применение технологий искусственного интеллекта);
- сфера безопасности дорожного движения (фиксация нарушений ПДД, smart камеры и др.);
- рынок ценных бумаг (создание роботов, торгующих акциями);
- сфера обслуживания, банки и иные кредитные учреждения (технические консультанты при оформлении кредитов, сопровождении сделок и т.д.);
- системы распознавания лиц (контроль режима самоизоляции, быстрое раскрытие правонарушений);
- организация образовательного процесса (автоматическая проверка знаний обучающихся, анализ поведения обучающихся с помощью заданных критериев оценки, осуществление функций электронного репетитора, реализация индивидуальных образовательных маршрутов);
- составление процессуальных документов (активно обсуждаемая инициатива Сбербанка по внедрению роботов-юристов, способных на основе обработки документов готовить исковые заявления в предельно короткие сроки, может служить ярким примером успешно работающих роботов. Обратная сторона медали здесь - сокращение рабочих мест по юридической специальности в банках, чьи услуги становятся неактуальными) [12];
- совершенствование уголовного процесса (систематизация и анализ результатов судебной практики, составление статистической отчетности).
Перечисленные области применения искусственного интеллекта, как представляется, не вызывают споров благодаря наличию реальных позитивных результатов. При этом очевидно, что конкретно и четко обозначить границы распространения искусственного интеллекта сегодня невозможно (главной причиной являются продолжающиеся открытия и разработки, способствующие дальнейшему расширению границ использования роботов) [13, с. 35].
В.В. Мазурин обоснованно считает, что идеально для внедрения искусственного интеллекта подходит сфера финансового права и конкретно правоприменительная деятельность по реализации норм финансового права [13, с. 36]. Высокая степень структурированности и упорядоченности норм финансового права позволяет организовать эффективную работу по построению алгоритмов принятия решений системам с искусственным интеллектам. В.В. Мазурин в этом плане отмечает, что правоприменителю-человеку «физически необходимо больше времени для ознакомления с произведенными изменениями», поэтому роботы «устранят вероятность совершения им ошибок на первом этапе работы с нововведениями» [13, с. 35]. Практика применения роботов в подобных сферах вполне обоснована и должна активно продвигаться.
Однако не следует забыть и о том, что существуют проблемные зоны, где использование искусственного интеллекта либо преждевременно, либо вообще нежелательно. В частности, поскольку искусственный интеллект не способен определять психическое состояние человека, его мотивы и цели, проводить морально-волевую характеристику подозреваемого, обвиняемого, потерпевшего, допускать к работе с нормами уголовного права его в любом случае нельзя (по крайней мере в обозримом будущем). Робот, обладая сверхмощным искусственным интеллектом, не получает разума, не может быть разумным. В этом плане следует признать обоснованным высказывание Х. Дрейфуса о том, что поскольку у компьютера нет потребностей и эмоций, нет социальной ориентации, он никогда не станет разумным [14]. При этом справедливым видится и мнение А.И. Берга о том, хотя машины и не мыслят, но человек, работающий в «содружестве» с электронной машиной, будет мыслить лучше и иначе, чем человек, пользующийся лишь собственным умственным трудом [15, с. 371]. В этом видится диалектичность вопроса, а значит и известный потенциал развития.
Особого внимания заслуживает набирающая обороты практика передачи полномочий по принятию судебных решений искусственному интеллекту - роботам. Так, в Китае уже вынесено более 3 млн. судебных решений с использованием искусственного интеллекта в качестве судьи. А, к примеру, в США в настоящий момент активно реализуется институт «оценки общественной безопасности», когда судья прибегает к помощи искусственного интеллекта для анализа и оценки рисков, связанных с пребыванием обвиняемых на свободе до вынесения приговора. Если искусственный интеллект дает заключение, что риск совершения нового преступления или уклонения от явки в суд минимальный или отсутствует, судья полагается на это суждение и либо оставляет обвиняемого под стражей, либо отпускает под залог. Все это сопровождается экономией времени на принятие решений (роботу требуются считанные минуты, а объем анализируемых судебных дел исчисляется тысячами [16, с. 165]). Очевидно, что на определенном этапе человечество столкнется с проблемой признания правоспособности и, главное, -деликтоспособности такого искусственного правоприменителя, робота-судьи. И здесь, на наш взгляд, слишком много неизвестных, чтобы хоть как-то спрогнозировать развитие ситуации.
Все это заставляет тщательно подходить к проблеме определения границ использования искусственного, а для этого нужны четкие критерии его использования (при этом важно, чтобы последние были установлены на федеральном уровне, путем тщательной проработки вопросов).
На наш взгляд, можно согласиться с позицией В.В. Мазурина, который предлагает комплекс ограничений в использовании искусственного интеллекта. Основные из них можно сформулировать следующим образом:
- использовать искусственный интеллект в правореализационном процессе можно исключительно на основе технологий (алгоритмов), созданным человеком; никакие вторичные алгоритмы (т.е. те, что создаются уже самими роботами) использоваться не должны, поскольку несут риск потери контроля над ними со стороны человека;
- использование искусственного интеллекта в правоприменительной практике, когда требуется произвести анализ норм права (совершить ряд последовательных логических операций), должно завершаться определенным юридическим решением. Последнее должно быть законно, обосновано, справедливо и, главное, понятно для человеческого интеллекта (другими словами решение должно отвечать критерию объяснимости и аргументированности);
- робот, обладающий способностями по принятию некоторых правоприменительных решений, должен контролироваться государственным служащим;
- произвольное самообучение роботов, не контролируемое человеком, следует полностью исключить (речь идет о возможности искусственного интеллекта самостоятельно подключаться к базам данных, обновляемым источникам правовой информации и судебной практики и на основе этого формировать собственные (вторичные) алгоритмы принятия решений) [13, с. 35].
Указанные меры должны стать теми барьерами, выход за которые грозит неконтролируемым распространением искусственного интеллекта и его непрогнозируемого влияния на человека. При этом предлагаемые в науке формы двойного или тройного контроля за работой роботов вызывают сомнения, поскольку могут спровоцировать очередной виток бюрократии, а это противоречит самой идее внедрения искусственного интеллекта: снизить нагрузку на суды и иные органы власти.
Таким образом, процесс внедрения и использования искусственного интеллекта в государственно-правовой жизни должен сопровождаться, во-первых, поиском тех сфер, где правоприменение четко структурировано, где нет необходимости оценивать личность и мотивы в действиях лиц, а во-вторых, ограничиваться вспомогательным характером: любые правоприменительные решения может осуществлять только человек.
Литература и источники
1. Момотов В.В. Искусственный интеллектв судопроизводстве: состояние, перспективы использования // Вестник Университета имени О.Е. Кутафина (MГЮA). 2021. M 5. С. 188-191.
2. Кутаев В.В. Деликтная ответственностьи искусственный интеллект // Российское право онлайн. 2020. M 4. С. 5-12.
3. Роботы заявляют о своих правах: Парадигмальные социально-экономические и политико-правовые изменения в век цифровизации и долговременных вирусных эпидемий. Коллективная монография / E.A. AroMME™, В.В. Береза, A.M. Бермап [и др.]. Владивосток: Владивостокский государственный университет экономики и сервиса, 2020.
4. Balkin J.M. The Path of Robotics Law// California Law Review Circuit. 2015. Vo1.6. P. 45-б0.
5. Ракитов A.K Высшее образование и искусственный интеллект: эйфория и алармизм // Высшее образование в России. 2018. M б. С. 41-49.
6. Карташов И.И., Карташов И.И. Искусственный интеллект: уголовно-правовой и процессуальный аспекты // Aктуальные проблемы государства и права. 2021. Т. 5. M 17. С. 75-89.
7. Aфанасьев A^. Искусственный интеллект в уголовном процессе // Юридическая техника. 2021. M 15. С. 571-574.
8. Шмелева Р.М., Иванкина Л.И. Искусственный интеллект // Информационные технологии в пауке, управлении, в социальной сфере и медицине: мат-лы Международной научной конф-ции. Томск, 2014. Ч. 2. С. 342-344.
9. Aбдразакова С.Р., Булгакова И.В. Искусственный интеллект в технических системах // Введение в энергетику: сборник мат-лов I Всероссийской молодежной научно-практ. конф-ции. Кемерово, 2014.
10. Паскова A.A. Технологии искусственного интеллекта в персонализации электронного обучения // Вестник Майкопского государственного технологического университета. 2019. M 3/42. С. 113-122.
11. Указ Президента РФ от 10.10.2019 M 490 «О развитии искусственного интеллекта в Российской Федерации» (вместе с «Национальной стратегией развития искусственного интеллекта па период до 2030 года») // СЗ РФ. 14.10.2019. N° 41. ст. 5700.
12. Робот-юрист оставит без работы 3 тысячи сотрудников Сбербанка [Электронный ресурс]. URL: https://www.interfax.ru/business/545109 (дата обращения: 15.12.2021).
13. Мазурин В.В. Искусственный интеллект в реализации порм финансового права // Aлтайский юридический вестник. 2021. M 3 (35). С. 34-38.
14. Дрейфус X. Чего пе могут вычислительные машины: критика искусственного разума / X. Дрейфус; пер. с англ. Н. Родман; общ. ред., послесл. и примеч. Б.В. Бирюкова. Изд. 2-е. М.: Либроком, cop. 2009. 333 с.
15. Ленин и современное естествознание / Отв. ред. М. Э. Омельяновский. М.: Мысль, 19б9. 373 с.
16. Заплатила Т.С. Искусственный интеллект в вопросе вынесения судебных решений, или ИИ-судья // Вестник Университета имени О. Е. Кутафина. 2019. M4 (5б). С. 1б0-1б8.
References and Sources
1. Momotov V.V. Iskusstvennyj intellektv sudoproizvodstve: sostoyanie, perspektivy ispol'zovaniya // Vestnik Universiteta imeni O.E. Kutafina (MGYUA). 2021. № 5. S. 188-191.
2. Kutaev V.V. Deliktnaya otvetstvennost'i iskusstvennyj intellekt // Rossijskoe pravo onlajn. 2020. N^ 4. S. 5-12.
3. Roboty zayavlyayut o svoih pravah: Paradigmal'nye social'no-ekonomicheskie i politiko-pravovye izmeneniya v vek cifrovizacii i dolgovremennyh virusnyh epidemij. Kollektivnaya monografiya / E.A. Apol'skij, V.V. Bereza, A.M. Berman [i dr.]. Vladivostok: Vladivostokskij gosudarstvennyj universitet ekonomiki i servisa, 2020.
4. Balkin J.M. The Path of Robotics Law// California Law Review Circuit. 2015. Vo1.6. P. 45-б0.
5. Rakitov A.I. Vysshee obrazovanie i iskusstvennyj intellekt: ejforiya i alarmizm // Vysshee obrazovanie v Rossii. 2018. N^ б. S. 41-49.
6. Kartashov I.I., Kartashov I.I. Iskusstvennyj intellekt: ugolovno-pravovoj i processual'nyj aspekty // Aktual'nye problemy gosudarstva i prava. 2021. T. 5. № 17. S. 75-89.
7. Afanas'ev A.Yu. Iskusstvennyj intellekt v ugolovnom processe // Yuridicheskaya tekhnika. 2021. N^ 15. S. 571-574.
8. Shmeleva R.M., Ivankina L.I. Iskusstvennyj intellekt // Informacionnye tekhnologii v nauke, upravlenii, v social'noj sfere i medicine: mat-ly Mezhdunarodnoj nauchnoj konf-cii. Tomsk, 2014. CH. 2. S. 342-344.
9. Abdrazakova S.R., Bulgakova I.V. Iskusstvennyj intellekt v tekhnicheskih sistemah // Vvedenie v energetiku: sbornik mat-lov I Vserossij skoj molodezhnoj nauchno-prakt. konf-cii. Kemerovo, 2014.
10. Paskova A.A. Tekhnologii iskusstvennogo intellekta v personalizacii elektronnogo obucheniya // Vestnik Majkopskogo gosudarstvennogo tekhnologicheskogo universiteta. 2019. № 3/42. S. 113-122.
11. Ukaz Prezidenta RF ot 10.10.2019 N^ 490 «O razvitii iskusstvennogo intellekta v Rossijskoj Federacii» (vmeste s «Nacional'noj strategiej razvitiya iskusstvennogo intellekta na period do 2030 goda») // SZ RF. 14.10.2019. № 41. st. 5700.
12. Robot-yurist ostavit bez raboty 3 tysyachi sotrudnikov Sberbanka [Elektronnyj resurs]. URL: https://www.interfax.ru/business/545109 (data obrashcheniya: 15.12.2021).
13. Mazurin V.V. Iskusstvennyj intellekt v realizacii norm finansovogo prava // Altajskij yuridicheskij vestnik. 2021. N^ 3 (35). S. 34-38.
14. Drejfus H. CHego ne mogut vychislitel'nye mashiny: kritika iskusstvennogo razuma / H. Drejfus; per. s angl. N. Rodman; obshch. red., poslesl. i primech. B.V. Biryukova. Izd. 2-e. M.: Librokom, cop. 2009. 333 s.
15. Lenin i sovremennoe estestvoznanie / Otv. red. M. E. Omel'yanovskij. M.: Mysl', 19б9. 373 s.
16. Zaplatina T.S. Iskusstvennyj intellekt v voprose vyneseniya sudebnyh reshenij, ili II-sud'ya // Vestnik Universiteta imeni O. E. Kutafina. 2019. (5б). S. 1б0-1б8.
ПАРОНЯН КАРЭН МАРТИНОВИЧ - кандидат юридических наук, доцент кафедры отраслевых юридических дисциплин Таганрогского института (филиала) им. А.П. Чехова Ростовского государственного экономического университета (РИНХ). PARONYAN, KAREN M. - Ph.D. in Law, Associate Professor, Department of Sectoral Legal Disciplines, Taganrog Institute (branch) named after A.P. Chekhov Rostov State Economic University (RINH) (pkm2000@mail.ru).
