Научная статья на тему 'ЧТО МОЖЕТ, А ЧТО НЕТ КОМПЬЮТЕР В ПРАВОПРИМЕНЕНИИ'

ЧТО МОЖЕТ, А ЧТО НЕТ КОМПЬЮТЕР В ПРАВОПРИМЕНЕНИИ Текст научной статьи по специальности «Право»

CC BY
114
24
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
правоприменение / судопроизводство / искусственный интеллект / алгоритм / компьютерная программа / law enforcement / legal proceedings / artificial intelligence / algorithm / computer program

Аннотация научной статьи по праву, автор научной работы — Игорь Аркадьевич Гилев, Елена Валерьевна Трапезникова

В рамках участия в дискуссии, предложенной журналом «Российский судья» (№ 11/2020), на тему компьютерной программы для определения меры уголовного наказания («Электронные весы правосудия»), представленной в книгах Х.Д. Аликперова [2; 3], показаны: распределение ролей правоведов и программистов в создании программного обеспечения правоприменительной деятельности; заблуждения относительно процесса создания таких программ.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

WHAT COMPUTER CAN AND WHAT CAN NOT IN LAW ENFORCEMENT

Taking part in the discussion proposed by the journal «Russian Judge» (No. 11/2020), on the topic of a computer program for determining the measure of criminal punishment («Electronic scales of justice»), presented in the books of H.D. Alikperov [2; 3], the distribution of the roles of lawyers and programmers in the creation of software for law enforcement activities and misconceptions about the process of creating such programs are shown.

Текст научной работы на тему «ЧТО МОЖЕТ, А ЧТО НЕТ КОМПЬЮТЕР В ПРАВОПРИМЕНЕНИИ»

УДК 34 DOI 10.24412/2073-0454-2021 -3-17-22

ББК 67 © И.А. Гилев, Е.В. Трапезникова, 2021

Научные специальности: 12.00.01 — теория и история права и государства; история учений о праве и государстве; 12.00.11 — судебная деятельность, прокурорская деятельность, правозащитная и правоохранительная деятельность

ЧТО МОЖЕТ, А ЧТО НЕТ КОМПЬЮТЕР В ПРАВОПРИМЕНЕНИИ

Игорь Аркадьевич Гилев, юрист кафедры фундаментальной информатики и информационных технологий механико-математического факультета

Пермский государственный национальный исследовательский университет (614990, Пермь, ул. Букирева, д. 15) E-mail: ig.gilew2013@gmail.com

Елена Валерьевна Трапезникова, ассистент кафедры теории и истории государства и права

Пермский государственный национальный исследовательский университет (614990, Пермь, ул. Букирева, д. 15)

E-mail: elena.valerevna.t@gmail.com

Научный руководитель: профессор кафедры теории и истории государства и права Пермского государственного национального исследовательского университета, доктор юридических наук, доцент С.Б. Поляков Рецензент: заведующей кафедрой судебной власти, правоохранительной и правозащитной деятельности МПГУ, судья Верховного Суда РФ (в отставке), доктор юридических наук Н.А. Колоколов

Аннотация. В рамках участия в дискуссии, предложенной журналом «Российский судья» (№ 11/2020), на тему компьютерной программы для определения меры уголовного наказания («Электронные весы правосудия»), представленной в книгах Х.Д. Аликперова [2; 3], показаны: распределение ролей правоведов и программистов в создании программного обеспечения правоприменительной деятельности; заблуждения относительно процесса создания таких программ.

Ключевые слова: правоприменение, судопроизводство, искусственный интеллект, алгоритм, компьютерная программа.

WHAT COMPUTER CAN AND WHAT CAN NOT IN LAW ENFORCEMENT

Igor A. Gilev, Lawyer of the Department of Fundamental Informatics and Information Technologies of the Faculty of Mechanics and Mathematics

Perm State National Research University (614990, Perm, ul. Bukireva, d. 15) E-mail: ig.gilew2013@gmail.com

Elena V. Trapeznikova, Assistant of the Department of Theory and History of State and Law Perm State National Research University (614990, Perm, ul. Bukireva, d. 15) E-mail: elena.valerevna.t@gmail.com

Research Supervisor: Professor of the Department of Theory and History of State and Law of Perm State National Research University, Doctor of Legal Sciences, Associate Professor S.B. Polyakov

Reviewer: Head of the Department of Judicial Power, Law Enforcement and Human Rights Activities of MPSU, Judge of the Supreme Court of the Russian Federation (retired), Doctor of Legal Sciences N.A. Kolokolov

Abstract. Taking part in the discussion proposed by the journal «Russian Judge» (No. 11/2020), on the topic of a computer program for determining the measure of criminal punishment («Electronic scales of justice»), presented in the books of H.D. Alikperov [2; 3], the distribution of the roles of lawyers and programmers in the creation of software for law enforcement activities and misconceptions about the process of creating such programs are shown.

Keywords: law enforcement, legal proceedings, artificial intelligence, algorithm, computer program.

Citation-индекс в электронной библиотеке НИИОН

Для цитирования: Гилев И.А., Трапезникова Е.В. Что может, а что нет компьютер в правоприменении. Вестник Московского университета МВД России. 2021 ;(3):17—22.

О роли и месте искусственного интеллекта в судопроизводстве написано уже немало. Не случайно профессором Н.А. Колоколовым с легкой руки профессора Х.Д. Аликперова по данной тематике была организована довольно острая дискуссия [5, с. 3-7; 6, с. 3-6; 7, с. 61-64].

В сентябре 2020 г. на XXII Международном научно-практическом форуме «Юртехнетика» в Нижнем Новгороде мы представили часть программы

информационно-технологической поддержки принятия мотивированных судебных решений по делам искового производства в судах общей юрисдикции в варианте решения спора о характере предписания (право или обязанность), адресованного ответчику в норме права, указанной истцом в юридических основаниях иска [10]. После нашего сообщения профессор В.Б. Исаков, верно уяснивший суть программы, сказал, что она построена по принципу де-

рева вариантов, возникающих в правоприменении, и задал вопрос о возможности искусственного интеллекта в программировании решения суда.

Мы уже высказывались о бесперспективности пути создания правоприменительных программ путем «обучения» компьютера на судебных решениях. Обозначая принципы построения нашей программы, мы писали, что хаос сегодняшней судебной практики, от которого искусственный интеллект нейронных сетей «сойдет с ума», должен предупреждаться созданием алгоритмов правоприменительной деятельности [9, с. 1029; 10, с. 19-20].

Нельзя путать технические средства (компьютеры, средства телекоммуникации и т.п.) с лежащими в их основе процессами [4, с. СУ-СУШ]. Однако, юристы в своих статьях, подхватывая идею компьютеризации (цифровизации и т.п.) судебной деятельности, продолжают часто писать о компьютере, который вдруг сам по себе способен вычленять из правовых текстов юридические факты, их доказательства, осуществлять их оценку. Как это сможет сделать компьютер, они не пишут. Программисты же не заявляют о наличии у компьютеров юридического образования.

Например, Х.Д. Аликперов приводит в своей книге слова известного адвоката и ученого А. Куче-рены: «В компьютер закладываются обвинительное заключение, показания свидетелей и потерпевших и все данные, которые считают нужным представить обвинение и защита. После этого машина выносит свой приговор» [3, с. 56]. Каким образом машина из текста обвинительного заключения и протоколов следственных действий составит приговор, А. Куче-рена не пишет. Х.Д. Аликперов приводит эти слова, потому что они поддерживают компьютеризацию судебного решения по делу. Но он не дает оценки приведенного представления юриста о компьютерной программе и не утверждает, что «Электронные весы правосудия» (ЭВП) созданы в соответствии с такими представлениями.

Рецензент работы Х.Д. Аликперова И.В. Ма-слов, поддерживая идею ЭВП и говоря о том, что «субъективные усмотрения следует заменять математическими алгоритмами принятия решений», пишет: «В качестве альтернативы ЭВП можно предложить метод коллаборативной фильтрации, называемый в современных рекламных постерах «искусственным интеллектом» (но это вещи совер-

шенно разные). Коллаборативная фильтрация, осуществляя выбор между значительным объемом приговоров, вступивших в законную силу, оценивая личность виновного, способ совершения преступления, предшествующее и последующее поведение и иные обстоятельства, отраженные в приговоре, может рекомендовать судье назначить определенный вид и размер наказания на основании анализа ключевых слов. Возможно, решение будет найдено программистами и математиками в объединении алгоритмов ЭВП и коллаборативной фильтрации. Причина в том, что современный порядок назначения наказаний — это, как уже указывалось выше, иррациональные представления судьи, вытекающие из общей совокупности эмоций, сложившихся в совещательной комнате при определении наказания» [8, с. 60].

В рекламном ролике МТС персонаж Д. Нагиева дарит тестю-техногику в исполнении Л. Ярмольника смартфон с «искусственным интеллектом». Одаряемый, приводя зятя в смятение, спрашивает: «Колла-боративная фильтрация?». Это забавно в рекламе, но неуместно в правоприменении, цель которого не смятение, а правовая определенность субъектов правоотношений.

Есть позиция: «Другого мерила, кроме закона, в распоряжении суда нет, и акты, к которым это мерило не приложимо, его ведению не подлежат» [1, с. 54-55]. Нормативизм сегодня не в моде. И.В. Ма-слов предлагает в качестве мерила «иррациональные представления судьи, вытекающие из общей совокупности эмоций», фундаментом чему можно подвести ныне модное социологическое правопонимание. Зачем для произвола и усиления беззакония создавать компьютерную программу, он не поясняет. Для возведения иррациональных представлений судьи в «правила» информационные технологии не нужны. Без них давно существует «правило» в поговорке: «что хочу, то и ворочу».

Не вступая в «вечнозеленую» полемику о пра-вопонимании, выскажемся с позиций информационных технологий о возможности создания программы правоприменительной деятельности на основе «совокупности эмоций» судей, выносящих противоположные решения, «коллаборативной фильтрации», о возможностях самостоятельного чтения и оценки компьютером обвинительного заключения и протоколов следственных действий и

самостоятельного создания им на основе этого судебного решения.

Когда речь заходит о создании какой-либо компьютерной программы, важно, прежде всего, четко обозначать цели и задачи, которые эта программа будет решать. После этого переходят к выбору информационных технологий (инструменту) для решения задач и достижения цели. Одну и ту же задачу можно решать различными способами, и это без преувеличения можно назвать, еще одним важным этапом разработки, ведь программистам действительно есть из чего выбирать. Например, такая тривиальная для обычного человека операция, как возвести число в какую-либо степень (цель), программистом может решаться по-разному. Можно написать свой алгоритм, либо воспользоваться готовой функцией, предоставленной разработчиками языка программирования (инструмент), выбранного для решения задачи, при условии, что такая функция имеется. Не исключено, что найдутся люди, которые для решения задачи захотят обратиться к API какой-нибудь системы, связанной с математикой (например: https://www.wol-framalpha.com/) или же вообще создадут нейронную сеть и обучат ее возводить число в требуемую степень. Любое, даже самое экзотическое решение с точки зрения выбора технологий имеет право на жизнь; как минимум на обсуждение. «Стрелять из пушки по воробьям» — это полезная практика, когда дело касается обучения: так можно узнать о том, как пушкой пользоваться и насколько большая у нее убойная сила. Но, попадая из ученической песочницы в мир профессиональной разработки программного обеспечения, необходимо подходить к выбору инструментов ответственно. Ошибки, допущенные на этом этапе, могут привести к увеличению сроков разработки, повышению ее стоимости, а также попросту поставить крест на успешной реализации даже самой перспективной идеи.

На определение целей и задач разработки влияет предметная область, представителями которой являются конечные пользователи программы.

Предметной областью программы, предложения для которой высказал И.В. Маслов, является деятельность судьи. Такая программа относится к категории программ для обеспечения правоприменительной деятельности. В этой категории мы вы-

деляем главные критерии для результата работы программы — мотивированность и обоснованность полученного решения суда. Соответствие результата критериям определяется через сравнение процесса его получения с правилами рассмотрения и разрешения судебных дел. Наличие такого мерила ставит целью разработки обеспечение такой функциональности, иррациональные суждения судьи когда сведены к минимуму. Для этого необходимо создать алгоритм, который бы обеспечивал соблюдение судьей всех требований закона и доктринальных правил правоприменения, а также предотвращения попыток их нарушить, что достигается путем совместной работы юристов и программистов.

Главной причиной, по которой в целом технологии искусственного интеллекта, а конкретно нейронные сети, не подходят для решения такой задачи является то, что они работают по принципу черного ящика. Это значит, что программа способна получать результат, но не способна объяснить то, как она это сделала, что нарушает критерий обоснованности, прямо установленный законом (ч. 1 ст. 195 ГПК РФ, ч. 4 ст. 7 и ч. 1 ст. 297 УПК РФ).

Другим вопросом, ставящим под сомнение использование искусственного интеллекта для программирования правоприменения, является то, что программу необходимо обучать. Для этого необходимо обучающее множество, от которого зависит качество получаемого результата. Например, обученная на плохих примерах нейронная сеть будет допускать ошибки даже в вычислении степени числа. А как сформировать корректное обучающее множество на судебных решениях, выносимых по принципу «что хочу, то и ворочу», остается загадкой. В итоге программа для правоприменительного процесса, основанная только лишь на технологиях искусственного интеллекта, будет своего рода гадалкой-прорицательницей, в большинстве своем являющейся обычной шарлатанкой.

Инструмент коллаборативной фильтрации, предлагаемый И.В. Масловым для создания программ правоприменительной деятельности, не относится к технологиям искусственного интеллекта. Это метод построения прогнозов (рекомендаций), в рекомендательных системах, использующий известные предпочтения (оценки) группы пользователей для прогнозирования неизвестных предпочтений другого пользователя [14, с. 1-19]. Его основное до-

пущение состоит в следующем: те, кто одинаково оценивал какие-либо предметы в прошлом, склонны давать похожие оценки другим предметам и в будущем [14, с. 1-19]. Например, с помощью коллабора-тивной фильтрации музыкальное приложение способно прогнозировать, какая музыка понравится пользователю, имея неполный список его предпочтений (симпатий и антипатий). Прогнозы составляются индивидуально для каждого пользователя, хотя информация собирается от многих участников.

Совершенно непонятно, как эта технология может применяться в программах для правоприменительной деятельности, но ясно, что результат будет получен на основании субъективных предпочтений и интересов судьи. Для разных судей по одному и тому же делу результат может быть совершенно противоположным. Аргументировать результат работы такой программы можно будет лишь фразой «вам так нравится», что недопустимо в программах, обеспечивающих работу судьи, результатом которой должна быть правовая определенность. Результатом колла-боративной фильтрации в правоприменении может быть только правовая неопределенность — «отсутствие возможности однозначно определить в существующих формах права объем и условия реализации субъективных прав, обязанностей, запретов и, вследствие этого, а также противоречивой и изменчивой правоприменительной практики, неуверенность в результате применения права» [12, с. 10].

Методологическая ошибка предложения колла-боративной фильтрации для правоприменения заключается в отсутствии определения цели: программа для вынесения решения по закону или для угадывания решений судей по настроению, не связанному законом.

Программа для правоприменительной деятельности не должна быть гадалкой и уж точно не должна иметь цель угодить пользователю (чем, по сути, является метод коллаборативной фильтрации). Такая программа должна быть «автоматической коробкой передач», помогающей судье «рулить» процессом и ведущей его по всем стадиям правоприменения, а результат, получаемый в итоге, не должен оставлять вопросов, как он был получен. При этом мы допускаем использование возможностей искусственного интеллекта, но не как некий высший разум, способный заменить собой судью, а как вспомогательный инструмент для каких-либо вычислений. Так, в разработан-

ной нами программе информационно-технологической поддержки судьи Lazer в будущем планируется применять возможности обработки естественного языка, во многом опирающейся на инструменты искусственного интеллекта, в реализации алгоритмов языкового толкования норм права.

«Электронные весы правосудия» Х.Д. Аликпе-рова, как он сам пишет, используют искусств енный интеллект [3, с. 95]. К сожалению, автор не пишет о том, какие именно технологии из этой области были использованы, а также не раскрывает конкретные задачи, для решения которых потребовалось применять искусственный интеллект. Исходя из предоставленного автором описания, мы предполагаем, что в целом, программа основана на формализации правил назначения наказания, ее параметры открыты, а алгоритмы строятся на основании математических формул и последовательностей, что еще само по себе не является искусственным интеллектом. Мы можем лишь предположить, что упомянутый автором искусственный интеллект используется как инструмент, способный обработать все эти параметры. Вопросы к результату работы искусственного интеллекта (проблема «черного ящика») остаются все те же. Но тут есть важная деталь, заключающаяся в том, что ЭВП не позиционируется как единственный источник знания. Они не исключают судью из принятия решения, но и не подстраиваются под его интересы, а выбор окончательной меры наказания и вся ответственность лежит на нем.

Х.Д. Аликперов пишет, ссылаясь на ограничения инвестора, о необходимости умалчивать о многих деталях электронной начинки системы. Безусловно, технические детали (программный код) реализации заложенных в программу алгоритмов должны быть скрыты от посторонних глаз. Но сами алгоритмы, параметры системы, то, каким образом применяются математические формулы и последовательности для их индексации, то, как абсолютный и относительный вес смягчающих и отягчающих обстоятельств, а также комбинации из них влияют на конечный результат, должны быть прозрачны. Это не результат работы программиста, а формализация юридического алгоритма, что требует открытости и обсуждения юристами.

Особенно в связи с возникшим в острой полемике Х.Д. Аликперова и И.В. Маслова вопросом о цене работы по созданию программы ЭВП (1 млн евро)

следует сказать, что создание алгоритмов правоприменительных операций и их последовательности — сложная кропотливая работа. Так, только работа в создании всего лишь одного, не самого сложного варианта программы, а именно решения спора о характере предписания (право или обязанность), адресованного ответчику, потребовала выявления 457 результатов алгоритма. На примере соотношения лишь трех переменных (шагов алгоритма) и известного относительного небольшого числа элементов (выборов) в шаге можно показать, какое множество результатов может быть.

Из анализа текстов нормативно-правовых актов и, главное, результатов их толкования в судебных актах выявлено, что для правовой определенности предписания необходимо учитывать, как минимум, три параметра:

♦ статус сторон спора (публичный или частный);

♦ прямое изложение в тексте формы права предписаний для одной или обеих сторон правоотношения, регулируемого нормой права;

♦ лингвистическую конструкцию обнаруживаемых предписаний.

Шаг первый предусматривает четыре варианта взаимного положения участников спорного правоотношения.

Второй шаг имеет три варианта изложения нормы права.

В третьем шаге алгоритма 9 или 12 вариантов лингвистических конструкций в зависимости от процессуального статуса субъекта правоотношения.

Общее количество заложенных результатов в алгоритме, состоящем из трех шагов, составляет 457. Дополнительный вариант представляется при выборе четвертого варианта в первом шаге при споре публичных субъектов как участников публичных правоотношений [13, с. 16-32].

Предполагается, что данный алгоритм может быть усложнен введением новых шагов в алгоритм или выборов варианта в шаге алгоритма. Таким образом, количество результатов только в одном варианте программы будет увеличиваться при совершенствовании программы.

Как представляется, программа ЭВП создана тем же путем. За теоретическим осмыслением проблемы и переводом ее на практические рельсы при создании ЭВП стоит мониторинг и анализ судебной практики по каждому пункту, части статьи УК РФ, которые

включены в состав переменных в комбинациях (отягчающие, смягчающие ответственность обстоятельства и пр.); изучение доктрины по соответствующим проблемам (общая и пенитенциарная психология, пено-логия и др.) [3, с. 63, 114, 127, 139, 145-147]. По словам авторов ЭВП «в программную платформу заложены свыше 250 алгоритмов, которые охватывают сотни миллионов всевозможных комбинаций преступного проявления в его реальном бытии» [11, с. 8-14].

Количество комбинаций увеличивается в разы при включении в алгоритм каждого нового шага или нового выбора варианта поведения в шаге алгоритма. Как указывают авторы ЭВП, для создания системы формализованных правил назначения наказания требуется предварительно разработать более 400 разноуровневых алгоритмов индивидуализации наказания с десятками тысяч ступеней лестницы наказания за то или иное преступление, причем с учетом всех значимых его объективных и субъективных свойств, в том числе личности виновного, его поведения до и после содеянного [3, с. 59]. О работе программиста, облекающего названное сложное юридическое содержание в форму информационных технологий, приведем цитату авторитетного ученого: «Программное обеспечение — основа индивидуального использования компьютеров — пока еще сродни произведениям искусства. Программисту нужен примерно месяц, чтобы создать несколько тысяч строк программы» [4, с. СУП]. Количество строк нашей программы неисчислимо больше.

Сложная работа и искусство несопоставимы со 100 евро. Но результат сложной работы надо действительно представить в полном объеме, в том числе для того, чтобы показать реальные пути программирования правоприменительной деятельности против наивных представлений юристов об искусственном интеллекте, коллаборативной фильтрации и т.п. Это нужно, чтобы вывести правоведов из мира сказок и направить на путь создания юридического содержания для форм информационных технологий, выводящих правоприменение на новый качественный уровень.

Литература

1. Алексеев А.С. Безответственность монарха и ответственность правительства. М., 1907.

2. Аликперов Х.Д. Компьютерная программа определения меры наказания: Мат. доклада, сделан-

ного на Междунар. презентации «Электронных весов правосудия» (14 мая 2019 г., Баку). 2-е изд., доп. Баку, 2019.

3. Аликперов Х.Д. Электронная технология определения меры наказания. СПб., 2020.

4. Белл Д. Грядущее постиндустриальное общество. Опыт социального прогнозирования. М., 2004.

5. Колоколов Н.А. Компьютер вместо судьи — арифметика вместо души // Уголовное судопроизводство. 2019. № 3. С. 3-7.

6. Колоколов Н.А. Еще раз об искусственном интеллекте в правосудии // Уголовное судопроизводство. 2020. № 4. С. 3-6.

7. Колоколов Н.А. «Электронные весы правосудия» — наше будущее // Российский судья. 2020. № 11. С. 61-64.

8. Маслов И.В. Отзыв на монографию доктора юридических наук, профессора Аликперова Хан-лара Джафаровича «Электронная технология определения меры наказания» («Электронные весы правосудия») // Российский судья. 2020. № 11.

9. Поляков С.Б., Гилев И.А. Алгоритмы определения обстоятельств, имеющих значение для дела, в программе информационно-технологической поддержки принятия судебных решений // Актуальные проблемы экономики и права. 2019. Т. 13. № 1 (49).

10. Поляков С.Б., Гилев И.А. Алгоритмы судебного решения. Пермь, 2020.

11. Рагимов И.М., Аликперов Х.Д. Электронные весы правосудия (цели, возможности, преимущества) // Уголовное судопроизводство. 2019. № 3.

12. Сидоренко А.И. Принцип правовой определенности в судебной практике: имплементация решений Европейского Суда по правам человека: Автореф. дисс. ... канд. юрид. наук. Пермь, 2016.

13. Трапезникова Е.В. Решение спора о содержании предписания (право или обязанность?) // Ex jure. 2020. № 3. C. 16-32.

14. Xiaoyuan Su and Taghi M. Khoshgoftaar. A Survey of Collaborative Filtering Techniques A Survey of Collaborative Filtering Techniques (англ.) // Hindawi Publishing Corporation, Advances in Artificial Intelligence archive, USA. 2009.

References

1. Alekseyev A.S. Bezotvetstvennost' monarkha i otvetstvennost' pravitel'stva. M., 1907.

2. Alikperov Kh.D. Komp'yutemaya programma opredeleniya mery nakazaniya: Mat. doklada, sdelan-nogo na Mezhdunar. prezentatsii «Elektronnykh vesov pravosudiya» (14 maya 2019 g., Baku). 2-e izd., dop. Baku, 2019.

3. Alikperov Kh.D. Elektronnaya tekhnologiya opredeleniya mery nakazaniya. SPb., 2020.

4. Bell D. Gryadushcheye postindustrial'noye ob-shchestvo. Opyt sotsial'nogo prognozirovaniya. M., 2004.

5. Kolokolov N.A. Komp'yuter vmesto sud'i — arifmetika vmesto dushi // Ugolovnoye sudoproizvod-stvo. 2019. № 3. S. 3-7.

6. Kolokolov N.A. Eshche raz ob iskusstvennom intellekte v pravosudii // Ugolovnoye sudoproizvodstvo. 2020. № 4. S. 3-6.

7. Kolokolov N.A. «Elektronnyye vesy pravosudiya» — nashe budushcheye // Rossiyskiy sud'ya. 2020. № 11. S. 61-64.

8. MaslovI.V. Otzyv na monografiyu doktora yuri-dicheskikh nauk, professora Alikperova Khanlara Dzhafarovicha «Elektronnaya tekhnologiya opredeleniya mery nakazaniya» («Elektronnyye vesy pravosudiya») // Rossiyskiy sud'ya. 2020. № 11.

9. Polyakov S.B., Gilev I.A. Algoritmy opredeleniya obstoyatel'stv, imeyushchikh znacheniye dlya dela, v programme informatsionno-tekhnologi-cheskoy podderzhki prinyatiya sudebnykh resheniy // Aktual'nyye problemy ekonomiki i prava. 2019. T. 13. № 1 (49).

10. Polyakov S.B., Gilev I.A. Algoritmy sudebnogo resheniya. Perm', 2020.

11. Ragimov I.M., Alikperov Kh.D. Elektronnyye vesy pravosudiya (tseli, vozmozhnosti, preimushche-stva) // Ugolovnoye sudoproizvodstvo. 2019. № 3.

12. Sidorenko A.I. Printsip pravovoy opredelennosti v sudebnoy praktike: implementatsiya resheniy Evropey-skogo Suda po pravam cheloveka: Avtoref. diss. ... kand. yurid. nauk. Perm', 2016.

13. Trapeznikova E.V. Resheniye spora o soderz-hanii predpisaniya (pravo ili obyazannost'?) // Ex jure. 2020. № 3. C. 16-32.

14. Xiaoyuan Su and Taghi M. Khoshgoftaar. A Survey of Collaborative Filtering Techniques A Survey of Collaborative Filtering Techniques (angl.) // Hindawi Publishing Corporation, Advances in Artificial Intelligence archive, USA. 2009.

i Надоели баннеры? Вы всегда можете отключить рекламу.