CC BY-ND
23Юридические исследования
Правильная ссылка на статью:
Трофимов Е.В., Мецкер О.Г. — Право и искусственный интеллект: опыт разработки вычислительной методологии для интеллектуального анализа общероссийской и региональной практики пересмотра судами постановлений (решений) по делам об административных правонарушениях (на примере статьи 20.4 Кодекса Российской Федерации об административных правонарушениях) // Юридические исследования. - 2019. - № 7. - С. 32 - 43. DOI: 10.25136/2409-7136.2019.7.30351 URL: https://nbpublish.com/Hbrary_read_article.ptp?id=30351
Право и искусственный интеллект: опыт разработки вычислительной методологии для интеллектуального анализа общероссийской и региональной практики пересмотра судами постановлений (решений) по делам об административных правонарушениях (на примере статьи 20.4 Кодекса Российской Федерации об административных правонарушениях)
Трофимов Егор Викторович
доктор юридических наук
заместитель директора по научной работе, Санкт-Петербургский институт (филиал) Всероссийского
государственного университета юстиции (РПА Минюста России)
199178, Россия, г. Санкт-Петербург, 10-я линия В.О., 19, лит. А каб. 36
Мецкер Олег Геннадьевич
кандидат технических наук
научный сотрудник центра когнитивных технологий, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и огпмки
197101, Россия, г. Санкт-Петербург, Кронверкский пр-кт, 49 И [email protected]
Статья из рубрики "Судебная власть"
Аннотация.
Предметом настоящего исследования является судебная практика по пересмотру постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 «Нарушение требований пожарной безопасности» Кодекса Российской Федерации об административных правонарушениях. Отсутствие на федеральном и региональном уровнях данных судебной статистики в разрезе отдельных категорий административных правонарушений в части решений, выносимых на стадии пересмотра дел об административных правонарушениях, обусловливает необходимость использования вычислительных методов для сбора, обработки и анализа данных. Для решения исследовательской задачи использованы данные ГАС «Правосудие». Эмпирическая база сформирована при помощи краулера за счет POST-запросов с некоторым параметром в JSON. В результате запросов получены полные документы судебных актов, поля документов отфильтрованы, оставлены только значимые данные. Из текстов судебных решений извлечены необходимые данные, на основе которых решена задача классификации. Для детального интеллектуального анализа взяты 4,9
тыс. судебных решений о пересмотре постановлений (решений) о назначении административного наказания по статье 20.4 КоАП РФ за период 2010-2017 гг. В результате исследования была разработана и апробирована методология извлечения, анализа и интерпретации данных судебной практики, не формируемых судебной статистикой. В ходе интерпретации полученных эмпирических результатов были установлены общероссийские тенденции в правоприменении и правореализации, обусловленные повышением эффективности административного закона, а также получены три региональные модели соотношения результатов пересмотра постановлений (решений) по делам об административных правонарушениях, которые были ассоциированы с показателями региональной социально-экономической статистики и интерпретированы.
Ключевые слова: право, искусственный интеллект, цифровое государство, административная ответственность, интеллектуальный анализ, машинное обучение, большие данные, вычислительный эксперимент, вычислительная методология, пожарная безопасность
DOI:
10.25136/2409-7136.2019.7.30351
Дата направления в редакцию:
23-07-2019
Дата рецензирования:
25-07-2019
Дата публикации:
20-08-2019
Введение
Использование вычислительной методологии и больших данных способно обогатить юридические исследования, в частности, за счет извлечения новых знаний из объемов данных о правоприменительной практике, доступных для цифровой обработки и интеллектуального анализа. Юридико-вычислительные исследования открывают широкие возможности для улучшения качества понимания правовых явлений и процессов, внедрения искусственного интеллекта в юридическую практику, развития «цифрового государства», повышения эффективности права и управления.
В настоящей статье представлены результаты компьютерного сбора и обработки данных ГАС «Правосудие» в целях извлечения знаний о судебной практике пересмотра постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 «Нарушение требований пожарной безопасности» Кодекса Российской Федерации об административных правонарушениях, в том числе знаний о региональных особенностях правоприменительной практики. Данное исследование сопутствовало основному исследованию, представленному авторами в статье «Право и
искусственный интеллект: опыт разработки вычислительной методологии для анализа и оценки качественных изменений в законодательстве и правоприменительной практике (на примере статьи 20.4 Кодекса Российской Федерации об административных правонарушениях)» и послужившему основой для данной работы.
В ходе настоящего исследования, выполненного с использованием высокопроизводительных вычислений и больших данных, были получены, проанализированы и интерпретированы данные о динамике результатов пересмотра постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ, как в целом по России, так и по отдельным регионам, были показаны региональные модели соотношения результатов пересмотра постановлений (решений) по делам об административных правонарушениях, выявлены комплексные связи этих моделей с показателями экономического развития регионов, а также сделан ряд теоретических выводов в исследуемой предметной области.
Постановка проблемы
Современная правовая статистика предоставляет в распоряжение исследователя довольно ограниченный набор данных. В частности, не формируются данные судебной статистики о результатах пересмотра постановлений (решений) по делам об административных правонарушениях в разрезе видов правонарушений (статей административно-деликтного закона). Вместе с тем данные о стадии пересмотра в производстве по делам об административных правонарушениях обладают эвристическим потенциалом, позволяя целостно представить и глубже проанализировать названное производство и его результаты.
Обзор исследований и разработок
Идеи о возможном использовании автоматического поиска и электронной обработки данных для проведения юридических исследований, а также количественном анализе различных аспектов процесса принятия правовых решений начали высказываться еще в конце 1950-х гг. в рамках «юриметрии» О'ипте^^) 119 120!.
В нашей стране в более узких рамках вопрос информатизации в области права, включая разработку поисковых систем, решался Всесоюзным научно-исследовательским институтом советского законодательства (ВНИИСЗ) Минюста СССР, в структуре которого в 1974 г. был создан сектор информационно-поисковых языков, а в 1975 г. Научный центр правовой информации ИШ. на его площадке с середины 1970-х гг. активно велись разработки правовых поисковых систем [2! Однако в СССР научный поиск был
ориентирован на конкретные практические нужды, и ключевым достижением стало внедрение в 1982 г. автоматизированной информационной правовой системы «АИПС-Законодательство».
За рубежом исследования были более дифференцированными. В 1970-е, 1980-е и 1990-е гг. велись разработки в области правовых экспертных систем (на основе правил [26! и кейсов [28!, гибридных систем и т.д.). В 1990-е гг. были начаты разработки
интеллектуальных инструментов управления правовыми документами I23!, с 2000-х гг. проводятся эксперименты по внедрению машинного обучения и извлечению данных в юридической сфере [24], а в 2010-е гг. начаты вычислительные эксперименты на больших данных [22].
С конца 1990-х гг. в связи с развитием «электронного правительства» делаются попытки интегрировать цифровые технологии и право, причем если в сфере юридико-
управленческой практики эти разработки демонстрируют некоторые успехи I25!, то в области правовых исследований цифровые технологии пока не привели к созданию значимых исследовательских инструментов. Например, группа компаний «Право.ру», в вычислительном эксперименте по определению одного из четырех исходов дел о банкротстве («удовлетворено» и т.д.) сделала общий вывод о том, что в ходе эксперимента осталось неизвестным, что именно влияет на исход дела ¿¿П.
С 2017 г. авторы настоящей статьи ведут исследования и разработки, направленные на развитие «цифрового государства», применяя в предметной области права вычислительные подходы, основанные на различных технологиях искусственного интеллекта.
Методология исследования
Для решения исследовательской задачи по интеллектуальному анализу судебной практики применения статьи 20.4 КоАП РФ на стадии пересмотра постановлений (решений) по делам об административных правонарушениях были использованы данные Государственной автоматизированной системы Российской Федерации «Правосудие» (общедоступный ресурс). Эмпирическая база в количестве 8804536 судебных постановлений и решений по делам об административных правонарушениях объемом 321 Гб была сформирована при помощи краулера за счет POST-запросов с некоторым параметром в JSON. В результате запросов были получены полные документы судебных актов, которые, как правило, имеют большой объем, и не все их поля имеют значения (нулевые значения). Поля документов были отфильтрованы, оставлены только значимые данные. Данные были обработаны Apache Spark с использованием Python вместе с блокнотом Jupyter.
Судебные акты, размещенные в ГАС «Правосудие», являются слабоструктурированными, основная информация, необходимая для интеллектуального анализа, содержится в них в неструктурированной форме в текстах на естественном (русском) языке. По этой причине значительный вклад в качество получаемых моделей вносят наработки членов авторского коллектива в области обработки текстов на естественном языке. Значительные объемы слабоструктурированных данных существенно меняют требования к технологиям предобработки. Из текстов судебных решений были извлечены необходимые данные, на основе которых была решена задача классификации. Методы извлечения достоверной информации из текстов судебных актов описаны в ранних работах авторов Ш Ш1 ^ ^
Для детального интеллектуального анализа были взяты 4,9 тыс. судебных решений о пересмотре постановлений (решений) о назначении административного наказания по статье 20.4 КоАП РФ за период 2010-2017 гг. Установить соотношение данной выборки с генеральной совокупностью можно только путем приблизительной оценки.
По данным судебной статистики (сводные отчеты по всем судам общей юрисдикции
Российской Федерации по форме № 1-АП^13!), за 2010-2017 гг. судьями были окончены производством 48180121 дело об административном правонарушении в порядке рассмотрения (первая инстанция) и 3442057 дел в порядке пересмотра, в том числе было рассмотрено (первая инстанция) по статье 20.4 КоАП РФ 63809 дел без учета 2010 г., когда статистика по статье 20.4 КоАП РФ не формировалась (см. табл. 1).
Табл. 1. Данные о рассмотрении и пересмотре судами дел об административных правонарушениях за 2010-2017 гг.
2010 2011 2012 2013 2014 2015 2016 2017 Всего
Рассмотрена дел — всего 5326878 5295961 5731547 5808980 6461545 6620018 6423068 6512124 48180121
Рассмотрена дел по статье 20.4 КоАП РФ (по числу лиц) нет данных 34657 8006 8856 5884 3684 1931 791 63809
Пересмотрено постановлений (решений) — всего 358820 351886 355535 366475 426607 521799 532494 528441 3442057
Учитывая, что общее количество пересмотренных постановлений (решений) составило 7,14% от общего количества рассмотренных дел, примерное количество пересмотренных постановлений (решений) по статье 20.4 КоАП РФ по аналогии можно принять за 4,6 тыс. (за 2011-2017 гг.). На этом основании допустимо считать выборку из 4,9 тыс. судебных решений сопоставимой с генеральной совокупностью и достаточной для интеллектуального анализа.
Результаты исследования
На диаграмме 1 показана полученная по всей выборке классификация решений, вынесенных судами в 2010-2017 гг. по итогам пересмотра постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ.
Диаграмма 1. Результаты пересмотра в 2010-2017 гг. постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ.
Всего за 2010-2017 гг. около 35% решений были вынесены с резолютивной частью об отмене обжалованных постановлений (решений), около 20% — об изменении постановлений (решений), около 45% — об оставлении ранее вынесенных пос та нов ле ний (ре ше ний) бе з из ме не ний.
В аналогичной форме (в виде диаграмм) были получены классификации результатов пересмотра в 2010-2017 гг. постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ, в разрезе отдельных субъектов Российской Федерации.
Обсуждение и интерпретация результатов
С 17.06.2011 вступили в силу изменения, внесенные в статью 20.4 КоАП РФ Федеральным законом от 03.06.2011 № 120-ФЗ «О внесении изменений в Кодекс Российской Федерации об административных правонарушениях по вопросам пожарной безопасности». В результате этих изменений были пересмотрены: во-первых, формулировки составов административных правонарушений по статье 20.4 и их разграничение между частями этой статьи; во-вторых, виды и размеры административных наказаний в санкциях частей статьи 20.4 и, как следствие, компетенция судов по рассмотрению дел данной категории. Интеллектуальный анализ изменений, произошедших вследствие этой законодательной корректировки при рассмотрении (в первой инстанции) дел по статье 20.4 КоАП РФ, был представлен в ранее упомянутой статье авторов и в настоящем исследовании принят за основу ряда суждений, представленных ниже I16!.
На диаграмме 1 хорошо видны две тенденции в динамике результатов пересмотра постановлений (решений) по делам об административных правонарушениях по статье 20.4 КоАП РФ.
Во-первых, после изменения в июне 2011 г. редакции статьи 20.4 КоАП РФ соотношение между количеством решений об отмене ранее вынесенных постановлений (решений) и количеством «отказных» решений в 2011 г. меняется вдвое в пользу первых, и их количество становится наибольшим. Эта тенденция проявляется в 2011 г. и сохраняется в 2012 г., когда на стадию пересмотра выходят только дела, рассмотренные уже по новому закону. Затем с 2013 г. это соотношение к 2015-2017 гг. возвращается приблизительно на исходные значения. О писанная динамика отражает изменение судебной практики вслед за законодательной корректировкой статьи 20.4 КоАП РФ: сначала обновление правоприменительных подходов, а потом их закрепление как единообразных, с чем и связаны первоначальный рост доли отмен судами ранее вынесенных постановлений (решений) и последующее сокращение этой доли до исходных значений. Такая динамика объясняется снижением качества рассмотрения дел в 2011-2012 гг. в условиях изменения применимого законодательства, а дальнейший постепенный возврат к прежнему уровню в 2013-2017 гг. — восстановлением первоначального качества рассмотрения дел в первой инстанции сообразно формированию единообразия судебной практики и ее стабилизации путем распространения накопленного судейского опыта по данной категории дел.
Во-вторых, после законодательных изменений 2011 г. увеличивается количество дел о пересмотре постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ. Рост количества обжалований по данной категории дел был вызван изменением законодательства и, как следствие, правоприменительной практики и продолжался до 2015 г. С 2016 г. происходит быстрый регресс обжалований, поскольку политика применения неотвратимого и сурового наказания за нарушения требований пожарной безопасности дала результаты в среднесрочной перспективе и уменьшила уровень административной деликтности в указанной сфере (см. табл. 2, составленную на основании сводных отчетов по всем судам общей юрисдикции Российской Федерации по форме № 1-АП «Отчет о рассмотрении федеральными судами общей юрисдикции и мировыми судьями дел об административных правонарушениях», представленной Судебным департаментом при Верховном Суде Российской Федерации за 12 месяцев каждого календарного года за период 2011-2017 гг.; в 2010 г. судебная статистика по статье 20.4 КоАП РФ отдельной строкой не выделена
Табл. 2. Судебная статистика по статье 20.4 КоАП РФ за 2011-2017 гг.
Статистический показатель 2011 2012 2013 2014 2015 2016 2017
Рассмотрено дел (по числу лиц) 34657 8006 8856 5884 3684 1931 791
Лиц, подвергнутых административному наказанию 28760 5869 6336 4467 2662 1467 493
Сравнение первой и второй тенденций приводит к выводу о том, что после введения более эффективного закона в действие правоприменительная деятельность публично-властных субъектов стабилизировалась по истечении двух лет, а правореализационная активность частных лиц — по истечении пяти лет.
Интеллектуальный анализ судебной практики в разрезе субъектов Российской Федерации показал распределение регионов России на три группы, различающиеся соотношением трех результатов пересмотра постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ (см. диаграмму 2).
Диаграмма 2. Региональные модели соотношения результатов пересмотра постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ в 2010-2017 гг.
Ассоциируя полученные данные с показателями социально-экономической статистики с. 20-23! Г6. с. 20-231 Г7. с. 20-23! Г8. с. 18-21! Г9. с. 18-21! Г10. с. 18-21! Г11. с. 18-21! Г12. с. 18-23!
можно сделать вывод о том, что показанные на диаграмме 2 региональные модели соотношения результатов пересмотра постановлений (решений) по делам об административных правонарушениях, предусмотренных статьей 20.4 КоАП РФ, хорошо соотносятся с показателями экономического развития соответствующих регионов, хотя и не имеют строгой линейной зависимости.
Для регионов первой группы (например, города федерального значения Москва и Санкт-Петербург, Краснодарский край, Ростовская область) в целом характерны среднедушевые денежные доходы на уровне выше среднего по стране, а также высокий сальдированный финансовый результат деятельности организаций. В этих регионах наблюдается абсолютное преобладание судебных решений об отказе в пересмотре ранее вынесенных постановлений (решений), достигающее показателей от 1/2 до 2/3 от
общего количества дел данной категории, а решения об изменении ранее вынесенных постановлений (решений) составляет приблизительно 50-100% от количества решений, прекративших производство по делу. В таких регионах проявляется довольно строгая административно-деликтная политика в отношении наказания за административные правонарушения в сфере пожарной безопасности.
Вторая группа регионов (например, Волгоградская, Челябинская и Самарская области) в целом характеризуется среднедушевыми денежными доходами населения на уровне ниже среднего по стране и низким сальдированным финансовым результатом деятельности организаций. В этих регионах наблюдается примерно равное (1:1) количество решений об отмене ранее вынесенных постановлений (решений) с прекращением производства по делу и решений об отказе в изменении ранее вынесенного постановления (решения), а также достаточно высокий показатель изменения ранее вынесенного постановления в сторону смягчения административного наказания (приблизительно 50-75% от количества решений о прекращении производства по делу). Таким регионам свойственна тенденция к снижению общего уровня административной наказуемости за нарушение требований пожарной безопасности.
Третья группа (например, Республика Дагестан) характеризуется тем, что количество решений о прекращении производства по делу кратно превышает количество решений об оставлении без изменения ранее вынесенных постановлений (решений) по делу. Такой явный дисбаланс находится в «гармонии» с долгосрочно фиксирующимся парадоксальным экономическим положением в субъекте Российской Федерации, которое имеет значительные диспропорции с 43]: например, среднедушевые денежные доходы населения самые высокие в федеральном округе (хотя и несколько ниже среднего уровня по стране), но при этом сальдированный финансовый результат деятельности организаций отрицательный.
Указанные корреляции в отношении особенностей судебной практики в различных регионах позволяют сделать два предварительных вывода.
Во-первых, эффективность государственной политики в области административной ответственности и последовательное проведение принципов законности и неотвратимости наказания в целом выше в тех регионах, которые более благополучны в экономическом отношении, а значит, частные лица имеют больше экономических возможностей обеспечить соблюдение требований пожарной безопасности и нести полагающееся за их нарушение административное наказание. В менее благополучных регионах наблюдается обратная тенденция, которая условно может быть обозначена как попустительство правонарушениям по мотивам затруднительного имущественного положения граждан и финансового состояния организаций; такие ситуации на практике обусловлены внутренним убеждением судьи в том, что предусмотренное законом административное наказание в экономической обстановке данной местности по своей тяжести не соответствует допущенному нарушению и степени вины лица, привлекаемого к ответственности.
Во-вторых, аномальные показатели результатов пересмотра постановлений (решений) по делам о нарушении требований пожарной безопасности (статья 20.4 КоАП РФ) в третьей модели согласуются с парадоксальными экономическими показателями регионального развития. Этот дисбаланс однозначно свидетельствует о наличии устойчивых социальных девиаций, проявляющихся в правоприменении.
Заключение и перспективы исследований
Полученный вычислительный результат является методологическим для предметной области права, он позволяет извлекать и интерпретировать данные о судебной практике, существенно дополняя данные, формируемые судебной статистикой.
В ходе интерпретации полученных эмпирических результатов в области пересмотра постановлений (решений) по делам об административных правонарушениях, вызванных введением в действие более эффективного закона (новой редакции статьи 20.4 КоАП РФ в июне 2011 г.), были установлены две тенденции:
1) тенденция к увеличению относительного количества (доли) решений об отмене ранее вынесенных постановлений (решений) на протяжении 2-3 лет и возвращению этой доли в течение последующих 3-5 лет к первоначальным значениям; эта тенденция интерпретирована как снижение качества рассмотрения дел в условиях изменения применимого законодательства и последующее восстановление качества правосудия с накоплением судейского опыта по данной категории дел и формированием единообразной судебной практики;
2) тенденция к увеличению абсолютного количества дел о пересмотре постановлений (решений) по делам об административных правонарушениях в течение 5 лет и последующему снижению количества дел; эта тенденция рассматривается как среднесрочный позитивный эффект оптимизированного законодательства и правоприменения на сферу реализации права частными лицами.
Сравнение этих тенденций показало, что эффективный закон стабилизирует правоприменительную деятельность по истечении двух лет, а правореализационную — по ис те ч е нии пя ти ле т.
Интеллектуальный анализ данных судебной практики в региональном разрезе показал, что судебное правоприменение по делам об административных правонарушениях на стадии пересмотра имеет значительные региональные отличия, которые в целом могут быть ассоциированы с показателями социально-экономической статистики и обобщаются в трех региональных моделях соотношения результатов пересмотра постановлений (решений) по делам об административных правонарушениях:
первая модель характеризуется абсолютным преобладанием решений об отказе в пересмотре ранее вынесенных постановлений (решений) и показательна для регионов с высокими экономическими показателями;
вторая модель показательна для регионов с низкими экономическими показателями и характеризуется приблизительным равенством (приблизительно по 40%) количества решений об отказе в пересмотре ранее вынесенных постановлений (решений) и количества решений о прекращении производства по делу, а также меньшей долей (2025%) решений об изменении ранее вынесенных постановлений (решений) по делу;
третья модель отличается кратным преобладанием решений о прекращении производства по делу и ассоциируется с парадоксальными экономическими показателями регионального развития.
Сравнение первой и второй моделей показывает, что эффективность административной ответственности в целом выше в тех регионах, которые более благополучны в экономическом отношении, тогда как в менее благополучных регионах наблюдается тенденция, которая условно может быть обозначена как попустительство
правонарушениям со стороны правоприменителя по мотивам затруднительного имущественного (финансового) положения лиц, привлекаемых к ответственности.
Аномальные юридические показатели третьей региональной модели, ассоциированные с парадоксальными экономическими показателями регионального развития, свидетельствуют о наличии устойчивых девиаций в правоприменении и наличии комплексной проблемы в правоприменении. Эти отклонения и их комплексность заслуживают отдельного изучения, поскольку такими девиациями могут быть различные явления: от низкого уровня компетентности правоприменителя до высокого уровня коррупционного поведения.
Библиография
1. Адигюзелова Н.Ю. Характеристики региональной депрессивности в рыночной экономике// Региональные проблемы преобразования экономики. 2011. № 2. С. 4048.
2. Актуальные проблемы теории и практики применения математических методов и ЭВМ в деятельности органов юстиции: тез. докл. на V всесоюз. конф. по проблемам правовой кибернетики / Науч. совет по комплекс. проблеме «Кибернетика» АН СССР, Всесоюз. науч.-исслед. ин-т судеб. экспертиз М-ва юстиции СССР. Вып. 2: Секция: Автоматизированные информационно-поисковые системы в области права. Анализ нормативных актов. М., 1975. 140 с.
3. Васильев Д. Компьютер вместо юрисконсульта // Наука и жизнь. 2001. № 3. С. 8890.
4. Мецкер О.Г., Трофимов Е.В. Совершенствование административно-деликтного регулирования на основе электронных данных судебной практики // Право. Общество. Государство: сб. науч. тр. студентов и аспирантов. Т. 4 / редкол.: Д.В. Рыбин (пред.), Е.В. Трофимов (отв. ред.) [и др.]. СПб.: С.-Петерб. ин-т (фил.) ВГУЮ (РПА Минюста России), 2018. 152 с. С. 140-151.
5. Регионы России. Социально-экономические показатели. 2011 : стат. сб. / Росстат. М., 2011. 990 с.
6. Регионы России. Социально-экономические показатели. 2012 : стат. сб. / Росстат. М., 2012. 990 с.
7. Регионы России. Социально-экономические показатели. 2013 : стат. сб. / Росстат. М., 2013. 990 с.
8. Регионы России. Социально-экономические показатели. 2014 : стат. сб. / Росстат. М., 2014. 900 с.
9. Регионы России. Социально-экономические показатели. 2015 : стат. сб. / Росстат. М., 2015. 1266 с.
10. Регионы России. Социально-экономические показатели. 2016 : стат. сб. / Росстат. М., 2016. 1326 с.
11. Регионы России. Социально-экономические показатели. 2017 : стат. сб. / Росстат. М., 2017. 1402 с.
12. Регионы России. Социально-экономические показатели. 2018 : стат. сб. / Росстат. М., 2018. 1162 с.
13. Судебная статистика // Судебный департамент при Верховном Суде Российской Федерации [Сайт]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika (дата обращения: 24.03.2019).
14. Трофимов Е.В., Мецкер О.Г. Право и искусственный интеллект: опыт
вычислительных экспериментов по моделированию и оптимизации процессов применения законодательства об административных правонарушениях с использованием методов интеллектуального анализа и алгоритмов машинного обучения // Вестник Санкт-Петербургской юридической академии. 2018. № 3 (40). С. 42-46.
15. Трофимов Е.В., Мецкер О.Г. Право и искусственный интеллект: подходы к исследованию и разработке семантик, тезаурусов и онтологий в сегменте LegalTech // Актуальные вопросы развития российской государственности и публичного права: материалы IV всерос. науч.-практ. конф. (Санкт-Петербург, 27 сент. 2018 г.) / редкол.: Д.В. Рыбин (пред.), Е.В. Трофимов (отв. ред.) [и др.]. СПб.: С.-Петерб. ин-т (фил.) ВГУЮ (РПА Мин-юста России), 2018. 240 с. С. 191-200.
16. Трофимов Е.В., Мецкер О.Г. Право и искусственный интеллект: опыт разработки вычислительной методологии для анализа и оценки качественных изменений в законодательстве и правоприменительной практике (на примере статьи 20.4 Кодекса Российской Федерации об административных правонарушениях) // Право и политика. 2019. № 8. С. 1-17. DOI: 10.7256/2454-0706.2019.8.30306. URL:
https ://nbpublish.com/library_read_article.php?id = 30306.
17. Ушаков А.А. Право, язык, кибернетика // Правоведение. 1991. № 2. С. 35-41.
18. Хачатурова С.С. История появления и развития справочно-правовых систем // Наука, техника и образование. 2017. № 1(31). С. 27-29.
19. Allen L.E. Beyond Document Retrieval Toward Information Retrieval // Minnesota Law Review. 1963. Vol. 47. Pp. 713-767.
20. Allen L.E. The American Association of American Law Schools Jurimetrics Committee Report on Scientific Investigation of Legal Problems // Saint Louis University Law Journal. 1962-1963. Vol. 7. Pp. 39-56.
21. Data & Science: закон и делопроизводство [Электронный ресурс] : Яндекс-видеоконференция (Москва, 17 нояб. 2018 г.). URL:
https://www.youtube.com/watch?v=hvorbupZ9ho (дата обращения: 24.03.2019).
22. García-Constantino M., Atkinson K., Bollegala D., Chapman K., Coenen F., Roberts C., Robson K. CLIEL: Context-Based Information Extraction From Commercial Law Documents // Proceedings of the 16th edition of the International Conference on Articial Intelligence and Law (ICAIL-17), London, UK, Jun. 12-16, 2017. New York, USA: Association for Computing Machinery, 2017. Pp. 79-87.
23. Gelbart D., Smith J.C. FLEXICON: An Evaluation of a Statistical Ranking Model Adapted To Intelligent Legal Text Management // Proceedings of the 4th International Conference on Artificial Intelligence and Law (ICAIL-93), Amsterdam, The Netherlands, Jun. 15-18, 1993. New York, USA: Association for Computing Machinery, 1993. Pp. 142-151.
24. Hachey B., Grover C. Automatic Legal Text Summarisation: Experiments with Summary Structuring // Proceedings of the 10th International Conference on Artificial Intelligence and Law (ICAIL-05), Conference: 10th International Conference on Artificial Intelligence and Law, At Bologna, Italy, Bologna, Italy, Jun. 06-11, 2005. New York, USA: Association for Computing Machinery, 2005. Pp. 75-84.
25. Hampton W.M. Predictive Coding: It's Here to Stay // E-Discovery Bulletin. Practical Law. 2014. Jun./Jul. Pp. 28-32.
26. McCarty L.T. Reflections on Taxman: An Experiment in Artificial Intelligence and Legal Reasoning // Harvard Law Review. 1977. Vol. 90, № 5. Pp. 837-893.
27. Metsker O., Trofimov E., Sikorsky S., Kovalchuk S. Text and Data Mining Techniques in
Judgment Open Data Analysis for Administrative Practice Control // Electronic Governance and Open Society: Challenges in Eurasia: 5th International Conference, EGOSE 2018, St. Petersburg, Russia, Nov. 14-16, 2018, Revised Selected Papers / A. Chugunov, Y. Misnikov, E. Roshchin, D. Trutnev (eds.). Cham, Switzerland: Springer, 2019. XVI, 494 pp. (Communications in Computer and Information Science, vol. 947).
Pp. 169-180. DOI: 10.1007/978-3-030-13283-5_13.
28. Rissland E.L., Ashley K.D. A Case-Based System for Trade Secrets Law // Proceedings
of the 1st International Conference on Artificial Intelligence and Law (ICAIL-87), Boston, Massachusetts, USA, May 27-29, 1987. New York, USA: Association for Computing Machinery, 1987. Pp. 60-66.
29. Rissland E.L., Skalak D.B. Combining Case-Based and Rule-Based Reasoning: A Heuristic Approach // Proceedings of the 11th International Joint Conference on Artificial Intelligence (IJCAI-89), Detroit, Michigan, USA, Aug. 20-25, 1989. Vol. 1. San Francisco, USA: Morgan Kaufmann Publishers, 1989. Pp. 524-530.
30. Stranieri A., Zeleznikow J., Gawler M., Lewis B. A Hybrid-Neural Approach To the Automation of Legal Reasoning in the Discretionary Domain of Family Law in Australia // Artificial Intelligence and Law. 1999. Vol. 7, № 2-3. Pp. 153-183.
