ИСПОЛЬЗОВАНИЕ КОМПЬЮТЕРНЫХ МЕТОДОВ И СИСТЕМ В ИЗУЧЕНИИ ПРАВА, ИНТЕЛЛЕКТУАЛЬНОМ АНАЛИЗЕ И МОДЕЛИРОВАНИИ ПРАВОВОЙ ДЕЯТЕЛЬНОСТИ: СИСТЕМАТИЧЕСКИЙ ОБЗОР Текст научной статьи по специальности «Право»

Б01: 10.15514Я8РКЛ8-2020-32(3)-13

Использование компьютерных методов и систем в изучении права, интеллектуальном анализе и моделировании правовой деятельности: систематический обзор

1 Е.В. Трофимов, ORCID: 0000-0003-4585-8820 <diterihs@mail.ru> 2 О.Г. Мецкер, ORCID: 0000-0003-3427-7932 <olegmetsker@gmail.com> 1 Всероссийский государственный университет юстиции (РПА Минюста России), 117638, Россия, г. Москва, ул. Азовская, д. 2, корп. 1 2 Национальный медицинский исследовательский центр имени В. А. Алмазова, 197341, Россия, г. Санкт-Петербург, ул. Аккуратова, д. 2

Аннотация. Интеграция вычислительных систем и методов в юридическую деятельность позволяет извлечь такие выгоды, как ресурсосбережение, повышение объективности, полноты и точности интеллектуальных результатов. Понимание основных научных достижений и тенденций на стыке компьютерных и правовых наук акцентирует внимание на перспективных научно-технологических направлениях информатизации права. Настоящий обзор систематизирует важнейшие достижения на стыке правовых и компьютерных наук, охватывая зарубежные и отечественные научные публикации за 1949-2020 годы. Исследования компьютерных методов и систем, инициированные американской юриметрикой, были направлены на хранение, индексацию, абстрагирование и поиск юридических текстов и привели к созданию правовых информационно-поисковых систем, тогда как отечественная правовая кибернетика стала пионером в сфере автоматизации криминалистической экспертизы. На базе методов искусственного интеллекта развилось компьютерное моделирование юридических рассуждений, сместившееся в дальнейшем в область юридического диалога и конфликта правовых аргументов, а в последние годы трансформирующего полученный опыт на основе современных компьютерных моделей, шаблонов и архитектур. Популяризация систем для поддержки принятия решений обеспечила мультизадачность систем, включающую информационный поиск, юридическую аргументацию, аналитику, прогноз и контроль. Новейшие сегменты исследований ориентированы на применение методов машинного обучения и интеллектуальный анализ больших данных. Практически все успешные методологические решения сохраняют свое значение, продолжая применяться непосредственно или послужив основой для дальнейшего развития вычислительных методов и информационных систем в правовой деятельности.

Ключевые слова: право и искусственный интеллект; юриметрика; правовая информатика; кибернетические юридические модели; правовые экспертные системы; интеллектуальное управление документами; большие данные; машинное обучение; правовые системы, основанные на знаниях; прикладные юридические онтологии

Для цитирования: Трофимов Е.В., Мецкер О.Г. Использование компьютерных методов и систем в изучении права, интеллектуальном анализе и моделировании правовой деятельности: систематический обзор. Труды ИСП РАН, том 32, вып. 3, 2020 г., стр. 147-170. Ш1: 10.15514Л8РКЛ8-2020-32(3)-13

Благодарности. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-111-50534.

Application of Computer Techniques and Systems in the Study of Law, Intellectual Analysis and Modeling of Legal Activity: A Systematic Review

1 E.V. Trofimov, ORCID: 0000-0003-4585-8820 <diterihs@mail.ru> 2 O.G. Metsker, ORCID: 0000-0003-3427-7932 <olegmetsker@gmail.com> 1 All-Russian State University of Justice, 2 Bldg. 1, Azovskaya Str., Moscow, 117638, Russia

2 Almazov National Medical Research Centre, 2, Akkuratova Str., St. Petersburg, 197341, Russia

Abstract. Integration of computing systems and methods in legal activity allows to extract benefits such as resource saving, increase objectivity, completeness and accuracy of intellectual results. Understanding of the main scientific achievements and trends at the intersection of computer and legal sciences focuses on promising scientific and technological areas of informatization of law. This review systematizes the most important achievements at the intersection of legal and computer sciences, covering foreign and domestic scientific publications for 1949-2020. Researches of computer methods and systems initiated by American jurimetrics were aimed at storing, indexing, abstracting and searching for legal texts and led to the creation of legal information retrieval systems. Domestic legal cybernetics became a pioneer in the field of automation of criminalistics expert examination. Computer modeling of legal reasoning developed on the techniques of artificial intelligence, later it shifted to the field of legal dialogue and conflict of legal arguments, but in recent years it transforms the acquired experience on the basis of modern computer models, patterns and architectures. The popularization of decision-making support systems has provided multi-tasking systems, including information retrieval, legal reasoning, analytics, predictions and control. The latest research segments are focused on the application of machine learning and big data processing. Almost all successful methodological solutions retain their significance, continuing to be applied directly or as the basis for the further development of computational methods and information systems in legal activity.

Keywords: law and artificial intelligence; jurimetrics; legal informatics; cybernetic legal models; legal expert systems; intelligent document management; big data; machine learning; legal knowledge-based systems; legal ontologies

For citation: Trofimov E.V., Metsker O.G. Application of Computer Techniques and Systems in the Study of Law, Intellectual Analysis and Modeling of Legal Activity: A Systematic Review. Trudy ISP RAN/Proc. ISP RAS, vol. 32, issue 3, 2020. pp. 147-170 (in Russian). DOI: 10.15514/ISPRAS-2020-32(3)-13

Acknowledgments. The reported study was funded by RFBR, project number 19-111-50534.

1. Введение

За последние несколько десятилетий информационно-коммуникационные технологии распространились на различные сферы общественной жизни, включая деятельность юристов. После создания компьютеров были инициированы исследования по внедрению вычислительных средств, технологий, систем и методов в юридическую сферу с тем, чтобы извлечь из автоматизации такие выгоды, как ресурсосбережение, повышение объективности, полноты и точности интеллектуальных результатов.

В настоящей статье приведен систематический обзор важнейших направлений научного поиска, ознаменовавших прогресс в разработке компьютерных методов и систем для изучения права, интеллектуального анализа данных и моделирования правовой деятельности. Впервые подобный обзор охватывает как зарубежные, так и отечественные научные публикации. В статье раскрываются методологические достижения XX века, на которых базируются современные исследования и системы, а также демонстрируется разнообразие методологических подходов к разработкам и экспериментам XXI века, значимость которых еще предстоит оценить.

Понимание достижений и тенденций на стыке компьютерных и правовых наук позволяет акцентировать внимание на наиболее перспективных научно-технологических областях и направлениях. Настоящий обзор, как надеются авторы, поможет развивать идеи информатизации права, принимая обоснованные стратегические решения при планировании исследований, проектировании информационных систем, разработке и реализации правовой политики.

2. Юриметрика и правовой информационный поиск

Идейным основателем юриметрики как научного направления и создателем самого термина «юриметрика» стал Ли Ловенгер, который написал одноименную статью программного характера в 1949 г. и заявил в ней, что использование современной научной методологии и технологии (в том числе кибернетической) должно стать следующим шагом в развитии права. Компьютерные методы и системы, учитывая их тогдашний уровень, воспринимались юриметрикой больше как перспективные (в обозримом будущем) инструментальные средства для повышения производительности вычислений. Ловингер, в частности, ставил вопрос о создании машины для разрешения судебных дел, наивно полагая, что сложность этой задачи состоит в отсутствии юридических терминов, которые, подобно цифрам и символам, можно ввести в машину [71].

С конца 1950-х г. идеи юриметрики и внедрения кибернетики в право стали популярны не только в Америке, но и в Европе. Так, Люсьен Мель, продвигая идеи интеграции логики, Булевой алгебры и двоичной записи, предложил создание четырех типов «юридических машин»: 1) «информационной машины» для поиска правовой информации, предоставляющей релевантные элементы информации, создание которой предполагалось путем систематизации (кодификации) правовой информации, определения базовых юридических понятий по типу ключевых слов и колонтитулов и представления данных, понятий, ситуаций и проблем в бинарной форме; 2) «консультационной машины», выполняющей на основе логики и Булевой алгебры концептуальный и реляционный анализ и дающей точный ответ на поставленный перед ней юридический вопрос; 3) машины для проверки логической согласованности правовых положений законов или конвенций; 4) машины для перевода юридических текстов [80].

Уже в начале своего пути юриметрика развивала идеи компьютерного хранения и поиска информации, поскольку это был насущный экономический вопрос, связанный с сокращением операционных затрат на работу с запредельными для ручного поиска объемами информации. В середине XX в. основным методом организации поиска юридических документов была «ручная» индексация документов с последующим «ручным» просмотром индексов. Развитие компьютерных систем и методов поставило на обсуждение три основных подхода к компьютерному решению этой проблемы: 1) перевод индексов и поиска по ним в электронную форму; 2) компьютерное совершенствование самого метода индексации; 3) переход от индексации к полнотекстовому электронному поиску. Все три направления, хотя и по-разному, дали результаты, были восприняты в дальнейших исследованиях и в определенной мере используются до сих пор.

2.1. Эксперименты Моргана

Самым очевидным стал перевод в электронный вид бумажных индексов и поиска по ним. Подход обеспечивал индексацию документов путем их экспертного абстрагирования, а поисковый запрос составлялся на основе экспертно сформированного индекса. В конце 1950-х гг. в Университете штата Оклахома Роберт Морган использовал компьютер для индексного поиска, назвав его подходом «правового вопроса».

Реферированная юридическая библиотека переводилась в электронный формат, чтобы обеспечить поиск по рефератам. Эксперт осуществлял спецификацию путем анализа фактов

конкретного дела для определения сути правового вопроса, формулировал его в виде юридически осмысленного концепта (слова, фразы, параграфа и т.п.) и индексировал запрос. По цифровому индексу компьютер выдавал список релевантных юридических источников, требовавших уже экспертного отбора [86].

2.2. Эксперименты Мелтон и Бенсинга

В 1959-1960 гг. Университете Западного резервного района (г. Кливленд) в эксперименте Джессики Мелтон и Роберта Бенсинга к юридическим текстам был применен метод «семантически кодированного реферирования», стратегической целью которого являлось создание новых знаний на основе известных. Суть подхода сводилась к абстрагированию текстов, индексации, нормализации языка (терминологии и синтаксиса) и использованию машинного тезауруса для хранения и поиска текстов. Разработчиками были закодированы статья 2 Единообразного торгового кодекса США 1952 г. и несколько судебных решений. Основу эксперимента составлял специально созданный семантический код, представлявший собой сочетание тезауруса и многоразмерной классификации научной терминологии, в основе которой находились индексные термины, отобранные и классифицированные экспертным путем. Значения терминов (слов, выражений) кодировались «семантическими факторами» и «численными факторами», а отношения между терминами - «ролевыми индикаторами» и знаками пунктуации.

Кодировка имела сходство с универсальной десятичной классификацией П. Отле и А. Лафонтена, но при этом нормализация языка и использование машинного тезауруса давали возможность осуществлять поиск не только по концептам (абстрактным значениям), но и по конкретным терминам, а также в отчасти учитывать общий смысл поискового запроса и абстрагированного документа. Процедурно подход предусматривал кодирование фрагментов текста и поисковых запросов с последующей идентификацией реферата, содержащего коды или элементы кодов, которые соответствуют логической конфигурации поискового запроса [81, 82].

2.3. Эксперименты Хорти и Кела

В 1958-1962 гг. в Университете Питтсбурга под руководством Джона Хорти и Уильяма Кела проводилось исследование по электронному хранению, упорядочению юридических материалов и поиску релевантной информации, получившее названия подхода «ключевых слов в комбинации» или «питтсбургской системы». В ходе исследования статуты штата Пенсильвания объемом 6230529 слов (включая 2815340 общих слов), объединенных в 31113 секций статутов (документов), были набраны, проверены, исправлены вручную, переведены в электронный вид. Из встречавшихся в статутах 24 тыс. слов (приведенных к начальным формам), исключая имена собственные и 112 общих слов, не использовавшихся в поиске, был составлен алфавитный словарь, а уже из него был создан юридический тезаурус, на основе которого составлялся поисковый запрос для более точной постановки поисковой задачи.

Поиск обеспечивался по отдельным словам или их комбинациям. Казуальная проверка точности поиска показала, что «ручной» поиск выявил 42,6% релевантных статутов против 97,9% в компьютерном поиске, однако последний выдавал также интенсионально нерелевантные ответы и потому требовал экспертного анализа [45, 46, 49]. Пионерские работы Хорти приобрели всемирную известность и послужили теоретическим базисом для дальнейших изысканий в области полнотекстового поиска.

2.4. Информационно-поисковые системы индексного типа

В дальнейшем основу электронных индексов были положены разработанные в общем виде Хансом Луном индексация KWIK (ключевое слово в контексте) и SDI (выборочное 150

распространение информации), которые во многом были восприняты и в полнотекстовом поиске. Так, в 1964-1966 гг. в проекте «Law Research Services» под руководством Эллиаса Хоппенфельда был реализован индексный подход на картотеке в объеме свыше 1 млн. абстрагированных судебных решений, а поиск обеспечивался на основе дискрипторов и Булевых операторов [44].

В 1967 г. в Бельгии был создан малобюджетный правовой индекс CREDOC, основанный на SDI и методе ретроспективного поиска; базу CREDOC составили 60 тыс. документов, а тезаурус включал 6500 первичных концептов, которые в сочетании с 50 базовыми ключевыми словами и 500 ключевыми дескрипторами давали 31 тыс. терминов [99].

2.5. Полнотекстовые информационно-поисковые системы

В середине 1960-х гг. несколько исследовательских групп в США, Канаде и Великобритании приступили к разработке поисковых систем по полнотекстовым правовым документам. Наиболее известный опыт, благодаря быстрому расширению информационной базы и коммерциализации результата, - это поисковая система OBAR, исследования по созданию которой проводились в 1964-1967 гг., а в 1968-1970 гг. перешли на этап разработки реально работающей системы интуитивно понятного поиска по ключевым словам, оперировавшего на массиве полнотекстовых законодательных и судебных документов штата Огайо [43, 128]. К 1973 г. расширенная система, переименованная в LEXIS, охватывала право нескольких штатов и ряд отраслей федерального права США в объеме около 600 млн. символов [106]. Однако LEXIS еще не имела автоматического тезауруса, предлагающего синонимы, антонимы, обобщения, грамматические или орфографические варианты выбранных поисковых терминов, а логика поиска была ограничена Булевыми операторами, дополненными указателями расстояния и направления конъюнкции [120]. В Великобритании компьютерные исследования в области правовых поисковых систем, вдохновленные работами Хорти и известные как «оксфордские эксперименты», велись с 1961 г. юристами и статистиками под руководством Колина Таппера [121]. Благодаря их успехам в 1968-1969 гг. Брайан Ниблетт и Норман Прайс разработали на языке Fortran систему STATUS, обеспечивавшую компьютерный поиск по статутному праву Соединенного Королевства в области атомной энергетики (около 150 тыс. слов) на основе частотного словаря и индексирования типа KWIC [90].

В 1967-1973 гг. в Университете Куинс в Кингстоне под руководством Хью Лоуфорда разрабатывался поисковый сервис QUIC/LAW, который включил базу данных из полнотекстовых пересмотренных статутов Канады на английском и французском языках, неофициальную консолидацию федеральных приказов и правил, базу данных из полнотекстовых судебных решений и отчетов и две научные базы данных, содержавшие свыше 67 тыс. избранных рефератов с библиографическими записями [65]. В 1968 г. коллектив под руководством Жака Буше и Эджана Макайя начал работу над автоматическим правовым поисковым сервисом по прецедентам DATUM, и к 1971 г. был создан банк полнотекстовых судебных актов объемом около 140 млн. символов; методологическую основу системы составили двуязычный тезаурус и Булева логика, а поиск осуществлялся на английском и французском языках, обеспечивая благодаря тезаурусу учет синонимичных и более общих терминов [14, 73].

Подобные разработки велись и в странах континентальной Европы: например, в Швеции к 1972 г. уже была создана правовая информационно-поисковая система IMDOC, затем внедренная также в Финляндии под названием MINTTU [66], а в ФРГ с начала 1970-х г. активно разрабатывалась информационно-поисковая система JURIS [16].

2.6. Методы усовершенствования информационно-поисковых систем

Ряд достижений в вышеуказанные системы не были интегрированы, несмотря не проводившиеся исследования. Так, в конце 1960-х гг. Колин Таппер ставил эксперименты поиска по массиву судебных актов с использованием внутритекстовых ссылок на прецеденты [119], а с 1965 г. проектная группа Уильяма Элдриджа работала над улучшением автоматизированного индексирования и поиска за счет математического моделирования частотности поисковых терминов и анализа их статистической значимости [28]. Поэтому после внедрения успешных информационно-поисковых систем велись исследования по улучшению поиска на основе ключевых слов, статистического и семантического подходов, а также разнообразных методов, среди которых Булева логика, регулярные выражения, примерное совпадение строк, кластеризация, частотный анализ, тезаурус, парсинг и понимание естественного языка, формирование гипотез, концептуальное представление, сопоставление по правилам, различные виды рассуждений и т.д. Пожалуй, наиболее методологически значимыми направлениями в этой области, выходящими за далеко рамки поисковых задач, стали концептуальное моделирование и модели представления знаний, которые в некоторых исследованиях [130] даже стали объединяться.

2.7. Концептуальное моделирование

Использование концептуального моделирования направлено на достижение языковой выразительности и позволяет включать в систему концептов единичные факты, извлекаемые из вводимой информации, и тем самым, в частности, решать проблему синонимичности [77], но основная проблема такого подхода состоит в обеспечении самообновления для системы концептуально организованного поиска, позволяющего интегрировать новые концепты [110], что в области права чрезвычайно актуально.

В конце 1970-х гг. Кароль Хафнер на концептуальной основе статей 3 и 4 Единообразного торгового кодекса США построила систему LIRS с базой знаний в виде семантической сети, содержащей около 300 вершин и позволявшей вести поиск по информационному массиву из 186 судебных дел, 110 секций кодекса и 188 официальных разъяснений [42]. В 1980-х гг. этот подход был усложнен другими методами и представлен, например, в американской системе RUBRIC, включавшей сложные правила рассуждений на основе критериев, концептов и неопределенных интервальных значений с использованием технологий искусственного интеллекта [123-125], а также в норвежской системе ARCTIS с тезаурусом, отражающим структуру нормативного массива [12].

2.8. Модели представления юридических знаний и современные проблемы

Модели представления юридических знаний обеспечивают интеллектуализацию информационно-правового поиска. Так, некоторые ученые выстраивают поисковые модели, ориентируясь на классификацию и факторизацию [138]. Другие ученые разрабатывают предметно-ориентированные онтологии, обеспечивающие более высокий уровень выразительности, чем тезаурус [40, 108]. Предпринимались попытки выстраивать юридические онтологии на основе языка описания онтологий для семантической паутины (OWL): например, в 2005 г. в предметно-ориентированной онтологии для права интеллектуальной собственности RDDOnto [30].

Но и сейчас, как и в ранних экспериментах, обработка и ввод исходных данных в правовые информационно-поисковые системы требуют значительных затрат экспертного труда. Кроме того, став сервис-ориентированными, более полными и точными за счет использования комплексов логических, математических, статистических и компьютерных методов и

облегчив рутинную работу юристов, эти системы пока не обеспечивают пользовательской простоты и высокой степени полноты и точности поиска для интенсионально сложных запросов.

3. Отечественная правовая кибернетика

В СССР в 1957 г. Л. Г. Эджубов начал работу над автоматизацией системы дактилоскопической регистрации, а Д. А. Керимов инициировал работу над созданием специального информационного языка в области права [54]. Эти два направления и задали векторы развития компьютерных систем и методов в правовой сфере, поскольку в решении большинства задач «юридической кибернетики» (названной так академиком А. И. Бергом в 1962 г.) не было методологического прогресса. Например, предпринимались попытки выработать подход к алгоритмизации (программированию) юридического процесса и доказывания [20, 62, 129], но их вычислительная составляющая была крайне слаба, хотя и по сей день [57] делаются попытки реанимации этой идеи.

3.1. Криминалистические автоматизированные информационные системы

Реализованный Л. Г. Эджубовым совместно с С. А. Литинским компьютерный метод решал проблему работы с большим объемом регистрационного материала за счет кодового представления отпечатков и пальцевых следов. В основу нового подхода, вместо формулярного, были положены учет однородного частного признака (местоположения деталей папиллярного узора на поле отпечатка), координатное кодирование и идентификация на основе зонально-точечного сравнения отпечатков и пальцевых следов. В рамках нового подхода два авторских коллектива уже в 1957-1959 гг. подали шесть заявок на авторские изобретения, в 1959 г. состоялись испытания экспериментального образца фотоэлектронной модели дактилоскопического автомата, а в 1960 г. был создан промышленный образец специализированной дактилоскопической ЭВМ «Минск-100» [26, 100]. На тот момент в области автоматизации дактилоскопической экспертизы СССР более чем на десятилетие опередил другие страны, где аналогичный подход к разработке АДИС (APIS) только к 1969 г. был проработан Джозефом Уэгстейном [136].

Основной компьютерной проблемой в правоохранительном сегменте считалась автоматизация процедуры идентификации лиц и объектов, и она решалась разработкой специальных алгоритмов и использованием статистических и вероятностных методов [32, 95, 112], а основными задачами стали точность, скорость и полнота исследования. Например, в 1964 г. Литовский НИИСЭ совместно с лабораторией теоретической кибернетики ЛГУ провел успешные эксперименты в области почерковедческой экспертизы, положив в основу решения задач идентификации и дифференциации почерковых объектов аппроксимационный подход по принципу «обучающейся машины», которая при распознавании графических образов не использует заранее заданные признаки, а «вырабатывает» их сама, обучаясь распознаванию на тренировочной последовательности по рекуррентному конечно-сходящемуся алгоритму решения систем неравенств [60, 61]. После 1970 г., когда автоматизация постепенно проникла в правоохранительную систему, исследования вновь активизировались и распространились на автороведческую [134], портретную [140], судебно-автотехническую [27], трасологическую [39] и другие виды экспертиз (исследований), а также на различные виды учетов: криминалистических [92], административных [113] и оперативных [36]. Однако, не считая внедрения очевидных для своего времени технических решений (не специфичных для предметной области права), только к концу 1980-х гг. ведомственной наукой были получены значимые методологические результаты в области компьютерных систем [56].

3.2. Юридический информационный язык и информационный поиск

Важным направлением стала автоматизация юридической деятельности с использованием специально созданного информационного языка, адаптированного для компьютерных вычислений. Эти работы первоначально велись на юридическом факультете ЛГУ, в том числе совместно с экспериментальной лабораторией машинного перевода [4], но, в отличие от юриметрики, решавшей поисковую задачу для правоприменения, отечественные ученые ставили цель совершенствования правотворчества [50].

В первые несколько лет исследований доминировали идеи, похожие на подход Мелтон и Белсинга, но сочетавшиеся с тезисом Меля о полной систематизации правовой информации: для начала предлагалось создать специальный формализованный язык, стандартизировать и классифицировать юридические концепты, отредактировать и формализовать юридический материал на основе общих принципов символизации, словаря терминов, логических и грамматических связок, а потом разработать алгоритмы решения разнообразных юридических задач [51]. Исследования в области информационного поиска, включая разработку информационного языка [48], в начале 1960-х гг. считались успешными и, как и эксперименты Хорти, демонстрировали намного большую точность автоматического правового поиска, по сравнению с «ручным»: 3% пропусков против 53% соответственно [55]. Однако попытка использовать язык-посредник между юридическим и машинным языком уже тогда диссонировала с аргументами Йегошуа Бар-Хиллела, которые дискредитировали в мировой науке идею корректного машинного перевода.

В 1964 г. было заявлено, что кибернетика не пригодна для систематизации права, в отличие от решения информационно-поисковых задач [52], и исследователи переключились на проблему автоматизации справочно-информационной юридической службы [53]. Оба намеченных пути: простое абстрагирование нормативных актов с выявлением в их содержании ограниченного количества основных терминов для решения поисковой задачи (подобно опыту Моргана) и методологически проблемная разработка правового информационно-логического языка с универсальными возможностями для логических операций над юридическим материалом [114], - оказались провальными, и к началу 1970-х гг. исследовательская задача была редуцирована [137] до западного опыта, где уже были созданы полнотекстовые поисковые системы.

3.3. Отечественные информационно-поисковые системы

В 1973 г. под руководством С. С. Москвина была разработана специализированная (в области лесного хозяйства) ИПС «Право-1» [10, 29]. С 1976 г. под руководством В. А. Копылова сначала был разработан правовой тезаурус из 5 тыс. дескрипторов с родовидовыми отношениями, а затем в 1982 г. внедрена универсальная АИПС «Законодательство», представлявшая собой модифицированный тип уже известной документальной информационно-поисковой системы. Перед вводом в систему документы проходили предварительную экспертную обработку по принципу свободного индексирования, а созданный экспертами тезаурус автоматически пополнялся при вводе документов, что привело к его увеличению к 1989 г. до 125 тыс. дескрипторов, из которых только для 50 тыс. эксперты задали отношения.

Лингвистическое обеспечение АИПС включало информационно-поисковый язык дескрипторного типа, а поисковое предписание могло содержать ключевые слова, текстовые роли, фактографические данные, связанные логическими операциями (И, ИЛИ, НЕ) и операторами сравнения текстовых полей [133]. В экспериментах по оценке эффективности поиска были получены 81% полноты и 72% точности системного поиска [5], что диссонировало с критериями социально-правовой эффективности АИПС, обоснованными в самом же ВНИИСЗ еще в период разработки этой АИПС [19]. Методологическим венцом этого этапа можно считать докторскую диссертацию В. А. Копылова [58].

В конце 1980-х гг. активизировались технологические разработки и были созданы другие АИПС: «ЮСИС» (1989), «Гарант» (1990), «Закон» и «Кодекс» (1991), «КонсультантПлюс» (1992), «Система» (1993) и т.д. Эти разработки сопровождались немногочисленными (в силу коммерциализации продукта) публикациями, обосновывавшими внедрение в АИПС отдельных достижений точных наук [33, 91, 94].

4. Право и методы искусственного интеллекта

Подходы к внедрению компьютерных методов и информационных систем в предметную область права, получившие в социалистических странах название правовой (юридической) кибернетики, а за рубежом именовавшиеся некоторыми исследователями «юскибернетикой», помимо правовой информатики, которая сконцентрировалась на информационном поиске, включали также направление кибернетических юридических моделей [72]. Успехи компьютерных наук и правовой информатики к 1970-х гг. сделали реальным компьютерное моделирование на основе производительных вычислительных методов, получившее общее название «право и искусственный интеллект». Первенство постановки вопроса в таком сочетании принадлежит Брюсу Бьюкенену и Томасу Хедрику, которые в 1970 г. подняли вопрос о компьютерном моделировании юридических рассуждений [15]. Эти идеи стали основой для разработки правовых экспертных систем, основанных (в самом общем виде) на базах знаний и алгоритмах вывода и предназначенных для накопления и извлечения знаний в узких предметных областях права для экспертного решения различных проблем. Правовые экспертные системы выстраивались по типу дедуктивных рассуждений или прецедентов, усложнялись до гибридных моделей, моделей с нечеткой логикой, интегрировались с нейронными сетями.

4.1. Правовые экспертные системы на правилах или кейсах

В 1972-1973 гг. в США пионер в этой области Л. Торн Маккарти обосновал и разработал первую предметно-ориентированную экспертную систему TAXMAN, позволявшую с использованием формализованных правил подглавы «C» главы I Налогового кодекса США 1954 г. на основе классификации вводимой информации выдавать юридическое обоснование для решения задачи освобождения от подоходного налога в случае некоторых типов реорганизации корпораций [76]. С учетом дескриптивной ограниченности созданной системы и понимания нечеткости и динамичности концептов в судебной практике Маккарти к началу 1980-х гг. разработал на языке AIMDS усовершенствованную систему TAXMAN II, в которой усложнил структуру концептов моделью «прототип + деформация» [78]. С 1984 г. в Массачусетском университете реализовывался проект COUNSELOR по изучению проблем в структуре дискурса и обработке текста в рамках интегрированного интерфейса с сильной экспертной системой. В ходе этого проекта к 1987 г. Эдвиной Риссланд и Кевином Эшли была разработана система HYPO, которая использовала рассуждения по типу прецедентов на основе индексов («измерений») и работала в предметной области нарушения коммерческой тайны. Вместо однозначных ответов HYPO генерировала аргументы для истца и ответчика, сопоставляемые с благоприятными для них случаями [101].

4.2. Гибридные правовые экспертные системы

К 1989 г. Эдвина Риссланд и Дэвид Скалак в гибридной системе CABARET объединили кейс-подход HYPO с модулем по типу правил, обеспечивавшим прямую и обратную цепи рассуждений, а также с эвристическим управлением задачами по созданию аргументов для поддержки конкретной ситуации. Система CABARET была программной оболочкой, выстроенной независимо от домена, а вычислительные эксперименты проводились в области подоходного налогообложения [102].

Сложности в моделировании правовых рассуждений (в частности, в формировании правил, обработке естественного языка, построении баз знаний) приводили к резкому ограничению доменной области, на которой работали разрабатываемые методы и системы. Для преодоления этих недостатков предпринимались попытки ввести в качестве улучшающего элемента нейронные сети. Так, в 1991 г. была предложена архитектура экспертных систем PROLEXS для гетерогенного домена, в котором предлагалось объединить неоднородные источники знаний за счет применения к ним различных методов и языковых представлений. В экспериментах была использована доменная область датского права в области аренды недвижимости, в которой были выделены четыре группы знаний (законодательство, правовые знания, экспертные знания и прецеденты), каждая из которых имела собственное языковое представление и специальный механизм вывода. Система на данной архитектуре была гибридной и использовала рассуждения на основе правил и кейсов, а также нейронные сети для отбора прецедентов [135].

В дальнейшем гибридизация правовых экспертных систем и стремление к их доменной или методологической расширяемости стали общим трендом. Например, в Австралии к 1993 г. Джеймс Поппл обосновал систему SHYSTER, основанную на кейсах, но преобразуемую в гибридную систему при запуске модуля, основанного на правилах. SHYSTER не был связан с доменной областью и должен был демонстрировать принципиальную простоту организации системы, поэтому содержал модули токенизации и парсинга, работавшие на базе прецедентов, и по весу атрибутов вычислял близость рассматриваемого случая известным прецедентам [96]. К 1994 г. в США Кэтрин Сандерс в развитие подходов HYPO и CABARET представила систему с нечеткими правилами CHIRON для решения ограниченных правовых вопросов налогообложения. В этой системе были использованы прототипы (абстрактные консервативные планы) решений в области налогообложения, рассуждения по типам кейсов и правил для модификации (деформации и адаптации) заданных прототипов, а также модальные и интенсиональные логики для выражения фактов и отношений [107].

4.3. Абстрактные правовые аргументы, шаблоны «классной доски» и сервис-ориентированная архитектура

Вместе с тем, в середине 1990-х гг. качестве промежуточного итога исследований было констатировано, что попытки создать алгоритмы, которые могут самостоятельно рассуждать при принятии правовых решений, не увенчались успехом, поскольку моделирование закона и подражание процессам юридического обоснования оказались более сложными и тонкими, чем первоначально предполагалось [2]. Понимание этого факта трансформировало исследования юридических рассуждений и правовой аргументации, и с середины 1990-х гг. правовые экспертные системы все более стали уходить из сферы моделирования правильных (в материально-правовом смысле) суждений.

Благодаря идеям таиландского профессора Фана Данга об абстрактных правовых аргументах, операбельных независимо от методов их генерации [22-24], усилия были перенаправлены в сферу юридического диалога (игр) и выбора (конфликта) правовых аргументов. Этот подход предполагает уровневое представление аргументации и отход от немонотонной логики, а объектно ориентируется на исследование юридического диалога, в том числе в ситуации неправоты всех сторон. Такая парадигма (в юридическом смысле - процессуальная или доказательственная) получила широкое распространение и считается актуальной до сих пор [3, 9, 11, 97, 98].

Кроме того, в настоящее время предпринимаются попытки создания более технологичных систем, построенных на использовании новейших компьютерных достижений в области искусственного интеллекта. Например, получили распространение системы по типу «классной доски», основанные на использовании архитектурной модели итеративного экспертного обновления источников знания. Среди таких систем можно упомянуть

экспериментальную систему FRANK, предназначенную для демонстрации прямых и обратных связей между высокоуровневыми объяснительными целями пользователя и деталями выполнения рассуждений по типу кейсов [103]. А в Великобритании Чарльз Стивенс и его коллеги, создавшие прототип системы JAES, считают перспективным построение систем на основе правовых рассуждений по типу кейсов, соединенных с шаблоном «классной доски» и сервис-ориентированной архитектурой [115].

4.4. Системы поддержки принятия правовых решений и мультизадачность

Ослабление интереса к изучению строгих правовых рассуждений связано также с популяризацией систем для поддержки принятия решений, не продуцирующих императивных самостоятельных рассуждений и выводов. Благодаря этому исследования интеллектуальных правовых систем, которые до 1990-х гг. акцентировались на задачах поиска и рассуждений, стали расширяться в направлении мультизадачности. В круг исследовательских интересов, помимо информационного поиска и юридической аргументации, стали включаться аналитика, прогноз и контроль. Исследования в этих областях проводились и ранее (например, предиктивная аналитика в судебной области восходит к вычислительным экспериментам К. Таппера конца 1960-х гг.), однако именно в 1990-х гг. быстрая компьютеризация вкупе со стремлением научно обосновать решение повседневных задач создало повышенный интерес к практикоориентированным интеллектуальным правовым системам различного назначения.

4.5. Правовые информационные системы с интеграцией аргументационной функции

В компьютерных системах усилилась интеграция поисковой и аргументационной функций. Так, в середине 1990-х гг. в системе BankXX на основе сети знаний было реализовано сочетание функций эвристического поиска, индексации и правовой аргументации, позволяющее собирать и выстраивать аргументы по базе судебных дел, научных суждений и прототипов фактических сценариев [104, 105], т.е. была построена система поиска и аргументации, помогавшая эксперту в принятии правовых решений.

В 2017 г. была представлена поисковая система LexrideLaw, извлекавшая аргументы из судебных актов или обеспечивавшая к ним доступ через выбор узлов в онтологии судебных споров либо через поиск по ключевым словам в реляционных вопросах [35]. В 2019 г. на архитектуре SaaS (программное обеспечение как услуга) было создано рамочное Web-приложение NAI для нормализации юридических текстов и автоматизированных рассуждений над ними с использованием стандартной деонтической логики [69].

4.6. Правовые информационные системы с интеграцией предсказательной функции

Традиционные задачи поиска и рассуждений стали активно сочетаться с прогнозированием. Например, система SPLIT-UP, которая разрабатывалась в Австралии на протяжении 1990-х гг. Эндрю Страньери и Джоном Зелезникоу, сочетала в себе правовую аргументацию с предиктивной аналитикой. Методологическую основу системы, функционировавшей в доменной области раздела имущества супругов, составили рассуждения по правилам, формализованным из австралийского Закона о семейном праве 1975 г., а также нейронные сети, обученные на стандартных судебных делах. Исследователи ставили перед собой задачу автоматизировать правовые рассуждения для доменной области, в которой значительна правоприменительная дискреция, препятствующая определению моделей судебных рассуждений. В SPLIT-UP за счет интеграции разных методологических подходов

предпринималась попытка учета субъективного фактора в судебном правоприменении (как и, например, в гибридной системе CHIRON). Однако, как и любая система с использованием нейронных сетей, SPLIT-UP испытывала трудности с формированием массива данных для машинного обучения и интеграцией разных методологических парадигм [116, 117]. В 2009 г. Кевин Эшли и Стефани Брюнингхауз представили программу SMILE+IBP, которая для доменной области присвоения коммерческой тайны выдавала прогноз решения заданного случая посредством извлечения фактов уже разрешенных судебных дел и их факторизации на основе классификационных концептов, отражающих стереотипные фактологические паттерны [6].

В 2017 г. в эксперименте по предсказанию исхода дела о предоставлении убежища, основанному на ретроспективном анализе и факторизации обстоятельств ранее разрешенных дел, была достигнута прогнозная точность 80% [25], а в другом эксперименте на массиве дел в области присвоения коммерческой тайны была создана система VJAP, которая для каждого случая формировала граф аргументов и обосновывала прогноз решения конкретного случая, используя схемы аргументов и количественные весовые коэффициенты, извлеченные из предыдущих случаев с применением метода итеративной оптимизации [38]. В 2019 г. для улучшения прогностической функции были проведены эксперименты по экстрагированию и суммаризации судебных текстов с использованием глубокого обучения по сверточным нейронным сетям (CNN) и последующей классификацией. Опыты имели некоторый успех, но показали отсутствие надежного охвата всех аспектов дела и недостаточную адекватность лексических метрик перекрытия для оценки аннотированных текстов [139].

В 2020 г. американскими исследователями была предложена модель, сочетающая стратегии поиска и мультиструктурированное правовое пространство поиска; эта модель рассматривает поиск применимого закона как последовательный процесс принятия решения в определенных поведенческих и когнитивных рамках, что позволяет с некоторым успехом выполнять предсказательную функцию [18].

4.7. Правовые информационные системы с интеграцией функции управления документами, контентом и знаниями

Для решения в общем комплексе также аналитических задач изучаются интеллектуальные инструменты управления правовыми документами, использующими методы обработки естественного языка (NLP), включая нормализацию, векторизацию, кластеризацию и суммаризацию текста. Так, в 1993 г. была представлена система FLEXICON с реализованной в ней моделью структурированного представления знаний в сочетании со статистическим ранжированием, что обеспечивало эффективный менеджмент юридических текстов за счет решения задач поиска и суммаризации текста [34]. В другой системе, KONTERM, были использованы тезаурус, база знаний и экспертные правила, и система автоматически представляла структуру и содержание правового документа, тем самым обеспечивая решение поисковых и аналитических задач [111].

В 2009 г. была представлена программно-аппаратная система научно-практического поиска и управления мульмедийным контентом (текстовым, графическим и аудиовизуальным) по массиву дел, образующихся в гражданских судах Испании. Система обеспечивала автоматическую классификацию изображений и сегментов аудиовизуальных записей в сочетании с текстовой семантикой и была ориентирована на получение новых знаний на основе процедурной онтологии e-Sentencias [17].

В 2016 г. была создана и в дальнейшем совершенствовалась система управления правовыми документами и знаниями EUNOMOS. На основе инструментов обработки естественного языка эта система в полуавтоматическом режиме обеспечивала классификацию юридических документов, выявляя перекрестные ссылки и законодательные изменения, связывая

юридические термины и извлекая ключевые элементы правовых норм для обеспечения ясности и расширенного поиска [13].

К 2017 г. в Великобритании была разработана система CLIEL, которая обеспечивает аннотирование юридических документов с использованием тегов XML для упрощения извлечения данных для разных типов точек данных. CLIEL представляет собой гибкую и масштабируемую среду извлечения данных из разнородных (по форматам, структурам и макетам) документов в предметной области коммерческого права с использованием методологии NLP и компонентов общей архитектуры текстовой инженерии (GATE), включая правила механизма шаблонов аннотаций Java (JAPE) [31].

4.8. Правовые информационные системы контрольного назначения

Развитие «электронного правительства» вызвало исследования в сфере контрольных интеллектуальных правовых систем. Так, в 2007 г. в качестве онтолингвистического ресурса была обоснована характеристика знаний DALOS и система организации знаний (KOS) для обеспечения контроля и поддержки законодательного процесса в многоязычной среде европейских стран, обязанных имплементировать евродирективы в национальное право [1]. В 2019 г. были представлены результаты разработки и апробации моделей на данных, обеспечивающих контроль над имплементацией европейского права в национальные правовые системы; эти модели были реализованы с использованием неконтролируемых методов лексического и семантического сходства, основанных на моделях векторного пространства, скрытом семантическом анализе и тематических моделях [88].

5. Методы машинного обучения и большие данные в предметной области права

Еще два исследовательских направления возникли уже в XXI веке и связаны с развитием методов машинного обучения и обработкой больших данных.

5.1. Методы машинного обучения в праве

Внедрение в юридическую область методов машинного обучения и извлечения данных осуществляется в самых разных областях права и для решения самых разнообразных задач. Например, в 2005 г. в Эдинбургском университете Бен Хачи и Клэр Гровер в целях структурирования резюме документа провели эксперименты по построению риторической схемы аннотации в качестве модели правового дискурса, в которых на примере решений Палаты лордов прогнозировался риторический статус отдельных предложений в тексте и генерировалась ключевая фраза [41].

В 2005 г. словенско-британский коллектив предложил для поиска правовых обоснований использовать на массиве судебных дел алгоритмы машинного обучения ABCN2, являющиеся расширением индукционного алгоритма Кларка - Ниблетта и опирающиеся на некоторые концепции правовой аргументации [87].

В 2013 г. американские ученые использовали машинное обучение для извлечения и генерирования правовой аргументации по базе аннотированных судебных решений о компенсации вреда здоровью, причиненного вакинацией (V/IP Corpus), с применением интеграции семантико-прагматических, синтаксических и общедоменных семантических аннотаций [7]. В 2015 г. в США успешно использовались статистическое машинное обучение и прогностические модели для классификации нормативных текстов в специфических функциональных терминах на примере законодательства разных штатов об обеспечении готовности и реагировании системы здравоохранения в чрезвычайных ситуациях [109]. В 2019 г. на основе алгоритмов машинного обучения была разработана система CLAUDETTE, которая автоматически выявляет на платформах интернет-торговли

предложения, ущемляющие правв потребителя [70], а также были предложены методы контролируемого и неконтролируемого машинного обучения для автоматического тематического распределения судебных и любых других юридических документов [126].

5.2. Право и большие данные

Это направление, еще более новое, находится в стадии зарождения и состоит в изучении и обработке больших данных. Такие исследования тесно связаны с предыдущим направлением, поскольку извлечение информации на таких объемах данных часто связано с необходимостью использования методов машинного обучения.

«Большие данные» используются для исследований в самых разных сферах правовой деятельности. Так, несколько лет назад было предложено использование «больших данных» исторических источников для обоснования идей оригинализма в практике исторического толкования Конституции США [79]. А в Австралии «большие метаданные» Интернет-провайдеров используются в оперативно-разыскной деятельности, причем «большой» объем данных и использование алгоритмов для машинной обработки и интеллектуального анализа позиционируются в качестве определенной гарантии деиндентификации и анонимизации персональных данных и, как следствие, препятствия дискриминационному профилированию [75].

6. Современные отечественные достижения

Современные исследования и разработки на стыке права и компьютерных наук либо сконцентрированы в правоохранительной области, где применяются довольно широко, либо носят более универсальный характер, но в практической юриспруденции еще не заняли подобающее место.

6.1. Компьютерные системы и методы правоохранительного назначения

В России развивается компьютерное моделирование, ориентированное на правоохранительную сферу: на основе криминалистических знаний создаются компьютерные модели преступлений определенного вида в целях автоматизации методики их расследования [59], компьютерные модели внедряются в область судебных экспертиз [37, 64, 68, 74]. Известен опыт разработки компьютерных имитационных моделей в сфере профилактики коррупции [118].

Развивается направление компьютерных информационных систем, используемых в раскрытии и расследовании преступлений [21, 67, 132] и в экспертно-криминалистических целях [47, 89].

Отдельную область составляет внедрение технологий прикладного («слабого») искусственного интеллекта: в частности, в оперативно-разыскную деятельность [93] и криминалистику [8].

Однако в сфере правоохранительной деятельности в большей степени ведется внедрение уже известных типов информационных систем, и только в отдельных случаях [122] можно уверенно говорить о том, что представители компьютерных наук вырабатывают для правоохранительной области новые методологические решения.

6.2. Компьютерные методы в универсальных правовых исследованиях

В неспецифичных (регулятивных) областях правовой деятельности научный интерес к компьютерным системам и методам стал проявляться после успехов 2000-х гг. в области цифровизации публичного управления и государственных (муниципальных) услуг. В

последние годы российские исследования в данном сегменте включают следующие важнейшие направления.

Во-первых, ведутся работы в области предметно-ориентированных онтологий, которые предполагается использовать для создания компьютерных систем правотворческого и правоприменительного назначения, основанных на базах знаний. Одни исследования в этой области сосредоточены на экспериментировании с выразительностью онтологии [63], тогда как другие сопрягаются с методами МЬР и интеллектуального анализа данных [83]. Во-вторых, проводятся эксперименты по применению методов обработки естественного языка на массивах юридических документов: например, объектных графов [131] и метрик частности терминов и обратной частотности документов (ТТ-ЮБ) [83].

В-третьих, на больших данных судебной практики проводятся вычислительные эксперименты по интеллектуальному анализу данных и машинному обучению, включая анализ временных рядов и регрессионные деревья [84, 85, 127].

7. Заключение

Систематический обзор позволяет сделать ряд выводов о результатах и состоянии исследований в сфере использования компьютерных методов и систем в изучении права, интеллектуальном анализе данных и моделировании правовой деятельности. Во-первых, исследования в данном сегменте с конца 1950-х гг. ведутся достаточно активно и находятся в общем русле развития компьютерных наук, имплементируя в область права их новейшие достижения. Однако лишь незначительная доля достижений в области информатизации правовой деятельности основана на методологических прорывах междисциплинарного свойства. Чаще всего вычислительные системы и методы реализуют в праве уже известные и апробированные в других предметных областях решения, поскольку реализация научных проектов требует больших затрат ресурсов (времени, труда, материально-технических, вычислительных), а иногда также трансформации самой правовой деятельности в условиях неопределенной эффективности и адаптивности предлагаемых систем и методов.

Во-вторых, зачастую методологического успеха достигали исследовательские коллективы междисциплинарного состава, обеспечивавшие грамотное целеполагание, научную коммуникацию, моделирование объектов исследования и разработку средств реализации междисциплинарных подходов.

В-третьих, в отличие от большинства других областей общественной практики, правовая деятельность, включая ее языковое выражение, одновременно крайне формализована и крайне нестабильна, и это фундаментальное противоречие затрудняет автоматизацию операций с юридическими данными, документами, текстами, процессами и другими объектами.

В-четвертых, вычислительные методы и системы меняют правовую деятельность и повышают ее эффективность, но одновременно ставят ее в зависимость от технологий. В частности, не обладая абсолютной полнотой и точностью и используя сложную методологию, информационная система потенциально провоцирует излишнее к себе доверие, препятствует эксперту в понимании, выявлении и исправлении недостатков функционирования системы, коррелирует с низким профессиональным уровнем пользователей и затрудняет оспаривание и опровержение ошибочных выводов. И, наконец, систематический обзор показывает, что практически все успешные методологические решения с конца 1950-х гг. сохраняют свое значение. Некоторые из них применяются непосредственно, другие стали основой для дальнейшего развития вычислительных методов и информационных систем в правовой деятельности. Без понимания основных научных достижений и тенденций на стыке компьютерных и правовых наук вряд ли возможен существенный научный прогресс в этой сложной

161

междисциплинарной области, зато существует риск повторения уже известных ошибок и

заблуждений.

Список литературы / References

[1] Agnoloni T., Bacci L., Francesconi E., Spinosa P., Tiscornia D., Montemagni S., Venturi G. Building an ontological support for multilingual legislative drafting. In Legal Knowledge and Information Systems (JURIX'2007), Amsterdam, IOS Press, 2007, pp. 9-18.

[2] Aikenhead M. Legal knowledge based systems: some observations on the future. Web Journal of Current Legal Issues, vol. 2, 1995, p. 72. Available at:

http://www.bailii.org/uk/other/journals/WebJCLI/1995/issue2/aiken2.html.

[3] Al-Abdulkarim L., Atkinson K., Bench-Capon T. A methodology for designing systems to reason with legal cases using abstract dialectical frameworks. Artificial Intelligence and Law, vol. 24, no. 1, 2016, pp. 1-49.

[4] Андреев Н.Д., Керимов Д.А. О возможностях кибернетики при решении правовых проблем. Советское государство и право, № 7, 1960 г., cтр. 106-110 / Andreev N.D., Kerimov D.A. Concerning the possibilities of cybernetics in solving legal problems. Soviet State and Law, no. 7, 1960, pp. 106-110 (in Russian).

[5] Апт Л.Ф., Цивилева Е.Д. «АИПС-законодательство» и ее проблемы (анализ результатов материалов поиска правовой информации). Проблемы совершенствования советского законодательства. Труды. М.: ВНИИСЗ, вып. 35, 1986 г., стр. 13-22 / Apt L.F., Tsivileva E.D. «AIRS-Legislation» and its problems (analysis of the results of legal information search materials). Problems of Improving Soviet Legislation. Proceedings, Moscow: All-Union Scientific Research Institute of Soviet Legislation, issue 35, 1986, pp. 13-22 (in Russian).

[6] Ashley K.D., Brüninghaus S. Automatically classifying case texts and predicting outcomes. Artificial Intelligence and Law, vol. 17, no. 2, 2009, pp. 125-165.

[7] Ashley K.D., Walker V.R. Toward constructing evidence-based legal arguments using legal decision documents and machine learning. In Proc. of the 14th International Conference on Artificial Intelligence and Law (ICAIL'13), 2013, pp. 176-180.

[8] Бахтеев Д.В. Искусственный интеллект в криминалистике: состояние и перспективы использования. Российское право: образование, практика, наука. № 2, 2018, с. 43-49. / Bakhteev D.V. Artificial intelligence in criminalistics: state and prospects of use. Russian Law: Education, Practice, Researches, no. 2, 2018, pp. 43-49 (in Russian).

[9] Baroni P., Giacomin M. Semantics of abstract argument systems. In Argumentation in artificial intelligence. Boston, Springer, 2009, pp. 25-44.

[10] Башев А.А., Москвин С.С., Фукс Н.С. Автоматизированная информационно-поисковая система по законодательству в области лесного хозяйства. Актуальные проблемы теории и практики применения математических методов и ЭВМ в деятельности органов юстиции. Тезисы докладов на V всесоюзной конференции по проблемам правовой кибернетики, вып. 2, 1975 г., стр. 28-34 / Bashev A.A., Moskvin S.S., Fuks N.S. Automated information retrieval system for forestry legislation. In Actual Problems of the Theory and Practice of the Application of Mathematical Methods and Computers in the Activities of the Judiciary, Abstracts at the 5 th All-Union Conference on Legal Cybernetics, issue 2, 1975, pp. 28-34 (in Russian).

[11] Bench-Capon T.J.M. Before and after Dung: Argumentation in AI and law. Argument and Computation, vol. 11, no. 1, 2019, pp. 1-18.

[12] Bing J. Conceptual text retrieval. Oslo, Tano, 1988, 109 p.

[13] Boella G., Di Caro L., Leone V. Semi-automatic knowledge population in a legal document management system. Artificial Intelligence and Law, vol. 27, no. 2, 2019, pp. 227-251.

[14] Boucher J. Le projet Datum: Recherche sur un instrument de recherché. La Revue juridique Thémis, vol. 6, no. 1, 1971, pp. 31-49. (in French).

[15] Buchanan B.G., Headrick T.E. Some speculation about artificial intelligence and legal reasoning. Stanford Law Review, vol. 23, no. 1, 1970, pp. 40-62.

[16] Bundesministerium der Justiz (Hrsg.). Das Juristische Informationssystem. Analyse, Planung, Vorschläge. Karlsruhe: Verlag C. F. Müller, 1972. (in German).

[17] Casanovas P., Binefa i Valls X., Gracia C., Teodoro E., Galera N., Blazquez M., Poblet M., Carrabina J., Monton M., Montero C., Serrano J., Löpez-Cobo J.M. The e-Sentencias prototype: A procedural ontology for legal multimedia applications in the Spanish civil courts. In Breuker J., Casanovas P., Klein M.C.A.,

Francesconi E. (eds.). Law, Ontologies and the Semantic Web: Channelling the Legal Information Flood, Amsterdam, IOS Press, 2009, pp. 199-219.

[18] Dadgostari F., Guim M., Beling P.A., Livermore M.A., Rockmore D.N. Modeling law search as prediction. Artificial Intelligence and Law, 2020, pp. 1-32. Available at: https://link.springer.com/article/10.1007%2Fs10506-020-09261 -5.

[19] Давыденко В.К. Теоретические проблемы социально-правовой эффективности автоматизированных информационно-поисковых систем правовой информации. Автореф. дис. <...> канд. юрид. наук. М., 1980 г., 16 стр. / Davydenko V.K. Theoretical problems of social and legal effectiveness of automated information retrieval systems of legal information. Abstract of the dissertation of the candidate of legal sciences, Moscow, 1980 (in Russian).

[20] Деев А.Ф., Гальперин Л.Б., Иванов Ю.Т. Кибернетика и опыт решения некоторых правовых задач. Советское государство и право, № 10, 1964, с. 81-90. / Deev A.F., Gal'perin L.B., Ivanov Yu.T. Cybernetics and experience in solving some legal problems. Soviet State and Law, no. 10, 1964 г., pp. 8190 (in Russian).

[21] Дубровин И. С. Информационно-поисковые системы отечественных, зарубежных и международных служб правоохранительных органов в борьбе с преступностью. Дис. <...> канд. юрид. наук. М., 2007 г., 192 стр. / Dubrovin I.S. Information retrieval systems of domestic, foreign and international law enforcement agencies in the fight against crime. Dissertation of the candidate of legal sciences, Moscow, 2007 (in Russian).

[22] Dung P.M. On the acceptability of arguments and its fundamental role in nonmonotonic reasoning, logic programming and n-person games. Artificial Intelligence, vol. 77, no. 2, 1995, pp. 321-357.

[23] Dung P.M., Son T.C. An argument-based approach to reasoning with specificity. Artificial Intelligence, vol. 133, no. 1-2, 2001, pp. 35-85.

[24] Dung P.M., Kowalski R.A., Toni F. Dialectic proof procedures for assumption-based, admissible argumentation. Artificial Intelligence, vol. 170, no. 2, 2006, pp. 114-159.

[25] Dunn M., Sagun L., §irin H., Chen D. Early predictability of asylum court decisions. In Proc. of the 16th International Conference on Artificial Intelligence and Law (ICAIL'17), 2017, pp. 233-236.

[26] Эджубов Л.Г. Использование некоторых методов и средств кибернетики в дактилоскопии. Дис. <...> канд. юрид. наук. М., 1962 г., 274 стр. / Ehdzhubov L.G. Using some methods and means of cybernetics in fingerprinting. Dissertation of the candidate of legal sciences, Moscow, 1962. (in Russian).

[27] Эджубов Л.Г., Литинский С.А. Результаты и перспективы применения ЭВМ в судебно-автотехнической экспертизе. Вопросы кибернетики, вып. 40, 1977 г., стр. 118-131 / Ehdzhubov L.G., Litinskii S.A. Results and prospects for the use of computers in criminalistics automotive expertise. In Cybernetics Issues, issue 40, 1977, pp. 118-131 (in Russian).

[28] Eldridge W.B. The American Bar Foundation project. MULL: Modern Uses of Logic in Law, vol. 6, no. 3, 1965, pp. 129-131.

[29] Гафинова И.Н., Литвинова Л.О., Москвин С.С., Трофимова И.В. Режим и порядок работы ИПС «Право-1». Правовая кибернетика. Сборник статей. М., Наука, 1973 г., стр. 43-54 / Gafinova I.N., Litvinova L.O., Moskvin S.S., Trofimova I.V. The mode and operating procedure of the ILS "Pravo-1". In Legal Cybernetics: A Collection of Articles, Moscow, Science, 1973, pp. 43-54 (in Russian).

[30] García R., Delgado J. An ontological approach for the management of Rights Data Dictionaries. In Legal Knowledge and Information Systems (JURIX'2005), Amsterdam, IOS Press, 2005, pp. 137-146.

[31] García-Constantino M., Atkinson K., Bollegala D., Chapman K., Coenen F., Roberts C., Robson K. CLIEL: Context-based information extraction from commercial law documents. In Proc. of the 16th International Conference on Artificial Intelligence and Law (ICAIL'17), 2017, pp. 79-87.

[32] Гаврилов О.А., Панкратов В.В., Эджубов Л.Г. Обсуждение использования методов статистики в юридической науке. Советское государство и право, № 10, 1966 г., стр. 159-160 / Gavrilov O.A., Pankratov V.V., Ehdzhubov L.G. Discussion of the application of statistical methods in legal science. Soviet State and Law, no. 10, 1966, pp. 159-160 (in Russian).

[33] Гегечкори Л.А., Шмелев А.А. Задачи совершенствования поискового аппарата автоматизированных информационно-поисковых систем по законодательству. Правовая информатика. Сборник. М., вып. 1, 1996 г., стр. 63-69 / Gegechkori L.A., Shmelev A.A. The objectives of improving the search for automated legal retrieval systems. In Legal Informatics: A Collection, Moscow, issue 1, 1996, pp. 63-69 (in Russian).

[34] Gelbart D., Smith J.C. FLEXICON: An evaluation of a statistical ranking model adapted to intelligent legal text management. In Proc. of the 4th International Conference on Artificial Intelligence and Law (ICAIL'93), 1993, pp. 142-151.

[35] Gifford M. LexrideLaw: An argument based legal search engine. In Proceedings of the 16th International Conference on Artificial Intelligence and Law (ICAIL'17), 2017, pp. 271-272.

[36] Гиринский В.Е., Журавлев В.А., Кулешов В.П., Резников В.Б. О применении ЭВМ для учета и обработки данных о лицах, задержанных за бродяжничество и попрошайничество. Применение математических методов и вычислительной техники в праве, криминалистике и судебной экспертизе. Материалы симпозиума. М., 1970 г., стр. 80-81 / Girinskii V.E., Zhuravlev V.A., Kuleshov V.P., Reznikov V.B. On the use of computers for recording and processing data on persons detained for vagrancy and begging. In Application of Mathematical Methods and Computer Technology in Law, Criminalistics and Criminalistics Expertise: Proceedings of the Symposium, Moscow, 1970, pp. 80-81 (in Russian).

[37] Головчанский А.В. Применение компьютерного моделирования при установлении обстоятельств дорожно-транспортных происшествий. Обеспечение прав и законных интересов граждан в деятельности органов дознания и предварительного следствия. Сборник статей. Орел, ОрЮИ МВД России имени В. В. Лукьянова, 2018 г., стр. 54-64. / Golovchanskii A.V. The use of computer modeling to establish the circumstances of traffic accidents. In Ensuring the Rights and Legitimate Interests of Citizens in the Activities of Bodies of Inquiry and Investigation: A Collection of Articles, Oryol, Oryol Law Institute of the Ministry of Internal Affairs of Russia, 2018, pp. 54-64 (in Russian).

[38] Grabmair M. Predicting trade secret case outcomes using argument schemes and learned quantitative value effect tradeoffs. In Proc. of the 16th International Conference on Artificial Intelligence and Law (ICAIL'17), 2017, pp. 89-98.

[39] Грановский Г.Л., Пименов Н.Ф., Эджубов Л.Г. Использование математических методов и электронно-вычислительных машин в трасологической экспертизе. Проблемы и практика трасологических и баллистических исследований. М., ВНИИСЭ, 1976 г., стр. 25-42 / Granovskii G.L., Pimenov N.F., Ehdzhubov L.G. The use of mathematical methods and electronic computers in trasological examination. In Problems and Practice of Trasological and Ballistic Research, Moscow, AllUnion Research Institute for Criminalistics Expert Examination, 1976, pp. 25-42 (in Russian).

[40] Griffo C., Almeida J.P.A., Guizzardi G. A pattern for the representation of legal relations in a legal core ontology. In Legal Knowledge and Information Systems (JURIX'2016), Amsterdam, IOS Press, 2016, pp. 191-194.

[41] Hachey B., Grover C. Automatic legal text summarization: experiments with summary structuring. In Proc. of the 10th International Conference on Artificial Intelligence and Law (ICAIL'2005), 2005, pp. 75-84.

[42] Hafner C.D. Representation of knowledge in a legal information retrieval system. In Proc. of the 3rd Annual ACM Conference on Research and Development in Information Retrieval (SIGIR'80), 1981, pp. 139-153.

[43] Harrington W.G., Wilson H.D., Bennett R.N. The Mead Data Central system of computerized legal research. Law Library Journal, vol. 64, no. 2, 1971, pp. 185-189.

[44] Hoppenfeld E.C. Law Research Service/Inc. MULL: Modern Uses of Logic in Law, vol. 7, no. 1, 1966, pp. 46-52.

[45] Horty J.F. Experience with the application of electronic data processing systems in general law. MULL: Modern Uses of Logic in Law, vol. 2, no. 4, 1960, pp. 158-168.

[46] Horty J.F. The «key words in combination» approach. MULL: Modern Uses of Logic in Law, vol. 3, no. 1, 1962, pp. 54-64.

[47] Каримов В.Х. Автоматизированные информационно-поисковые системы криминалистического назначения: современное состояние, тенденции и перспективы развития. М., Юрлитинформ, 2014 г.. 151 стр. / Karimov V.Kh. Automated criminalistics information retrieval systems: current status, trends and development prospects, Moscow, Yurlitinform, 2014 (in Russian).

[48] Каск Л.И. О некоторых вопросах информационного языка для права. Вестник Ленинградского университета. Серия экономики, философия и права, вып. 2, № 11, 1961 г., стр. 135-138. / Kask L.I. Concerning some issues of information language for law. Bulletin of the Leningrad University. Series: Economics, Philosophy and Law, issue 2, no. 11, 1961, pp. 135-138 (in Russian).

[49] Kehl W.B., Horty J.F., Bacon C.R.T., Mitchell D.S. An information retrieval language for legal studies. Communications of the ACM, vol. 4, no. 9, 1961, pp. 380-389.

[50] Керимов Д.А. Об использовании кибернетических машин в процессе кодификации советского права. Вопросы кодификации советского права. Л., Издательство Ленинградского. университета, вып. 3, 1960 г., стр. 121-123. / Kerimov D.A. On the use of cybernetic machines in the codification of Soviet law. In Issues of Codification of Soviet Law, Leningrad, Leningrad University, issue 3, 1960, pp. 121 -123 (in Russian).

[51] Kerimov D.A. Future applicability of cybernetics to jurisprudence in the USSR. MULL: Modern Uses of Logic in Law, vol. 4, no. 4, 1963, pp. 153-162.

[52] Керимов Д.А. Право и кибернетика. Советское государство и право, № 9, 1964 г., стр. 86-94 / Kerimov D.A. Law and cybernetics. Soviet State and Law, no. 9, 1964, pp. 86-94 (in Russian).

[53] Керимов Д.А. О справочно-информационной службе в области права. Вопросы кибернетики и право. Сборник статей. М., Наука, 1967 г., стр. 61-83 / Kerimov D.A. Concerning the legal reference service. In Cybernetics and Law: A Collection of Articles, Moscow, Science, 1967, pp. 61-83 (in Russian).

[54] Керимов Д.А., Эджубов Л.Г. Как возникла правовая кибернетика. Путь в большую науку: академик Аксель Берг. Сборник статей. М., Наука, 1988 г., стр. 234-243 / Kerimov D.A., Ehdzhubov L.G. The rise of legal cybernetics. In The Path to Big Science: Academician Axel Berg. A Collection of Articles, Moscow, Science, 1988, pp. 234-243 (in Russian).

[55] Керимов Д.А., Покровский И.Ф. Опыт использования средств кибернетики для автоматизации информационной службы в области права. Вестник Ленинградского университета. Серия экономики, философии и права, вып. 1, № 5, 1964 г., стр. 121-124 / Kerimov D.A., Pokrovskii I.F. Experience in using cybernetics to automate information services in the field of law. Bulletin of the Leningrad University. Series: Economics, Philosophy and Law, issue 1, no. 5, 1964, pp. 121-124 (in Russian).

[56] Хвыля-Олинтер А.И. Использование криминалистической характеристики преступлений в автоматизированных информационно-поисковых системах технико-криминалистического назначения: дис. <...> канд. юрид. наук. М., 1995 г., 225 стр. / Khvylya-Olinter A.I. Using the criminalistics characteristics of crimes in automated information retrieval systems for technical and criminalistics purposes: dissertation of the candidate of legal sciences, Moscow, 1995 (in Russian).

[57] Кирюшкин М.В. Алгоритмические преобразования в юриспруденции. Российский юридический журнал, № 4, 2007 г., стр. 34-44 / Kiryushkin M.V. Algorithmic transformations in jurisprudence. Russian Juridical Journal, no. 4, 2007, pp. 34-44 (in Russian).

[58] Копылов В.А. Методы комплексного создания и применения динамических автоматизированных информационных систем для обработки слабоформализуемой информации: автореф. дис. <...> д-ра техн. наук. М., 1994 г., 67 стр. / Kopylov V.A. Methods for the integrated creation and use of dynamic automated information systems for processing semi-formalized information: abstract of the dissertation of the doctor of technical sciences, Moscow, 1994 (in Russian).

[59] Ковалев С.А. Основы компьютерного моделирования при расследовании преступлений в сфере компьютерной информации: дис. <.. > канд. юрид. наук. Волгоград, 2012 г., 259 стр. / Kovalev S.A. Fundamentals of computer modeling in the investigation of crimes in the field of computer information: dissertation of the candidate of legal sciences, Volgograd, 2012 (in Russian).

[60] Козинец Б.Н., Ланцман Р.М., Якубович В.А. Криминалистическая экспертиза близких почерков при помощи электронно-вычислительных машин. Доклады АН СССР, том 167, № 5, 1966, с. 10081011 / Kozinets B.N., Lantsman R.M., Yakubovich V.A. Criminalistics expert examination of close handwriting using electronic computers. Proceedings of the USSR Academy of Sciences, vol. 167, no. 5, 1966, pp. 1008-1011 (in Russian).

[61] Козинец Б.Н., Ланцман Р.М., Якубович В.А. Об одном кибернетическом методе исследования в криминалистической экспертизе почерка. Кибернетика и судебная экспертиза. Вильнюс, Изд-во НИИСЭ, 1966 г, стр. 55-84 / Kozinets B.N., Lantsman R.M., Yakubovich V.A. Concerning one cybernetic research method in the criminalistics expert examination of handwriting. In Cybernetics and Criminalistics Expertise, Vilnius, Research Institute for Criminalistics Expert Examination, 1966, pp. 5584 (in Russian).

[62] Кудрявцев В.Н. О программировании процесса применения норм права. Вопросы кибернетики и право. Сборник статей. М., Наука, 1967 г., стр. 84-99. / Kudryavtsev V.N. Concerning programming the process of applying the rule of law. In Cybernetics and Law: A Collection of Articles, Moscow, Science, 1967, pp. 84-99 (in Russian).

[63] Kurcheeva G., Rakhvalova M., Rakhvalova D., Bakaev M. Mining and indexing of legal natural language texts with domain and task ontology. In Proc. of the 5th International Conference on Electronic Governance and Open Society: Challenges in Eurasia (EG0SE'2018), 2019, pp. 123-137.

[64] Ларионова Е.Ю., Голодков Ю.Э., Баранов С.А. Использование компьютерного моделирования для установления структуры химических соединений - объектов судебных экспертиз. Деятельность правоохранительных органов в современных условиях. Материалы XVIII международной научно-практической конференции, посвященной 20-летию образования института. Иркутск, Вост.-Сибир. ин-т МВД России, 2013 г, стр. 265-269. / Larionova E.Yu., Golodkov Yu.Eh., Baranov S.A. Using

computer modeling to establish the structure of chemical compounds - objects of criminalistics expertise. In The activities of law enforcement agencies in modern conditions: Proc. of the 18th International Scientific and Practical Conference Dedicated to the 20th Anniversary of the Institute, Irkutsk, East Siberian Institute of the Ministry of Internal Affairs of Russia, 2013, pp. 265-269 (in Russian).

[65] Lawford H. QUIC/LAW: Project of Queens' University. In Automated Law Research: A Collection of Presentations Delivered at the 1st National Conference on Automated Law Research. Chicago: ABA, 1973, pp. 67-93.

[66] Leimdorfer M. IMDOC. A computerized information retrieval system used by two governments in Europe. Law and Computer Technology, vol. 6, 1973, pp. 75-77.

[67] Леонов И.Н. Использование автоматизированных информационно-поисковых систем в раскрытии и расследовании преступлений, совершенных с применением огнестрельного оружия: дис. <...> канд. юрид. наук. М., 2006 г.. 172 стр. / Leonov I.N. The use of automated information retrieval systems in the detection and investigation of crimes committed with the use of firearms: dissertation of the candidate of legal sciences, Moscow, 2006 (in Russian).

[68] Лепихова Д.Н., Гудков В.Ю., Кирсанова А.А. Обзор современных моделей представления дактилоскопических изображений. Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика, том 7, № 1, 2018 г., стр. 40-59 / Lepikhova D.N., Gudkov V.Yu., Kirsanova A.A. An overview of fingerprint description models. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering, vol. 7, no. 1, 2018, pp. 40-59 (in Russian).

[69] Libal T., Steen A. NAI - the normative reasoner. In Proc. of the 17th International Conference on Artificial Intelligence and Law (ICAIL'19), 2019, pp. 262-263.

[70] Lippi M., Palka P., Contissa G., Lagioia F., Micklitz H.-W., Sartor G., Torroni P. CLAUDETTE: An automated detector of potentially unfair clauses in online terms of service. Artificial Intelligence and Law, vol. 27, no. 2, 2019, pp. 117-139.

[71] Loevinger L. Jurimetrics. The next step forward. Minnesota Law Review, vol. 33, no. 5, 1949, pp. 455493.

[72] Losano M.G. Giuscibernetica. Macchine e modelli cibernetici nel diritto. Torino, G. Einaudi, 1969 (in Italian).

[73] Mackaay E. La création d'un thésaurus bilingue pour DATUM. La Revue juridique Thémis, vol. 6, no. 1, 1971, pp. 51-67 (in French).

[74] Макаров И.Ю., Светлаков А.В., Сотин А.В., Шигеев С.В., Гусаров А.А., Смиренин С.А., Емелин В.В., Страгис В.Б., Фетисов В.А. Эффективность использования современных компьютерных технологий в клинической практике и перспективы применения биомеханических 3D-моделей в судебной медицине. Судебно-медицинская экспертиза, том 61, № 2, 2018 г, стр. 58-64. / Makarov

I.Yu., Svetlakov A.V., Sotin A.V., Shigeev S.V., Gusarov A.A., Smirenin S.A., Emelin V.V., Stragis V.B., Fetisov V.A. The efficiency of the application of the modern computed technologies in the clinical practice and the prospects for the further use of the biomechanical 3D-models in forensic medicine. Forensic Medical Expertise, vol. 61, no. 2, 2018, pp. 58-64 (in Russian).

[75] Maurushat A., Moses L.B., Vaile D. Using "big" metadata for criminal intelligence: Understanding limitations and appropriate safeguards. In Proc. of the 15th International Conference on Artificial Intelligence and Law (ICAIL'15), 2015, pp. 196-200.

[76] McCarty L.T. Reflections on Taxman: An experiment in artificial intelligence and legal reasoning. Harvard Law Review, vol. 90, no. 5, 1977, pp. 837-893.

[77] McCarty L.T. Intelligent legal information systems: Problems and prospects. Rutgers Computer and Technology Law Journal, vol. 9, no. 2, 1983, pp. 265-294.

[78] McCarty L.T., Sridharan N.S. The representation of an evolving system of legal concepts: II. Prototypes and deformations. In Proc. of the 7th International Joint Conference on Artificial Intelligence (IJCAI'81), 1981, vol. I, pp. 246-253.

[79] McGinnis J.O., Stein B. Originalism, hypothesis testing and big data. In Proc. of the 15th International Conference on Artificial Intelligence and Law (ICAIL'15), 2015, pp. 201-205.

[80] Mehl L. Automation in the legal world: From the machine processing of legal information to the «law machine». In Mechanization of Thought Processes: Proc. of a Symposium Held at the National Physical Laboratory: National Physical Laboratory Symposium № 10, London: H. M. Stationery Office, 1959, vol.

II, pp. 758-759.

[81] Melton J.S. The «semantic coded abstract» approach. MULL: Modern Uses of Logic in Law, vol. 3, no. 1, 1962, pp. 48-54.

[82] Melton J.S., Bensing R.C. Searching legal literature electronically: Results of a test program. Minnesota Law Review, vol. 45, no. 2, 1960, pp. 229-248.

[83] Metsker O., Trofimov E., Grechishcheva S. Natural language processing of Russian court decisions for digital indicators mapping for oversight process control efficiency: Disobeying a police officer case. In Proc. of the 6th International Conference on Electronic Governance and Open Society: Challenges in Eurasia (EG0SE'2019), 2020, pp. 295-307.

[84] Metsker O., Trofimov E., Petrov M., Butakov N. Russian court decisions data analysis using distributed computing and machine learning to improve lawmaking and law enforcement. In Proc. of the 8th International Young Scientist Conference on Computational Science (YSC'2019), 2019, pp. 264-273.

[85] Metsker O., Trofimov E., Sikorsky S., Kovalchuk S. Text and data mining techniques in judgment open data analysis for administrative practice control. In Proc. of the 5 th International Conference on Electronic Governance and Open Society: Challenges in Eurasia (EG0SE'2018), 2019, pp. 169-180.

[86] Morgan R.T. The «point of law» approach. MULL: Modern Uses of Logic in Law, vol. 3, no. 1, 1962, pp. 44-48.

[87] Mozina M., Zabkar J., Bench-Capon T., Bratko I. Argument based machine learning applied to law. Artificial Intelligence and Law, vol. 13, no. 1, 2005, pp. 53-73.

[88] Nanda R., Siragusa G., Caro L.D., Boella G., Grossio L., Gerbaudo M., Costamagna F. Unsupervised and supervised text similarity systems for automated identification of national implementing measures of European directives. Artificial Intelligence and Law, vol. 27, no. 2, 2019, pp. 199-225.

[89] Немчин Д.И. Методические основы применения информационных компьютерных технологий в судебно-баллистической экспертизе: дис. <.. > канд. юрид. наук. М., 2002 г., 161 стр. / Nemchin D.I. Methodological foundations of the use of information computer technologies in ballistic examination: dissertation of the candidate of legal sciences, Moscow, 2002 (in Russian).

[90] Niblett G.B.F., Price N.H. Mechanized searching of acts of Parliament. Information Storage and Retrieval, vol. 6, no. 3, 1970, pp. 289-297.

[91] Ножов И.М. Графематический и морфологический модули для решения задач автоиндексации текстов. Правовая информатика. Сборник. М., НЦПИ, 2001 г., стр. 49-55 / Nozhov I.M. Graphematical and morphological modules for solving problems of text auto-indexing. In Legal Informatics: A Collection, Moscow, Scientific Center of Legal Information, 2001, pp. 49-55 (in Russian).

[92] Олейников В.Т. Автоматизация процесса поиска в портретных учетах по измерительным признакам внешности. Вопросы совершенствования деятельности органов внутренних дел, Тезисы выступлений на I межвузовской научно-практической конференции адъюнктов и соискателей во ВНИИ МВД СССР. М., 1978 г., стр. 153-155. / Oleinikov V.T. Automation of the search process in portrait accounts by measuring signs of appearance. In Issues of Improving the Activities of the Internal Affairs Bodies. Abstracts of Speeches at the 1st Interuniversity Scientific and Practical Conference of Adjuncts and Applicants at the All-Union Scientific Research Institute of the USSR Ministry of Internal Affairs, Moscow, 1978, pp. 153-155 (in Russian).

[93] Овчинский А.С. Оперативно-разыскная аналитика на пути к искусственному интеллекту. Актуальные проблемы теории оперативно-розыскной деятельности. Cборник научных трудов. М., Инфра-М, 2017 г., стр. 364-393 / Ovchinskii A.S. Operational investigative analytics on the way to artificial intelligence. In Actual Problems of the Theory of Operational Investigative Activity: A Collection of Scientific Papers, Moscow, Infra-M, 2017, pp. 364-393 (in Russian).

[94] Парфентьев А.Л. Проблемы создания комплекса алгоритмов и программ отображения и оценки смысла юридических установлений в правовой автоматизированной информационной системе. Правовая информатика. Сборник. М., ЦНПИ, вып. 3, 1998 г., стр. 111-124 / Parfent'ev A.L. Problems of creating a complex of algorithms and programs for displaying and evaluating the meaning of legal institutions in a legal automated information system. In Legal Informatics: A Collection, Moscow, Scientific Center of Legal Information, 1998, issue 3, pp. 111-124 (in Russian).

[95] Полевой Н.С., Шляхов А.Р., Эджубов Л.Г. Использование кибернетики и математических методов в судебной экспертизе. Правоведение, № 6, 1972 г., стр. 124-131 / Polevoi N.S., Shlyakhov A.R., Ehdzhubov L.G. The use of cybernetics and mathematical methods in criminalistics expertise. Jurisprudence, no. 6, 1972, pp. 124-131 (in Russian).

[96] Popple J. A pragmatic legal expert system. Aldershot, Dartmouth, 1996, 406 p.

[97] Prakken H. Reconstructing Popov v. Hayashi in a framework for argumentation with structured arguments and Dungean semantics. Artificial Intelligence and Law, vol. 20, no. 1, 2012, pp. 57-82.

[98] Prakken H., Sartor G. A dialectical model of assessing conflicting arguments in legal reasoning. Artificial Intelligence and Law, vol. 4, no. 3-4, 1996, pp. 331-336.

[99] Prestel B.M. CREDOC: Centre de documentation juridique Bruxelles. In Materialien zur Rechtsinformatik. Folg 1: Länderberichte USA, Schweden; Dokumentationssysteme CREDOC, UNIDATA; Bibliographie. Frankfurt am Main: Alfred Metzner Verlag, 1971, s. 55-70 (in German).

[100] Рашитов Р.С. Система автоматической дактилоскопической регистрации на базе специализированной ЭВМ «Минск-100». Проблемы правовой кибернетики. Материалы симпозиума. М., 1968 г., стр. 218-220. / Rashitov R.S. Automatic fingerprint registration system based on specialized computer «Minsk-100». In Problems of Legal Cybernetics: Symposium Proceedings, Moscow, 1968, pp. 218-220 (in Russian).

[101] Rissland E.L., Ashley K.D. HYPO: A precedent-based legal reasoner. Amherst, University of Massachusetts, 1987, 25 p.

[102] Rissland E.L., Skalak D.B. CABARET: Rule interpretation in a hybrid architecture. International Journal of Man-Machine Studies, vol. 34, no. 6, 1991, pp. 839-887.

[103] Rissland E.L., Daniels J.J., Rubinstein Z.B., Skalak D.B. Case-based diagnostic analysis in a blackboard architecture. In Proc. of the 11th National Conference on Artificial Intelligence (AAAI'93), 1993, pp. 66-72.

[104] Rissland E.L., Skalak D.B., Friedman M.T. BankXX: Supporting legal arguments through heuristic retrieval. Artificial Intelligence and Law, vol. 4, no. 1, 1996, pp. 1-71.

[105] Rissland E.L., Skalak D.B., Friedman M.T. Evaluating a legal argument program: The BankXX experiments. Artificial Intelligence and Law, vol. 5, no. 1-2, 1997, pp. 1-74.

[106] Rubin J.S. LEXIS has made computer-assisted legal research in the United States a practical reality. Law and Computer Technology, vol. 7, no. 2, 1974, pp. 34-50.

[107] Sanders K.E. CHIRON: Planning in an open-textured domain. Artificial Intelligence and Law, vol. 9, no. 4, 2001, pp. 225-269.

[108] Saravanan M., Ravindran B., Raman S. Using legal ontology for query enhancement in generating a document summary. In Proc. of the Twentieth Annual Conference on Legal Knowledge and Information Systems (JURIX 2007), 2007, pp. 171-172.

[109] Savelka J., Ashley K.D. Transfer of predictive models for classification of statutory texts in multijurisdictional settings. In Proc. of the 15th International Conference on Artificial Intelligence and Law (ICAIL'15), 2015, pp. 216-226.

[110] Schank R.C., Kolodner J.L., DeJong G. Conceptual information retrieval. In Proc. of the 3rd Annual ACM Conference on Research and Development in Information Retrieval (SIGIR'80), 1981, pp. 94-116.

[111] Schweighofer E., Winiwarter W. Legal expert system KONTERM - Automatic representation of document structure and contents. In Database and Expert Systems Applications: 4th International Conference (DEXA'93), 1993, pp. 486-497.

[112] Шахтарина Н.И. Применение вероятностно-статистических методов оценки в судебно-почерковедческой экспертизе. Проблемы правовой кибернетики. Материалы симпозиума. М., 1968 г., стр. 181-184 / Shakhtarina N.I. The use of probabilistic and statistical assessment methods in criminalistics handwriting examination. In Problems of Legal Cybernetics: Symposium Proceedings, Moscow, 1968, pp. 181-184 (in Russian).

[113] Щербинин А.И., Юрьев В.П. Опыт разработки, внедрения и эксплуатации автоматизированных информационно-поисковых систем по учету автотранспортных средств в ГАИ. Пособие. М., изд-во ВНИИ БД МВД СССР, 1978 г., 71 стр. / Shcherbinin A.I., Yur'ev V.P. Experience in the development, implementation and operation of automated information retrieval systems for the registration of vehicles in the traffic police: a manual, Moscow: All-Union Research Institute for Traffic Safety of the Ministry of Internal Affairs of the USSR, 1978, 71 p. (in Russian).

[114] Шляхов А.Р., Эджубов Л.Г. Современное состояние и некоторые проблемы использования кибернетики в праве. Советское государство и право, no. 6, 1965 г., стр. 83-92 / Shlyakhov A.R., Ehdzhubov L.G. Current status and some problems of the use of cybernetics in law. Soviet State and Law, no. 6, 1965, pp. 83-92 (in Russian).

[115] Stevens C., Barot V., Carter J. The next generation of legal expert systems - New dawn or false dawn? In Proc. of the International Conference on Innovative Techniques and Applications of Artificial Intelligence, 2011, pp. 439-452.

[116] Stranieri A., Zeleznikow J. The SPLIT-UP System: Integrating neural networks and rule-based reasoning in the legal domain. In Proc. of the 5 th International Conference on Artificial Intelligence and Law (ICAIL'95), 1995, pp. 185-194.

[117] Stranieri A., Zeleznikow J., Gawler M., Lewis B. A hybrid-neural approach to the automation of legal reasoning in the discretionary domain of family law in Australia. Artificial Intelligence and Law, vol. 7, no. 2-3, 1999, pp. 153-183.

[118] Судохолов А.П., Кузнецова И.А. Коррупция: механизмы развития, способы профилактики (опыт компьютерного моделирования с применением численных методов). Вестник Российского университета дружбы народов. Серия: Математика, информатика, физика, том 26, no. 2, 2018 г., стр. 183-193 / Sudokholov A.P., Kuznetsova I.A. Corruption: development mechanisms, ways of prevention (experience of computer modeling with application of numerical methods). RUDN Journal of Mathematics, Information Science and Physics Series, vol. 26, no. 2, 2018, pp. 183-193 (in Russian).

[119] Tapper C. Feasibility study of the retrieval of legal information from two types of natural language text. Research report № 5062, Oak Ridge: Office for Scientific and Technical Information, 1969.

[120] Tapper C. Legal information retrieval by computer: Applications and implications. McGill Law Journal, vol. 20, no. 1, 1974, pp. 26-43.

[121] Tapper C.F. British experience in legal information retrieval. MULL: Modern Uses of Logic in Law, vol. 5, no. 4, 1964, pp. 127-134.

[122] Ткаченко К.И. Автоматизированная информационная система формирования фактографических данных и ее применение для криминалистики, инновации и обучения: дис. <. > канд. техн. наук. М., 2017 г., 263 стр. / Tkachenko K.I. Automated information system for the formation of factual data and its application for criminalistics, innovation and training: dissertation of the candidate of technical sciences, Moscow, 2017 (in Russian).

[123] Tong R.M., Appelbaum L.A. Conceptual information retrieval using RUBRIC. In Proc. of the 10th Annual International ACM-SIGIR Conference on Research and Development in Information Retrieval, 1987, pp. 247-253.

[124] Tong R.M., Appelbaum L.A. Experiments with interval-valued uncertainty. In Proc. of the Second Annual Conference on Uncertainty in Artificial Intelligence, 1988, pp. 63-75.

[125] Tong R.M., Aksman V.N., Cunningham J.F., Tollander C.J. RUBRIC: An environment for full text information retrieval. In Proc. of the 8th Annual International ACM-SIGIR Conference on Research and Development in Information Retrieval, 1985, pp. 243-251.

[126] Torrisi A., Bevan R., Atkinson K., Bollegala D., Coenen F. Automated bundle pagination using machine learning. In Proc. of the 17th International Conference on Artificial Intelligence and Law (ICAIL'19), New York: ACM, 2019, pp. 244-248.

[127] Трофимов Е.В., Мецкер О.Г. Право и искусственный интеллект: опыт разработки вычислительной методологии для анализа и оценки качественных изменений в законодательстве и правоприменительной практике (на примере статьи 20.4 Кодекса Российской Федерации об административных правонарушениях). Право и политика, no. 8, 2019 г., стр. 1-17 / Trofimov E.V., Metsker O.G. Law and artificial intelligence: the experience of computational methodology for analyzing and assessing quantitative changes in legislation and law enforcement practice (on the example of the article 20.4 of the Code of the Russian Federation on Administrative Offenses). Law and Politics, no. 8, 2019, pp. 1-17 (in Russian).

[128] Troy F.J. Ohio Bar Automated Research - A practical system of computerized legal research. Jurimetrics Journal, vol. 10, no. 2, 1969, pp. 62-69.

[129] Трусов А.И. Судебное доказывание в свете идей кибернетики. Вопросы кибернетики и право. М., Наука, 1967 г., стр. 20-35 / Trusov A.I. Judicial proof in the light of cybernetics. In Cybernetics and Law Issues, Moscow, Science, 1967, pp. 20-35 (in Russian).

[130] Valente A., Breuker J. Making ends meet: Conceptual models and ontologies in legal problem solving. In Proc. of the XI Brazilian Symposium on Artificial Intelligence (SBIA'94), 1994, pp. 395-410.

[131] Васильев В.В., Грачева А.В., Родионов А.И., Блеканов И.С. Графовые методы выявления семантически значимых текстов судебных решений. Процессы управления и устойчивость, т. 6, no. 1, 2019 г., стр. 234-239 / Vasil'ev V.V., Gracheva A.V., Rodionov A.I., Blekanov I.S. Graph methods for identifying semantically significant texts of court decisions. Control Processes and Stability, vol. 6, no. 1, 2019, pp. 234-239 (in Russian).

[132] Вехов В.Б. Применение информационных систем специального назначения в раскрытии и расследовании преступлений. Оперативно-разыскное право. Сборник статей. Волгоград, Волгоград. акад. МВД России, 2013 г., стр. 26-32. / Vekhov V.B. The application of special-purpose information systems in the disclosure and investigation of crimes. In Operational Investigative Law: Collection of Articles, Volgograd, Volgograd Academy of the Ministry of Internal Affairs of Russia, 2013, pp. 26-32 (in Russian).

[133] Ветров А.Г. Основные проектные решения АИПС «Законодательство» - первой отечественной справочной правовой системы. Правовой мониторинг. М., ФГУ НПЦИ при Минюсте России, вып. 11, 2010 г., стр. 12-17 / Vetrov A.G. The main design decisions «AIRS-Legislation» - the first domestic reference legal system. In Legal Monitoring, Moscow: Scientific Center of Legal Information under the Ministry of Justice of Russia, 2010, issue 11, pp. 12-17 (in Russian).

[134] Вул С.М. Статистическое исследование текстов с помощью ЭВМ и дисплея в целях установления авторства. Применение ЭВМ в судебно-экспертных исследованиях и поиск правовой информации. М., ВНИИСЭ, 1975 г., стр. 227-233 / Vul S.M. Statistical study of texts using computers and display in order to establish authorship. In The Use of Computers in Criminalistics Expert Examination and the Search for Legal Information, Moscow, All-Union Research Institute for Criminalistics Expert Examination, 1975, pp. 227-233 (in Russian).

[135] Walker R.F., Oskamp A., Schrickx J.A., Opdorp G.J., van den Berg P.H. PROLEXS: Creating law and order in a heterogeneous domain. International Journal of Man-Machine Studies, vol. 35, no. 1, 1991, pp. 35-68.

[136] Wegstein J.H. A computer oriented single-fingerprint identification system. Technical Note 443; National Bureau of Standards, U.S. Department of Commerce, 1969.

[137] Юсупов С.Н. Информационно-поисковый язык по законодательству: автореф. дис. <...> канд. юрид. наук. М., 1974 г.. 20 стр. / Yusupov S.N. Legislative information retrieval language: abstract of the dissertation of the candidate of legal sciences, Moscow, 1974. (in Russian).

[138] Zeng Y., Wang R., Zeleznikow J., Kemp E. A knowledge representation model for the intelligent retrieval of legal cases. International Journal of Law and Information Technology, vol. 15, no. 3, 2007, pp. 299-319.

[139] Zhong L., Zhong Z., Zhao Z., Wang S., Ashley K.D., Grabmair M. Automatic summarization of legal decisions using iterative masking of predictive sentences. In Proc. of the 17th International Conference on Artificial Intelligence and Law (ICAIL'19), 2019, pp. 163-172.

[140] Зинин А.М., Крымский Н.К., Снетков В.А., Файн В.С. Исследование возможностей портретной идентификации с использованием средств электронно-вычислительной техники. Применение математических методов и вычислительной техники в праве, криминалистике и судебной экспертизе: материалы симпозиума. М., 1970 г., стр. 158-160 / Zinin A.M., Krymskii N.K., Snetkov V.A., Fain V.S. The study of the possibilities of portrait identification using electronic computers. In The Application of Mathematical Methods and Computer Technology in Law, Criminalistics and Criminalistics Expertise: Proceedings of the Symposium, Moscow, 1970, pp. 158-160 (in Russian).

Информация об авторах / Information about authors

Егор Викторович ТРОФИМОВ - доктор юридических наук, доцент, заслуженный юрист Республики Алтай, заместитель директора по научной работе. Область интересов: междисциплинарная компьютерно-юридическая методология, противодействие коррупции. Egor Viktorovich TROFIMOV - Doctor of Law, associate professor, Honored Lawyer of the Altai Republic, deputy director for research. Research interests: interdisciplinary computer-legal methodology, anti-corruption.

Олег Геннадьевич МЕЦКЕР - кандидат технических наук, руководитель группы моделирования и прогнозирования управления по реализации федеральных проектов. Область интересов: интеллектуальные информационные системы, моделирование на данных, моделирование комплексных процессов, машинное обучение, прикладной искусственный интеллект, вычислительное здравоохранение, организация здравоохранения, административное право, юридические науки, обработка текстов на естественном языке, базы знаний, высокопроизводительные вычисления, человеко-машинное взаимодействие. Oleg Gennadevich METSKER - Candidate of Technical Sciences, head of the modeling and forecasting group of the department for the implementation of federal. Field of Interest: intelligent information systems, data modeling, data mining, complexity, uncertainty, machine learning, artificial intelligence, computational healthcare, legal science, text mining, process mining, natural language processing, knowledge bases, high-performance computing, big data, administrative sciences, e-sciences, human-computer interaction.