CC BY
0УДК 004 Кириченко Е.В., Мартынов Б.В.
Кириченко Е.В.
студент 2 курса магистратуры Южный университет (г. Ростов-на-Дону, Россия)
Мартынов Б.В.
канд. фил. наук, доцент кафедры «Информационные технологии и прикладная математика» Южный университет (г. Ростов-на-Дону, Россия)
ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА ПРАВОВОЙ ПОДДЕРЖКИ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ
Аннотация: в работе построена нейросетевая модель, классифицирующая обращения граждан. При помощи эффективного программного продукта упрощается работа различных сфер деятельности, что позволяет минимизировать затраты временного ресурса при реализации трудовой деятельности.
Ключевые слова: правовая поддержка, нейронные сети, обработка языка, выгрузка данных, обработка обращений.
В начале ХХ! века происходило значительное и резкое увеличение мирового промышленного производства.
Технологии развиваются очень стремительно, а законодательная ветвь права не успевает в принятии совершенствующих законопроектов данной отрасли, путём чего формируется развитие затраты временного ресурса при реализации трудовой деятельности. Государственные исполнительные органы нуждаются в цифровой модернизации, но информационные отделы могут не
обладать нужной квалификацией и ресурсами для интеллектуального прогресса улучшения действующих систем, либо внедрения новых технологических продуктов. При сравнении развития коммуникационной отросли начала 21 века с нынешним временем, можно сделать вывод, что каждая система имеет как свои минусы, так и плюсы. Положительной стороной выступает мобильность получения информации и большой объём хранения. Отрицательными чертами является совокупность развития структуры информатики с экономическим и правовыми аспектами.
Роскомнадзору ежедневно приходит большое количество жалоб на различные Интернет-ресурсы по правонарушениям рекламных продуктов, материалов суицидальной наклонности, насилию, мошенничеству, террористические направления и т.п. В силу развитости телекоммуникационных ресурсов, программный продукт мог бы быстрее обрабатывать обращения и выполнять мониторинг правонарушений путём внедрения искусственного интеллекта. Данное приложение занималось бы обработкой веб страницы по адресу, который был указан в обращении или жалобе граждан, а также обработкой обращений.
Для разработки интеллектуальной системы необходимо определиться с архитектурой обработки естественного языка.
NLP (Natural Language Processing, обработка естественного языка) — это направление в машинном обучении, посвященное распознаванию, генерации и обработке устной и письменной человеческой речи [1].
Для решения поставленной задачи будем применять нейросетевую архитектуру трансформера.
В качестве языка программирования был выбран Python. Python является высокоуровневым языком программирования с динамической строгой типизацией и автоматическим управлением памятью. Данный язык направлен на улучшение читаемости кода и его качества, а также повышение производительности разработчика.
Механизм предварительной обработки данных должен извлечь текст обращения. Следом необходимо отчистить данные от лишних символов (буквы других языков, числа, знаки препинания, арифметические операции), а также разбить текст на слова [2].
Векторизация - это термин, обозначающий классический подход к преобразованию входных данных из их исходного формата (например, текста) в векторы действительных чисел, которые понятны моделям машинного обучения. Подход в целом не нов, много, где используется со времени создания компьютеров, поэтому логично, что сейчас он используется в МЬР.
В машинном обучении векторизация является шагом в извлечении признаков. Идея заключается в получении некоторых отличительных признаков из текста для обучения модели путем преобразования текста в числовые векторы
[3].
После очистки текста и разделения его на слова, необходимо разделить все вектора с обращениями на два набора данных: данные для тренировки модели и данные для проверки ее работы. Для этого определим массивы с описанием заявок и вычислим максимальную длину описания:
Архитектура трансформера изначально была разработана для обработки естественного языка и машинного перевода. Ключевым элементом данной архитектуры является механизм внимания и возможность параллелизации [4]
Механизм внимания состоит из одиночного и «мультиголового» внимания. Данный механизм позволяет объединить все части обращения для нахождения долгосрочных зависимостей. Все эти процессы при помощи архитектуры трансформера избавились от рекуррентности, что позволяет производить все вычисления параллельно, значительно сокращая время на обучения нейронной сети [5].
Архитектура трансформера состоит из двух частей: энкодер и декодер.
По умолчанию внутри трансформера находится по 6 слоев энкодера и декодера. Каждый энкодер состоит из двух слоев (рисунок 1): механизм внимания и слой простой нейронной сети.
Рисунок 1. Схема энкодера трансформера.
Авторы архитектуры трансформера вводят следующие понятия: запрос, ключ и значения. По полученному запросу находятся ключи и на выход идут соответствующие им значения [6].
В слое внимания присутствуют матрицы весов запроса, ключа и значения. В случае первого запуска эти матрицы заполняются случайно. Далее они выучиваются в процессе обучения сети. Важно отметить, что на каждом слое вышеперечисленные матрицы разные, благодаря этому слои обращают внимание на разные последовательности временного ряда [7].
Последовательность временного ряда умножается на матрицы весов и в результате получаются вектора запроса, ключа и значения (рисунок 2).
Рисунок 2. Начальные преобразования в механизме внимания.
Так как временной ряд состоит из множества последовательностей, а архитектура трансформера обрабатывает последовательности вне зависимости друг от друга, то мы можем объединить последовательности в матрицы и иметь дело с ними [8].
Далее нам необходимо перемножить получившиеся матрицы. Сначала умножаем матрицу запроса Р на матрицу ключа К. Для этого нам необходимо транспонировать матрицу К, чтобы умножение было выполнимо. Каждую строку получившейся матрицы можно трактовать как степень соответствия каждому ключу. К полученной матрице надо применить масштабирование для ускорения процесса обучения. Для этого мы делим ее каждое значение на корень длины ключа [9].
В итоговую архитектуру энкодера были добавлены ещё несколько слоев (рисунок 3).
Рисунок 3. Итоговая схема энкодера трансформера.
Помимо вышеописанных слоев были слои нормализации и Dropout. Смысл последних заключается в «прореживании» нейронов, то есть он исключает нейроны с некоторой вероятностью. Следовательно, они не вносят вклад в обучение модели. Это позволяет избежать проблемы переобучения
модели, когда она хорошо предсказывает данные на тренировочной выборке, но показывает плохие результаты на тестовой [10].
После обработки данных было произведено обучение модели. Модель сохраняется в файл с расширением hd5. Это позволяет однократно обучить модель и использовать ее в разработанной системе. По мере необходимости модель можно переобучить. Модель состоит из 3 энкодеров трансформера. Количество «голов» внимания модели равно 12.
Модель обучалась на протяжении 200 эпох.
В качестве функций потерь были использованы MSE, MAE, MAPE.
MSE - это среднеквадратическая ошибка.
MAE - это средняя абсолютная ошибка. Среди ее достоинств можно отметить большую устойчивость к выбросам, она является более робастой.
MAPE - это средняя абсолютная ошибка в процентах. Данная ошибка позволяет получить интерпретируемую оценку качества модели, в отличие от метрик описанных выше. К недостаткам данной метрики можно отнести искажение при наличии положительных и отрицательных значений. Но так как у нас используется нормализация данных методом минимума и максимума, в результате которой интервал значений выборки положительный, данный недостаток не влияет на оценку.
Значения итоговых ошибок приведены в таблице 1.
Таблица 1. Итоговые ошибки модели.
MSE MAE MAPE
0.007 0.0176 5.3012%
Исходя из полученных значений можно сделать выводы о точности модели.
СПИСОК ЛИТЕРАТУРЫ:
1. Ashley K.D. Artificial Intelligence and Legal Analytics: New Tools for Law Practice in the Digital Age. Cambridge: Cambridge University Press, 2017. In English;
2. Denis Rothman Transformers for Natural Language Processing / Denis Rothman Publisher: Packt Publishing, 2021 - 384 p. ISBN: 978-1800565791;
3. Frankenreiter J., Livermore M.A. Computational Methods in Legal Analysis // Annual Review of Law and Social Science. 2020, October. Vol. 16. No. 1. P. 39-57. In English. EDN: GJMHHA;
4. Law as Data: Computation, Text, & the Future of Legal Analysis / Ed. by Michael a Livermore and Daniel N. Rockmore. Santa Fe: Santa Fe Institute of Science, 2019. In English;
5. Liu Z., Sun Y.Computational Analysis of Law: A Thesis. Ithaca (New York, USA): Cornell University, 2020. In English;
6. Minh-Tri Nguyen, Duong H.Le, Takuma Nakajima, Masato Yoshimiand Nam Thoai Attention-Based Neural Network: A Novel Approach for Изм. Лист № документа Подпись Дата Лист 47 09.03.03.260000.000 ПЗ Predicting the Popularity of Online Content // Conference: The 21st IEInternational Conference on High Performance Computing and Communications. 2019, DOI: 10.1109/HPCC/SmartCity/DSS.2019.00058;
7. Авксентьев Н., Назаров В., Сисигина Н. Управленческая макромодель в условиях проектного управления. В кн. Экономическая политика России. Турбулентное десятилетие 2008-2018. М.: РАНХиГС, 2020. С. 73-83;
8. Аганбегян А.Г. (а) О неотложных мерах по возобновлению социально-экономического роста // Проблемы прогнозирования. 2019. № 1 (172). С. 3-26;
9. Алтухов А.В., Кашкин С.Ю. Юридические аспекты цифровых платформенных технологий управления "умными городами" // Вестник Российского нового университета. Серия "Человек и общество". 2020. №2 1. EDN: UUDFWE;
10. Анализ данных : учебник для вузов / В. С. Мхитарян [и др.] , под редакцией В. С. Мхитаряна. — Москва: Издательство Юрайт, 2021. — 490 с. — (Высшее образование). — ISBN 978-5-534-00616-2
Kirichenko E. V., Martynov B. V.
Kirichenko E.V.
Southern University (Rostov-on-Don, Russia)
Martynov B.V.
Southern University (Rostov-on-Don, Russia)
INTELLIGENT SYSTEM LEGAL SUPPORT USING NEURAL NETWORKS
Abstract: this work builds a neural network model that classifies citizens' appeals. With the help of an effective software product, the work of various areas of activity is simplified, which allows minimizing the cost of time resources when implementing work activities.
Keywords: legal support, neural networks, language processing, data uploading, requests.
