CC BY
0
О возможности применения искусственного интеллекта в управлении качеством законодательства РФ на примере антикоррупционных экспертиз нормативно-правовых актов
Д.Л. Косов1, В.М. Белов2
1 Новосибирский государственный технический университет ООО Юридическая компания «Надежда», Барнаул
Аннотация: В настоящей статье нами рассмотрена система управления качеством законодательства в РФ: определены ее базовые элементы, основной инструментарий контроля (управления) качеством в виде правовых экспертиз, приведен обобщенный алгоритм оценивания качества, предложена общая простейшая классификация контролируемых факторов в правовых экспертизах, введено понятие показателя готовности законопроекта. В качестве примера для проведения контроля качества законодательства выбрана важнейшая правовая экспертиза - антикоррупционная (АКЭ). В рамках общих тенденций автоматизации, информатизации, цифровизации рассмотрено, для целей проведения АКЭ, использование искусственного интеллекта (ИИ), который, в ряде случаев «рутинной работы», смог бы оказывать посильную помощь специалистам в области правовых экспертиз и их цифровизации. В связи с этим сформулирован пошаговый алгоритм предобучения ИИ на примерах из нормативно-правовых актов (НПА), содержащих коррупциогенные факторы (КФ); проведена классификация КФ; разработана шкала ошибок ИИ при обнаружении КФ; определены частотные характеристики ошибок ИИ; получены предварительные выводы о возможности применения ИИ в АКЭ.
Ключевые слова: искусственный интеллект, коррупциогенный фактор, антикоррупционная экспертиза, нормативно-правовой акт, индикатор коррупциогенного фактора, предобучение, алгоритм, ошибки, частотное распределение, классификация, диалог.
Введение
На сегодняшний день качество принимаемых законов в РФ не всегда является удовлетворительным. Рассмотрим этот недостаток с позиций использования информационных технологий, так как контроль качества нормативно-правовых актов (НПА) осуществляется в результате проведения ряда правовых экспертиз. В некоторых экспертизах можно выделить количественные критерии, факторы и индикаторы, которые оцифровываются и обрабатываются с применением различного рода программных продуктов, в том числе нейронных сетей и базирующемся на них искусственном интеллекте (ИИ) [1, 2]. В нашей статье рассмотрим возможность приложения
ИИ к задачам проведения экспертиз качества НПА и их проектов, в частности в осуществлении антикоррупционной экспертизы (АКЭ) (Закон Российской Федерации от 17.07.2009 г. № 172-ФЗ).
АКЭ (Постановление Правительства Рос. Федерации от 26.02.2010 года № 96) направлена на выявление в НПА коррупциогенных факторов, которые представляют собой дефекты норм и правовых формул, способствующих проявлениям коррупции. Для внедрения автоматизированных технологий выявления КФ в ходе АКЭ, а также применения ИИ в практике АКЭ, нас будет интересовать наличие или отсутствие у КФ атрибутов (индикаторов), позволяющих идентифицировать их, и, соответственно КФ, в тексте НПА [3, 4]. Оказалось, что такие индикаторы у ряда КФ присутствуют [5], что позволило нам ввести свою простейшую количественную классификацию КФ по наличию/отсутствию индикаторов (атрибутов) КФ: индикаторные КФ (ИКФ) и без индикаторные КФ (БИКФ). Формулируя цель нашей работы, остановимся на следующем тезисе: исследовать возможность применения ИИ для решения задач управления качеством [6, 7] законодательства РФ на примере АКЭ НПА.
1. Система и алгоритм управления качеством законодательства РФ Согласно теоретико-множественным представлениям систему качества законодательства РФ можно рассмотреть с позиций следующей модели:
= {й1} = где п' - подсистемы качества
законодательства, г'е1, И, N - число подсистем.
На рисунке 1 кратко и схематично представлены основные элементы (подсистемы) системы управления качеством законодательства РФ (О0), которая, в свою очередь, является подсистемой общероссийской системы управления качеством услуг и товаров. Последняя система представляет собой важнейший элемент государственной системы управления в целом,
оказывает влияние на качество жизни граждан, их политические и экономические приоритеты внутри страны, обеспечивая национальную безопасность любого государства.
Система управления качеством законодательства РФ
Подсистема субъектов, обладающих правом законодательной инициативы (О1)
Рис. 1. - Система управления качеством в законодательстве РФ В перечень основных подсистем системы управления качеством
законодательства РФ нами включены: блок субъектов, обладающих правом
1 2 законодательной инициативы (О ), блок принятия законопроектов (О ) и
3 1
блок придания юридической силы законопроектам (О ). Подсистема О определяется главным документом государственного управления -Конституцией РФ и содержит, соответственно, элементы, определенные этим законом: - субъекты, обладающие правом законодательной
инициативы, /е1,п, где п - число субъектов, обладающих правом
законодательной инициативы. В свою очередь, подсистема О2 представляет собой процесс рассмотрения законопроектов или их принятия, который включает как минимум семь элементов - о?- элементы процесса
рассмотрения законопроектов, ¿е1, 7 - количество элементов: со^-
законопроекты; о |-критериикачества; о ^-эксперты; <о| -методики оценивания; о ^-экспертизы; о \ — дополнения, изменения, отклонения;
-оценки качества законопроектов (показатели готовности законопроектов).
Отметим, что элементы О являются тоже множествами и имеют между собой как объединения, так и пересечения между множествами. Например, множество экспертиз можно записать как объединение множеств:
= с»1>исо22>ис?>1>исг>1, а пересечение конкретной методики из множества
методик с конкретным экспертом из множества экспертов показывает, что проводится реальная экспертиза качества законопроекта: со^гхо^ = «¡¡, где { -
единично выбранные эксперт, методика оценивания качества законопроекта и экспертиза. В подсистеме О введен седьмой элемент: показатель готовности законопроекта (ПГЗп) (предложен нами, впервые, в практику количественного оценивания качества законопроектов) к выполнению своих правовых функций в обществе и государстве. ПГЗп представляет собой оценку законопроекта, учитывающую выполнение некоторых к нему требований, а точнее соответствие неким критериям качества. Показатель готовности, на наш взгляд, можно вычислять следующим образом: ПГЗп = и|=1(ККОК)ь ¿е1, х, х - количество критериев оценивания качества
законопроектов, ККОК - количественные критерии качества законопроектов. В вычислительном плане ПГЗп можно определить как среднее арифметическое - ПГЗп = ККОК, - количественные значения
(оценки) критериев качества законопроектов, или как среднее взвешенное -ПГЗп = где а, - весовые коэффициенты каждого критерия качества.
Подчеркнем, что критерии качества и весовые коэффициенты назначаются экспертным путем. Подсистема О3 определяется тремя элементами: П3
={® 1 ,а\,фз>, где а)законодательное собрание; а\ - президент; а3-правительство.
Полный перечень экспертиз качества в законодательстве РФ (их всего 16), являющихся элементами общей системы управления качеством
законодательства: (й|}={ет^}, где /е 1,16, приведен, на пример, в работе [8].
Правовые экспертизы считаются некими инструментами контроля качества, которые дают возможность получать временной срез изменений качественных характеристик законопроектов в процессе их принятия. Следует заметить, что правовые экспертизы делятся на количественные и качественные.
На рис. 2 представлен обобщенный алгоритм оценивания качества законодательства. На вход алгоритма по системой О1 подается законопроект, который анализируется рядом госстуктур через проведение правовых экспертиз на соответствие требованиям к качеству законопроектов. Если законопроект соответствует требованиям, то вычисляется показатель его готовности к выполнению своих функций. При этом его значение должно быть больше или равно 80% по относительной шкале измерений. Если ПГЗп не соответствует пороговому значению, то законопроект возвращают на доработку компетентным органам. Последними шагами алгоритма можно считать прохождение проверок с целью придания законопроекту юридической силы. После реализации данного этапа законопроект подлежит опубликованию.
Завершив обсуждение обобщенного алгоритма качества законопроектов, укажем, что при выборе платформы ИИ, необходимой для использования в задачах экспертиз качества законодательства, важно учитывать такие факторы, как доступность, гибкость и стоимость использования. Кроме того, необходимо предусмотреть интеграцию платформы с уже существующими системами и наличие опыта и знаний в области машинного обучения и глубокого обучения для эффективной разработки и развертывания ИИ-решений.
Для исследования возможности применения ИИ в решении задач, связанных с АКЭ, мы выбрали платформу GPT3.5 (ChatGPT на русском и другие
и
нейросети в одном сервисе. URL: ask.chadgpt.ru (дата обращения: 10.01.2024 -30.04.2024)), как наиболее популярную и доступную по стоимости версию (укажем, что при выборе рабочей платформы ИИ мы использовали диалог с GPT3.5).
Рис. 2. - Обобщенный алгоритм оценивания качества законодательства Для достижения поставленной во введении статьи цели осуществили поиск высказываний производителя о способах обучения ИИ и рекомендаций по их реализации, в результате никаких сведений для себя не обнаружили, последнее послужило поводом тому, чтобы сформулировать предварительные выводы: данная платформа, как и многие другие ИИ, является не специализированной, то есть, не предобученной проведению правовых экспертиз; эксперимент по проведению АКЭ с помощью ИИ
можно определить как проверочный, контролирующий общий уровень или кругозор данного ИИ в сфере правовых экспертиз; задача качественного проведения АКЭ не может быть поставлена, а рассматривается только попытка ее реализации.
2. Исследование возможности применения ИИ в АКЭ НПА
Поскольку у производителя мы не нашли информацию о предобученности ИИ решению наших задач или возможности обучения его, то задали ему самому вопрос на эту тему. Ниже на рисунке 3 приведен
скриншот фрагмента нашего диалога.
ю - <
СЭсНиЛи
ГаГ> спаа А1
(£} *£? С Ж к ask.chadgpt.ri
оооооиоо
можно ли тебя чему то обучать?
«»С © й + О О а с о
Да, конечно, я могу узнавать новую информацию и запоминать предыдущие обсуждения, чтобы быть более полезным и предоставлять лучшую помощь в будущем. Если вы хотите обучить меня чему-то конкретному или внести какие-то изменения в мою работу, пожалуйста, скажите, и я постараюсь улучшить свои навыки.
Рис. 3. - Скриншот фрагмента диалога учителя с ИИ Далее в разделе предложим примерный пошаговый алгоритм предобучения ИИ АКЭ в виде последовательности действий по внесению первичной обучающей информации для ИИ на вход процесса предобучения программного продукта ChatGPT 3.5, то есть ИИ, осуществляющего АКЭ. Пошаговый алгоритм предобучения
1.Вводим название и определение КФ.
2.Вводим ИКФ, если они присутствуют у КФ.
3.Вводим рекомендации по обнаружению КФ.
4.Вводим пример из НПА, содержащий КФ для предобучения ИИ.
5.Вводим обоснование коррупциогенной нормы для предобучения ИИ.
6.Вводим правильно скорректированный фрагмент НПА для предобучения ИИ.
7.Вводим контрольный пример на обнаружение КФ.
8.Получаем ответ ИИ об обнаружении КФ (его отсутствии).
9.Вводим комментарий учителя ИИ по факту ответа ИИ. 10.0пределяем ошибку ИИ при обнаружении КФ.
11. Зацикливаем алгоритм, начиная с шага 4 по шаг 10, для введения других примеров по одному и тому же КФ.
12. Конец.
Предобучение, в нашем случае, ИИ, проведению АКЭ осуществляли по 12-ти КФ, их последовательность приведена в работах [3, 5].
Ниже покажем, какое количество примеров из НПА было использовано для каждого КФ: по первому КФ- 6 примеров; по 2-му КФ - 5 примеров; по 3-6, 9-му по одному примеру, по 8, 11-му КФ - 3 примера; по 10, 12-му - по два примера. Следует отметить, что количество предобучающих примеров может быть увеличено, но на данном этапе исследований в научной и методической литературе по АКЭ отсутствует достаточное их количество, а моделирование ситуаций с наличием КФ в текстах НПА является весьма трудоемкой процедурой, связанной с распределением временных и финансовых затрат на большой коллектив исследователей, и не приемлемо для экспертной среды, опирающейся на разработанные методики экспертиз НПА. Дополнительно укажем, что выполнение шагов предложенного в разделе выше алгоритма происходит в диалоговом режиме, и после каждого запроса следует ответ ИИ. Также в процессе предобучения в ответах ИИ выделялись ошибки обучения, по разработанной в процессе использования ИИ простейшей шкале ошибок:
Ошибка 0-го рода: определил и обосновал все искомые КФ с ИКФ или БИКФ.
Ошибка 1-го рода: неполнота ответа (определил и обосновал КФ с ИКФ или БИКФ без необходимых ссылок на существующее законодательство). Ошибка 2-го рода: определил и обосновал КФ с ИКФ, но не определил и не обосновал один из нескольких ИКФ.
Ошибка 3-го рода: определил искомый КФ, без обоснования и ИКФ. Ошибка 4-го рода: определил и обосновал один из двух искомых КФ с ИКФ или БИКФ.
Ошибка 5-го рода: вместо искомого КФ с ИКФ или БИКФ определил и обосновал отсутствующий в тексте НПА КФ с ИКФ или БИКФ. Ошибка 6-го рода: не определил и не обосновал искомые КФ с ИКФ или БИКФ.
Шкала построена по принципу возрастания мощности ошибки и может быть выражена в терминах естественного языка (ЕЯ) следующим образом: превосходно; правильно, но неполно; неполно; неполно без обоснования; неполно с ошибкой определения; плохо; очень плохо. Подобной лингвистической шкале всегда можно найти количественные соответствия, которые мы в данном случае не рассматриваем. Опять-таки, если говорить об обучении по всем КФ, то ошибки разного рода распределились с определенной частотой по КФ (см. таблицу).
Таблица
Частотное распределение ошибок при АКЭ примеров НПА
Частота
№ п/п Род ошибки распределения, относительные единицы Мощности ошибки, ЕЯ
1 0-й 7 превосходно
2 1-й 10 правильно, но неполно
3 2-й 1 неполно
4 3-й 4 неполно без обоснования
неполно с
5 4-й 2 ошибкой определения
6 5-й 1 плохо
7 6-й 2 очень плохо
Максимальные частоты распределения наблюдались у ошибок 0-го и 1-го рода, им соответствуют оценки ЕЯ: превосходно; правильно, но неполно, соответственно.
В связи с диспропорцией в количестве обучающих примеров, что, на наш взгляд, явно сказалось на качестве обучения, мы не смогли сделать вывод по каждому КФ о переходе в процессе обучения от ошибок серьезных к ошибкам незначимым.
Поэтому в данной работе мы показываем только возможности обучения ИИ, а не результаты, приводящие к выводам о необходимости применения ИИ в АКЭ и иных экспертизах в праве.
Заключение
В заключение отметим, что предлагаемая статья выполняется в рамках ранее обозначенного авторами направления - «Оценивания качества социально-значимой деятельности», результаты исследований по которому были опубликованы в данном журнале [9, 10].
В настоящей статье нами предложена простейшая классификация КФ. Предпринята попытка использования ИИ в АКЭ НПА: сформулирован пошаговый алгоритм предобучения ИИ на примерах из НПА, содержащих КФ; разработана шкала ошибок ИИ при обнаружении КФ; определены частотные характеристики ошибок ИИ; получены предварительные выводы о возможности применения ИИ при проведении АКЭ. Однако, проделанная работа, на наш взгляд, носит всего лишь постановочный характер, так как диалоговое общение с ИИ и провайдером ИИ показало невозможность его предобучения в пользовательском режиме. В качестве доказательств последнего приводим фрагменты скриншотов диалогов с ИИ и провайдером (рис. 4).
Вместе с тем, считаем, что перспективы реализации ИИ в сфере экспертиз НПА, в том числе АКЭ, не исчерпываются выводами нашей
М Инженерный вестник Дона, №9 (2024) ivdon.ru/ru/magazine/arcliive/n9y2024/9478
статьи, а предполагают развитие в рамках государственных проектов РФ в области разработки и применения ИИ, а также пользовательских приложений, позволяющих обучать и предобучать существующие ИИ-платформы в рамках различного рода задач.
QchsdAi-Bc...
ti ямдеря 2019—
0 Почта Maü.n.
Q hnpsJAvww,.-.
П кома «да Им...
ф Chad AI
0 Новый чат
Разбей цель - просвещ...
Найди в интернете: Пр...
Выбери правильный отв...
В предидущем чате мы ...
Привет хотим обучить..
Прошу прикреплённый д.„
Ты не можешь запомнить название коррупциогенных факторов их индикаторы, поэтому
О
как ты можешь их определить в тексте НПА если они не сохранены.
Да, вы правы. Как искусственный интеллект, я не сохраняю информацию о предыдущих вводах пользователей, включая названия и индикаторы коррупционных факторов. Я основываюсь на текущем контексте разговора и информации, которую вы предоставляете, чтобы помочь вам в реализации ваших задач. Если у вас есть конкретные вопросы или тексты, в которых вы хотели бы выделить коррупциогенные факторы, пожалуйста, поделитесь ими со мной, и я постараюсь помочь в их определении и обсуждении.
Получается так что ты не можешь собирать новую информацию и использовать ее для своей работы с пользователями.
Вы абсолютно правы. Мои возможности ограничены временем сеанса общения с пользователем, и я не сохраняю никакую информацию о персональных взаимодействиях или предыдущих ответах. Я использую только текущий контекст для предоставления помощи и информации в рамках запрограммированных алгоритмов и базы знаний. Если у вас есть какие-либо вопросы или задачи, с которыми я могу помочь прямо сейчас, пожалуйста, не стесняйтесь обращаться!
Chad I Отзывы и чат
1429 участников
# Поддержка и
ответы 0 Chad | Отзывы и чат
Добрый день! у нас есть пр... О
Отзывы й 19=02
п Chad I Отзывы и чат
Отзывы
647 сообщен ni
25 а
Дмитрий
Добрый день. Мы занимаемся антикоррупционными эеспертизами и попытались обчить ИИ проведеню таких экспертиз и столкнулись с тем, что пользователь не не может обучить Ваш ИИ без Вашего участия, так как не возможно пользователю пополнить сформированную Вами баз/ знаний. Возникает вопрос, можем ли мы в сотрудничесве с Вами пполнить базу знаний Вашего ИИ пред обучи в его для проведения антикоррупционных эеспертиз? Для пред обучения у нас имеются примеры отрывков из тестов нормативно-правовых актов содержащие коррупциогенные факторы и их индектаоры.
Chad | Отзывы и чат автор темы
¡Дмитрий
Добрый день. Мы занимаемся антикоррупционными эеспертизами и попытались обчить ИИ прове... Добрый день! к
Рис. 4. - Скриншоты фрагментов диалогов с ИИ и провайдером
Литература
1. Xiao Chaojun, Zhong Xaoxi, Guo Zhipeng, Tu Cunchao, Liu Zhiyuan, Sun Maosong, Feng Yansong, Han Xianpei, Hu Zhen, Wang Heng, Xu Jianfeng. A large-scale legal dataset for judgment prediction // Chinese AI and Law challenge dataset (CAIL2018); China. 04.07.2018. URL: arxiv.org/pdf/1807.02478v1.pdf (data obrashhenija: 02.01.2023).
2. Taylor Luke. Colombian judge says he used chatgpt in ruling // Guardian news & Media limited; Bogotá. 03.02.2023. URL:
theguardian.com/technology/2023/feb/03/colombia-judge-chatgpt-ruling (date of access: 01.05.2024).
3. Талапина Э.В., Южаков В.Н. Методика первичного анализа (экспертизы) коррупциогенности нормативных правовых актов. М.: Центр Стратег. разраб., Статут, 2007. 96с.
4. Астанин В.В., Андрианова Д.В., Радченко В.И., Роговая А.В., Фадеева Н.А. Методические рекомендации по проведению правовой и антикоррупционной экспертизы нормативных правовых актов субъектов Российской Федерации и муниципальных образований (с иллюстрацией на конкретных примерах). М.: ФБУ НЦПИ при Минюсте России, 2017. 56 с.
5. Талапина Э. В., Южаков В. Н., Ефремов А. А., Черешнева И. А. Возможности применения искусственного интеллекта в государственном управлении и юридические экспертизы. М.: Издательский дом «Дело», РАНХиГС, 2022. 190 с.
6. Салимова, Т.А. Управление качеством: учеб. по специальности «Менеджмент организации». 2-е изд., стер. М.: Изд-во «Омега-Л», 2008. 414с.
7. Щепакин М.Б., Басюк А.С., Янова В.В. Управление качеством: учебник. Ростов н/Д: Феникс; Краснодар: КубГТУ, 2014. 256с.
8. Муженская Н.Е. Экспертиза в Российском законодательстве: Руководство-справочник для следователя, дознавателя, судьи. М.: РГ-Пресс, 2015. 744 с.
9. Белов В.М., Пивкин Е.Н., Грищенко Л.А., Архипова А.Б. Гибридный метод оценивания качества социально значимой деятельности // Инженерный вестник Дона, 2021, №2. URL: ivdon.ru/ru/magazine/archive/n2y2021/6821.
10. Косов Д.Л., Белов В.М., Грищенко Л.А. Гибридный алгоритм оценивания качества нормативных правовых документов // Инженерный вестник Дона, 2021, N3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6890.
М Инженерный вестник Дона, №9 (2024) ivdon.ru/ru/magazine/arcliive/n9y2024/9478
References
1. Xiao Chaojun, Zhong Xaoxi, Guo Zhipeng, Tu Cunchao, Liu Zhiyuan, Sun Maosong, Feng Yansong, Han Xianpei, Hu Zhen, Wang Heng, Xu Jianfeng. A large-scale legal dataset for judgment prediction. Chinese AI and Law challenge dataset (CAIL2018) China. 04.07.2018. URL: arxiv.org/pdf/1807.02478v1.pdf (date of access: 02.01.2023).
2. Taylor Luke Colombian judge says he used chatgpt in ruling. Guardian news & Media limited [electronic periodical]: Bogotá. 03.02.2023. URL: theguardian.com/technology/2023/feb/03/colombia-judge-chatgpt-ruling (date of access: 01.05.2024).
3. Talapina E.V., Yuzhakov V.N. Metodika pervichnogo analiza (jekspertizy) korrupciogennosti normativnyh pravovyh aktov [The methodology of the primary analysis (examination) of the corruption of normative legal acts]. M.: Centr Strateg. razrab., Statut, 2007. 96p.
4. Astanin V.V., Andrianova D.V., Radchenko V.I., Rogovaja A.V., Fadeeva N.A. Metodicheskie rekomendacii po provedeniju pravovoj i antikorrupcionnoj jekspertizy normativnyh pravovyh aktov sub#ektov Rossijskoj Federacii i municipal'nyh obrazovanij (s illjustraciej na konkretnyh primerah) [Methodological recommendations for conducting legal and anti-corruption expertise of regulatory legal acts of the subjects of the Russian Federation and municipalities (illustrated with specific examples)]: M.: FBU NCPI pri Minjuste Rossii, 2017. 56 p.
5. Talapina E. V., Yuzhakov V. N., Efremov A. A., Chereshneva I. A. Vozmozhnosti primenenija iskusstvennogo intellekta v gosudarstvennom upravlenii i juridicheskie jekspertizy [The possibilities of using artificial
intelligence in public administration and legal expertise]. o a: at dom «Del o», RANHiGS, 2022. 190 р.
6. Salimova, T.A. Upravl e ni e kache stvom: uche b. Po s p e c ial 'no sti «Me ne dzhme nt organizacii» [Quality Management: study guide for the specialty "Organization Management"]. T.A. Salimova. 2-e izd., ster. M.: Izd-vo «Omega-L», 2008. 414s.
7. Shchepakin M.B., Basyuk A.S., Yanova V.V. Upravlenie kachestvom: uchebnik [Quality management: textbook]. Rostov n/D: Feniks; Krasnodar: KubGTU, 2014. 256р.
S. Muzhenskaya N.E. E'kspertiza v Rossijskom zakonodatel'stve: Rukovodstvo-spravochnik dlya sledovatelya, doznavatelya, sud' i [Expertise in Russian Legislation: A Handbook for Investigators, Inquiry Officers, and Judges]. M.: RG-Press, 2015. 744 р.
9. Belov V.M., Pivkin E.N., Grishhenko L.A., Arhipova A.B. Inzhenernyj vestnik Dona, 2021, №2. URL: ivdon.ru/ru/magazine/archive/n2y2021/6S21.
10. Kosov D.L., Belov V.M., Grishhenko L.A. Inzhenernyj vestnik Dona, 2021, №3. URL: ivdon.ru/ru/magazine/archive/n3y2021/6S90.
Дата поступления: 12.07.2024 Дата публикации: 25.08.2024
