CC BY-NC-ND
11
Научная статья УДК 378
DOI: 10.17323/1999-5431-2022-0-1-78-100
ИСПОЛЬЗОВАНИЕ ПРИНЦИПОВ «РЕГУЛЯТОРНОЙ ГИЛЬОТИНЫ» И МЕТОДОВ ВЫЧИСЛИТЕЛЬНОГО ПРАВА ДЛЯ АНАЛИЗА ТРЕБОВАНИЙ К КАЧЕСТВУ ВЫСШЕГО ОБРАЗОВАНИЯ
1 Княгинина Надежда Владимировна,
2 Янкевич Семён Васильевич,
3 Тихонов Евгений Олегович
1 2 Институт образования Национальный исследовательский университет -Высшая школа экономики (НИУ ВШЭ); 101000 Москва, Потаповский пер., д. 16, стр. 10
1 Научный сотрудник. E-mail: nknyaginina@hse.ru; ORCID: 0000-0002-4895-9793
2 Кандидат юридических наук, заместитель декана по учебной работе Факультета права НИУ ВШЭ, заведующий Лабораторией образовательного права Института образования НИУ ВШЭ. E-mail: syankevich@hse.ru; ORCID: 0000-0002-3067-591X
3 Инженер по радиоэлектронике. E-mail: evgeny.tikhonov@venta.lv; Вентспилсский международный радиоастрономический центр Вентспилсского университета прикладных наук; 101 Inzenieruiela, LV-3601 Ventspils, Latvia; ORCID: 0000-0002-2115-6528
Аннотация. В настоящее время в России идет реформа контрольно-надзорной деятельности - «регуляторная гильотина». Ее цель - существенно сократить число обязательных требований в законодательстве, оставив среди них лишь те, которые действительно необходимы и должны контролироваться. В представленной статье принципы данной реформы применяются к федеральным государственным образовательным стандартам (далее - ФГОС). Российское законодательство под качеством образования понимает соответствие этим стандартам, однако их число крайне велико, что ранее затрудняло их системное исследование. Применение методов вычислительного права позволило провести анализ одного из разделов - «Условия реализации программы» - для 720 ФГОС высшего образования (специалитет, бакалавриат, магистратура). Компьютерная программа сформировала «обобщенную сводку» текстов без потерь содержания (для всех ФГОС каждого уровня образования). В ней дублирующиеся и схожие фрагменты были объединены; отличия и вариации формулировок отмечены и визуализированы. Объем анализа уменьшился
78
© HSE, 2022
более чем в 35 раз, и стала возможной экспертная оценка всех требований ФГОС. Ранее подобный метод в вычислительном праве не использовался.
В результате исходные десятки тысячи требований ФГОС были разделены на четыре категории, три из которых рекомендуются к исключению (по соответствующим причинам), оставшаяся - это «обязательные требования». Эти пять обобщенных универсальных требований подходят для использования в контрольно-надзорной деятельности, а за их нарушение может устанавливаться ответственность.
Ключевые слова: ФГОС, регуляторная гильотина, вычислительное право, natural language processing, LegalTech
Для цитирования: Княгинина Н. В., Янкевич С. В., Тихонов Е. О. Использование принципов «регуляторной гильотины» и методов вычислительного права для анализа требований к качеству высшего образования // Вопросы государственного и муниципального управления. 2022. № 1. С. 78-100. DOI: 10.17323/1999-5431-2022-0-1-78-100.
Original article
PRINCIPLES OF THE «REGULATORY GUILLOTINE» AND METHODS OF COMPUTATIONAL LAW USED TO ANALYZE THE REQUIREMENTS FOR THE QUALITY OF HIGHER EDUCATION
1 Nadezhda V. Knyaginina,
2 Szymon V. Jankiewicz,
3 Evgeny O. Tikhonov
1 2 Laboratory of Educational Law, Institute of Education, National Research University Higher School of Economics (HSE University); 16/10 Potapovskiy Lane, 101000 Moscow, Russia
1 Research Fellow; nknyaginina@hse.ru; ORCID: 0000-0002-4895-9793
2 Ph.D., Deputy Dean for Academic Affairs, Faculty of Law, HSE, Head of the Laboratory of Educational Law, Institute of Education, HSE University; syankevich@hse.ru; ORCID: 0000-0002-3067-591X
3 Electronics Engineer; evgeny.tikhonov@venta.lv; Ventspils International Radio-astronomy Centre, Ventspils University of Applied Science; 101 Inzenieruiela, LV-3601 Ventspils, Latvia; ORCID: 0000-0002-2115-6528
Abstract. Now Russia is undergoing a reform of the control and supervisory activity of the "regulatory guillotine", which is designed to significantly reduce the number of mandatory requirements in the legislation, leaving only those that are necessary and should be controlled among them. In the presented article, the principles of this reform
are applied to the Federal State Educational Standards (FSES). Russian legislation understands the quality of education as compliance with these standards, but their number is extremely large, which previously made it difficult to systematically study them. However, the application of methods of computational jurisprudence made it possible to analyze one of the sections "Conditions for the implementation of the program" for 720 FSES of higher education (specialist's, bachelor's, and master's degrees). The computer program generated a "generalized summary" of texts without loss of content (for all federal state educational standards for each level of education). It enabled combining duplicated and similar fragments, and noting and visualizing differences and variations in wording. Due to the program the volume of analysis has decreased by more than 35 times, and an expert assessment of all the requirements of the Federal State Educational Standard became possible. Previously, this method has not been used in computational jurisprudence. As a result, the original tens of thousands of requirements of the Federal State Educational Standard were divided into four categories, three of which are recommended for exclusion (for appropriate reasons), the rest are "mandatory requirements". These 5 generalized universal requirements are suitable for control and supervision activities, and liability can be established for their violation.
Keywords: Federal State Educational Standards, regulatory guillotine, computational jurisprudence, natural language processing, LegalTech
For citation: Knyaginina, N., Jankiewicz, S. and Tikhonov, E. (2022) 'Principles of the «regulatory guillotine» and methods of computational law used to analyze the requirements for the quality of higher education', Public Administration Issues, 4, pp. 78-100 (in Russian). DOI: 10.17323/1999-5431-2022-0-1-78-100.
JEL Classification: I23, I28
Введение
В законодательстве и государственной политике России гарантия качества образования трактуется как соответствие образовательной деятельности требованиям федеральных государственных образовательных стандартов. Данный принцип положен в основу государственного контроля качества образования со стороны государства. Это прослеживается как в нормативном определении качества образования: «...характеристика образовательной деятельности и подготовки обучающегося, выражающая степень их соответствия федеральным государственным образовательным стандартам.»1, так и в том, какие инструменты используются и признаются государством для оценки качества образования. В первую очередь, это государственный контроль и надзор, а также лицензирование и государственная аккредитация, которые фактически также имеют контрольную природу. Все эти процедуры опираются на требования ФГОС, в особенности на тре-
1 Пункт 29 ч. 1 ст. 2 Федерального закона от 29 декабря 2012 г. N 273-Ф3 «Об образовании в Российской Федерации» (далее - Закон об образовании).
бования раздела «Условия реализации программы», где содержатся требования к кадрам, материально-техническому обеспечению и так далее.
В настоящее время число ФГОС очень велико (более 1 500), и они содержат не только конкретные показатели-требования, но и общие абстрактные ориентиры, которые тем не менее формально проверяются (Княгинина, 2020). Это затрудняет как их соблюдение университетами (необходимо совмещать разнородные противоречивые и повторяющиеся требования к большому числу реализуемых программ по разным ФГОС, включая стандарты разных поколений), так и проверку (невозможно составить прозрачный алгоритм контроля, например, сделать чек-лист без оценочных категорий и отсылочных норм).
Оценка того, насколько десятки тысяч требований ФГОС в целом необходимы и обоснованны, по нашим данным, ранее не производилась. Цель настоящей работы - представить результаты такого исследования.
Для того чтобы решить проблему анализа огромного числа требований, мы объединили их компьютерной программой собственной разработки (все 720 ФГОС высшего образования: специалитета, бакалавриата и магистратуры, ФГОС ВО).
Для оценки «обоснованности» (в значении ст. 6 Федерального закона от 31 июля 2020 г. N 247-ФЗ «Об обязательных требованиях в Российской Федерации») требований использовалась методика «регуляторной гильотины» -реформы контрольно-надзорной деятельности, идущей сейчас в России. Основная цель реформы - снизить контрольную и бюрократическую нагрузку в первую очередь на бизнес, а затем и на другие организации, в том числе образовательные. Если нормы не соответствуют принципам этой методики или не выведены из-под действия механизма гильотины, то в соответствии с Методикой исполнения плана мероприятий по реализации механизма «регуля-торной гильотины» они подлежат исключению из законодательства2.
Существует множество подходов к определению качества образования. Их подробное рассмотрение и примеры различий в конкретных странах приведены, например, Харви и пр. (Harvey et al., 2010). Одной из моделей понимания качества образования является так называемая «контрольная» (Van Kemenade et al., 2008). Для нее необходимы требования и стандарты, к которым можно отнести и ФГОС. Понимание качества влияет на процедуры, которыми это качество оценивается. Губа (2019) описывает процедуры определения качества образования в зарубежных странах, выделяя государственную и негосударственную аккредитации, а также аудит внутренних систем оценки качества.
В России качество образования понимается как соответствие ФГОС. Несмотря на постоянное присутствие ФГОС в жизни российских образовательных организаций, системные исследования этих стандартов, по нашим данным, ранее не проводились: стандарты, достаточно схожие меж-
2 Пункт 12 Методики исполнения плана мероприятий («Дорожной карты») по реализации механизма «регуляторной гильотины». Документ из раздела «Регуляторная гильотина» на портале Аналитического центра при Правительстве Российской Федерации. URL: https://knd.ac.gov.ru.
ду собой, не исследовались в совокупности. Единственное исследование, в котором анализировалось большое число стандартов, провели Г. Б. Голуб с соавторами (2012). В масштабном экспертном рассмотрении 200 ФГОС высшего профессионального образования реальных отраслей авторы исследовали формулировки общих компетенций и пришли к выводу об их низком качестве и невозможности их прямого использования: в родственных стандартах количество компетенций может отличаться на порядок, они являются неконкретными, неоднозначными, неизмеримыми (чаще всего - указывается область, где должен быть получен результат, а не сам результат), происходит подмена компетенций академическими результатами (знаниями и умениями), присутствуют неизмеримые ценности (здоровый образ жизни, физическое воспитание, гражданская позиция, толерантность) и так далее.
Обзор собственных образовательных стандартов ведущих университетов проводится А.И. Чучалиным для Томского политехнического университета, МГУ, СПбГУ исследовательских университетов, МГТУ им. Баумана, КНИТУ, ПНИПУ НИУ ВШЭ, ПГНИУ СГУ Сколтеха (Чучалин, 2015). Автор отмечает, что зачастую эти стандарты повторяют ФГОС, внося небольшие изменения или дополнения. Иногда в стандарты интегрируются положения стандартов международных организаций и менеджмента контроля качества, меры повышения междисциплинарности, процедуры мониторинга или экспертизы.
В настоящем исследовании ФГОС используются методы вычислительной юриспруденции, одной из ключевых задач которых является сокращение объема документов без ущерба для их сути. Это позволяет уменьшить потраченное пользователем время и когнитивные усилия. В 2017 г. проводился обстоятельный сравнительный обзор исследований, подходов и алгоритмов для сжатия документов с утратой текста без потери содержания (Kanapala et al., 2017). Было также предложено сокращение захватом тематического структурирования документов и заменой цитат нормативными ссылками с использованием синтаксических методов (Engberg, 2013). При этом обеспечивается уменьшение текста в 10 раз (до 10% от первоначального объема). Исследуются возможности совместного применения детерминированных технологий синтаксического анализа и вероятностного машинного обучения для улучшения результата сжатия, например, в предложенной системе T2K (Text to Knowledge) (Dell'Orletta et. al., 2008).
Обзор российских работ по использованию количественных методов в юридической методологии с середины XX в. по 2014 г. проведен Д. А. Дег-теревым (2014). Автор приходит к выводу, что основным видом общего анализа «в целом» остается качественный, субъективный. Количественные методы (математические, компьютерные, статистические и так далее) используются для ряда частных практических задач.
Ведутся исследования и разработки по извлечению сущностей из российских нормативных документов. Например, Е. М. Перпер и пр. (2018) предлагают построение синтаксического дерева по определенному набору эмпирических правил и применение к ним формул логики предикатов.
Е. В. Мячина (2002) обсуждает модель для автоматической классификации входного документа по отраслям законодательства и автоматический подбор «тематически похожих» документов.
Ряд работ посвящен компьютерному исследованию количественной сложности российских нормативных документов. Для анализа изменения сложности российских законов были разработаны и экспериментально проверены (Плаксин и пр., 2020) статистические индикаторы: «интегральный балл» и «индекс синтаксической сложности». С использованием индекса проведен компьютерный лингвистический анализ удобочитаемости базы российских нормативных актов. Было установлено, что законодательство с 1991 г. стало сложнее на 30%. Количественный анализ (Кучаков, Савельев, 2018) также показал усложнение текстов правовых актов в России со временем. Анализ проводился по 458 тыс. текстов правовых актов Российской Федерации и ее субъектов с Официального интернет-портала правовой информации. Похожие тенденции выявлены при статистическом анализе принимаемых законов (Савельев, 2020). Количество принимаемых законов увеличивается со временем во всех отраслях права, но еще быстрее растет количество поправок к ним, что приводит к ухудшению качества текста при спешной подготовке, а значит, к необходимости принятия еще большего количества поправок. С 2003 г. преобладающая законодательная политика -постоянное внесение изменений.
Количественного анализа нормативных документов или стандартов в области образования обнаружить не удалось. По нашим сведениям, такое исследование осуществляется впервые.
Исследование состоит из четырех этапов:
1. Адаптация принципов «регуляторной гильотины» для оценки требований ФГОС.
2. Сбор и сжатие текстов ФГОС.
3. Категоризация требований с использованием принципов оценки.
4. Оформление требований, соответствующих принципам, в виде универсальных норм.
На первом этапе исследования были выработаны критерии оценки соответствия требований принципам «регуляторной гильотины», адаптированным для сферы образования. Для этого использовались Методика исполнения плана мероприятий («Дорожной карты») по реализации механизма «регуляторной гильотины»3 и Федеральный закон от 31 июля 2020 г. N 247-ФЗ «Об обязательных требованиях в Российской Федерации». Из данных документов были отобраны те понятия и принципы, которые относятся именно к обязательным требованиям. Не учитывались положения указанных методики и закона, относящиеся к функционированию системы контроля и надзора в целом, установлению ответственности. Отобранным принципам было дано толкование с учетом специфики ФГОС и сферы образования в целом.
3 Документ из раздела «Регуляторная гильотина» на портале Аналитического центра при Правительстве Российской Федерации. URL: https://knd.ac.gov.ru.
Ниже представлено адаптированное обобщение основных положений этих документов, использовавшееся для выявления во ФГОС тех требований, которые могут быть признаны «обязательными» (соответствующими):
1. Для использования в контрольно-надзорной деятельности требование должно представлять собой условие, ограничение, запрет или обязанность.
2. Требование должно соответствовать закону.
3. Должен быть определен внешний риск, на минимизацию или устранение которого направлено требование. Проверяющих не должно интересовать, эффективно и разумно ли, по их мнению, устроены внутренние процессы в организации, их должно интересовать лишь то, причиняется ли в итоге вред охраняемым законом ценностям. Связь требования и риска - ключевой элемент механизма «регуляторной гильотины»; он не допускает установления «заградительных» требований, направленных на ограничение числа субъектов деятельности. В самом документе или в сопутствующих ему актах и документах должна отражаться логическая связь между требованием и вредом, который несет его несоблюдение. Пример требования, не связанного с риском и касающегося внутренних процессов в организации: установление во ФГОС наличия определенного числа профильных кафедр.
4. Требование не должно допускать избирательного применения. У него должно быть конкретное содержание, однозначное и исключающее субъективные представления проверяющего.
5. Требование должно соответствовать современному уровню технологического развития. Данное условие - защита от устаревших требований, «перекочевавших» из предшествующих документов. Например, требования использования именно бумажных (а не электронных, например) носителей, устаревшей техники.
6. Для требования должна быть возможна оценка эффективности его применения. Требование не может устанавливаться произвольно (например, установление жестких количественных характеристик - «учебники не старше 10 лет»), затраты на исполнение должны соотноситься с эффективностью воздействия на социально значимый риск и вероятностью его наступления.
7. Содержание требования должно быть ясным, логичным, понятным. При формулировании должен использоваться доступный язык изложения, при необходимости - даны разъяснения применяемым терминам.
8. Требования не могут дублироваться или противоречить друг другу.
9. Требования должны быть исполнимыми. Исполнимость касается и разумных усилий по их исполнению, и возможности однозначного определения их исполнения.
На втором этапе исследования были сформированы «обобщения» текстов ФГОС по уровням бакалавриата, специалитета и магистратуры. Из-за большого количества нормативов (720 ФГОС ВО) и объема текста в них (суммарно 32 606 положения, включая заголовки и служебную информацию), полный анализ вручную крайне трудоемок. Специально разработанным программным алгоритмом был сформирован единый «обобщающий» текст разделов «Условия реализации программы» всех ФГОС каждого уровня образования.
Использованный алгоритм создает базу наборов вариаций схожих фрагментов. Он разбивает каждый ФГОС на фрагменты-предложения, затем последовательно сверяет их со всеми уже известными вариациями значений каждого набора базы. Если обнаруживается совпадение (посимвольно точное или приблизительное, по суммарной длине общих подстрок, превышающей эмпирически назначенный порог в 70%), то фрагмент добавляется в базу в виде еще одной вариации набора. Если нет - то он основывает новый набор. После обработки всех документов формируется удобное для анализа «сводное значение» каждого набора. Это текст, состоящий из последовательности общих для всех его элементов подстрок и массивов подстрок различающихся. Простой пример сводного значения набора: «Требования к условиям реализации [программы / программ / основных образовательных программ] магистратуры».
Таким образом объем исследуемых текстов уменьшился более чем в 35 раз, что сделало возможным анализ содержания и смысла вручную. Ранее подобный метод в рамках вычислительного права не использовался. Подробные детали алгоритма обработки готовятся к отдельной публикации в специализированном издании. В условиях, когда нормативные акты включают большое число однотипных или заимствованных формулировок, такой метод позволяет существенно упростить задачу по их полному анализу.
На Рисунке 1 показан итоговый интерфейс для анализа результатов обработки текстов ФГОС (показаны два последовательных фрагмента). Над каждым фрагментом указан порядковый номер. Колонки фрагментов (слева направо):
1. Нумерация пункта во ФГОС.
2. Сводный результат объединения вариантов формулировок: различающиеся части выделены рамкой со значком выпадающего списка, при наведении на которую выпадает окно с вариантами написания и указанием количества соответствующих источников. Ссылка «показать варианты» раскрывает все встречающиеся формулировки положений.
3. Количество источников для фрагмента (ФГОС) и список их индексов.
Рисунок 1
Иллюстрация визуализации результата программной обработки текстов стандарта
Не менее программ
^ 5 [процентов численности педагогических работников Организации, участвующих в реализации
■ 5 (97) к реализации программы бакалавриата на иных
* 10 (13) boro к целочисленным значениям), должны являться
гелями и {или] работниками иных организация, осуществляющюш трудовую деятельность в профессиональной сфере, соответствующей профессиональной деятельности, к которой готовятся выпускники (иметь[^ стаж работы в данной профессиональной сфере не менее 3 лет), (показать варианты)
110/292:03.03.01(2) 07.03.01( 43.03.02(2) 50.03.02(2) 07.0
Не менее | 60 [процентов численности педагогических работников Организации и лиц, привлекаемых к образовательной деятельности Организации на иных условиях (исходя из количества замещаемых ставок, приведенного к целочисленным значениям), должны иметь ученую степень (в том числе ученую степень, полученную в иностранном государстве и признаваемую в Российской Федерации) и (или) ученое звание (в том числе ученое звание, полученное в иностранном государстве и признаваемое в Российской Федерации), (показать варианты)
110/292: 08.03.01(2) 07.03.01 ( 43.03.02(2) 50.03.02(2) 07.0
На третьем этапе требования были разделены на четыре группы экспертной оценкой по адаптированным принципам «регуляторной гильотины».
Группы сформировались в процессе анализа следующим образом: первая группа содержит положения, не являющиеся в формально-юридическом смысле требованиями. Они не сформулированы как условие, ограничение, запрет или обязанность и не содержат конкретного содержания.
Вторую группу составили нормы, дублирующие законы и другие нормативные акты, а поэтому также не создающие новых требований. Более того, если при изменении оригинала не будет выполнено своевременное редактирование копии, то элементы этой группы могут перестать соответствовать закону или начать противоречить ему.
В третью группу вошли недостаточно обоснованные требования. Как правило, такие положения противоречат сразу нескольким из них, так как принципы оценки тесно связаны друг с другом. Это делает нецелесообразным дробление на подгруппы по критериям. Так, например, в контексте наличия внешнего социально значимого риска оценивалось, можно ли обнаружить существование хоть какого-то риска, связанного разумным образом с рассматриваемым положением (а не соответствие какому-либо заранее сформированному списку «предполагаемых рисков»). Отсутствие такой целевой направленности зачастую влечет также произвольность требований и необходимость избыточных ресурсов для их исполнения.
Четвертую группу сформировали оставшиеся требования, прошедшие указанную фильтрацию.
Результаты анализа
В текстах 720 проанализированных ФГОС ВО было выделено 27 453 положений (не считая заголовков и служебной информации). После программного объединения осталось 767 существенно различающихся (остальные являются неточными дубликатами этих формулировок).
Они были разбиты на следующие категории по типам несоответствия принципам гильотины:
1. Не являющиеся требованиями: 9 875 шт. (254 после объединения).
2. Дубликаты законов и актов: 3 286 шт. (123 после объединения).
3. Произвольные, необоснованные требования: 8 848 шт. (344 после объединения).
4. Оставшиеся корректные требования: 5 444 шт. (46 после объединения документов каждого уровня, что дало 14 требований после объединения всех уровней). Их можно сформулировать в виде пяти общих норм.
То есть 22 009 из 27 453 требований, содержащихся во ФГОС (721 после объединения схожих), представляется логичным в принципе исключить из стандартов. Остальные пять норм универсальны и уже содержатся в большинстве ФГОС. Вместо дублирования их в количестве примерно 5 500 неточных копий в сотнях стандартах, их можно закрепить в акте более высокого уровня в единственном экземпляре.
Далее представлен анализ каждой категории требований. Положения, не являющиеся требованиями
Существенная часть разделов ФГОС ВО «Условия реализации программы» состоит из положений, у которых отсутствуют признаки требований: они не представляют собой конкретный запрет, обязанность или условие, не направлены на минимизацию социально значимого риска.
Данные положения не являются обязательными требованиями с формально-юридической точки зрения (ст. 2 (Правовое регулирование установления обязательных требований), ст. 4 (Принципы установления и оценки применения обязательных требований) Федерального закона от 31 июля 2020 г. N 247-ФЗ «Об обязательных требованиях в Российской Федерации»), а также по причине их несоответствия принципам установления обязательных требований, сформулированных в Методике исполнения плана мероприятий по реализации механизма «регуляторной гильотины» и проанализированных в разделе «Адаптация рисков» настоящей статьи.
Такие положения носят абстрактный характер, и их соблюдение не может быть проверено по объективным признакам. Особенно часто они встречаются в описании материально-технических условий. Например, 91 (из 138) ФГОС специалитета, 180 (из 292) ФГОС бакалавриата, 178 (из 290) ФГОС магистратуры содержат следующее положение:
специальные помещения должны быть укомплектованы специализированной мебелью и техническими средствами обучения, служащими для представления учебной информации большой аудитории.
Это положение является слишком абстрактным и рамочным, чтобы каким-либо образом объективно проверять его на практике: из него не ясно, в чем заключается «специальность» помещения или «представление учебной информации» и какая аудитория считается большой.
Часто перечисляются типы аудиторий: «для проведения занятий лекционного типа, занятий семинарского типа, курсового проектирования» или указываются их конкретные названия. Однако и это пояснение, несмотря на описание функционального назначения, не содержит конкретного требования, которое должно проверяться. Фактически ФГОС требует, чтобы в университете было некоторое число любых аудиторий, возможно, с какой-то мебелью и табличкой на двери. Например:
перечень материально-технического обеспечения, необходимого для реализации программы бакалавриата, включает в себя лаборатории, оснащенные лабораторным оборудованием в зависимости от степени сложности.
Это требование встречается в 94 ФГОС бакалавриата, 75 специалите-та, 171 магистратуры. Причем оно относится как к естественнонаучным направлениям (030303 «Радиофизика»), так и к сфере искусства (52.03.03 «Цирковое искусство») и гуманитарной сфере (450301 «Филология» и 410304 «Политология»).
Требования, дублирующие иные акты
Нередко во ФГОС копируются положения законодательства, в том числе Закона об образовании. Дублирование увеличивает число правок в документах (с каждым изменением нормы-оригинала приходится менять ФГОС), повышает риск коллизий (если ФГОС не успели или забыли изменить вслед за оригиналом) и в целом не отвечает требованиям к содержанию стандарта: не относится ни к структуре основных образовательных программ, ни к условиям их реализации, ни к результатам освоения.
В ходе анализа было выявлено, что эти повторы законодательства касаются базовых норм, относящихся к компетенции университетов, прав студентов, создания условий для инвалидов и обучающихся с ограниченными возможностями здоровья, а также финансового обеспечения, и не дополняются какими-либо специфическими положениями.
Все ФГОС магистратуры повторяют положения ст. 79 Закона об образовании и п. 50 Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры. Это нормы про обеспечение адаптированными печатными и электронными образовательными ресурсами обучающихся с ограниченными возможностями здоровья.
Во ФГОС 3++ появился целый новый подраздел «Требования к финансовым условиям реализации программы». В этом разделе стандарты дублируют установленный государством механизм расчетов, содержащийся в Методике определения нормативных затрат4. Оригинального регулирования раздел не содержит.
Недостаточно обоснованные требования
Часть требований ФГОС по формальным признакам соответствует понятию обязательных требований - они являются вполне конкретными условиями и ограничениями, соответствующими законодательству. Однако, по нашему мнению, данные требования отличаются высоким риском их неисполнения на практике в связи с несоответствием другим базовым принципам установления обязательных требований: недопущение избирательного применения, научная обоснованность или установление после оценки эффективности.
Основными недостатками таких требований являются: отсутствие непосредственной или доказанной связи между устанавливаемыми показателями и качеством образования, их процессный и внутренний характер (они регулируют «внутреннюю жизнь» университета), отсутствие внешнего риска, в целях минимизации которого такие требования устанавливаются, а также недостаток убедительных аргументов в пользу их введения. Большая часть таких положений фактически представляет собой перечисление
4 «Методика определения нормативных затрат на оказание государственных услуг по реализации образовательных программ высшего образования по специальностям (направлениям подготовки) и укрупненным группам специальностей (направлений подготовки)», утвержденная приказом Минобрнауки России от 30 октября 2015 г. N 1272.
названий кабинетов или оборудования, без каких-либо конкретных или обоснованных характеристик (что подразумевает проверку по табличкам на кабинетах или спискам техники).
Для отнесения положений к этой категории приходится изучить их содержание и смысл и во многих случаях сравнить с аналогичными требованиями в других ФГОС для подтверждения их недостаточной обоснованности. Приведем примеры наиболее распространенных случаев:
- Требования к доле штатных научно-педагогических работников.
Следующее требование установлено в 180 ФГОС бакалавриата, 90 - спе-циалитета, 182 - магистратуры (доля штатных научно-педагогических работников указывается в процентах от их общего числа):
доля штатных научно-педагогических работников (в приведенных
к целочисленным значениям ставок) должна составлять не менее_
% от общего количества научно-педагогических работников организации.
Различные ФГОС требуют доли штатных научно-педагогических работников не менее 50, 60, 65 или 70%. В подавляющем большинстве ФГОС бакалавриата и специалитета установлено отсечение в 50%, в магистратуре - 60%. Причины такого увеличения доли в магистратуре по сравнению с бакалавриатом не очевидны. Доля в 65% установлена исключительно для УГСН «Информационная безопасность». Доля в 70% встречается в 19 ФГОС специалитета, в бакалавриате предусматривается только для направлений подготовки (13.03.03 «Энергетическое машиностроение» и 52.03.01 «Хореографическое искусство»). В магистратуре такая доля устанавливается только для юристов (30900 «Юриспруденция»), причем только в отношении преподавателей по дисциплинам профессионального цикла.
Рисунок 2
Требования к доле штатных работников, содержащиеся во ФГОС: диаграмма частоты требований показателей (а), распределение количества требований по уровням образования (б)
a) Требуемая доля штатных работников
70%
I
го со О Ю ш о.
б) Требуемая доля штатных работников (по уровням образования)
300 250 200 150 100 50
I
ш
50% 60% 65% 70% н/у
Л Магистратура 2 179 1 108
■ Специалитет 66 1 4 19 48
■ Бакалавриат 177 1 2 112
Требуемая доля, %
По мнению авторов, это требование не соответствует риск-ориентированному подходу: неочевидно, как требование о доле штатных педагогов связано с качеством образования или какие иные внешние риски оно минимизирует. Если речь идет об особенностях трудовых отношений, то такие требования устанавливаются в трудовом, а не образовательном законодательстве, и проверяются соответственно. Также требование относится к внутренней деятельности: университет ограничивается в способах выстраивания своих отношений с работниками и организационной структуры.
- Требования к ученым степеням научно-педагогических работников.
Следующее требование встречается во всех ФГОС ВО в одной из указанных формулировок:
доля научно-педагогических работников (в приведенных к целочисленным значениям ставок), имеющих ученую степень (в том числе ученую степень, присвоенную за рубежом и признаваемую в Российской Федерации в общем числе научно-педагогических работников), реализующих программу_, должна быть не менее _ %.
В поздних поколениях ФГОС:
не менее __ процентов численности педагогических работников организации и лиц, привлекаемых к образовательной деятельности организации на иных условиях (исходя из количества замещаемых ставок, приведенного к целочисленным значениям), должны иметь ученую степень (в том числе ученую степень, полученную в иностранном государстве и признаваемую в Российской Федерации) и (или) ученое звание (в том числе ученое звание, полученное в иностранном государстве и признаваемое в Российской Федерации).
В требовании наблюдается наибольшее разнообразие установленных показателей: 14 вариантов, определяющих долю работников от 30 до 90%.
Рисунок 3
Диаграмма частоты количественных требований во ФГОС к доле сотрудников, имеющих ученую степень
ап°/п лц.о/.
Требование доли имеющих степень
Требование наличия ученой степени у преподавателей университета, вероятно, продиктовано концепцией Гумбольдтовского университета, в котором образование и наука «идут рука об руку». Кроме того, изменения в образовательном законодательстве привели к тому, что обучение в аспирантуре стало частью высшего образования - обучением по программам подготовки научно-педагогических кадров (т. е. ученых и преподавателей).
Несмотря на то что научная составляющая играет важную роль в успешности университета, неизвестно, воздействует ли строго заданный процент преподавателей с научной степенью на социально значимые риски, например качество образования. В настоящее время отсутствуют доказательства прямой связи между наличием степени у определенного процента преподавателей и показателями качества образования.
Требования об обязательности ученых степеней для преподавателей стали появляться в ГОС 2-го поколения (1999-2001 гг.). В настоящее время не представляется возможным определить, влияет ли наличие определенного процента преподавателей с ученой степенью на качество образования в университете или какой процент таких преподавателей является «нормальным» или «средним» для университетов страны. Выборочная проверка стандартов разных поколений по одному направлению подготовки или одной специальности показывает, что, по всей видимости, в большинстве случаев с течением времени процент преподавателей со степенью немного снижается5. Это объяснимо, с учетом того, что и число присужденных в последние годы ученых степеней сокращается6.
Обязательные требования должны отвечать принципу исполнимости и не должны являться бременем для образовательной организации. О том, что они являются таким бременем, косвенно свидетельствует большое количество «лазеек», которые предоставляют ФГОС, чтобы обойти требования к доле преподавателей со степенями. Это списки лиц, которые приравниваются к кандидатам наук в целях образовательного процесса: лауреаты международных конкурсов, авторы монографий и крупных проектов, лица, имеющие государственные почетные звания, заслуженные и народные артисты России и проч. (всего насчитывается более 70 подобных категорий).
Требования ФГОС к проценту научно-педагогических работников, имеющих ученую степень, не направлены на внешний риск и допускают избирательное применение (в отношении лиц, приравненных к преподавателям со степенью)7. По этой причине Министерством науки и высшего образования Российской Федерации было принято решение при проведении государственной аккредитации отойти от требований к ученым степеням научно-
5 Авторами статьи запланировано проведение дополнительного исследования данного вопроса также с использованием программных средств.
6 Подготовка научных кадров высшей квалификации: показатели деятельности аспирантуры. Институт статистических исследований и экономики знаний НИУ ВШЭ. URL: https://issek.hse.ru/ data/2019/05/15/1507176995/NTI_N_128_15052019.pdf.
7 Кроме того, в девяти ФГОС сохранились также требования к докторам наук. Вместе со степенью доктора наук упоминаются ученые степени. Во ФГОС по направлению «Теология» - богословские степени. Основания для их пересмотра аналогичны вышеизложенным.
педагогических кадров университетов, установленных во ФГОС. В соответствии с Аккредитационными показателями по образовательным программам высшего образования (приказ Министерства науки и высшего образования Российской Федерации от 25 ноября 2021 г. N 1094) в настоящее время предъявляются унифицированные для всех специальностей и направлений подготовки требования к доле научно-педагогических работников, имеющих ученые степени и (или) звания: менее 50%, от 50 до 59%, 60% и более.
- Требования к преподавателям-практикам.
Следующее требование установлено во всех ФГОС ВО:
доля работников (в приведенных к целочисленным значениям ставок) из числа руководителей и работников организаций, деятельность которых связана с направленностью (профилем) реализуемой программы
_(имеющих стаж работы в данной профессиональной области
не менее_лет), в общем числе работников, реализующих программу
_, должна быть не менее_%.
Или:
к образовательному процессу по дисциплинам профессионального
цикла должны быть привлечены не менее_% преподавателей из числа
действующих руководителей и ведущих работников профильных организаций, предприятий и учреждений.
Требование имеет очень большой разброс установленных показателей: от 1 до 50% (самые массовые: 5 и 10%). Например, для направления «Подвижной состав железных дорог» (23.05.03) требуются всего 3% практиков, а для направления «Нефтегазовые техника и технологии» (21.05.06) - уже 20%. Для прикладной магистратуры по направлению подготовки 27.04.07 «Наукоемкие технологии и экономика инноваций» - целых 50%.
Рисунок 4
Диаграмма частоты количественных требований, содержащихся во ФГОС, к доле работников-практиков
Требуемая
доля практиков
По мнению авторов, это требование напрямую не направлено на внешний риск, не допускает проведения оценки эффективности и имеет высокие риски избирательного применения.
Данное требование отныне не будет использоваться в процедурах государственной аккредитации, поскольку не включено в принятые требования в рамках реализации механизма «регуляторной гильотины» в Аккредитаци-онных показателях по образовательным программам высшего образования.
- Требования к профильному образованию преподавателей.
Следующее требование установлено в 456 ФГОС в девяти вариантах (от 30 до 90%):
доля научно-педагогических работников (в приведенных к целочисленным значениям ставок), имеющих образование, соответствующее профилю преподаваемой дисциплины (модуля), в общем числе научно-педагогических работников, реализующих программу магистратуры, должна составлять не менее_%.
Рисунок 5
Диаграмма частоты количественных требований во ФГОС к доле сотрудников, имеющих профильное образование
Не представляется возможным определить наличие прямой связи между определенной долей преподавателей с образованием, соответствующим преподаваемой дисциплине, и качеством образования или другими рисками при разнообразии существующих программ и дисциплин. Оценка эффективности данного требования трудноосуществима. Также отсутствуют объяснения, почему доли так сильно варьируются: для бакалавриата «Медиакоммуникации» (42.03.05) требуется всего 30%, а для «Журналистики» (42.03.02) - уже 70%.
В ходе реализации механизма «регуляторной гильотины» также было принято решение отказаться от данного показателя оценки качества образования. В принятых Аккредитационных показателях по образовательным программам высшего образования зафиксирован показатель о связи реа-
лизуемой образовательной программы с профессиональным бэкграундом преподавателя (стаж работы в конкретной профессиональной области), а не его профильным образованием.
- Требование к руководству научным содержанием программы магистратуры.
Следующее требование предусмотрено в 179 ФГОС магистратуры:
руководство научным содержанием программы магистратуры определенной направленности (профиля) должно осуществляться штатным научно-педагогическим работником организации, имеющим ученую степень (в том числе ученую степень, присвоенную за рубежом и признаваемую в Российской Федерации), осуществляющим самостоятельные научно-исследовательские (творческие) проекты (участвующим в осуществлении таких проектов) по направлению подготовки, имеющим ежегодные публикации по результатам указанной научно-исследовательской (творческой) деятельности в ведущих отечественных и (или) зарубежных рецензируемых научных журналах и изданиях, а также осуществляющим ежегодную апробацию результатов указанной научно-исследовательской (творческой) деятельности на национальных и международных конференциях.
Требование регулирует внутреннюю кадровую политику университетов, которая относится к самостоятельной компетенции образовательной организации. По мнению авторов, возможен риск избирательного применения, поскольку зачастую невозможно объективно оценить уровень научно-исследовательских проектов, публикаций и апробации. Данное требование также не нашло отражения в Аккредитационных показателях по образовательным программам высшего образования.
- Требования к библиотечному фонду.
Следующее требование содержится в большинстве ФГОС:
в случае неиспользования в организации электронно-библиотечной системы (электронной библиотеки) библиотечный фонд должен быть
укомплектован печатными изданиями из расчета не менее_экземпляров
каждого из изданий основной литературы, перечисленной в рабочих
программах дисциплин (модулей), практик, и не менее_экземпляров
дополнительной литературы на_обучающихся.
Типовым является обязательство обеспечивать основными учебниками по дисциплине 50 из 100 студентов и дополнительной литературой 25 из 100 студентов. Однако встречается и другое распределение (25 учебников и 10 дополнительных изданий на 100 студентов). ФГОС по направлению подготовки 48.04.01 «Теология» предусматривает дополнительное ограничение: «допускается использование литературы со сроком первого издания не более 15 лет до момента начала обучения по дисциплине (модулю), за исключением дисциплин (модулей), направленных на формирование общекультурных и общепрофессиональных компетенций».
Рисунок 6
Требования к количеству основных учебников (на 100 учеников), установленные во ФГОС: сводная диаграмма (а), распределение по уровням образования (б)
а) Количество основных
учебников
X
О! СО
о ю ш
CL
б) Количество основных учебников по уровням образования
500 400 300 200 100 0
Магистратура
Специалитет
|Бакалавриат
20
0
:
25
115
53
118
50
175
84
174
Требуемое количество на 100 человек
Представляется, что данное требование не соответствует современному уровню технологического развития - сейчас в университете сложно представить отсутствие электронно-библиотечной системы, обеспечивающей круглосуточный доступ студентов университета из любой точки мира. Во-вторых, для подавляющего числа специальностей и направлений подготовки оно является одинаковым, при том что потребность в учебниках в зависимости от специфики может отличаться.
- Требования к площади помещений.
Ряд требований к площади специальных помещений, встречающийся во ФГОС, может быть переведен в разряд рекомендательных, однако по специальностям 48.03.01 «Теология» и 27.04.08 «Управление интеллектуальной собственностью» (магистратура) встречается требование:
общая площадь помещений организации должна составлять не менее 10 квадратных метров на одного обучающегося (в совокупности для обучающихся очной формы обучения, за исключением обучающихся с применением исключительно электронного обучения и/или дистанционных образовательных технологий), с учетом учебно-лабораторных зданий, а также графика реализации образовательной деятельности.
Доказательные основания для установления именно такой площади помещений, а также информация о том, какие риски предотвращаются в данном случае, не предоставляются.
Обязательные требования
Положения, которые не вошли в предыдущие группы требований, соответствуют адаптированным для целей исследования принципам «регуляторной гильотины». В ее терминологии их можно назвать «обязательными».
Из всего объема положений, содержащихся в 720 ФГОС, с учетом исключения «бесполезных», дублирующих законодательство и несоответствующих критериям регуляторной гильотины, осталось 14 независимых требований. Они содержатся практически во всех ФГОС бакалавриата, магистратуры и специалитета. Мы оформили их в виде пяти обобщенных универсальных требований (для всех программ).
1. Наличие электронно-библиотечной системы (электронной библиотеки), обеспечивающей возможность индивидуального неограниченного доступа обучающегося из любой точки, в которой имеется доступ к сети интернет, как на территории организации, так и вне ее.
2. Наличие электронной информационно-образовательной среды, обеспечивающей возможность индивидуального неограниченного доступа обучающегося из любой точки, в которой имеется доступ к сети интернет, как на территории организации, так и вне ее.
3. Информационно-образовательная среда должна обеспечивать: доступ к учебным планам, рабочим программам дисциплин (модулей), практик, к изданиям электронных библиотечных систем и электронным образовательным ресурсам; формирование электронного порт-фолио обучающегося, в том числе сохранение его работ и оценок за эти работы.
4. В случае реализации образовательной программы с применением дистанционных образовательных технологий электронная информационно-образовательная среда образовательной организации должна дополнительно обеспечивать: фиксацию хода образовательного процесса, результатов промежуточной аттестации и результатов освоения образовательной программы.
5. Квалификация руководящих и научно-педагогических работников организации должна соответствовать квалификационным характеристикам, установленным в Едином квалификационном справочнике должностей руководителей, специалистов и служащих в разделе «Квалификационные характеристики должностей руководителей и специалистов высшего профессионального и дополнительного профессионального образования», утвержденном приказом Министерства здравоохранения и социального развития Российской Федерации от 11 января 2011 г. N 1н, и профессиональным стандартам (при наличии).
Эти требования направлены на минимизацию социально значимых рисков (как минимум, недоступного или некачественного образования). Кроме того, они отвечают логике «регуляторной гильотины»: требования сформулированы как условие, ограничение и обязанность; имеют конкретное содержание, исключающее неоднозначное толкование; являются обоснованными.
Специальные требования (особые условия, необходимые для каких-либо образовательных программ), которые бы соответствовали логике и принципам «регуляторной гильотины», во ФГОС обнаружены не были.
Дальнейшие действия со сформулированными универсальными требованиями могут быть различными: эти требования (и только эти) можно
оставить в разделе «Условия реализации программ», можно поднять на уровень закона или исключить из ФГОС и использовать в качестве лицензионных требований. Ключевое условие: требования, за нарушения которых предусматриваются санкции, должны быть логичными и конкретными, воздействующими на риск, разумно исполнимыми и не допускающими субъективного толкования.
Заключение
В ходе проведенного исследования нами были проанализированы все 27 453 положения из 720 ФГОС высшего образования (раздел «Условия реализации программы). Справиться с таким объемом удалось за счет программного объединения повторяющихся и крайне схожих фрагментов. В результате сжатия объем уменьшился в 35 раз - до 767 существенно различающихся положений.
Чтобы выяснить, насколько эти положения в целом необходимы и обоснованны, была проведена их оценка с использованием адаптированных нами для этой цели принципов «регуляторной гильотины». Несмотря на то что оценивание во многом сохранило экспертный характер, оно было формализовано: каждое требование вручную соотносилось с заранее выработанными критериями. Эта процедура, по нашему мнению, позволяет минимизировать субъективность при оценке смысла требования. В итоге из 767 требований, после исключения «бесполезных», дублирующих законодательство и несоответствующих принципам, осталось всего 14. Для компактности и удобства использования они были переформулированы в виде пяти итоговых положений. Стоит отметить, что результаты исследования не позволяют определить, какие требования в принципе должны существовать в системе образования. Для этой задачи необходимо использовать другой подход: сначала сформулировать социально значимые риски, а потом для них - соответствующие требования. В данном случае оценивались уже существующие требования. Дальнейшие аналогичные исследования в этом направлении возможны для других разделов ФГОС ВО и ФГОС других уровней образования, что позволит обсуждать систему оценки и понимания качества образования. Результаты таких исследований могут касаться в том числе целесообразности существующего использования ФГОС.
Предложенные алгоритмические подходы вычислительного права могут применяться для других коллекций нормативных документов, сходных между собой по структуре и содержанию и не поддающихся системному анализу из-за их объема. Например, профессиональных стандартов, региональных законов или подзаконных актов.
Практическое применение результатов работы возможно при проведении доказательных реформ в образовательной политике. Например, они могут использоваться как одно из обоснований для отказа от проверок по требованиям ФГОС, а также исключения использования этих требований в процедурах лицензирования и государственной аккредитации.
ЛИТЕРАТУРА
1. Голуб Г.Б., Фишман И.С., Фишман Л.И. Общие компетенции выпускников высшей школы: что стандарт требует от вуза // Вопросы образования. 2013. №. 1. С. 156-173.
2. Голодникова А. и др. Регуляторная политика в России: основные тенденции и архитектура будущего // Доклады ЦСР. 2018. №. 1.
3. Губа К.С. Оценка качества высшего образования: обзор международного опыта // Университетское управление: практика и анализ. 2019. № 23, Т. 3. С. 94-107.
4. Дегтерев Д.А. Применение математических методов в юридической методологии // Государство и право. 2014. №. 8. С. 82-87.
5. Княгинина Н.В. Что мы знаем о ФГОС? Зачем нужны образовательные стандарты, как они менялись и исследовались (ч.1) // Образовательная политика. 2020. № 4. С. 48-56.
6. Кучаков Р., Савельев Д. Сложность правовых актов в России: Лексическое и синтаксическое качество текстов // Серия «Аналитические записки по проблемам правоприменения». СПб: ИПП ЕУСПб, 2018.
7. Мячина Е.В. Вероятностно-статистическая модель анализа текста правового документа // Исследовано в России. 2002. Т. 5. С. 966-978.
8. Перпер Е.М., Гасанов Э.Э., Кудрявцев В.Б. О семантическом анализе юридических текстов // Интеллектуальные системы. Теория и приложения. 2018. Т. 22, №. 3. С. 45-87.
9. Плаксин С.М., Кнутов А.В., Чаплинский А.В. и др. Сложность российских законов. Опыт синтаксического анализа. М: Изд. дом Высшей школы экономики, 2020.
10. Савельев Д.А. О создании и перспективах использования корпуса текстов российских правовых актов как набора открытых данных // Право. Журнал Высшей школы экономики. 2018. №. 1. С. 26-44.
11. Савельев Д.А. Исследование сложности предложений, составляющих тексты правовых актов органов власти Российской Федерации // Право. Журнал Высшей школы экономики. 2020. № 1. С. 50-74.
12. Чучалин А.И. Образовательные стандарты ведущих российских вузов // Высшее образование в России. 2015. №. 4. С. 14-25.
13. Dell'Orletta F. et al. Acquiring legal ontologies from domain-specific texts // Proceeding of LangTech. 2008. P. 28-29.
14. Engberg J. Legal linguistics as a mutual arena for cooperation: Recent developments in the field of applied linguistics and law // AILA review. 2013. Vol. 26, no. 1. P. 24-41.
15. Harvey L., Williams J. Fifteen Years of Quality in Higher Education // Quality in Higher Education. 2010. Vol. 1, no. 16. P. 3-36.
16. Kanapala A., Pal S., Pamula R. Text summarization from legal documents: a survey // Artificial Intelligence Review. 2019. Vol. 51, no. 3. P. 371-402.
17. Van Kemenade E., Pupius M., Hardjono T.W. More Value to Defining Quality // Quality in Higher Education. 2008. Vol. 2, no. 14. P. 175-185.
REFERENCES
1. Chuchalin, A.I. (2015) 'Obrazovatel'nye standarty vedushchikh rossiiskikh vuzov' [Educational standards of the leading Russian universities], Vysshee obrazovanie v Rossii, 4, pp.14-25.
2. Degterev, D.A. (2014) 'Primenenie matematicheskikh metodov v yuridicheskoi metodologii' [The use of mathematical methods in Law], Gosudarstvo ipravo, 8, pp. 82-87.
3. Dell'Orletta, F. et al. (2008) Acquiring legal ontologies from domain-specific texts', Proceeding of LangTech, pp. 28-29.
4. Engberg, J. (2013) 'Legal linguistics as a mutual arena for cooperation: Recent developments in the field of applied linguistics and law', AILA review, 26(1), pp. 24-41.
5. Golodnikova, A. et al. (2018) 'Regulyatornaya politika v Rossii: osnovnyye tendentsii i arkhitektura budushchego' [Regulatory policy in Russia: main trends and architecture of the future], Doklady CSR, N 1.
6. Golub, G.B., Fishman, I.S. and Fishman, L.I. (2013) 'Obshchie kompetentsii vy-pusknikov vysshei shkoly: chto standart trebuet ot vuza' [General competencies of higher school graduates: what do the standards require a higher education institution], Voprosy obrazovaniya, 1, pp. 156-173.
7. Guba, K.S. (2019) 'Otsenka kachestva vysshego obrazovaniya: obzor mezhdunarod-nogo opyta' [Assessment of the higher education quality: an overview of international experience], Universitetskoye upravleniye:praktika i analiz, 3(23), pp. 94-107.
8. Harvey, L. and Williams, J. (2010) 'Fifteen Years of Quality in Higher Education', Quality in Higher Education, 16(1), pp. 3-36.
9. Kanapala, A., Pal, S. and Pamula, R. (2019) 'Text summarization from legal documents: a survey, Artificial Intelligence Review, 51(3), pp. 371-402.
10. Knyaginina, N.V. (2020) 'Chto my znayem o FGOS? Zachem nuzhny obrazovatel'nyye standarty, kak oni menyalis' i issledovalis'' (ch.1) [What do we know about the Federal State Educational Standard? Why are educational standards needed, how have they changed and been studied (part 1)], Obrazovatel'naya politika, 4, pp. 48-56.
11. Kuchakov, R. and Savelev, D. (2018) 'Slozhnost' pravovykh aktov v Rossii: Leksich-eskoe i sintaksicheskoe kachestvo tekstov' [Complexity of legal acts in Russia: Lexical and syntactic quality of texts], in: Analiticheskie zapiski po problemam pravoprime-neniya [Analytical Briefs on Law Enforcement Issues]. St. Petersburg: The Institute for the Rule of Law European University in Saint Petersburg.
12. Myachina, E.V. (2002) 'Veroyatnostno-statisticheskaya model' analiza teksta pra-vovogo dokumenta' [Probabilistic-statistical model of text analysis of a legal document], Issledovano v Rossii, 5, pp. 966-978.
13. Perper, E.M., Gasanov, E.E. and Kudryavtsev, V.B. (2018) 'O semanticheskom ana-lize yuridicheskikh tekstov' [On the semantic analysis of legal texts], Intellektual'nye sistemy. Teoriya iprilozheniya, 22(3), pp. 45-87.
14. Plaksin, S.M., Knutov, A.V. and Chaplinskiy, A.V. i dr. (2020) Slozhnost' rossiiskikh zakonov. Opyt sintaksicheskogo analiza [The complexity of Russian laws. Parsing experience]. Moscow: HSE Publishing House.
15. Savel'ev, D.A. (2018) 'O sozdanii i perspektivakh ispol'zovaniya korpusa tekstov rossiiskikh pravovykh aktov kak nabora otkrytykh dannykh' [On creating and using text of the Russian Federation corpus of legal acts as an open dataset], Pravo. Zhur-nal Vysshei shkoly ekonomiki, 1, pp. 26-44.
16. Savelev, D.A. (2020) 'Issledovanie slozhnosti predlozhenii, sostavlyayushchikh teksty pravovykh aktov organov vlasti Rossiiskoy Federatsii' [A study in complexity of sentences constituting Russian Federation legal acts], Pravo. Zhurnal Vysshei shkoly ekonomiki, 1, pp. 50-74.
17. Van Kemenade, E., Pupius, M. and Hardjono, T.W. (2008) 'More Value to Defining Quality', Quality in Higher Education, 14(2), pp. 175-185.
Статья поступила в редакцию 12.03.2021; одобрена после рецензирования 13.12.2021; принята к публикации 03.03.2022.
