CC BY
11
ТЕХНОЛОГИЗАЦИЯ ПЕДАГОГИЧЕСКОГО ПРОЦЕССА
К вопросу автоматизации процедуры экспертизы учебников и учебно-методических изданий, используемых в системе среднего профессионального образования
Дмитрий Геннадьевич Воронов
кандидат экономических наук, доцент кафедры современных технологий управления Института технологий управления
МИРЭА - Российский технологический университет Москва, Россия voronovmgu@mail.ru 0000-0002-0975-4111
Татьяна Олеговна Пучковская
кандидат педагогических наук, доцент, заведующий кафедрой информационных технологий в образовании Минский городской институт развития образования Минск, Беларусь puchkovskaya@minsk.edu. Ьу 0000-0002-1916-0982
Александр Юрьевич Федосов
доктор педагогических наук, доцент, профессор факультета информационных технологий Российский государственный социальный университет Москва, Россия alex_fedosov@mail.ru 0000-0002-2621-2218
Салим Казбекович Тарчоков
кандидат экономических наук, доцент, заведующий кафедрой гуманитарных и социально-экономических дисциплин
Московский государственный университет спорта и туризма Москва, Россия salim1902@mail.ru 0000-0002-4276-3538
Константин Геннадьевич Клецов
кандидат педагогических наук, директор Института дополнительного образования Российский государственный университет физической культуры, спорта, молодежи и туризма Москва, Россия distancedance@rambler.ru 0000-0003-1412-5034
Светлана Владимировна Бадмаева
кандидат педагогических наук, доцент кафедры рекламы, связей с общественностью и дизайна Российский экономический университет им. Г.В. Плеханова Москва, Россия Badmaeva.SV@rea.ru 0000-0002-9057-5742
Поступила в редакцию 10.02.2021 Принята 02.03.2021 Опубликована 22.04.2021
С 10.25726/к5457-2193-6919-р
Аннотация
В статье рассмотрены задачи экспертизы учебников и учебно-методических изданий, используемых в системе среднего профессионального образования и использование современных информационных технологий в проведении экспертизы учебных пособий. Цель статьи - обосновать направления повышение уровня образования в системе среднего профессионального образования, в том числе за счет улучшения качества учебников и учебно-методических изданий путем автоматизации их экспертизы. Задачи статьи: проанализировать проблемы автоматизации экспертизы учебников и учебно-методических изданий, оценить преимущества экспертизы учебников и учебно-методических изданий, рассмотреть примеры существующих автоматизированных экспертных систем. Гипотеза исследования: автоматизация процедуры экспертизы учебников и учебно-методических изданий, используемых в системе среднего профессионального образования, повысит качество учебников и учебно-методических изданий, что, в свою очередь, будет способствовать повышению уровня среднего профессионального образования. Методы: эмпирический анализ проблем и преимуществ автоматизации процедуры экспертизы учебников и учебно-методических изданий. Достигнутые результаты: обоснование использования программы LightReader для автоматизации процедуры экспертизы учебников и учебно-методических изданий.
Ключевые слова
автоматизация экспертизы; система среднего профессионального образования; учебники; учебно-методические издания.
Введение
Повышение качества среднего профессионального образования становится особенно актуальным в период изменения структуры рынка труда, связанного с развитием экономики и новых экономических отраслей.
Качество образования в значительной степени зависит от качества учебников и учебно-методических изданий, используемых в образовательном процессе среднего профессионального образования. Разработкой учебников и учебно-методических пособий для среднего профессионального образования занимаются как отдельные авторы, так и авторские коллективы. Однако, высокий уровень знаний и профессионализм разработчиков учебников и учебно-методических пособий не гарантируют высокого качества созданного ими продукта, далеко не все учебники отвечают стандартам и требованиям, предъявляемым к ним Министерством просвещения Российской Федерации. К таким требованиям относятся:
1. Учебник или учебно-методическое пособие должно вписываться в общую предметную структуру образовательного процесса, то есть быть логичной связанной частью единой содержательной системы, включающей предметные концепции, федеральные государственные образовательные стандарты, примерные основные образовательные программы, основные образовательные программы.
2. Учебник или учебно-методическое пособие должны соответствовать требованиям федерального государственного образовательного стандарта (ФГОС).
3. Учебник или учебно-методическое пособие не должны содержать недостоверные или неподтвержденные научно факты и положения.
4. Учебный материал должен быть изложен структурированно и логично.
5. Содержательная часть учебного пособия должна быть представлена разнообразно: в форме текста, с использованием приемов выделения особо значимых фрагментов учебного материала, в форме иллюстраций, схем и таблиц.
6. Учебный материал должен быть изложен с учетом возраста и соответствующего психофизиологического развития обучающихся.
7. Учебное пособие не должно содержать грамматических и синтаксических ошибок, опечаток, неразъясненных аббревиатур.
8. Учебное пособие не должно содержать информации, пропагандирующей расовую и социальную нетерпимость, насилие, асоциальное поведение, отрицание семейных ценностей. Повышение ответственности авторов учебных пособий - необходимый этап обеспечения системы среднего профессионального образования актуальной и качественной учебной литературой.
Материалы и методы исследования
Эффективным путем повышения качества учебников и учебно-методический пособий является их экспертиза по установленным критериям [8].
Министерство просвещения Российской Федерации разработало Порядок формирования федерального перечня учебников, рекомендуемых к использованию при реализации имеющих государственную аккредитацию образовательных программ начального общего, основного общего, среднего общего образования [12].
Порядок разработан с целью повышения ответственности издателей и рецензентов учебной литературы. Порядок закрепляет проводимую за федеральный счёт процедуру государственной экспертизы учебников. Органом, принимающим решение о включении учебника или учебно-методического пособия в федеральный перечень учебников, является Научно-методический совет по учебникам. Принимая решение о включении учебного пособия в федеральный перечень, Научно-методический совет по учебникам учитывает результаты общественной экспертизы.
Общественную экспертизу разрешено проводить организациям, в уставе которых зафиксирована деятельность, направленная на поддержку развития российского образования [4; 14]. Помимо этого, устав организации должен предусматривать полномочия на проведение экспертизы. Экспертное заключение на включение учебного пособия в федеральный перечень, выданное Научно-методическим советом, действительно в течение пяти лет.
Экспертиза учебников и учебно-методических пособий носит государственный характер. Проведение экспертизы способствует повышению уровня ответственности авторов учебных пособий, объективности выводов, а также существенному снижению риска включения в федеральный перечень некачественных учебных пособий. Однако, экспертиза, проводимая компетентными экспертами, не гарантия полного соблюдения требований к учебникам, включаемым в перечень. Субъективность, невнимательность, недостаточно актуальный уровень знаний могут привести к снижению качества экспертизы. Автоматизация процедуры экспертизы учебников и учебно-методических изданий, используемых в системе среднего профессионального образования, позволит повысить качество экспертизы и снизить временные затраты на ее проведение [1].
К сожалению, на сегодняшний день этот аспект экспертизы учебных пособий развит недостаточно. Как всякая неформальная процедура, экспертиза учебных пособий трудно поддается автоматизации. Различные аспекты экспертизы учебных пособий требуют широкого спектра специализированных программ. Например, для выявления ошибок и описок вполне достаточно использовать редакторские возможности текстовых процессоров. Однако, это далеко не единственный критерий экспертизы учебных пособий. Система образования нуждается в инструментах, которые осуществляют более глубокий лингвостатистический анализ текста, а также его ранжирование с возрастными и особенностями обучающихся и с учетом их предыдущей подготовки в данной предметной области [11].
При этом содержание учебных пособий должно быть доступным для усвоения и понятным обучающимся системы среднего профессионального образования. Усвоение учебного материала,
изложенного в учебном пособии, в значительной степени зависит от сложности текста - перегруженности текста специфичными терминами, сложными аббревиатурами, нелогичностью изложения учебного материала (тематическая сегментация).
Понимание текста, в свою очередь, зависит от составляющих его компонентов, таких, как размер предложений и длина слов. Автоматизация оценки сложности текстов и их тематической сегментации является очень перспективным направлением компьютерной лингвистики [10; 15]. Разработкой технологий в этой области занимается широкий круг ученых. Наиболее перспективной областью применения этих технологий является сфера образования, поскольку именно в образовании особо значимо соответствие учебных текстов когнитивным и лингвистическим способностям обучающегося.
Результаты и обсуждение
Автоматизация определения сложности текстов и их тематической сегментации позволит разработчикам учебных пособий более качественно формировать содержательную часть учебников с учетом особенностей целевой аудитории, на которую учебник ориентирован. Повысится и качество проведения экспертиз, поскольку выводы экспертов будут базироваться на объективных и точных научных данных.
Экспертиза сложности и доступности восприятия текстового содержания учебного пособия требует более сложных программных комплексов [9; 16]. Следовательно, в ракурсе экспертизы учебников и учебно-методических пособий наиболее значимыми на сегодняшний день являются:
- программы оценки сложности или читабельности текста;
- программы тематического анализа или сегментации текста [3].
Тематическая сегментация текста позволяет автоматически извлекать смысл из текстов и выявлять темы и подтемы внутри текста [2]. Тематическое сегментирование и оценка сложности текста - это технологии, имеющие мощный потенциал в образовании. Применение этих технологий в экспертизе учебников и учебно-методических пособий, используемых в системе среднего профессионального образования, позволяет определять качество подбора учебных материалов, их актуальность, способствовать разработке учебных пособий, ориентированных на индивидуализацию обучения [3]. Понятно, что программы такого класса полностью ориентированы на язык текста.
Что касается текстов на английском языке, то для их анализа разработано достаточно большое количество программ, позволяющих анализировать широкий спектр параметров текстов. К ним можно отнести программные комплексы: Со^1Шпх, ТААСО, ^еЬРХ, MonkeyLeam, iSTART и др. [17]. Работы по автоматизации оценки сложности или читабельности текста и тематического анализа или сегментации текста на русском языке на сегодняшний день представлены программами узконаправленного использования: это программы LightReader, Текстомер, Лексикатор и многие другие.
Наиболее комплексной, многофункциональной программой анализа текста является программа LightReader. Программа разработана для автоматизации оценки сложности текстов на английском и русском языках. По результатам работы LightReader рассчитывает и представляет ряд параметров текста: среднее количество слогов в словах, количество многосложных слов, среднее количество слов в предложениях и другие статистические данные. Функционал программы позволяет производить вычисления статистических характеристик текста и оценку его сложности; анализировать текст в соответствии с заданными критериями относительно возраста учащихся. По результатам анализа текста программа формирует таблицу значений статистических характеристик текста и дает оценку сложности текста в соответствии с формулой расчета показателя (индекса) удобочитаемости по Флешу.
Индекс удобочитаемости — мера определения сложности восприятия текста читателем. Индекс удобочитаемости может вычисляться на основе нескольких параметров: длины предложений, слов, удельного количества наиболее частотных (или редких) слов и т.д. [6; 7; 13].
Изначально формула создавалась для оценки текстов на английском языке, адаптированная для русского языка формула выглядит так:
í количество слов \ /количество слоговч
Индекс Флеша = 206,835 - 1,3 6--) - 60,1 I-1
чколичество предложение ^ количество слов /
Индекс Уровень удобочитаемости Уровень образования
90-100 очень высокий 5 классов
80-90 высокий 6 классов
70-80 выше среднего 7 классов
60-70 средний 8-9 классов
50-60 ниже среднего 10-12 классов
30-50 низкий вуз
0-30 очень низкий выпускник вуза
Данная технология автоматизированной оценки сложности учебных текстов может быть использована в работе экспертов, выполняющих экспертизу печатных учебников и учебных пособий и электронных образовательных ресурсов. Авторы учебников могут использовать эту программу для проверки сложности текста в соответствии с возрастом обучающихся. Программа будет полезна административным работникам и руководителям в сфере образования для разработки ясного и понятного текста инструкций, приказов и другой нормативной документации. Программа LightReader имеет два режима работы:
1. Режим эксперта. Работа программы в этом режиме позволяет оценить, насколько текст учебного пособия соответствует возрастным особенностям целевой аудитории.
Работа программы в этом режиме позволяет накопить в отдельном файле статистические характеристики текстов по нескольким изданиям с целью дальнейшего их анализа, составления отчётов, формирования заключений. Режим эксперта могут использовать все категории пользователей, которым необходимо оценить сложность текстов учебных изданий, к которым относятся печатные учебники, а также электронные издания и тексты, публикуемые на сайтах.
2. Режим разработчика учебно-методических материалов включает сбор статистических характеристик сложности текста и его анализ.
Анализ сложности текста позволяет внести в текст необходимые корректировки для уменьшения сложности. Программа LightReader показала высокую производительность при обработке текстов объёмом 10-600 страниц. Время оценки текста от нескольких секунд до трёх минут. Оценка сложности небольших отрывков текста размером в десятки страниц производится практически в реальном режиме времени.
Заключение
Автоматизация экспертизы учебников и учебно-методических пособий, используемых в системе среднего профессионального образования, является актуальной задачей системы среднего профессионального образования. Решение этой задачи требует:
1. Обоснования и разработки математической модели оценки сложности учебных текстов.
2. Проверки и корректировки разработанной математической модели с учетом сложности и специфики русского языка.
3. Программная реализация модели в форме автоматизированного комплекса анализа сложности учебных текстов и оценка ее продуктивности;
4. Разработка методики использования информационной технологии анализа и корректировки сложности учебных текстов в экспертизе учебников и учебно-методических пособий, используемых в системе среднего профессионального образования
5. Оценка ряда школьных учебников и пособий на базе разработанной методики.
Список литературы
1. Автоматическая обработка текстов на естественном языке и анализ данных: учебное пособие / Е.И. Большакова, К.В. Воронцов, Н.Э. Ефремова, Э.С. Клышинский, Н.В. Лукашевич, А.С. Сапин. М.: Изд-во НИУВШЭ, 2017. 269 с.
2. Ажмухамедов И.М., Завьялова Е.Е., Кузнецова В.Ю. Методы автоматизации анализа текстовой информации на русском языке с целью выявления ее семантической направленности // Прикаспийский журнал: управление и высокие технологии. 2020. №2(50). С. 118-126.
3. Аношин И.И. Автоматический анализ текстов. Синтаксический и семантический анализ // Евразийский научный журнал. 2017. №6. С. 15.
4. Денисенко Е.Н. Первый опыт общественной экспертизы учебников // Сборник научных трудов по материалам Международной научно-практической конференции «Теоретические и прикладные вопросы образования и науки». Тамбов: ООО «Консалтинговая компания Юком», 2014. С. 62-63.
5. Ингерсолл Г.С., Мортон Т.С., Фэррис Э.Л. Обработка неструктурированных текстов. Поиск, организация и манипулирование / пер. с англ. М.: ДМК Пресс, 2015. 414 с.
6. Индекс удобочитаемости // Википедия. https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D0%B4%D0%B5%D0%BA%D1%81_%D1%83%D0 %В4%Р0%ВЕ%Р0%Б1%00%ВЕ%Р1 %87%D0%B8%D1 %82%D0%B0%D0%B5%D0%BC%D0%BE%D1 %8 Г/,^0/.^0/.^''/.^ (дата обращения: 01.04.2021).
7. Индекс удобочитаемости Флеша // Орфограммки. https://orfogrammka.ru/%D1%88%D0%BF%D0%B0%D1%80%D0%B3%D0%B0%D0%BB%D0%BA% D0%B8/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81_%D1%83%D0%B4%D0%BE%D0%B1%D 0%BE%D1%87%D0%B8%D1 %82%D0%B0%D0%B5%D0%BC%D0%BE%D1 %81 "Ш %82%D0%B8_%D1 %84%D0%BB%D0%B5%D1%88%D0%B0/ (дата обращения: 01.04.2021).
8. Крылова О.Н. Экспертиза учебников как компонент научно-методического обеспечения ОУ в условиях внедрения ФГОС ООО // Вестник Орловского государственного университета. Серия: Новые гуманитарные исследования. 2013. №2(31). С. 101-104.
9. Ланская Д.В., Арефьева И.В. Прикладная лингвистика и перспективные программные платформы для экспертизы документов // Материалы IV Национальной научно-практической конференции «Информационное общество и цифровая экономика: глобальные трансформации». Краснодар, 2019. С. 212-220.
10. Лингвистический анализатор. Преобразование текста в метаязыковую структуру данных // С.А. Кузнецов, Т.Г. Скребцова, С.Г. Суворов, А.В. Клеменьева. СПб.: СПбГУ, 2019. 238 с.
11. Методы анализа текста и дискурса / Тичер С., Мейер М., Водак Р., Веттер Е. Харьков: Гуманитарный центр, 2009. 356 с.
12. Об утверждении Порядка формирования федерального перечня учебников, допущенных к использованию при реализации имеющих государственную аккредитацию образовательных программ начального общего, основного общего, среднего общего образования: приказ Минпросвещения России от 18 декабря 2019 г. №695 // Информационно-правовой портал «Гарант». https://www.garant.ru/products/ipo/prime/doc/73411419/ (дата обращения: 01.04.2021).
13. Оборнева И. В. Автоматизация оценки качества восприятия текста // Вестник Московского городского педагогического университета. Серия: Информатика и информатизация образования. 2005. №5. С. 86-91.
14. Организация открытого форума по обсуждению качества учебников / А. И. Виноградов, И.С. Горянский, Е.А. Сенькина, А.П. Смоляков // Информатизация образования и науки. 2009. №1. С. 81-92.
15. Прикладная и компьютерная лингвистика / под ред. И.С. Николаева и др. М.: ЛЕНАНД, 2016.
320 с.
16. Специальное программное обеспечение «Фраза»: свидетельство о регистрации программы для ЭВМ RU 2015619392 от 02 сентября 2015 г. / В. В. Сазанов, М.А. Лобанова, В.О. Хуртилов, Т. В. Назарова, К. А. Лебедев.
17. Хобсон Л., Ханнес Х., Коул Х. Обработка естественного языка в действии. СПб.: Питер, 2020.
б7б с.
Revisiting automation of examination procedure for the textbooks and learning and teaching publications used in the secondary vocational education system
Dmitry G. Voronov
Candidate of economic sciences, Associate professor of the Department of modern management technologies of the Institute of management technologies MIREA - Russian Technological University Moscow, Russia voronovmgu@mail.ru 0000-0002-0975-4111
Tatiana O. Puchkovskaya
Candidate of pedagogical sciences, Associate professor of Head of the Department of information technology in education
Minsk City Institute for Education Development Minsk, Belarus
puchkovskaya@minsk.edu. by 0000-0002-1916-0982
Alexander Yu. Fedosov
Doctor of pedagogical sciences, Associate professor, Professor of the Faculty of information technology Russian State Social University Moscow, Russia alex_fedosov@mail.ru 0000-0002-2621-2218
Salim K. Tarchokov
Candidate of economic sciences, Associate professor, Head of the Department of humanitarian and socioeconomic disciplines
Moscow State University of Sports and Tourism Moscow, Russia salim1902@mail.ru 0000-0002-4276-3538
Konstantin G. Kletsov
Candidate of pedagogical sciences, Director of the Institute of additional education Russian State University of Physical Culture, Sports, Youth and Tourism Moscow, Russia distancedance@rambler.ru 0000-0003-1412-5034
Svetlana V. Badmaeva
Candidate of pedagogical sciences, Associate professor of the Department of advertising, public relations and design
Russian University of Economics named after G.V. Plekhanov Moscow, Russia Badmaeva.SV@rea.ru 0000-0002-9057-5742
Received 10.02.2021 Accepted 02.03.2021 Published 22.04.2021
i 10.25726/k5457-2193-6919-p
Abstract
The article considers the examination tasks for the textbooks and learning and teaching publications used in the secondary vocational education system (SVE), and the use of modern information technologies in the study guides examination. The purpose of the article is to substantiate the directions of the education level increase in the secondary vocational education system (SVE), including by means of improvement of the textbooks and learning and teaching publications quality through automation of their examination procedure. The objects of the articles are to analyze the issues of automation of their examination procedure for the textbooks and learning and teaching publications, to evaluate the advantages of the textbooks and learning and teaching publications examination, to consider the examples of existing automated expert systems. The research assumption is that the automation of the examination procedure for the textbooks and learning and teaching publications used in the secondary vocational education system would improve the quality of the textbooks and learning and teaching publications thus promoting the improvement of the level of secondary vocational education. The methods are as follows: empirical analysis of the issues and the advantages of automation of the textbooks and learning and teaching publications examination procedures. The results achieved are as follows: substantiation of LightReader program use for automation of the textbooks and learning and teaching publications examination procedures.
Keywords
automation of expertise; secondary vocational education system; textbooks; educational and methodological publications.
References
1. Avtomaticheskaja obrabotka tekstov na estestvennom jazyke i analiz dannyh: uchebnoe posobie / E.I. Bol'shakova, K.V. Voroncov, N.Je. Efremova, Je.S. Klyshinskij, N.V. Lukashevich, A.S. Sapin. M.: Izd-vo NIUVShJe, 2017. 269 s.
2. Azhmuhamedov I.M., Zav'jalova E.E., Kuznecova V.Ju. Metody avtomatizacii analiza tekstovoj informacii na russkom jazyke s cel'ju vyjavlenija ee semanticheskoj napravlennosti // Prikaspijskij zhurnal: upravlenie i vysokie tehnologii. 2020. №2(50). S. 118-126.
3. Anoshin I.I. Avtomaticheskij analiz tekstov. Sintaksicheskij i semanticheskij analiz // Evrazijskij nauchnyj zhurnal. 2017. №6. S. 15.
4. Denisenko E.N. Pervyj opyt obshhestvennoj jekspertizy uchebnikov // Sbornik nauchnyh trudov po materialam Mezhdunarodnoj nauchno-prakticheskoj konferencii «Teoreticheskie i prikladnye voprosy obrazovanija i nauki». Tambov: OOO «Konsaltingovaja kompanija Jukom», 2014. S. 62-63.
5. Ingersoll G.S., Morton T.S., Fjerris Je.L. Obrabotka nestrukturirovannyh tekstov. Poisk, organizacija i manipulirovanie / per. s angl. M.: DMK Press, 2015. 414 s.
6. Indeks udobochitaemosti // Vikipedija. https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D0%B4%D0%B5%D0%BA%D1%81_%D1%83%D0 %B4%D 0%BE %D 0%B1 %D0%BE%D1 %87%D0%B8%D1 %82%D0%B0%D0%B5%D0%BC%D0%BE%D1 %8 1 %D1%82%D0%B8 (data obrashhenija: 01.04.2021).
7. Indeks udobochitaemosti Flesha // Orfogrammki. https://orfogrammka.ru/%D1%88%D0%BF%D0%B0%D1%80%D0%B3%D0%B0%D0%BB%D0%BA% D0%B8/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81_%D1%83%D0%B4%D0%BE%D0%B1%D 0%BE%D1%87%D0%B8%D1 %82%D0%B0%D0%B5%D0%BC%D0%BE%D1 %81 %D1 %82%D0%B8_%D1 %84%D0%BB%D0%B5%D1%88%D0%B0/ (data obrashhenija: 01.04.2021).
8. Krylova O.N. Jekspertiza uchebnikov kak komponent nauchno-metodicheskogo obespechenija OU v uslovijah vnedrenija FGOS OOO // Vestnik Orlovskogo gosudarstvennogo universiteta. Serija: Novye gumanitarnye issledovanija. 2013. №2(31). S. 101-104.
9. Lanskaja D.V., Aref'eva I.V. Prikladnaja lingvistika i perspektivnye programmnye platformy dlja jekspertizy dokumentov // Materialy IV Nacional'noj nauchno-prakticheskoj konferencii «Informacionnoe obshhestvo i cifrovaja jekonomika: global'nye transformacii». Krasnodar, 2019. S. 212-220.
10. Lingvisticheskij analizator. Preobrazovanie teksta v metajazykovuju strukturu dannyh // S.A. Kuznecov, T.G. Skrebcova, S.G. Suvorov, A.V. Klemen'eva. SPb.: SPbGU, 2019. 238 s.
11. Metody analiza teksta i diskursa / Ticher S., Mejer M., Vodak R., Vetter E. Har'kov: Gumanitarnyj centr, 2009. 356 c.
12. Ob utverzhdenii Porjadka formirovanija federal'nogo perechnja uchebnikov, dopushhennyh k ispol'zovaniju pri realizacii imejushhih gosudarstvennuju akkreditaciju obrazovatel'nyh programm nachal'nogo obshhego, osnovnogo obshhego, srednego obshhego obrazovanija: prikaz Minprosveshhenija Rossii ot 18 dekabrja 2019 g. №695 // Informacionno-pravovoj portal «Garant». https://www.garant.ru/products/ipo/prime/doc/73411419/ (data obrashhenija: 01.04.2021).
13. Oborneva I. V. Avtomatizacija ocenki kachestva vosprijatija teksta // Vestnik Moskovskogo gorodskogo pedagogicheskogo universiteta. Serija: Informatika i informatizacija obrazovanija. 2005. №5. S. 8691.
14. Organizacija otkrytogo foruma po obsuzhdeniju kachestva uchebnikov / A.I. Vinogradov, I.S. Gorjanskij, E.A. Sen'kina, A.P. Smoljakov // Informatizacija obrazovanija i nauki. 2009. №1. S. 81-92.
15. Prikladnaja i komp'juternaja lingvistika / pod red. I.S. Nikolaeva i dr. M.: LENAND, 2016. 320 s.
16. Special'noe programmnoe obespechenie «Fraza»: svidetel'stvo o registracii programmy dlja JeVM RU 2015619392 ot 02 sentjabrja 2015 g. / V.V. Sazanov, M.A. Lobanova, V.O. Hurtilov, T.V. Nazarova, K.A. Lebedev.
17. Hobson L., Hannes H., Koul H. Obrabotka estestvennogo jazyka v dejstvii. SPb.: Piter, 2020.
576 s.
