CC BY
55Научная статья
УДК 378.146
DOI: 10.25688/2072-9014.2023.65.3.10
ОСОБЕННОСТИ РАЗРАБОТКИ ВАРИАТИВНЫХ ТЕСТОВЫХ ЗАДАНИЙ С ИСПОЛЬЗОВАНИЕМ ЧАТ-БОТА С ИСКУССТВЕННЫМ ИНТЕЛЛЕКТОМ CHATGPT В ОБУЧЕНИИ БУДУЩИХ ПЕДАГОГОВ ИНОСТРАННОМУ ЯЗЫКУ
Ольга Сергеевна Плохотнюк
Благовещенский государственный педагогический университет, Благовещенск, Россия
[email protected], https://orcid.org/0009-0003-5167-5534
Аннотация. В статье рассматривается применение чат-бота с искусственным интеллектом ChatGPT (далее — ChatGPT) в обучении иностранному языку будущих педагогов, анализируется лингвистический и дидактический потенциал ChatGPT в образовательном процессе. Приведены типы тестовых заданий для оценивания уровня сформированности коммуникативной компетенции обучающихся. Цель исследования: определить целесообразность использования ChatGPT в разработке вариативных тестовых заданий для оценки сформированности иноязычной коммуникативной компетенции будущих педагогов. Задачи исследования: анализ возможностей ChatGPT в разработке тестовых заданий по иностранному языку; апробация тестовых заданий в практике преподавания иностранного языка.
Ключевые слова: чат-бот с искусственным интеллектом ChatGPT; искусственный интеллект в образовании; вариативное тестовое задание; иноязычная коммуникативная компетенция.
Original article
UDC 378.146
DOI: 10.25688/2072-9014.2023.65.3.10
DEVELOPMENT OF VARIABLE TEST TASKS USING ARTIFICIAL INTELLIGENCE CHATBOT CHATGPT IN TEACHING FUTURE TEACHERS A FOREIGN LANGUAGE
Olga S. Plokhotnyuk
Blagoveshchensk State Pedagogical University, Blagoveschensk, Russia
[email protected], https://orcid.org/0009-0003-5167-5534
Abstract. The article examines the application of artificial intelligence chatbot ChatGPT in teaching foreign language to future teachers, analyzes linguistic and didactic potential of ChatGPT in the educational process. Types of test tasks for assessing the level of formation of communicative competence of students are given. The purpose of the study: to evaluate the usefulness of ChatGPT in the development of variable test tasks for assessing
© Плохотнюк О. С., 2023
the foreign language communicative competence of future teachers. Research objectives: analyze the capabilities of ChatGPT in the development of test tasks in a foreign language; approbation of test tasks in the practice of teaching a foreign language.
Keywords: artificial intelligence chatbot ChatGPT; artificial intelligence in education; variable test task; foreign language communicative competence.
Для цитирования: Плохотнюк О. С. Особенности разработки вариативных тестовых заданий с использованием чат-бота с искусственным интеллектом ChatGPT в обучении будущих педагогов иностранному языку // Вестник МГПУ Серия «Информатика и информатизация образования». 2023. № 3 (65). С. 107-115.
For citation: Plokhotnyuk O. S. Development of variable test tasks using artificial intelligence chatbot ChatGPT in teaching future teachers a foreign language // MCU Journal of Informatics and Informatization of Education. 2023. № 3 (65). P. 107-115.
Введение
Современные методы обучения иностранным языкам все больше ориентированы на использование цифровых технологий и индивидуализацию образовательной траектории в актуальном образовательном процессе. Вместе с тем, несмотря на активное развитие цифровизации образования и рост общественных потребностей в качественной и эффективной системе образования, основанной на современных технологиях, запросы на научные идеи и практические рекомендации не всегда находят оперативный отклик в виде готовых инструментов для решения задачи обучения иностранным языкам и представляют технологический вызов для преподавателя.
Данное исследование посвящено анализу применения чат-бота с искусственным интеллектом ChatGPT (далее — ChatGPT) в образовательном процессе в рамках обучения будущих педагогов иностранному языку. Теоретической базой исследования послужили работы ученых, исследующих актуальные вопросы в организации дистанционного и смешанного образования [1; 2], технические возможности и дидактический потенциал современных инструментов, созданных на основе искусственного интеллекта (ИИ) [3], и эффективное применение тестов и тестовых заданий в образовательном процессе [4-7]. Практическая значимость исследования заключается в возможности применения генерируемых посредством ChatGPT вариативных тестовых заданий в обучении иностранному языку для повышения качества оценки результатов образовательного процесса.
Методы исследования
Изучение проблемы основано на применении теоретических методов исследования: анализа педагогической литературы по совершенствованию подходов в повышении эффективности педагогических измерений, а также эмпирических методов: тестирования, статистического анализа. Тестированием было охвачено 68 человек — будущих учителей математики, технологии, изобразительного
искусства. Исследование было проведено в Благовещенском государственном педагогическом университете.
Результаты исследования
Контроль уровня сформированности компетенций обучающихся при помощи тестов и тестовых заданий имеет свои преимущества и недостатки. К преимуществам тестовых форм контроля относится возможность измерять различные аспекты владения языком, технологичность, экономия расходов на обучение и контроль знаний обучающихся. Вместе с тем традиционными проблемами, связанными с использованием тестовых форм контроля, являются проблемы фальсификации, различных видов «учебного мошенничества» со стороны обучающихся и нередкое несоответствие тестовых заданий требованиям технологичности и объективности выставления оценок со стороны составителей [8, с. 118]. Кроме того, возможное повышение эффективности теста в качестве инструмента контроля компетенций обучающихся требует значительного количества тестовых заданий, больших энергозатрат в реализации эффективных моделей формирующего и итогового оценивания уровня их сформированности. Для преодоления данных сложностей целесообразным представляется обращение к инструментам автоматизации и современным разработкам с применением искусственного интеллекта.
Выделяют несколько векторов использования искусственного интеллекта в преподавании иностранного языка. К наиболее продуктивным относят инструменты планирования, создания контента, выбора методов обучения, эффективного оценивания и прогнозирования образовательных достижений обучающихся, организации обратной связи [9]. В настоящий момент выделяют множество инструментов, разработанных на основе ИИ и используемых в образовательной практике:
1. Использование ИИ для создания интеллектуальных обучающих систем, которые могут предоставлять студентам персонализированную обратную связь и рекомендации на основе их успеваемости. Эти системы используют алгоритмы машинного обучения для выявления закономерностей в успеваемости обучающихся и адаптации обучения в соответствии с их потребностями.
2. Создание приложений для изучения языка, которые предоставляют обучающимся увлекательные и интерактивные занятия, помогающие им практиковать свои навыки. Эти приложения могут быть персонализированы в соответствии с индивидуальными потребностями ученика и предоставлять обратную связь о его успехах.
3. Создание чат-ботов, которые вовлекают обучающихся в разговор и помогают им практиковать свои навыки владения иностранным языком. Чат-боты могут быть запрограммированы на ответы на распространенные вопросы и на обратную связь по грамматике и лексике.
4. Разработка автоматизированных инструментов оценки, которые могут анализировать успеваемость обучающихся в режиме реального времени. Эти инструменты можно использовать для оценивания навыков говорения, письма и аудирования обучающихся, а также для предоставления обратной связи в тех областях, где данные навыки нуждаются в улучшении.
Эффективность и целесообразность применения в образовательном процессе инструментов, разработанных на основе ИИ, в данном исследовании рассматриваются на основе анализа применения в практике преподавания иностранного языка будущим педагогам одного из актуальных инструментов — ChatGPT, разработанного OpenAI, — чат-бота с искусственным интеллектом, который генерирует человекоподобные ответы на самые разные запросы.
Одной из ключевых особенностей ChatGPT является способность давать связные и контекстуально подходящие ответы на открытые вопросы. ChatGPT можно также использовать для решения широкого спектра задач при изучении иностранного языка. Внедрение данного инструмента в учебный процесс позволяет создать более увлекательный и эффективный опыт подготовки для обучающихся, а также сократить количество времени и усилий преподавателя, необходимых для создания вариативных тестовых заданий и проведения текущего, периодического и итогового контроля обучения.
Создание посредством ChatGPT и апробация вариативных тестовых заданий текущего, повторного и периодического контроля проводились по дисциплине «Иностранный язык» для студентов 1-го курса Благовещенского государственного педагогического университета, обучающихся по направлению подготовки 44.03.05 «Педагогическое образование (с двумя профилями подготовки)». В соответствии с целью исследования, для определения уровня сформированности коммуникативной иноязычной компетенции обучающихся были разработаны тестовые задания, посредством которых осуществлялся текущий, повторный и периодический контроль как непосредственно во время аудиторного занятия, так и в LMS Moodle.
Проведение аудиторных занятий сопровождается электронным курсом на базе платформы LMS Moodle. В разработанном на основе учебного пособия Straightforward Pre-Intermediate [9] курсе представлены 9 учебных тем; опытное тестирование проводилось по двум тематическим блокам: Food («Еда»), Work («Работа»).
При организации работы с тематическими блоками ChatGPT было предложено сгенерировать ряд заданий на основе тематических словарей соответствующих разделов и предлагаемых рабочей программой лингвистических компетенций по владению нормами иностранного языка, использованию различных форм, видов устной и письменной коммуникации и языковых средств для достижения профессиональных целей на иностранном языке1. В зависимости
1 Рабочая программа дисциплины «Иностранный язык» по направлению подготовки 44.03.05 «Педагогическое образование (с двумя профилями подготовки)» // Официальный сайт Курского государственного университета. URL: https://kursksu.ru/sveden/files/RPD_440305_ FIAP_bPed0IzoDpi_2019_Inostrannyy_yazyk(21).pdf (дата обращения: 17.04.2023).
от вида речевой деятельности можно выделить следующие варианты сгенерированных заданий: на понимание иноязычной речи на слух (аудирование), на понимание содержания учебных и аутентичных текстов (чтение), на формирование, отработку и закрепление соответствующих лексико-грамматиче-ских навыков (употребление степеней сравнения прилагательных и времен Past Simple и Present Perfect). Рассмотрим их на конкретных примерах.
Для разработки тестовых заданий по аудированию использовался скрипт текста для аудирования Slow food [10, p. 138], на основе которого ChatGPT было предложено выделить ключевые слова данного скрипта, сгенерировать одно правильное и несколько неправильных резюме его содержания, придумать правильные и неправильные варианты заголовков, составить верные и неверные утверждения на основе его содержания, сформулировать вопросы с кратким свободным ответом. Проверка полученных тестовых заданий на общее понимание содержания прослушанного не выявила неправильных и двусмысленных формулировок заданий, можно особо отметить то обстоятельство, что ChatGPT предоставляет релевантные дистракторы, тематически, ситуативно и контекстуально связанные с содержанием исходного текста. В целом данные виды заданий не нуждаются в доработке и являются пригодными к использованию в учебном процессе2.
Виды заданий на понимание содержания прочитанного практически не отличаются от тестовых заданий по аудированию, но могут быть дополнены генерацией текстов по запросу на заданные темы и употреблением тех или иных лексико-грамматических конструкций в контексте. Так, ChatGPT успешно справляется с определением новых слов и выражений урока, приводит точные синонимические и антонимические соответствия для новой лексики, сгенерированные в процессе тексты также были использованы при составлении заданий на сопоставление выражений и их определений. Кроме того, в результате соответствующих запросов были созданы валидные задания в виде вопросов со свободным ответом, которые нецелесообразно использовать при автоматической проверке понимания содержания, но вполне уместно задать при проведении того же задания в аудитории в устной или письменной форме. Необходимо все же отметить, что для более эффективной работы ChatGPT нужны максимально точные запросы, предоставление примеров при их формулировке и тщательная проверка сгенерированных вариантов ответов.
Для отработки и закрепления лексических навыков при помощи ChatGPT использовались:
1. Задания по подбору синонимов или антонимов к словам и выражениям в виде вопросов с вариантами выбора и вопросов на сопоставление:
2 Особенности разработки вариативных тестовых заданий с использованием чат-бота с искусственным интеллектом ChatGPT в обучении будущих педагогов иностранному языку. Скрипт текста для аудирования: 6B Slow food. Listening / Kerr, Ph. Straightforward Pre-intermediate Level: Student's Book. Macmillan Education. 2012. P. 138 // Сайт факультета иностранных языков Благовещенского государственного педагогического университета, Амурская обл. URL: https://fle.bgpu.ru/articlechatgpt.html (дата обращения: 17.04.2023).
Which adjective is the opposite of «fast»?
A. Slow B. Interesting C. Traditional D. Healthy
Replace the adjectives in the sentences below with their opposites (Замените прилагательные противоположными по смыслу)
The service was a bit_fast.
2. Задания на заполнение пропусков в виде вопросов с вариантами ответа или с кратким ответом:
When we make Ragu sauce at home, we use_ingredients.
A. Artificial B. Traditional С. Fresh D. Similar
Составление тестовых заданий для отработки и закрепления грамматических навыков оказалось более сложным, чем разработка тестовых заданий на понимание содержания прослушанного или прочитанного: ChatGPT может очень формально интерпретировать запросы на составление упражнений по грамматике и предоставлять нерелевантные или требующие значительной последующей доработки результаты.
Оптимальными оказались тестовые задания, связанные с генерацией фраз по предложенной модели на заданную тему с пропущенными словами или фразами:
1. Задания на заполнение пропусков:
Put the adjectives in brackets into the comparative form (Поставьте прилагательные в скобках в сравнительную форму).
This soup is_(spicy) than the one I usually make.
2. Более сложные задания на заполнение пропусков и продолжение фразы в свободной форме:
Put the adjectives in brackets into the comparative form. Then complete the sentences with your own ideas. (Поставьте прилагательные в скобках в сравнительную форму и дополните предложения).
French fries are_(delicious) than_.
3. Задания на исправление ошибок. ChatGPT может генерировать предложения с грамматическими ошибками, которые тестируемые должны определить и исправить:
Find and correct the mistake in the sentence (Найдите и исправьте ошибку в предложении).
He has drinked too much coffee this week.
4. Задания с перепутанным порядком слов, где обучающимся необходимо расставить слова в правильном порядке, чтобы создать грамматически правильное предложение:
Rearrange the words to make sentences.
Pasta a had delightful I in restaurant Italian an.
В целом ChatGPT может генерировать широкий спектр лексико-граммати-ческих тестовых заданий, которые могут помочь обучающимся практиковать и совершенствовать свои грамматические навыки. Необходимо добавить, что ChatGPT эффективно справляется и с запросами на объяснение нового грамматического материала, приводит релевантные примеры с тематической лексикой, систематизирует и резюмирует материал в зависимости от запрашиваемого уровня сложности. Использование этих особенностей ChatGPT в подготовке занятий существенно экономит время преподавателя, вносит разнообразие в учебный материал и позволяет адаптировать его в соответствии с уровнем подготовки и потребностями обучающихся.
Основными проблемами в составлении тестовых заданий в текущей работе являлись контроль прохождения и качество их выполнения. В данном случае несомненным достоинством ChatGPT является генерация множества однотипных вопросов, позволяющая сделать тест практически индивидуальным за счет добавления определенного количества случайных вопросов из разных категорий. Кроме того, способность ChatGPT к самообучению позволяет экспериментировать с разными форматами ввода данных и задавать нужный формат вывода вопросов для последующего редактирования и импорта одним файлом в формате GIFT, Moodle XML и т. д. в банк вопросов LMS Moodle. Более подробную информацию о типах вопросов и поддерживаемых форматах их импорта можно найти в документации Moodle3.
Задания повторного контроля использовались в LMS Moodle для повышения прочности и систематизации усвоенного в аудитории материала. Вместе с тем периодический контроль осуществлялся на занятиях в аудитории. Формат проведения опытного тестирования обусловил разные типы тестовых заданий: выполняемые в онлайн-формате тестовые задания повторного контроля включали вопросы с выбором одного или нескольких вариантов (50 % вопросов), кратким ответом (35 %), сопоставлением (15 %) и сопровождались автоматической проверкой. Индивидуализация тестовых заданий была реализована за счет добавления ограниченного количества случайных вопросов из соответствующих категорий банка вопросов LMS Moodle. Периодический контроль в аудитории проводился с добавлением к уже перечисленным вопросам с выбором одного или нескольких вариантов (40 %) и кратким ответом (30 %) более сложных видов заданий со свободным развернутым ответом (30 %) для более детального оценивания уровней сформированности иноязычной коммуникативной компетенции обучающихся. Индивидуализация тестовых заданий осуществлялась посредством создания нескольких вариантов контрольной работы.
Анализ статистики LMS Moodle выявил увеличение затрачиваемого на прохождение теста текущего и повторного контроля среднего времени до 15 минут, снижение максимального балла в результатах теста до 94 % и уменьшение
3 Import questions // Moodle Docs. URL: https://docs.moodle.org/401/en/Import_questions (дата обращения: 17.04.2023).
количества студентов, набирающих максимальный балл. В то же время средний балл снизился весьма незначительно — с 74 до 72,6 % — за счет имеющейся у обучающихся возможности пройти тест повторно и улучшить свои показатели. Таким образом, повышение вариативности тестового задания дает больше возможностей в его использовании в качестве инструмента формирующего оценивания.
Заключение
Чат-бот с искусственным интеллектом ChatGPT обладает значительным лингвистическим и дидактическим потенциалом в создании учебных материалов. Возможности ChatGPT позволяют генерировать тематические тексты с заданными параметрами, точно резюмировать информацию, формулировать задания разного уровня сложности на понимание содержания текстов и ауди-оматериалов, создавать учебные материалы по предложенной модели, теме и адаптировать их в соответствии с потребностями преподавателя.
Инструмент ChatGPT полезен как для педагогов, стремящихся получить информацию о качестве обучения, адаптировать уроки, чтобы восполнить имеющиеся пробелы в усвоении материала, так и для поддержки результатов обучения по дисциплине и для того, чтобы развить самостоятельность обучающихся.
Способность ChatGPT генерировать однотипные равноценные вопросы и форматировать полученные задания для последующей интеграции в LMS Moodle позволяет значительно сэкономить время и ресурсы на индивидуализацию тестовых заданий при разработке фонда оценочных средств как в онлайн-формате, так и в составлении большого количества вариантов заданий для текущего, периодического и итогового контроля в аудитории, повысить качество оценивания коммуникативной компетенции обучающихся.
Список источников
1. Полат Е. С. Педагогические технологии дистанционного обучения. М.: Юрайт, 2023. 393 с.
2. Хуторской А. В. Современная дидактика. М.: Юрайт, 2023. 407 с.
3. Искусственный интеллект для учебной аналитики и этапы педагогического проектирования: обзор решений / Е. Другова [и др.] // Вопросы образования. 2022. № 4. С. 107-153.
4. Аванесов В. С. Проблема соединения тестирования с обучением // Народное образование. 2016. № 7/8 (1458). С. 137-140.
5. Аванесов В. С. Форма тестовых заданий. М.: Центр тестирования, 2005. 156 с.
6. Павловская И. Ю., Башмакова Н. И. Основы методологии обучения иностранным языкам: Тестология. СПб.: Филологический факультет СПбГУ, 2007. 194 с.
7. Miller M. David, Linn Robert L., Gronlund Norman E. Measurement and Assessment in Teaching. New Jersey: Pearson, 2009. 551 p.
8. Аванесов В. С. Новые тестовые формы. Можно ли улучшить ЕГЭ? // Народное образование. 2016. № 9-10 (1459). С. 117-128.
9. Artificial Intelligence Trends in Education: A Narrative Overview / M. Chassignol [et al.] // Procedia Computer Science. 2018. Vol. 136. P. 16-24.
10. Kerr Ph. Straightforward Pre-intermediate Level. Student's Book. Macmillan Education, 2012. 160 p.
References
1. Polat Е. S. Pedagogical technologies for distance learning. M.: Urait, 2023. 393 p. (In Russ.).
2. Khutorskoy А. V. Contemporary didactics. M.: Urait, 2023. 407 p. (In Russ.).
3. Artificial Intelligence for Learning Analytics and Instructional Design Steps: An Overview of Solutions / E. Drugova [et al.] // Educational Studies. 2022. № 4. P. 107153. (In Russ.).
4. Avanesov V. S. The problem of connecting testing to learning // Public education. 2016. № 7-8 (1458). P. 137-140. (In Russ.).
5. Avanesov V. S. Form of test tasks. M.: Testing Center, 2005. 156 p. (In Russ.).
6. Pavlovskaya I. Y., Bashmakova N. I. Fundamentals of teaching methodology foreign languages: Testology. SPb.: Faculty of Philology of St. Petersburg State University, 2007. 194 p. (In Russ.).
7. Miller M. David, Linn Robert L., Gronlund Norman E. Measurement and Assessment in Teaching. New Jersey: Pearson, 2009. 551 p. (In English).
8. Avanesov V. S. New test forms. Can the State Exam be improved? // National Education. 2016. № 9-10 (1459). P. 117-128. (In Russ.).
9. Artificial Intelligence Trends in Education: A Narrative Overview / M. Chassignol [et al.] // Procedia Computer Science. 2018. Vol. 136. P. 16-24. (In English).
10. Kerr Ph. Straightforward Pre-intermediate Level. Student's Book. Macmillan Education, 2012. 160 p. (In English).
Статья поступила в редакцию: 13.02.2023; The article was submitted: 13.02.2023;
одобрена после рецензирования: 17.04.2023; approved after reviewing: 17.04.2023; принята к публикации: 27.04.2023. accepted for publication: 27.04.2023.
Информация об авторе/Information about the author:
Плохотнюк Ольга Сергеевна — кандидат филологических наук, доцент, доцент кафедры английской филологии и методики преподавания английского языка, Благовещенский государственный педагогический университет, Благовещенск, Россия.
Olga S. Plokhotnyuk — PhD (Philological Science), Associate Professor, Associate Professor of the Department of English Philology and English Language Teaching Methodology, Blagoveshchensk State Pedagogical University, Blagoveschensk, Russia.
[email protected], https://orcid.org/0009-0003-5167-5534
