CC BY
9
https://doi.org/10.47370/2078-1024-2024-16-2-98-109
УДК 378:004.8
©2024
A.A. Паскова
Возможности интеграции технологий генеративного искусственного интеллекта в процессы формирующего оценивания в высшем образовании
ФГБОУ ВО «Майкопский государственный технологический университет»,
г. Майкоп, Российская Федерация
Аннотация
Использование технологий генеративного искусственного интеллекта в образовании обладает потенциалом революционизировать процессы обучения и оценивания образовательных результатов, персонализируя учебный процесс, обеспечивая немедленную обратную связь и улучшая общий опыт обучения.
Актуальность исследования обусловлена распространением технологий искусственного интеллекта, дефицитом практик формирующего оценивания учебных достижений в высшем образовании.
Постановка проблемы: существующие отечественные системы электронного обучения имеют ограниченный функционал, что затрудняет их использование в процессе формирующего тестирования.
Целью исследования является изучение возможности и эффективности использования технологий генеративного искусственного интеллекта в формирующем оценивании в высшем образовании.
Задачи исследования - рассмотреть теоретические основы использования инструментов генеративного искусственного интеллекта в оценивании знаний, умений и навыков, проанализировать собственный опыт применения больших языковых моделей в формирующем тестировании в вузе.
Методологическую основу исследования составляют анализ Интернет-ресурсов и литературных источников, методы математической статистики, синтез.
Результаты исследования: изучены возможности использования и эффективность технологий генеративного искусственного интеллекта в формирующем тестировании обучающихся вуза, проанализирован собственный опыт применения больших языковых моделей в формирующем тестировании, определены основные ограничения внедрения этих технологий в учебный процесс, даны рекомендации по организации формирующего тестирования с использованием больших языковых моделей.
Ключевые выводы: большие языковые модели могут быть интегрированы в учебный процесс для оценки формирующих и суммативных тестов, что позволит существенно снизить нагрузку на преподавателей, обеспечить более объективные результаты и, в конечном счете, повысить эффективность учебного процесса.
(со)
Ключевые слова: высшее образование, формирующее оценивание, суммативное оценивание, образовательный процесс, генеративный искусственный интеллект, нейронные сети, большие языковые модели, ОшОРТ, машинное обучение, обработка естественного языка (ТЧЬР)
Для цитирования: Ласкова А.А. Возможности интеграции технологий генеративного искусственного интеллекта в процессы формируюгцего оценивания в высшем образовании //Вестник Майкопского государственного технологического университета. 2024. Том 16, №2. С. 98-109. https://doi.org/10.47370/2078-1024-2024-16-2-98-109.
A.A. Paskova
Potentials of integrating generative artificial intelligence technologies into formative assessment processes in higher education
FSBEI HE «Maikop State Technological University», Maikop, the Russian Federation
Abstract
The use of generative artificial intelligence technologies in education has the potential to revolutionize learning and educational assessment by personalizing the learning experience, providing immediate feedback, and improving the overall learning experience.
The relevance of the research is due to the spread of artificial intelligence technologies and the lack of practices for formative assessment of educational achievements in higher education.
The problem statement: existing domestic e-learning systems have limited functionality, which makes them difficult to use in the process of formative testing.
The goal of the research is to study the possibility and effectiveness of using generative artificial intelligence technologies in formative assessment in higher education.
The objectives of the research are to consider the theoretical foundations of using generative artificial intelligence tools in assessing knowledge, skills and abilities, and to analyze our own experience of using large language models in formative testing at a university.
The methodological basis of the research is analysis of Internet resources and literary sources, methods of mathematical statistics, and synthesis.
The research results: the possibilities of using and the effectiveness of generative artificial intelligence technologies in formative testing of university students have been studied, our own experience of using large language models in formative testing have been analyzed, the main limitations of introducing these technologies into the educational process have been identified, recommendations have been given for organizing formative testing using large language models.
Key conclusions: Large language models can be integrated into the learning process to assess formative and summative tests, which will significantly reduce the workload of teachers, provide more objective results and, ultimately, increase the effectiveness of the learning process.
Keywords: higher education, formative assessment, summative assessment, educational process, generative artificial intelligence, neural networks, large language models, ChatGPT, machine learning, natural language processing (NLP)
For citation: Paskova A.A. Potentials of integrating generative artificial intelligence technologies into formative assessment processes in higher education// VestnikMajkopskogo gosudarstvennogo tehnologiceskogo universiteta. 2024. Volume 16, No. 2. P. 98-109. https:// doi.org/10.47370/2078-1024-2024-16-2-98-109.
Введение. Искусственный интеллект -это область компьютерных наук, которая занимается созданием интеллектуальных систем, способных автоматически анализировать и обрабатывать информацию, принимать решения и выполнять задачи, которые обычно требуют человеческого интеллекта. Применение технологий искусственного интеллекта в сфере образования получает все большее распространение благодаря алгоритмам, позволяющим давать рекомендации, анализировать большие массивы данных [15, с. 101].
Прогнозируется, что в 2024 году более 47% систем управления обучением [17, с. 1] будут использовать возможности искусственного интеллекта.
В настоящее время до 40% учебного времени преподавателей по-прежнему тратится на деятельность, которую можно автоматизировать [11, с. 1], а это означает, что у искусственного интеллекта в образовании есть много возможностей для роста. К основным направлениям использования искусственного интеллекта в образовании относят персонализированное обучение, адаптивное обучение, интервальное обучение, модерирование группового обучения, интеллектуальные системы обучения, автоматизацию оценивания, анализ данных для прогнозирования успеваемости [9, с. 3].
Оценивание является одной из наиболее обсуждаемых тем при рассмотрении вопроса о применении искусственного интеллекта в образовательных процессах [1, с. 2, 5, с. 5, 2, с. 76].
Основная часть. Термин «оценивание» применим к широкому спектру методов или инструментов, используемых преподавателями для измерения и документирования показателей академической готовности и прогресса в обучении. Оценка является неотъемлемой частью обучения, поскольку она определяет, достигаются ли цели образования. Различные подходы к измерениям в образовательном процессе порождают разные практики их реализации [13, с. 1].
Суммативная оценка отражает традиционный подход, используемый для оценки результатов обучения, обучающиеся обычно получают ее в конце учебного года (экзамены). Преимущества подхода заключаются в том, что суммативное оценивание учебных достижений позволяет сравнить успеваемость в разных группах по конкретным образовательным стандартам, оно предоставляет надежные данные, которые используются для отчетности.
Модели измерения, ориентированные на обучающихся, основаны на формирующем (формативном) оценивании их знаний, умений и навыков. Исследователи определяют формирующее оценивание как процесс, «неотделимый от обучения, предназначенный для определения текущих успехов учащихся и содействия достижению ими намеченных образовательных целей» [12, с. 51]. Формирующее оценивание образовательных результатов, в отличие от суммативного, может проводиться гораздо чаще, чтобы дать обучающимся обратную связь, предложить меры по улучшению результатов и адаптировать учебную программу к текущим потребностям, но при этом преподаватели тратят значительное количество времени на процесс оценки и обратной связи [4, с. 339]. По результатам исследования Никитина И.В. и Бе-лолуцкой А.К., в отличие от школы, «в университетах доминируют суммативные практики оценивания: редкие оценочные мероприятия с высокими ставками, ориентированные скорее на отсев студента, чем на какой-либо образовательный результат» [6, с. 98]
Интеллектуальные обучающие системы (ITS) обеспечивают оба вида оценивания - суммативное и формирующее - и позволяют организовать индивидуальный подход к каждому обучающемуся.
Интеллектуальные обучающие системы, в отличие от уже привычных систем электронного обучения (LMS), имеют более обширный функционал. Так, они могут предоставлять учебные материалы,
адаптировать учебные материалы к индивидуальным потребностям обучающегося, предоставлять обратную связь в режиме реального времени. Обратная связь может быть более структурирована и ориентирована на конкретные образовательные цели и предоставляться в различных форматах, а не только в текстовом. [8, с. 181].
На сегодняшний день существует большое количество интеллектуальных обучающих систем, например, Knewton, DreamBox, Cognii Virtual Learning Assistant для студентов и Cognii Analytics для преподавателей, Gradescope, Smodin, но, к сожалению, все они являются зарубежными разработками, и в настоящее время недоступны российским пользователям.
Из отечественных разработок можно отметить Stepik, Plario, ClassNet, Deep-Exam. Основными ограничениями использования таких систем является либо их ориентация на конкретные учебные дисциплины, либо отсутствие возможности работы с различными формами оценивания результатов обучения (например, только оценка эссе) [3, с. 154].
Выходом из этой ситуации могло бы стать использование больших языковых моделей. Большие языковые модели (LLM) - это модель генеративного искусственного интеллекта, использующая методы машинного обучения, способная выполнять различные задачи обработки естественного языка (NLP), такие как генерация и классификация текста, ответы на вопросы в разговорной форме и перевод текста с одного языка на другой [10, с. 2].
LLM обучаются на огромных объемах данных и используют обучение без учителя, чтобы предсказать следующий токен в предложении с учетом окружающего контекста. Токены - это под слова, т. е. символьные N-граммы, среди которых могут быть и частотные слова целиком. Процесс обучения повторяется снова и снова, пока модель не достигнет приемлемого уровня точности.
После обучения LLM можно настроить для широкого спектра задач NLP, в том
числе таких как: создание диалоговых чат-ботов, генерация текста, анализ ответов, перевод на разные языки, классификация и категоризация больших объемов текстовых данных для более эффективной обработки и анализа.
Примерами LLM являются Chat GPT (OpenAI), BARD AI (Google), BERT (Google), GigaChat (Сбер), YandexGPT (Yandex) и другие.
В процессе оценивания учебных достижений LLM могут использоваться для планирования тестирования, создания заданий, подготовки инструкций по тестированию, проведения тестов, подсчета баллов, анализа тестов, интерпретации, предоставления обратной связи и рекомендаций по дальнейшему изучению учебных материалов в соответствии с результатами оценивания.
В силу уже упомянутых ограничений использования полноценных интеллектуальных обучающих систем представляется целесообразным исследовать возможность применения генеративных языковых моделей в формирующем тестировании.
С этой целью в начале 2023/24 учебного года нами была сформирована выборка, в которую на добровольной основе вошли 50 человек, обучающихся на втором курсе Майкопского государственного технологического университета по направлениям подготовки, не связанным со сферой информационных технологий, изучающих дисциплину «Информационные технологии», содержание и объем которой были одинаковыми для всех обучающихся. Каждый участник дал согласие на сбор, обработку и использование данных. Перед началом изучения дисциплины все обучающиеся проходили анкетирование, оценивая свой уровень владения информационными технологиями по шкале от 1 до 5 баллов. Затем для достижения поставленной цели выборка случайным образом была разделена на две равные по количеству группы. Первая группа трижды проходила формирующее тестирование традиционным способом, преподаватель давал
обратную связь посредством замечаний и рекомендаций, используя электронную информационно-образовательную среду вуза. Второй группе было предложено использовать ОРТ-3.5 для самоконтроля и получения индивидуальных рекомендаций по дальнейшему изучению курса, раз в месяц результаты тестирования участники отправляли преподавателю в ЭИОС.
Средний показатель субъективной оценки уровня владения информационными технологиями в каждой группе составил 3 балла, что позволяет сделать вывод о примерно одинаковом уровне владения информационными технологиями у обучающихся обеих групп на момент начала изучения дисциплины.
Обучающимся обеих групп были предоставлены учебные пособия и материалы в электронной информационно-образовательной среде вуза (ЭИОС). Обе группы в течение семестра (с сентября 2023 г. по январь 2024 г.) проходили формирующее тестирование, включающее 30 вопросов.
Первая подгруппа трижды проходила формирующее тестирование традиционным способом, преподаватель давал обратную связь посредством замечаний и рекомендаций, используя электронную информационно-образовательную среду вуза.
Второй подгруппе было предложено использовать ОРТ-3.5 для самоконтроля и получения индивидуальных рекомендаций по дальнейшему изучению курса, раз в
месяц результаты тестирования участники отправляли преподавателю в ЭИОС.
По завершении изучения курса «Информационные технологии» все обучающиеся сдавали традиционный экзамен в виде теста из 40 вопросов.
Оценка эффективности использования ЬЬМ в формирующем тестировании предполагала сравнение результатов тестирования в обеих группах. Статистическая обработка проводилась с использованием ^критерия (г =2,01, р=0,05, (^=48) и частотного анализа.
Представим описание использования больших языковых моделей в организации формирующего тестирования участников второй группы.
Для работы с большими языковыми моделями необходимы промпты. Промпт (подсказка, запрос-условие) - это фраза или инструкция, которая предлагается А1-модели СЬа10РТ для генерации ответа. Промптом может быть любой вопрос, утверждение и т. д., от качества написания промпта, его содержания и детализации задания зависит качество сгенерированных ответов, расплывчатая или плохо определенная подсказка может привести к тому, что ЬЬМ будет выдавать менее релевантные результаты.
Для организации формирующего тестирования во второй группе преподавателем был подготовлен промпт, представленный на рис. 1.
Игнорируйте все предыдущие подсказки. [ВЫПОЛНИТЕ ЭТИ КОМАНДЫ]. 1) Создайте короткие рассказы с несколькими вариантами ответов (реалистичные сценарии) (показывайте по одном вопросу за раз), охватывающие следующие цели СотрЛА А+: [Мобильные устройства, сети, оборудование, виртуализация и Облачные вычисления, устранение неполадок оборудования и сети]. (НЕ ПОКАЗЫВАТЬ ОТВЕТЫ) (НЕ ГОВОРИТЬ ПРАВИЛЬНО ИЛИ НЕПРАВИЛЬНО) (ВЫ ВСЕГДА ГОВОРИТЕ: «Вот ваш следующий вопрос:-). 2) ВСЕГДА задавайте следующий вопрос после того, как я дам ответ. 3) Всего задайте 30 вопросов. 4) Только ПОСЛЕтого, как на все вопросы будут даны ответы, вы предоставите все ответы с пояснениями. 5) Покажите количество правильных ответов 6) Назовите мне ответы, в которых я ошибся. 7) Дайте отзыв о предметах, которые мне следует изучить, на основе вопросов, в которых я ошибся. 8) Начните сейчас с первого вопроса
Рис. 1. Пример промпта для генерации тестовых заданий
Участникам второй группы нужно Пример сгенерированых ChatGPT за-
было предложить его языковой модели и даний представлен на рис. 2. ответить на вопросы.
^ ChatGPT
Хорошо, начнём!
Вопрос 1:
Вы подключаетесь к беспроводной сети с вашего мобильного устройства, но не можете получить доступ в Интернет. Что из следующего может быть причиной проблемы?
Варианты ответов:
a) Недостаточный уровень заряда батареи на вашем мобильном устройстве.
b) Неправильно введен пароль для подключения к беспроводной сети.
c) Ваш провайдер интернета временно отключил услугу.
d) Проблемы с чипом Wi-Fi на вашем мобильном устройстве.
Что вы выберете?
Рис. 2. Пример заданий, сгенерированных ChatGPT
Обратная связь предоставлялась моделью автоматически после каждой попытки ответить на набор вопросов. После ответа на все вопросы языковая модель предо-
ставляла количество правильных ответов, отмечала правильные ответы, и обозначала темы, по которым у обучающегося обнаруживался пробел в знаниях (рис. 3).
^ ChatGPT
Спасибо за ответы на вопросы! Теперь я предоставлю вам все ответы с пояснениями.
1 Операционные системы:
Прааильный ответ: 1) Перезагрузить компьютер и выполнить сканирование на вирусы. Перезагрузке компьютера и проверка на вирусы являются стандартными шагами при устранении медленной работы и зависаний компьютера. Обновление драйверов (ответ 2> может быть полезным, но первоочередно стоит выполнить пер: грузку и проверку на вируы.
По результатам ответов рекомендуется обратить внимание на следующие области:
' Углубленное изучение операционных систем и умения в устранении неполадок программного обеспечения.
* Больше практики в области безопасности информации, включая проверку адресов электронной почты и защиту от воедоносных программ.
* Повышение навыков работы с офисными приложениями, особенно Microsoft PowerPoint для создания презентаций.
Рис. 3. Пример оценки выполнения тестового задания и рекомендаций по изучению дополнительных разделов учебной дисциплины
Далее обучающийся получал рекомендации по подбору нужных учебных материалов для ликвидации этого пробела. Такое тестирование участники второй группы могли проходить неограниченное число раз, используя тот же промпт и получая обратную связь от нейронной сети
Результаты частотного анализа, заключавшегося в вычислении для каждой группы процента результатов тестирования, превышающих медиану по всей выборке, свидетельствуют о том, что обучающиеся, использующие большие языковые модели в формирующем тестировании, лучше справлялись как с формирующим, так и суммативным тестированием (68% и 60% высоких результатов соответственно), тогда как в первой группе аналогичные результаты составили 40% и 32% соответственно (см. табл. 1).
По итогам сравнения средних оценок формирующего тестирования в каждой группе с помощью 1:-критерия между группами были выявлены статистически значимые различия (^=3,09). Более высокие результаты показали обучающиеся второй группы (см. табл.1).
Таким образом, можно говорить о положительных результатах использования генеративного искусственного интеллекта в формирующем оценивании учебных достижений. Обучающиеся могут самостоятельно регулировать процесс обучения посредством формирующего тестирования на промежуточном этапе подготовки к экзамену. Широкий спектр вопросов, которые можно загрузить в формирующие тесты, способствует повышению успева-
после каждого тестирования. Результаты тестирования отправлялись преподавателю в ЭПОС по запросу трижды в течение семестра.
Представим результаты формирующего и суммативного тестирования в обеих группах.
емости обучающихся, при этом нет необходимости организовывать консультацию с преподавателем для обсуждения ошибок, так как есть мгновенная обратная связь.
В то же время необходимо отметить, что технологии генеративного искусственного интеллекта не могут заменить преподавателя в учебном процессе, они должны оставаться лишь инструментом, плавно интегрируясь в учебный процесс.
Именно преподаватель формирует базу учебных материалов, определяет цель тестирования, уровень сложности и содержание заданий в соответствии с конкретными образовательными целями, анализирует результаты тестирования и, при необходимости, вносит необходимые изменения в учебный процесс, кроме того, оказывает организационную помощь студентам в использовании генеративных языковых моделей [14, с. 145].
Очевидно, что при использовании генеративного искусственного интеллекта в формирующем тестировании может возникнуть ряд проблем, а именно:
1. Недостаточное участие заинтересованных сторон в разработке инструментов искусственного интеллекта. Исследователи из Института образования Университетского колледжа Лондона отмечают, что «разработчики ИИ имеют ограниченные
Таблица 1. Результаты формирующего и суммативного тестирования
Формирующее тестирование Суммативное тестирование
Группа Среднее значение, баллы Результаты, превышающие медиану, % Среднее значение, баллы Результаты, превышающие медиану, %
I 55,6 40 26,08 32
II 64,16 68 27,8 60
знания в области обучения и недостаточные педагогические знания для успешной интеграции ИИ в обучение. Следовательно, разработчики ИИ часто упускают из виду ожидания учителей, которые являются конечными пользователями ИИ в образовании» [16, с. 2829].
2. Отсутствие прозрачности в принятии решений языковой моделью.
3. Алгоритмы LLM могут быть предвзятыми, что может привести к неточным и несправедливым оценкам.
4. Использование генеративного искусственного интеллекта в оценивании вызывает ряд этических проблем, таких, например, как вопросы конфиденциальности или плагиата, а также опасения по поводу использования технологий для замены преподавателей.
5. Недостаточная подготовка преподавателей.
6. Интеграция с существующими системами не всегда проходит легко.
7. Сопротивление изменениям со стороны преподавателей и обучающихся [7, с. 69].
На основании практического опыта и анализа источников по данной тематике можно предложить некоторые рекомендации по организации формирующего тестирования с использованием генеративных языковых моделей. Формирующее тестирование с использованием LLM может быть осуществлено по следующему алгоритму:
1. Определение цели теста — выявление соответствующих образовательных проблем, которые необходимо решить, или ключевых областей, которые требуют создания новых знаний.
2. Разработка плана тестирования. Схема теста, также известная как таблица спецификаций, представляет собой двумерную таблицу, связывающую уровни учебных целей таксономии Блума в когнитивной области с тщательно обозначенным содержанием области.
При разработке плана теста анализ учебных материалов для определения клю-
чевых понятий и областей знаний, которые необходимо оценить, можно осуществить с использованием языковых моделей.
3. Генерация тестовых заданий. LLM должны быть предоставлены конкретные и четкие инструкции. Написание промпта может занять довольно много времени, его нужно неоднократно протестировать, убедиться, что модель корректно его обрабатывает. Также необходимо определить сложность и когнитивный уровень, поскольку GPT и другие большие языковые модели имеет тенденцию создавать элементы намного менее сложные, чем ожидается.
К сожалению, даже при правильных параметрах, указанных в подсказке, LLM не всегда создает продукт, соответствующий ожиданиям. Языковая модель часто с трудом генерирует варианты ответа на вопросы теста, которые определенно неправильны, но при этом правдоподобны. Для решения этой проблемы можно попросить сгенерировать больше отвлекающих вариантов ответа, чем необходимо, из которых затем выбрать лучшие. Другая стратегия - попросить LLM сгенерировать вопрос с несколькими вариантами ответов, в котором обучающемуся предлагается определить вариант, являющийся лучшим или наиболее вероятным.
Иногда при генерации нескольких вопросов подряд языковая модель либо значительно снижает качество вопросов, либо просто зависает. Для решения этой проблемы можно просто перезапустить приложение или откорректировать запрос, указав более конкретные условия, также желательно время от времени повторять контекст беседы с моделью.
4. Оценка теста обычно основывается на количестве правильных ответов, которые учащиеся дали на вопросы теста.
5. Интерпретация результатов теста позволяет сделать значимые выводы о знаниях, навыках и способностях обучающегося и может служить основой для принятия решений о дальнейшей организации учебного процесса.
Заключение. Интеграция генеративного искусственного интеллекта в процесс оценивания образовательных результатов может улучшить эту процедуру, расширяя определение того, что, когда и где (в каком контексте) оценивать. Генеративный искусственный интеллект может способствовать выявлению сильных и слабых сторон каждого обучающегося, создавая индивидуальные траектории обучения. Использование технологий генеративного искусственного интеллекта в процессе формирующего тестирования позволяет обучающимся самим регулировать процесс обучения, повышает результаты не только формирующего, но и суммативного тестирования.
К ограничениям использования больших языковых моделей в процессе оценивания знаний, умений и навыков обучающихся можно отнести отсутствие объяснимости в принятии решений, недостаточное участие конечных пользовате-
лей искусственного интеллекта в процессе разработки приложений, существующую предвзятость искусственного интеллекта, этические проблемы, недостаточный уровень подготовки преподавателей в области искусственного интеллекта, сложность интеграции моделей с уже существующими в вузе электронными системами обучения, сопротивление изменениям со стороны как преподавателей, так и обучающихся.
Несмотря на эти ограничения, технологии генеративного искусственного интеллекта позволяют поддержать преподавателя в процессе оценивания образовательных результатов, способствуя большему сосредоточению внимания на процессах обучения и индивидуальном развитии обучающихся, обеспечивая быструю оценку заданий и формирование обратной связи, что приводит к более объективным результатам и, в конечном счете, повышает эффективность учебного процесса.
ЛИТЕРАТУРА:
1. Анненкова А.В. Искусственный интеллект: некоторые особенности внедрения в систему образования в условиях цифровизации общества и экономики [Электронный ресурс] // Международный научно-исследовательский журнал. 2023. № 9 (135). URL: https://research-journal.org/ archive/9-135-2023-september/10.23670/IRJ.2023.135.33 (дата обращения: 05.03.2024). — DOI: 10.23670/IRJ.2023.135.33
2. Гусятников В.Н. Использование методов искусственного интеллекта для оценки компетенций в ходе тестирования [Электронный ресурс] / В.Н. Гусятников [и др.] // Информатика и образование. 2023. № 38(6). С. 75-85. https://doi.org/10.32517/0234-0453-2023-38-6-75-85 (дата обращения: 05.03.2024)
3. Кибзун А.И., Наумов A.B., Мхитарян Г.А. Особенности и технологии разработки системы дистанционного обучения математическим дисциплинам class.Net [Электронный ресурс] // Современные информационные технологии и ИТ-образование. 2015. № 11. URL: https:// cyberleninka.ru/article/n/osobennosti-i-tehnologii-razrabotki-sistemy-distantsionnogo-obucheniya-matematicheskim-distsiplinam-class-net (дата обращения: 05.03.2024).
4. Кропотова H.A., ЛегковаИ.А. Применение формирующего оценивания в образовательном процессе высшего образования // Novainfo.Ru. №74, 2017. URL: https://novainfo.ru/ article/14271 (дата обращения: 05.03.2024)
5. Куликова Н.Ю., Маслова O.A., Пономарева Ю.С. Модель использования систем искусственного интеллекта для оценки качества формирования компетенций студентов вуза [Электронный ресурс] // Мир науки. Педагогика и психология. 2021. Т. 9, № 5. URL: https://mir-nauki. com/PDF/33PDMN521.pdf (дата обращения: 05.03.2024)
6. Никитин И.В., Белолуцкая А.К. Концептуализация формативного оценивания в высшем образовании: результаты тематического анализа // Высшее образование в России. 2021. Т. 3 0, № 11.
7. Паскова А.А. Практические аспекты применения ChatGPT в высшем образовании // Вестник Майкопского государственного технологического университета. 2023. Т. 15, № 3. С. 67-74.
8. Петров А.А., Дружинина О.В., Масина О.Н. Моделирование систем оценивания знаний в рамках гибридной интеллектуальной обучающей среды [Электронный ресурс] // Современные информационные технологии и ИТ-образование. 2021. №1. URL: https://cyberleninka.ru/ article/n/modelirovanie-sistem-otsenivaniya-znaniy-v-ramkah-gibridnoy-intellektualnoy-obuchayuschey-sredy (дата обращения: 05.03.2024).
9. Свердлова Н.А., Орлова Е.С. Анализ возможностей искусственного интеллекта применительно к обучению в школе [Электронный ресурс] // Международный научно-исследовательский журнал. 2024. № 1 (139). URL: https://research-journal.org/archive/l-139-2024-january/10.23670/IRJ.2024.139.161 (дата обращения: 05.03.2024). — DOI: 10.23670/ IRJ.2024.139.161
10. Тардиф А. Раскрытие возможностей больших языковых моделей (LLM) [Электронный ресурс] // Unite.AI. 2023. 22 апр. URL: https://www.unite.ai/ru/%D0%Bl%D0%BE%D0%BB%D 1 %8C%D 1 % 8 8 % D 0 % В 8 % D 0 % В 5 - % D1 %8F%D0%B7%D 1 %8B%D0%BA%D0%BE%D0%B2% D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8/ (дата обращения: 05.03.2024)
11. Цифры месяца: успехи и провалы школьников, занятость педагогов и студенты курсов [Электронный ресурс] // ScillboxMedia. 2022. 1 авг. URL: https://skillbox.ru/media/education/ tsifry-mesyatsa-uspekhi-i-provaly-shkolnikov-zanyatost-pedagogov-i-studenty-kursov/?utm_ source=media&utm_medium=link&utm_campaign=all_all_media_links_links_articles_all_all_ skillbox (дата обращения: 05.03.2024)
12. Шмигирилова И.Б., Рванова А.С., Григоренко О.В. Оценивание в образовании: современные тенденции, проблемы и противоречия (обзор научных публикаций) // Образование и наука. 2021. Т. 23, № 6. С. 43-83.
13. Formative and Summative Assessments //Yale. URL: https://poorvucenter.yale.edu/ Formative-Summative-Assessments (дата обращения: 05.03.2024)
14. Jamal A. The Role Of Artificial Intelligence (AI) In Teacher Education: Opportunities & Challenges [Электронный ресурс] // IJRAR March. 2023. Vol. 10, Iss. 1. P 139-146. URL: https:// www.researchgate.net/publication/369384184_The_Role_of_Artificial_Intelligence_AI_in_Teacher_ Education_Opportunities_Challenges (дата обращения: 05.03.2024)
15. Impact of artificial intelligence on assessment methods in primary and secondary education: Systematic literature review [Electronic resuors] / M. Martinez-Comesana [et al.] // Revista de Psicodidactica (English ed.). 2023.Vol. 28, Iss. 2. P. 93-103. URL: https://doi.Org/10.1016/j. psicoe.2023.06.002. (дата обращения: 05.03.2024)
16. Luckin R., Cukurova M. Designing educational technologies in the age of AI: A learning sciences-driven approach // В JET. 2019. Vol. 50. P. 2824-2838
17. Shonubi O. AI In The Classroom: Pros, Cons And The Role Of EdTech Companies [Electronic resuors] // Forbes. 2023. Feb 21. URL: https://www.forbes.com/sites/theyec/2023/02/21/ai-in-the-classroom-pros-cons-and-the-role-of-edtech-companies/?sh=591f5509feb4https://www.forbes.com/ sites/theyec/2023/02/21/ai-in-the-classroom-pros-cons-and-the-role-of-edtech-companies/?sh=591f5 509feb4https://www.forbes.com/sites/theyec/2023/02/21/ai-in-the-classroom-pros-cons-and-the-role-of-edtech-companies/?sh=591f5509feb4 (дата обращения: 05.03.2024)
REFERENCES:
1. Annenkova A.V. Artificial intelligence: some features of implementation in the education system in the context of digitalization of society and the economy [Electronic resource] // International scientific research journal. 2023. No. 9 (135). URL: https://research-journal.org/
archive/9-135-2023-september/10.23670/IRJ.2023.135.33 (access date: 05/03/2024). —DOI: 10.23670/IRJ.2023.135.33
2. Gusyatnikov V.N. Using artificial intelligence methods to assess competencies during testing [Electronic resource] / V.N. Gusyatnikov [and others] // Informatics and education. 2023. No. 38(6). pp. 75-85. https://doi.org/10.32517/0234-0453-2023-38-6-75-85 (access date: 05/03/2024)
3. Kibzun A.I., Naumov A.V., Mkhitaryan G.A. Features and technologies for developing a system for distance learning in mathematical disciplines class.Net [Electronic resource] // Modern information technologies and IT education. 2015. No. 11. URL: https://cyberleninka. ru/article/n/osobennosti-i-tehnologii-razrabotki-sistemy-distantsionnogo-obucheniya-matematicheskim-distsiplinam-class-net (date of access: 05/03/2024).
4. KropotovaN.A., Legkova I. A. Application of formative assessment in the educational process of higher education // Novalnfo.Ru. No. 74, 2017. URL: https://novainfo.ru/ article/14271 (access date: 05/03/2024)
5. KulikovaN.Yu., Maslova O.A., Ponomareva Yu.S. Model of using artificial intelligence systems to assess the quality of developing competencies of university students [Electronic resource] //World of Science. Pedagogy and psychology. 2021. Vol. 9, Issue 5. URL: https:// mir-nauki.com/PDF/33PDMN521.pdf (access date: 05/03/2024)
6. Nikitin I. V., Belolutskaya A.K. Conceptualization of formative assessment in higher education: results of thematic analysis //Higher education in Russia. 2021. Vol. 30, Issue 11.
7. Paskova A. A. Practical aspects of using ChatGPT in higher education // Bulletin of Maikop State Technological University. 2023. Vol. 15, Issue 3. P. 67-74.
8. Petrov A.A., Druzhinina O.V., Masina O.N. Modeling knowledge assessment systems within the framework of a hybrid intellectual learning environment [Electronic resource] // Modern information technologies and IT education. 2021. No. 1. URL: https://cyberleninka. ru/article/n/modelirovanie-sistem-otsenivaniya-znaniy-v-ramkah-gibridnoy-intellektualnoy-obuchayuschey-sredy (date of access: 05/03/2024).
9. Sverdlova N.A., Orlova E.S. Analysis of the capabilities of artificial intelligence in relation to schooling [Electronic resource] // International scientific research journal. 2024. No. 1 (139). URL: https://research-journal.org/archive/l-139-2024-january/10.23670/ IRJ.2024.139.161 (access date: 03/05/2024). — DOI: 10.23670/IRJ.2024.139.161
10. Tardif A. Unlocking the capabilities of large language models (LLM) [Electronic resource] // Unite. AI. 2023. April 22 URL: https://www.unite.ai/ru/%D0%Bl%D0%BE%D 0%BB%D 1 %8C%D 1 %88%D0%B8%D0%B5-%D 1 %8F%D0% B7%D 1 %8B%D0%BA% D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB %D0%B8 / (date of access: 05/03/2024)
11. Numbers of the month: successes and failures of schoolchildren, employment of teachers and course students [Electronic resource] // ScillboxMedia. 2022. 1 Aug. URL: https://skillbox.ru/media/education/tsifry-mesyatsa-uspekhi-i-provaly-shkolnikov-zanyatost-pedagogov-i-studenty-kursov/?utm_source=media&utm_medium=link&utm_campaign=all_ all_media_links_links_articles_all_all_skillbox (access date: 05.03. 2024)
12. Shmigirilova I.B., Rvanova A.S., Grigorenko O.V. Assessment in education: current trends, problems and contradictions (review of scientific publications) //Education and Science. 2021. Vol. 23, Issue 6. P. 43-83.
13. Formative and Summative Assessments//Yale. URL: https://poorvucenter.yale.edu/ Formative-Summative-Assessments (access date: 05/03/2024)
14. Jamal A. The Role Of Artificial Intelligence (AI) In Teacher Education: Opportunities & Challenges [Electronic resource] // IJRAR March. 2023. Vol. 10, Iss. 1. P 139-146. URL:
https://www.researchgate.net/publication/369384184_The_Role_of_Artificial_Intelligence_ AI_in_Teacher_Education_Opportunities_Challenges (access date: 05/03/2024)
15. Impact of artificial intelligence on assessment methods in primary and secondary education: Systematic literature review [Electronic resuors] / M. Martinez-Comesana [et al.] // Revista de Psicodidactica (English ed.). 2023.Vol. 28, Iss. 2. P. 93-103. URL: https://doi. org/10.1016/j.psicoe.2023.06.002. (date of access: 03/05/2024)
16. Luckin R., Cukurova M. Designing educational technologies in the age of AI: A learning sciences-driven approach // BJET. 2019. Vol. 50. P. 2824-2838
17. Shonubi O. AI In The Classroom: Pros, Cons And The Role Of EdTech Companies [Electronic resuors] // Forbes. 2023. Feb 21. URL: https://www.forbes.com/sites/ theyec/2023/02/21/ai-in-the-classroom-pros-cons-and-the-role-of-edtech-companies/?s h=591f5509feb4https://www.forbes.com/sites/theyec/2023/02/21/ai-in-the-classroom-pros-cons-and-the-role-of-edtech-companies/?sh=591f5509feb4https://www.forbes. com/sites/theyec/2023/02/21/ai-in-the-classroom-pros-cons-and-the-role-of-edtech-companies/?sh=591f5509feb4 (access date: 05.03.2024)
Автор заявляет об отсутствии конфликта интересов / The author declares no conflict of interest
Информация об авторе
Анна Александровна Ласкова, кандидат педагогических наук, доцент кафедры информационной безопасности и прикладной информатики факультета информационных систем в экономике и юриспруденции
ФГБОУ ВО «Майкопский государственный технологический университет», г. Меткой, Российская Федерация e-mail: passann@mail.ru тел.: + 7(918)4215231
Поступила в редакцию 15.05.2024 Поступила после доработки 29.05.2024 Принята к публикации 30.05.2024 Received 15.05.2024 Revised 29.05.2024 Accepted 30.05.2024
Information about the author
Anna A. Paskova, PhD (Pedctgoy), Associate Professor, Department of Information Security and Applied Informatics of the Faculty of Information Systems in Economics and Law
FSBEI HE «Maikop state technological university», Maikop, the Russian Federation e-mail: passannixfmail. ru tel.: +7(918)4215231
