CC BY
70
References
1. Shanmugasundaram M., Tamilarasu A. The impact of digital technology, social media, and artificial intelligence on cognitive functions: a review. Front. Cognit, 2023.
2. UNESCO. Ministerial round table on generative AI in education. 2023. Available at: https://www.unesco.org/en/articles/ministerial-roundtable-generative-ai-education
3. Edmett A., Ichaporia N., Crompton H., Crichton R. Artificial intelligence and English language teaching: Preparing for the future. British Council, 2023. Available at: https://doi. org/10.57884/78EA-3C69
4. Holms U., Byalik M., Fejdel Ch. Iskusstvennyjintellekt v obrazovanii. Perspektivy iproblemy dlya prepodavaniya i obucheniya. Moskva: PRO, 2022.
5. Aurelie J. A brief history of artificial intelligence. M S-medecine Sciences. 2020; № 36 (11): 1059 -1067.
6. Sejnovski T. Antologiya mashinnogo obucheniya. Vazhnejshie issledovaniya v oblasti II za poslednie 60 let. Perevod s anglijskogo A.V. Pankratova. Moskva: Dom intellektual'noj knigi, 2018.
7. Lekun Ya. Kak uchitsya mashina. Revolyuciya v oblasti nejronnyh setej i glubokogo obucheniya. Perevod s anglijskogo A. Shirokova. Moskva: Al'pina Pablisher, 2021.
8. Communication from the Commission to the European Parliament, the Council, the European Economic and Social Committee and the Committee of the Regions on the Digital Education Action Plan (COM). 2018. Available at: https://eur-lex.europa.eu/legalcontent/EN/TXT/?uri=C0M%3A2018%3A22%3AFIN
9. Muralidhar K., Mujeeb Shaik M., Srinivasa K.G. A Beginner's Guide to Introduce Artificial Intelligence in Teaching and Learning. Springer, 2023.
10. Agal'cova D.V., Val'kova Yu.E. Tehnologii iskusstvennogo intellekta dlya prepodavatelya vuza. Mirnauki, kul'tury, obrazovaniya. 2023; № 2 (99): 5-7.
11. Evdokimova M.G., Agamaliev R.T. Lingvodidakticheskij potencial sistem iskusstvennogo intellekta. 'Ekonomicheskie isocial'no-gumanitarnye issledovaniya. 2023; № 2 (38): 173-191.
12. Koval'chuk S.V., Taranenko I.A., Ustinova M.B. Primenenie iskusstvennogo intellekta dlya obucheniya inostrannomu yazyku v vuze. Sovremennye problemy nauki i obrazovaniya. 2023; № 6: 1.
13. ICT.Moscow - otkrytaya ploschadka o cifrovyh tehnologiyah v Moskve. Oficial'nyj portal. Available at: https://ict.moscow/research/opros-o-primenenii-iskusstvennogo-intellekta-uchashchimisia-vuzov/
14. Konsul'tantPlyus: Studentu i prepodavatelyu. Oficial'nyj portal. Availble at: https://www.consultant.ru/edu/news/interview/obuchenie_po_yuridicheskim_i_economicheskim_ specialnostyam/yuridicheskoe_obrazovanie/obuchenie_neiroseti/
Статья поступила в редакцию 03.06.24
УДК 378
Osipenko L.E., Doctor of Sciences (Pedagogy), Professor, Department of Pedagogy, Institute of Pedagogy and Psychology of Education, Moscow City Teacher Training University, Moscow City Pedagogical University (Moscow, Russia), E-mail: [email protected] Korotkov A.V., postgraduate, Department of Pedagogy, Institute of Pedagogy and Psychology of Education, Moscow City Teacher Training University, Moscow City Pedagogical University (Moscow, Russia), E-mail: [email protected]
TEXT GENERATIVE NEURAL NETWORKS IN STUDENTS' RESEARCH ACTIVITIES. The emergence of text generative neural networks has demonstrated to students fundamentally new resources for preparing essays, term papers, and even graduate qualification papers. Artificial intelligence (AI) as an alternative to the challenging, painstaking analysis of books, scholarly articles has significantly increased both the opportunities and risks of the use of text-based generative neural networks by students for their research activities. Strong arguments have justified, with certain limitations, allowing students to use artificially generated text in research activities. However, this bold managerial decision has actualized the search for reliable and effective ways to detect Al-generated text. The article presents the results of comparative analysis of ten texts generated by Gemini, Claude and Perplexity neural networks, reflecting the contribution to science of great educators (J. Comenius, K. Ushinsky, A. Makarenko, L. Vygotsky, etc.), as well as the results of detection of these texts by Anti-Plagiarism and Scribbr systems. Scientifically substantiated recommendations for university teachers to improve the quality of evaluation of student research papers containing artificially generated text are formulated.
Key words: artificial intelligence, generative neural networks, large language models, generated text, prompt, anti-plagiarism, student research activity, graduate qualification work, AI-diploma
Л.Е. Осипенко, д-р пед. наук, проф., Департамент педагогики Института педагогики и психологии образования Московского городского педагогического университета, г. Москва, E-mail: [email protected]
А.В. Короткое, соискатель, Департамент педагогики Института педагогики и психологии образования Московского городского педагогического университета, г. Москва, E-mail: [email protected]
ТЕКСТОВЫЕ ГЕНЕРАТИВНЫЕ НЕЙРОСЕТИ В ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ
Появление текстовых генеративных нейросетей продемонстрировало обучающимся принципиально новые ресурсы для подготовки эссе, курсовых и даже выпускных квалификационных работ Искусственный интеллект (ИИ) как альтернатива непростому, кропотливому анализу книг, научных статей существенно увеличил как возможности, так и риски использования студентами текстовых генеративных нейросетей в исследовательской деятельности. Веские доводы обосновали с определенными ограничениями разрешить студентам использовать искусственно сгенерированный текст в исследовательской деятельности. Однако это смелое управленческое решение актуализировало поиск достоверных и эффективных способов детектирования сгенерированного ИИ текста. В статье приведены результаты сравнительного анализа сгенерированных нейросетями Gemini, Claude и Perplexity десяти текстов, отражающих вклад в науку великих педагогов (Я.А. Коменского, К.Д. Ушинского, А.С. Макаренко Л.С. Выготского и др.), а также результаты детектирования этих текстов системами Антиплагиат и Scribbr. Сформулированы научно обоснованные рекомендации преподавателям вузов по повышению качества оценивания студенческих исследовательских работ, содержащих искусственно сгенерированный текст.
Ключевые слова: искусственный интеллект, генеративные нейронные сети, большие языковые модели, сгенерированный текст, промт, антиплагиат, исследовательская деятельность студентов, выпускная квалификационная работа, ИИ-диплом
Начавшееся несколько лет назад активное внедрение искусственного интеллекта (далее - ИИ) в различные сферы человеческой деятельности из хайпа все рельефнее приобретает статус динамично развивающегося тренда, подкрепленного законодательными актами. Так, в 2019 году в России утверждена и реализуется Национальная стратегия развития искусственного интеллекта [1]. Её частью является ныне действующий федеральный проект «Искусственный интеллект», предусматривающий финансирование на сумму более 30 млрд руб.
Возможности и проблемы использования ИИ поднимаются и в педагогике. Жаркие дебаты о целесообразности переноса интеллектуальных цифровых инноваций и влияния «умных машин» на такие традиционно антропоцентрические концепции, как восприятие, мышление, логика, творчество человека, представлены в работах Эндрю Берджесса, Пола Доэрти и Джеймса Уилсона, Роберта Монарха [2] и др.
Так, Э. Берджесс выделяет 8 основных функций ИИ. Это распознавание и понимание речи (РПР), поиск, кластеризация, оптимизация, прогнозирование и адаптация [3]. При этом автор подчеркивает, что «именно объединение отдель-
ных функций является главным ключом к извлечению максимальной выгоды из возможностей ИИ».
Этот тезис развивают П. Доэрти и Дж. Уилсон в своем труде «Человек + машина: новые принципы работы в эпоху ИИ». Авторы не только предлагают гибридные варианты взаимодействия, среди которых обучение, разъяснение, обеспечение устойчивости, а также расширение возможностей человека через взаимодействие и физическое воплощение [4].
С. Пейдж предлагает использовать разнообразные ансамбли логических структур, исследовательские конструкции, помогающие с позиции «многомодельного мышления» спрогнозировать коллективные действия, математически обосновать наиболее эффективные варианты кооперации и др. [5].
Эти авторы отнюдь не одиноки в своих попытках осмыслить потенциал ИИ для современного образования. Причины столь пристального интереса понятны и исторически обусловлены. Как некогда автоматизация и роботизация в значительной степени облегчили ручной труд, так и ИИ обещает снизить количество монотонной рутины, освободив преподавателю время для творчества.
Например, ИИ уже открыл принципиально новые возможности по более точному построению индивидуальных образовательных траекторий на основе обработки больших объёмов данных об успеваемости обучающихся; автоматизированной генерации визуального оформления учебных материалов и текстового наполнения для тестов и заданий. Так, Д. Хамам рассматривает текстовые нейросети как нового ассистента преподавателя [6].
На основе ИИ разработаны рекомендательные сервисы, предлагающие обучающимся дополнительные учебные материалы на основе их индивидуальных познавательных интересов [7].
Под воздействием ИИ существенно изменяются и формы контроля знаний обучающихся. Кроме онлайн-прокторинга, позволяющего при помощи веб-камеры отслеживать перед монитором присутствие и направление внимания экзаменуемого, появились технологические возможности для автоматической генерации содержания эссе, рефератов с использованием генеративных нейросетей, способных по конкретному запросу создавать достаточно осмысленные тексты
Актуальность исследования обусловлена тенденцией, возникшей в начале 2023 года, когда совершенно по-особенному «зазвучала» тема искусственно сгенерированного текста, совпав с заявлением выпускника одного из российских вузов об успешной защите диплома, написанного при помощи ИИ. Такого рода «открытие» возможностей генеративных нейросетей, с одной стороны, продемонстрировало обучающимся практически безграничные ресурсы для подготовки эссе, курсовых и даже выпускных квалификационных работ, с другой - актуализировало у преподавателей вполне обоснованные вопросы. Например, как в целом реагировать на наличие в работах обучающихся искусственно сгенерированного текста? Как определять авторский вклад самого обучающегося в предоставленной им исследовательской работе? Эти вопросы остаются актуальными и на сегодняшний день, поскольку однозначных ответов у научного сообщества нет
Поиск ответов на эти отнюдь непростые вопросы определил цель и логику содержания этой публикации. Многогранность обозначенной темы потребовала не только специфичных для педагогики знаний, поэтому нечастое, но важное для данной публикации сочетание педагогического и технического образования у авторов статьи позволило, на наш взгляд, совместить свойственное для педагогики «выразительное и говорящее бытие» [8] с ясностью и детализацией информатики, логически объединив исходные положения и результаты причинно-следственными связями, подкрепленными детальными аналитическими выкладками.
В отличие от исследовательского, основой для машинного обучения текстовых нейросетей становятся тексты из Интернета. Благодаря своему огромному объёму, технической доступности и совершенно мизерной стоимости обучение нейросетей проводится именно на них. В настоящее время ChatGPT, Claude и другие используют свои поисковые роботы, позволяющие обходить сайты и скачивать новые тексты для последующего обучения на них. Собственные текстовые генеративные нейросети или чат-боты есть и у поисковых систем: Gemini (ранее Bard) у Google и YandexGPT у Яндекс.
Текстовые генеративные нейросети могут выполнять различные функции: от чат-ботов как персональных помощников, до создания быстрых ответов в поисковых системах на запрос вместо традиционной выдачи списка сайтов [10]. В контексте заявленной темы статьи предметом количественного и качественного анализа стали различные виды исследовательских работ: научные доклады, статьи, рефераты, созданные нейросетями по запросам студентов.
Как отмечалось выше, в 2023 году вузы были вынуждены отреагировать на вызов «ИИ-диплом» и определиться со своей официальной позицией по вопросу использования сгенерированных нейросетью текстов в процессе обучения. Так, Северный (Арктический) федеральный университет имени М.В. Ломоносова разрешил использовать нейросети для написания диплома, но с определенными ограничениями. В частности, «авторство» нейросети не должно превышать 40% от общего объёма текста [11].
В Московском городском педагогическом университете приняты несколько иные правила. Во-первых, допустимо использовать системы генерации текста и нейросети, однако необходимо сделать ссылку на то, что студент выполнил работу совместно с искусственным интеллектом. Во-вторых, для обоснования утверждений, приведённых в сгенерированном тексте, следует опираться на внешние авторитетные источники: статьи, публикации, собственные исследования. Без подтверждения достоверными источниками и данными созданный нейросетью текст к рассмотрению не принимается [12]. Примерно сходные позиции декларированы и многими другими вузами.
В контексте исследовательских работ студентов хотим еще раз обратить внимание на важность требования всеми вузами указывать подтверждающие источники. В 2023 году участники Международной конференции по правам человека в цифровую эпоху RightsCon приняли меморандум с призывом использовать термин Machine learning (машинное обучение) вместо Artificial intelligence (искусственный интеллект), так как последний неточен и несёт эмоциональную нагрузку [13]. Поэтому бич созданного нейросетями контента - наличие фактологических ошибок, принципиальная неспособность отличить истинное утверждение от ложного в исследовательских работах студентов - должен быть минимизирован.
В этой связи примечателен первый в мире закон об искусственном интеллекте, принятый в ЕС [14]. Он учитывает возможность ошибок систем на базе машинного обучения и устанавливает правовые рамки их использования, а также контроль общества над ними.
Таким образом, мы разделяем управленческое решение, позволяющее студентам использовать нейросети для подготовки исследовательских работ, поскольку «если не можешь победить - возглавь». Однако этот достаточно смелый административный шаг закономерно поднимает вопрос: «Какие из существующих в настоящее время средств детектирования текстов, созданных нейросетя-ми, наиболее эффективны?»
Целями статьи является восполнение пробелов в литературе по указанной тематике, повышение осведомленности пользователей о современных подходах и методах анализа текста.
Научная новизна представленного авторами исследования заключается в разработанной методике комплексного перекрестного тестирования различных программ генерации искусственных текстов различными сервисами.
Практическая значимость результатов исследования заключается в рекомендациях авторам текстов по выбору нейросетей и в целом технологии их использования; проверяющим тексты по выбору программ детекции искусственно сгенерированного текста и их эффективности.
Для реализации поставленной цели авторами решаются следующие исследовательские задачи:
1) поскольку в мире искусственного интеллекта «невозможно извлечь ценность, не понимая сути того, с чем имеешь дело» [3], необходимо выполнить аналитический обзор фундаментальных понятий текстовых генеративных нейро-сетей;
2) проанализировать программные ресурсы, которые применяются в работе с генеративными нейросетями с акцентуацией на их возможностях и рисках;
3) провести эмпирические исследования текстов, сгенерированных нейро-сетями, по простым и комплексным промптам текста;
4) сформулировать на их основе выводы и краткие рекомендации преподавателям.
В настоящее время наиболее популярные текстовые генеративные нейросети представлены ChatGPT от OpenAI, Gemini (ранее Bard) от Google, Perplexity от одноимённой компании, Claude от Anthropic, YandexGPT от Яндекс, GigaChat от Сбера и др. Основой текстовой модели является естественный язык, следовательно, запрос к ней также осуществляется в языковой форме. Поданный на вход нейросети текстовый запрос на генерацию или промпт (от англ. prompt -подсказка) приводит к активизации нейронов, соответствующих присутствующим в промте словам, в результате чего происходит генерация текста на заданную тему.
Средства детектирования - зарубежные: Zerogpt, Scribbr, Copyleaks и другие, отечественные - детектор ИИ от Текст Медиа, Антиплагиат от одноимённой компании. Для проверки работ студентов многие российские вузы используют последний продукт.
Принципы работы средств детектирования основаны на языковых моделях, аналогичных тем, что используются при генерации текста. Оценка производится по двум основным критериям: недоумение (от англ. perplexity) и бурность (от англ. burstiness). Генеративные нейросети настроены на создание наиболее предсказуемых, статистически чаще встречающихся последовательностей слов, вызывающих наименьшее недоумение у читателя и с большей вероятностью воспринимаемых как осмысленные.
Показатель «бурности» относится к структуре и длине предложений. Работая на снижение «недоумения», генерирующие нейросети создают не только предсказуемый порядок слов, но и строят предложения с несложной структурой со средней длиной порядка 10-20 слов. Написанный же человеком текст менее монотонный, «оживленный» причастными и деепричастными оборотами и более непредсказуемый.
На основании анализа «недоумения» и «бурности» можно сделать предположение, кем был написан текст. Чем эти два значения больше, тем выше вероятность, что текст написан человеком и наоборот.
При анализе текста следует принимать во внимание наличие активного залога (нейросети пишут в пассивном), выражение собственного мнения, субъективных высказываний (нейросети избегают авторской позиции), наличие аллегорических сравнений, образов (нейросети буквальны). Как правило, в искусственно сгенерированных текстах отсутствует глубокий анализ, затрагивающий подтемы (чат-боты обычно кратки), юмор, эмоционально окрашенный или грубоватый тон (нейросети предельно вежливы).
Автор ChatGPT компании OpenAI сообщала о намерениях разработать «водяные знаки» - невидимые маркеры, внедрённые в текст, сообщающие детектору, что текст был сгенерирован. Но поскольку технология в данный момент недоступна, нельзя достоверно точно сказать, как именно она будет работать, и сохранятся ли «водяные знаки», например, после редактирования текста.
Как показали результаты недавнего исследования [15], более половины опрошенных респондентов оказались способными интуитивно, но достоверно определять сгенерированный нейросетью контент. Однако для качественной экспертизы исследовательских работ студентов интуитивного заключения недостаточно. Поэтому остается открытым вопрос о сравнении возможностей средств детектирования текстов, созданных нейросетями.
В качестве объектов исследования нами были выбраны три нейросети: Gemini, Claude и Perplexity. В каждой из них было сгенерировано по 10 текстов, отражающих вклад в науку следующих выдающихся педагогов: Я.А. Коменско-
го, К.Д. Ушинского, Дж. Дьюи, А.С. Макаренко, М. Монтессори, И.П Песталоцци, Л.С. Выготского, В.А. Сухомлинского, Я. Корчака и П Спенсера.
В проведенном нами исследовании каждый текст генерировался по 2 пром-птам: простому и комплексному. Промпты отличались между собой только именем педагога. Простой промпт выглядел следующим образом: «Напиши статью о вкладе <имя педагога> в педагогику».
Второй, комплексный промпт содержал 2-3 дополнительных предложения с содержанием конкретных указаний, имитирующих человека. Например, не использовать шаблонные обороты; выражать авторское мнение; сократить количество обезличенных формулировок и пр.
Изменения в сгенерированные тексты авторами не вносились.
Детектирование выполнялось в следующих сервисах: зарубежном Scribbr и отечественном, наиболее распространенном в вузах нашей страны, - Антиплагиат. По собственному утверждению разработчиков, в вузах, использующих систему Антиплагиат, учится более 85% студентов России.
Антиплагиат оценивал вероятность присутствия сгенерированного текста бинарно. «Да» если нейросетевая генерация была обнаружена, или «нет» (X) - в противоположном случае. «N/A» соответствует ответу генерирующей нейросети о невозможности ответа на поставленный вопрос в связи с нехваткой информации об его предмете.
Алгоритм работы детектора Scribbr оценивал вероятность нейросетевой генерации текста в процентах (%).
Авторами были выполнены исследования текстов, сгенерированных не й-росетями, по описанной выше методике. Обобщенные результаты представлен ы в табл. ниже.
Таблица 1
Оценка присутствия сгенерированного по простым промптам текста в системе Антиплагиат
—Нейросеть Gemini Claude Perplexity
Педагог
Коменский Ян Амос X X
Ушинский Константин Дмитриевич X X
Дьюи Джон X X X
Макаренко Антон Семёнович X X X
Монтессори Мария ^ X X
Песталоцци Иоганн Генрих N/A X X
Выготский Лев Семёнович X X X
Сухомлинский Василий Александрович X N/A
Корчак Януш X X
Спенсер Герберт X X
Средняя точность 66,7% 0% 0%
Gemini Claude Perplexity
Коменский Ян Амос 100% 100% 79%
Ушинский Константин Дмитриевич 100% 62% 72%
Дьюи Джон 100% 71% 91%
Макаренко Антон Семёнович 100% 62% 100%
Монтессори Мария 79% 82% 100%
Песталоцци Иоганн Генрих N/A 82% 100%
Выготский Лев Семёнович 100% 68% 100%
Сухомлинский Василий Александрович 100% 78% N/A
Корчак Януш 100% 66% 100%
Спенсер Герберт 81% 89% 100%
Средняя точность 95,5% 76% 93,5%
содержал указание на определенную тональность текста, запрет на шаблонные фразы, указание к созданию более «человечного» текста. В табл. 3 приведены результаты сравнения точности обнаружения детектором Scribbr ИИ-текстов, созданных с помощью простого и комплексного промптов в различных нейросетях.
Таблица 3
Оценка присутствия сгенерированного по комплексным промптам текста в системе БспЫЫг
Gemini Claude Perplexity
Коменский Ян Амос 81% 55% 87%
Ушинский Константин Дмитриевич 64% 25% 61%
Дьюи Джон 94% 56% 87%
Макаренко Антон Семёнович 87% 54% 73%
Монтессори Мария 91% 49% 85%
Песталоцци Иоганн Генрих 83% 100% 67%
Выготский Лев Семёнович 74% 100% 73%
Су< омлинский Василий Александрович 82% 100% 85%
Керчак Януш 84% 100% 100%
Спе нсер Герберт 52% 59% 100%
Средняя точность 79,2% 69,8% 81,8%
Длябольш ейнаглядности мы визуализировали полученные результаты i ввдестолбчатых диаграм м (рис. 1).
100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00%
I Простой промпт
Claude I Комплексный промпт
Perplexity
Анализ табл. 1 позволяет сравнить возможности детектирования системой Антиплагиат искусственного текста, созданного различными нейросетями. Так, прослеживается «натренированность» Антиплагиата лишь на определённые нейросети. Тексты, созданные нейросетью Gemini, определялись с вероятностью 2/3, в то время как ни один из текстов сетей Claude и Perplexity не был определён Антиплагиатом как искусственно созданный. Детектор сгенерированного текста Scribbr показал большую точность в определении автоматически созданного по простому промпту тех же образцов текста - от 76 до 96% (табл. 2).
Таблица 2
Оценка присутствия сгенерированного по простым промптам текста в сервисе Scribbr
Далее мы усложнили исследовательскую задачу предложив детектору ScriЫЫr проверить текст, созданный на основании комплексного промпта. Он
Рис. 1. Точность обнаружения детектором Scribbr ИИ-текстов, созданных попроы;тому ачомплоксноыуырчмытамврааличны1хаыйро сетях
Результаты исследования показали, что при этом достаточно простом промпт-инжиниринге точность работы Scribbr снизилась до 70-80% в зависимо-пто тыаыее°ааующеанейросета.
Обрыпвыаытстда,пы>евергавшихал аиуаату, тредставпены нтсайтеПаыого-гчоеской вики-пнуиклопедии [16].
еаыпмобразом, чейрооеак могуо ооздптаыъ уппсеы, на ыоддающпесядо-утотертымуавтоматизирювакному ау|кедезению, кап искусптвендп абзщовпые. Исходуззэоо гообъективного научно установленного факта, считаем целесоо-ароыным тфырыу^лчп(^!^!^тыпё^<^коптта аютомдаыицпП зптпименекию текепдвыт ^«ы^^одпевыпп нeйрoчныуулкей, дадорыд, наеп^лпи^^тд,Лл^;уг поаепты гак пюе-пыктидпеалпй ток пстудентом ун рвдра1Ротаы.
щплив прзeпpинятывнф■peрыпe в^ппта, умгппмдптлетющпдиcподьзаы ктрпeурпыepиpoиoнзыx тдктупп, иепpпрep, ^с^нр(пшп^ч)ы^из> еншьлчрплелëнпыlЛ ипоцппт ыпрбщтгroPъУод, ыробующие eарзаoдмзпдгеyкaзaния ад поиаыcтмлыа нейросети, преподавателям необходимо учитывать, что любая из автоматизиро-чаиып^)пеи стем проверок может ошибаться и быть обманута, при этом не детектируя искусственно созданный текст.
Оценивая исследовательские работы студентов/авторов в виде эссе, рефератов, дипломных работ/научных публикаций, преподавателям/редакторам вузовских журналов не следует полностью полагаться на автоматизированные проверки на сгенерированный нейросетью текст, так как они с высокой степенью вероятности могут выдать ложно отрицательный результат. Выполнять проверку следует, используя как минимум несколько инструментов, функционирующих по разным алгоритмам.
Результаты подобных проверок следует лишь принимать во внимание. «Водность» текста или, наоборот, сухое перечисление фактов, а самое главное - отсутствие идеи, объективно или субъективно характеризующей наличие нового знания, являются для преподавателя достаточным основанием усомниться в заявленном студентом авторстве и аргументом провести более глубокий устный опрос по теме.
Учитывая экспоненциальную скорость развития и усложнения больших языковых моделей, используемых в нейросетевой генерации текстов, уже в ближайшем будущем следует ожидать отсутствие каких-либо достоверных возможностей определения происхождения искусственно сгенерированного текста. Поэтому при рассмотрении дипломных работ, научных статей возрастает роль экспертного мнения рецензентов. Лишь они достоверно могут оценить, является ли текст оригинальным исследованием и несёт ли он некую научную новизну.
Студенту, применяющему нейросетевую генерацию в попытке «лёгкого» написания курсовой работы или диплома, стоит совершенствовать свои навыки написания промптов, промпт-инжиниринга [17]. Следует научиться более изощрённо писать промпт, указывая, какие именно слова, залоги, тональность и формулировки должна использовать нейросеть, чтобы полученный текст с меньшей степенью вероятности был определён как автоматически созданный. Тем не менее успешная проверка в одном детекторе генерированного текста не гарантирует такой же результат в другом. Несомненно, что затраченные на это усилия с большей пользой можно приложить к учёбе, изучению конкретного предмета и саморазвитию в целом.
Тем более что попытка использования генерированного текста в учебно-исследовательской работе, где по замыслу образовательного процесса требуется показать собственное понимание и исследовательские навыки, вредит обучающемуся как минимум дважды. Во-первых, ему следует помнить, что при первой
Библиографический список
же проверке текста экспертом, рецензентом или экзаменатором обман будет без труда вскрыт. Во-вторых, что более важно, неоправданное использование таких текстов не развивает собственные аналитические способности студента, что в конечном итоге является важной целью учебного процесса. Как следствие, бывший студент с «ИИ-дипломом» навредит сам себе, так как будет менее востребован на рынке труда по сравнению со своими более добросовестными в учёбе конкурентами.
Таким образом, традиционное образование и методы преподавания больше не могут адаптироваться к современной образовательной среде и удовлетворить высокий спрос учащихся на специализированные учебные ресурсы, поскольку новая реформа учебных программ и информатизация сети ускоряются. В данной работе была исследована способность генерировать аутентичные тексты на заданную тематику тремя нейросетями: Gemini, Claude и Perplexity. Детекция «искусственности» текста проверялась двумя популярными сервисами: Антиплагиат и Scribbr. Следует отметить, что, несмотря на заявленную «способность распознавания текста, стенерированного AI», далеко не все программные продукты с этим справляются, что отражено в таблицах. Обладая довольно большим опытом «начитанности» научных статей, эксперт может определить «искусственность» текста, не прибегая к специализированным программмам. В качестве практических рекомендаций можно посоветовать пользователям рассматривать нейросети как вспомогательный инструмент при написании, например, обзоров и критически относится к сгенерированным текстам.
1. Развитие искусственного интеллекта. Министерство экономического развития РФ. Available at: https://www.economy.gov.ru/material/departments/d01/razvitie_ iskusstvennogojntellekta/
2. Монарх (Манро) Р Машинное обучение с участием человека. Перевод с английского В.И. Бахура. Москва: ДМК Пресс, 2022.
3. Берджесс Э. Искусственный интеллект - для вашего бизнеса: Руководство по оценке и применению. Перевод с английского. Москва: Интеллектуальная литература, 2021.
4. Доэрти П. Человек + машина. Новые принцип работы в эпоху искусственного интеллекта. Перевод с английского О. Ивченко, Н. Яцюк. Москва: МИФ, 2019.
5. Пейдж С. Модельное мышление. Как анализировать сложные явления с помощью математических моделей. Перевод с английского Н. Яцюк. Москва: Манн, Иванов и Фербер, 2020.
6. Hamam D. The New Teacher Assistant: A Review of Chatbots' Use in Higher Education. Proceedings of the 23rd HCI International Conference, HCII 2021. 2021; Part III: 59-63.
7. Холмс У., Бялик М., Фейдл Ч. Искусственный интеллект в образовании: Перспективы и проблемы преподавания и обучения. Москва, 2022.
8. Бахтин М.М. К философским основам гуманитарных наук. Собрание сочинений: в 7 т. Москва: Русские словари, 1997; Т. 5.
9. Осипенко Л.Е., ^зицына Ю.В., Коротков А.В. Исследовательское и машинное обучение: от сопоставления к конвергенции. Психолого-педагогические исследования. 2022; Vol. 14, № 4: 127-146.
10. Блог Яндекса для вебмастеров. Яндекс расширяет тестирование быстрых ответов от YandexGPT. Available at: https://webmaster.yandex.ru/blog/yandeks-rasshiryaet-testirovanie-bystrykh-otvetov-ot-yandexgpt
11. РИА Новости. В архангельском университете разрешили писать диплом с помощью нейросети. Available at: https://ria.ru/20240125/diplom-1923413825.html
12. Правила для нейросети: Ректор МГПУ Игорь Реморенко рассказал об искусственном интеллекте в образовании. Российская газета.. Available at: https://rg.ru/2024/01/19/ pravila-dlia-nejroseti-rektor-mgpu-igor-remorenko-rasskazal-ob-iskusstvennom-intellekte-v-obrazovanii.html
13. RightsCon. Available at: https://www.rightscon.org
14. European Parliament. Artificial Intelligence Act. Available at: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_EN.html
15. MacRae Duncan. 50% of consumers can detect AI-generated content. Marketing Tech News. Available at: https://www.marketingtechnews.net/news/2024/apr/02/50-of-consumers-can-detect-ai-generated-content/
16. Педагогическая вики-энциклопедия. Available at: https://ped.wiki/files/ai-text-detectors-dataset.zip
17. Панда П., Сычева А.В. ChatGPT. Мастер подсказок, или Как создавать сильные промты для нейросети. 2024.
References
1. Razvitie iskusstvennogo intellekta. Ministerstvo 'ekonomicheskogo razvitiya RF. Available at: https://www.economy.gov.ru/material/departments/d01/razvitie_iskusstvennogo_ intellekta/
2. Monarh (Manro) R. Mashinnoe obuchenie s uchastiem cheloveka. Perevod s anglijskogo V.I. Bahura. Moskva: DMK Press, 2022.
3. Berdzhess 'E. Iskusstvennyj intellekt - dlya vashego biznesa: Rukovodstvo po ocenke i primeneniyu. Perevod s anglijskogo. Moskva: Intellektual'naya literatura, 2021.
4. Do'erti P. Chelovek + mashina. Novye princip raboty v 'epohu iskusstvennogo intellekta. Perevod s anglijskogo O. Ivchenko, N. Yacyuk. Moskva: MIF, 2019.
5. Pejdzh S. Model'noe myshlenie. Kakanalizirovat'slozhnyeyavleniya s pomosch'yu matematicheskih modelej. Perevod s anglijskogo N. Yacyuk. Moskva: Mann, Ivanov i Ferber, 2020.
6. Hamam D. The New Teacher Assistant: A Review of Chatbots' Use in Higher Education. Proceedings of the 23rd HCI International Conference, HCII 2021. 2021; Part III: 59-63.
7. Holms U., Byalik M., Fejdl Ch. Iskusstvennyj intellekt v obrazovanii: Perspektivy i problemy prepodavaniya i obucheniya. Moskva, 2022.
8. Bahtin M.M. K filosofskim osnovam gumanitarnyh nauk. Sobranie sochinenij: v 7 t. Moskva: Russkie slovari, 1997; T. 5.
9. Osipenko L.E., Kozicyna Yu.V., Korotkov A.V. Issledovatel'skoe i mashinnoe obuchenie: ot sopostavleniya k konvergencii. Psihologo-pedagogicheskie issledovaniya. 2022; Vol. 14, № 4: 127-146.
10. Blog Yandeksa dlya vebmasterov. Yandeks rasshiryaet testirovanie bystryh otvetov ot YandexGPT. Available at: https://webmaster.yandex.ru/blog/yandeks-rasshiryaet-testirovanie-bystrykh-otvetov-ot-yandexgpt
11. RIA Novosti. V arhangel'skom universitete razreshili pisat' diplom s pomosch'yu nejroseti. Available at: https://ria.ru/20240125/diplom-1923413825.html
12. Pravila dlya nejroseti: Rektor MGPU Igor' Remorenko rasskazal ob iskusstvennom intellekte v obrazovanii. Rossijskaya gazeta.. Available at: https://rg.ru/2024/01/19/pravila-dlia-nejroseti-rektor-mgpu-igor-remorenko-rasskazal-ob-iskusstvennom-intellekte-v-obrazovanii.html
13. RightsCon. Available at: https://www.rightscon.org/
14. European Parliament. Artificial Intelligence Act. Available at: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_EN.html
15. MacRae Duncan. 50% of consumers can detect AI-generated content. Marketing Tech News. Available at: https://www.marketingtechnews.net/news/2024/apr/02/50-of-consumers-can-detect-ai-generated-content/
16. Pedagogicheskaya viki-'enciklopediya. Available at: https://ped.wiki/files/ai-text-detectors-dataset.zip
17. Panda P., Sycheva A.V. ChatGPT. Masterpodskazok, iliKaksozdavat' sil'nye promty dlya nejroseti. 2024.
Статья поступила в редакцию 13.06.24
УДК 378
Krasnova T.I., senior lecturer, Financial University under the Government of the Russian Federation (Moscow, Russia), E-mail: [email protected]
A DYNAMIC APPROACH TO FOREIGN LANGUAGE LEARNING WITH JEOPARDY MICROGAMES. The article investigates the effectiveness of using Jeopardy microgames as a novel method for learning foreign languages, specifically English as a second language. Jeopardy microgames provide an interactive and interesting platform for learners to practice grammar and vocabulary in a dynamic learning environment. The research involved 66 undergraduate students from the
