Научная статья на тему 'Классификация и внедрение технологий на базе искусственного интеллекта в обучение иностранному языку в вузе'

Классификация и внедрение технологий на базе искусственного интеллекта в обучение иностранному языку в вузе Текст научной статьи по специальности «Науки об образовании»

CC BY
0
0
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Концепт
ВАК
Область наук
Ключевые слова
искусственный интеллект / фонетические навыки / обучение иностранному языку / чат-бот / chat-GPT / artificial intelligence / phonetic skills / foreign language learning / chatbot / chat-GPT

Аннотация научной статьи по наукам об образовании, автор научной работы — Бобунова Анна Сергеевна, Сергеева Марина Георгиевна

С внедрением технологий искусственного интеллекта в нашу жизнь образование стремительно начало менять свой формат. Традиционные методы преподавания видоизменяются, чтобы не оставаться вне цифрового прогресса. Школьники и студенты уже активно используют искусственный интеллект и возможности chat-GPT в качестве помощника в учебе. Целью данной работы является разработка экспериментальной технологии внедрения средств искусственного интеллекта в образовательный процесс обучения иностранному языку. В задачи данного исследования входят библиографический обзор имеющихся образовательных программ на базе искусственного интеллекта и экспериментальная апробация разработанной технологии. Обзор научной литературы был проведен по статьям, посвященным использованию искусственного интеллекта в обучении иностранному языку, следствием чего стало определение перспективных методических разработок и нахождение слабых сторон, негативно влияющих на обучение иностранному языку. Далее последовала разработка трехэтапной технологии использования программ на базе искусственного интеллекта в формировании различных аспектов иноязычной речи у обучающихся. Исследовательская база для проведения экспериментальной работы включала 50 студентов I курса медицинского факультета Российского университета дружбы народов имени Патриса Лумумбы. Обучение происходило в течение первого академического семестра с сентября по декабрь 2023 года. Участники контрольной группы (25 студентов) изучали иностранный язык (английский) по стандартной программе, обучение экспериментальной группы с тем же количеством участников проходило с внедрением пошагового алгоритма применения искусственного интеллекта на уроках и использованием программ на базе искусственного интеллекта для самостоятельной работы. Результаты проведенной работы: наблюдалось повышение мотивации обучающихся к выполнению учебных заданий, более активное вовлечение в учебный процесс. Сравнение данных итоговых тестирований показало значительное повышение фонетической развитости речи. Экспериментальная группа почти в два раза превзошла контрольную группу про правильности произношения лексических единиц (56% против 25%). Развитие лексических навыков и грамматической стороны речи не показало больших различий между группами. Принимая во внимание изложенные результаты, мы можем сделать вывод, что использование искусственного интеллекта в рамках языковых программ обучения студентов при поэтапном внедрении технологии искусственного интеллекта имеет большой потенциал в формировании различных аспектов речи, особенно ее фонетической стороны.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Classification and implementation of artificial intelligence-based technologies in teaching a foreign language at a university

Education has rapidly begun to change its format with the introduction of artificial intelligence technologies into our lives. Traditional teaching methods are being modified to keep up with digital advances. Schoolchildren and students are already actively using artificial intelligence (hereinafter AI) and chat-GPT capabilities as a learning assistant. The purpose of this paper is to develop an experimental technology of implementing AI tools in the educational process of teaching a foreign language. The tasks of this study include a bibliographic review of available educational programmes based on artificial intelligence and trial testing of the developed technology. A review of scientific literature was conducted on articles devoted to the use of artificial intelligence in foreign language teaching, which resulted in the identification of promising methodological developments and weaknesses that negatively affect the teaching of a foreign language. Subsequent work included the development of a three-stage technology of using AI-based programmes in the formation of various aspects of foreign language speech in learners. The research base for the experimental work included 50 1st year medical students of the Peoples' Friendship University of Russia named after Patrice Lumumba. The training took place during the first academic semester from September to December 2023. Participants of the control group (25 students) studied a foreign language (English) according to the standard programme, the training of the experimental group with the same number of participants took place with the introduction of a step-by-step algorithm for the application of AI in the classroom and the use of AI programmes for independent work. The results of the conducted work consisted in the observation of an increase in the students' motivation to fulfil learning tasks, more active involvement in the learning process. Comparison of the final testing data showed a significant increase in the phonetic development of speech. The experimental group almost twice surpassed the control group in the correctness of pronunciation of lexical units (56% against 25%). The development of lexical skills and grammatical aspect of speech did not show big differences between the groups. Taking into account the stated results, we can conclude that the use of AI in the framework of students' language training programmes with a step-by-step technology of AI implementation has a great potential in the formation of various aspects of speech, especially its phonetic side.

Текст научной работы на тему «Классификация и внедрение технологий на базе искусственного интеллекта в обучение иностранному языку в вузе»



ISSN 2304-120X

ниег

научно-методический электронный журнал

2024, № 05 (май)

Раздел 5.8. Педагогика

ART 241061

DOI 10.24412/2304-120X-2024-11061

УДК 378.147

Классификация и внедрение технологий

на базе искусственного интеллекта в обучение иностранному языку в вузе

Classification and implementation of artificial intelligence-based technologies in teaching a foreign language at a university

Авторы статьи

L

Authors of the article

Бобунова Анна Сергеевна,

кандидат педагогических наук, старший преподаватель кафедры иностранных языков Медицинского института ФГАОУ ВО «Российский университет дружбы народов имени Патриса Лумумбы», г. Москва, Российская Федерация bobunova2011@mail.ru ORCID: 0000-0003-1523-6465

Сергеева Марина Георгиевна,

доктор педагогических наук, профессор кафедры социальной педагогики Института иностранных языков ФГАОУ ВО «Российский университет дружбы народов имени Патриса Лумумбы», г. Москва, Российская Федерация

sergeeva198262@mail.ru ORCID: 0000-0001-8365-6088

Anna S. Bobunova,

Candidate of Pedagogical Sciences, Senior Lecturer, Department of Foreign languages, Institute of Medicine, Peoples' Friendship University of Russia named after Patrice Lumumba, Moscow, Russian Federation bobunova2011@mail.ru ORCID: 0000-0003-1523-6465

Marina G. Sergeeva,

Doctor of Pedagogical Sciences, Professor, Department of Social Pedagogy, Institute of Foreign Languages, Peoples' Friendship University of Russia named after Patrice Lumumba (RUDN University), Moscow, Russian Federation sergeeva198262@mail.ru ORCID: 0000-0001-8365-6088

Конфликт интересов

L

Conflict of interest statement

Конфликт интересов не указан Для цитирования

Conflict of interest is not declared

For citation

Бобунова А. С., Сергеева М. Г. Классификация и внедрение технологий на базе искусственного интеллекта в обучение иностранному языку в вузе // Научно-методический электронный журнал «Концепт». - 2024. - № 05. -С. 25-37. - URL: https://e-koncept.ru/2024/241061.htm. DOI: 10.24412/2304-120X-2024-11061

A. S. Bobunova, M. G. Sergeeva, Classification and implementation of artificial intelligence-based technologies in teaching a foreign language at a university // Scientific-methodological electronic journal "Koncept". - 2024. - No. 05. - P. 25-37. -URL: https://e-koncept.ru/2024/241061.htm. DOI: 10.24412/2304-120X-2024-11061

Поступила в редакцию Received 11.03.24 Получена положительная рецензия Received a positive review 13.04.24

Принята к публикации Accepted for publication 13.04.24 Опубликована Published 31.05.24

Creative Commons Attribution 4.0 International (CC BY 4.0) © Бобунова А. С., Сергеева М. Г., 2024

Аннотация

L

Abstract

L

С внедрением технологий искусственного интеллекта в нашу жизнь образование стремительно начало менять свой формат. Традиционные методы преподавания видоизменяются, чтобы не оставаться вне цифрового прогресса. Школьники и студенты уже активно используют искусственный интеллект и возможности ^а^РТ в качестве помощника в учебе. Целью данной работы является разработка экспериментальной технологии внедрения средств искусственного интеллекта в образовательный процесс обучения иностранному языку. В задачи данного исследования входят библиографический обзор имеющихся образовательных программ на базе искусственного интеллекта и экспериментальная апробация разработанной технологии. Обзор научной литературы был проведен по статьям, посвященным использованию искусственного интеллекта в обучении иностранному языку, следствием чего стало определение перспективных методических разработок и нахождение слабых сторон, негативно влияющих на обучение иностранному языку. Далее последовала разработка трехэтапной технологии использования программ на базе искусственного интеллекта в формировании различных аспектов иноязычной речи у обучающихся. Исследовательская база для проведения экспериментальной работы включала 50 студентов I курса медицинского факультета Российского университета дружбы народов имени Патриса Лумумбы. Обучение происходило в течение первого академического семестра с сентября по декабрь 2023 года. Участники контрольной группы (25 студентов) изучали иностранный язык (английский) по стандартной программе, обучение экспериментальной группы с тем же количеством участников проходило с внедрением пошагового алгоритма применения искусственного интеллекта на уроках и использованием программ на базе искусственного интеллекта для самостоятельной работы. Результаты проведенной работы: наблюдалось повышение мотивации обучающихся к выполнению учебных заданий, более активное вовлечение в учебный процесс. Сравнение данных итоговых тестирований показало значительное повышение фонетической развитости речи. Экспериментальная группа почти в два раза превзошла контрольную группу про правильности произношения лексических единиц (56% против 25%). Развитие лексических навыков и грамматической стороны речи не показало больших различий между группами. Принимая во внимание изложенные результаты, мы можем сделать вывод, что использование искусственного интеллекта в рамках языковых программ обучения студентов при поэтапном внедрении технологии искусственного интеллекта имеет большой потенциал в формировании различных аспектов речи, особенно ее фонетической стороны.

Education has rapidly begun to change its format with the introduction of artificial intelligence technologies into our lives. Traditional teaching methods are being modified to keep up with digital advances. Schoolchildren and students are already actively using artificial intelligence (hereinafter AI) and chat-GPT capabilities as a learning assistant. The purpose of this paper is to develop an experimental technology of implementing AI tools in the educational process of teaching a foreign language. The tasks of this study include a bibliographic review of available educational programmes based on artificial intelligence and trial testing of the developed technology. A review of scientific literature was conducted on articles devoted to the use of artificial intelligence in foreign language teaching, which resulted in the identification of promising methodological developments and weaknesses that negatively affect the teaching of a foreign language. Subsequent work included the development of a three-stage technology of using AI-based programmes in the formation of various aspects of foreign language speech in learners. The research base for the experimental work included 50 1st year medical students of the Peoples' Friendship University of Russia named after Patrice Lumumba. The training took place during the first academic semester from September to December 2023. Participants of the control group (25 students) studied a foreign language (English) according to the standard programme, the training of the experimental group with the same number of participants took place with the introduction of a step-by-step algorithm for the application of AI in the classroom and the use of AI programmes for independent work. The results of the conducted work consisted in the observation of an increase in the students' motivation to fulfil learning tasks, more active involvement in the learning process. Comparison of the final testing data showed a significant increase in the phonetic development of speech. The experimental group almost twice surpassed the control group in the correctness of pronunciation of lexical units (56% against 25%). The development of lexical skills and grammatical aspect of speech did not show big differences between the groups. Taking into account the stated results, we can conclude that the use of AI in the framework of students' language training programmes with a step-by-step technology of AI implementation has a great potential in the formation of various aspects of speech, especially its phonetic side.

Ключевые слова

Key words

искусственный интеллект, фонетические навыки, обучение иностранному языку, чат-бот, chat-GPT

artificial intelligence, phonetic skills, foreign language learning, chatbot, chat-GPT

Благодарности

Acknowledgements

Публикация подготовлена в рамках НИР № 071720-0000 «Психонейролингвистика в приложении к методике интенсификации процесса обучения иностранным языкам на основе междисциплинарных знаний».

The publication was prepared within the framework of research work No. 071720-0-000 "Psychoneurolinguistics as applied to methods for intensifying the process of teaching foreign languages based on interdisciplinary knowledge."

Введение / Introduction

До последнего времени под цифровизацией в образовании понималось использование аудиовизуального оборудования и программного обеспечения для проведе-

ния классной работы и самостоятельного обучения школьников и студентов. Технически подкованным считался педагог, использующий на занятии техническое оборудование: проектор, умную доску, индивидуальные устройства для трансляции материала (телефон, планшет, ноутбук).

В период пандемии COVID-19 большинство учителей перешло к цифровому ведению уроков и использованию различного программного обеспечения для реализации дистанционного обучения. Массовый переход на электронное обучение, обусловленный локдауном, привел к изменению формата проведения традиционного урока. С отменой карантинных ограничений некоторые лекции в университетах и дополнительные занятия так и остались в дистанционном режиме, показавшем свою эффективность. В связи с удобством и экономической выгодой от использования электронных ресурсов цифровизация становится неоспоримым центром развития и формирования новых подходов и методов к обучению в ближайшем будущем.

Распространение и прогресс цифровизации в образовании шагнули намного дальше, чем это можно было предположить десятилетие назад. С внедрением искусственного интеллекта (далее - ИИ) поменялось общее отношение к работе с цифровым материалом. Каждый день для ИИ находятся новые сферы применения, и в скором времени он распространится на все сферы человеческой жизни.

Трудно представить, как будет выглядеть урок через пару десятилетий в условиях, когда каждый день открывает новые возможности для усовершенствования технологий объяснения материала и проверки знаний учащихся. В быстро меняющемся мире учителю важно понимать, что не все возможности использования ИИ приносят пользу обучению, некоторые, наоборот, отвлекают учащихся и лишают их самостоятельного выбора в принятии решений. Однако запущенный процесс внедрения ИИ в образование уже необратим. При хорошей ориентации в возможностях применения ИИ в образовании он может стать отличным помощником преподавателя в отличие от других информационно-коммуникационных технологий (далее - ИКТ).

При обучении иностранному языку (далее - ИЯ) пред педагогом встает вопрос, как использовать уже имеющиеся ИКТ и как найти применение новым, только появляющимся технологиям на базе ИИ. Целью данного исследования является разработка экспериментальной технологии внедрения средств ИИ в образовательный процесс обучения иностранному языку, одна из задач - экспериментальная апробация разработанной технологии.

Обзор литературы / Literature review

Концепция создания искусственного интеллекта пошла от аналогии с автоматизацией ручного труда человека. Согласно историческому обзору Н. Хайнлайн и А. Каплан, идея передачи человеческого сознания неживому существу появилась еще в Древней Греции. Именно с этого началась постепенная замена человеческого труда механическим. За столетия было изобретено множество разнообразных механизмов для работы и проведения досуга [1].

М. А. Боден указывает, что в качестве первой машины, взявшей на себя часть интеллектуального труда человека, стал изобретенный Паскалем в XVII веке механический калькулятор [2]. Согласно В. Каулу, машина представляла собой ящик с множеством шестерёнок внутри [3]. Однако, как замечает Б. Бьюкенен, в свое время первый калькулятор был не востребован в связи с высокой стоимостью и ограниченностью вычислительных возможностей [4]. Дальнейшее развитие интеллектуальных машин

связано с французским исследователем Жозефом Мари Жаккардом, который спустя лишь два столетия после Паскаля изобрел первую автоматическую машину, управляемую перфокартами [5, 6].

Следующий прорыв в создании первых компьютерных технологий связан с именем А. Тьюринга, изобретателя, которому принадлежит создание первого робота, обладающего подобием интеллекта, и его собаки в 1939 году. Это дало толчок к развитию ИИ в XX веке [7].

В послевоенные годы реализуется направление по разработке программ, способных решать сложные задачи. Все больше и больше возрастает интерес к разработке программ, имеющих интеллект. Физиологи в свою очередь поспособствовали этому своим открытием нейронной структуры мозга человека, которая стала моделью для таких ученых, как А. Тьюринг и М. Мински [8].

М. Мински первым сравнил нейронную сеть головного мозга с компьютерной сетью. А. Тьюринг в 1950 году создал тест Тьюринга. Через несколько лет изучение искусственного интеллекта стало самостоятельной дисциплиной по итогам Дорт-мундской конференции [9].

Дальнейшие развитие ИИ привело к изобретению компьютера, понимающего человеческую речь, способного давать ответы на вопросы. Э. Бриньольфссон и А. В. Макафи замечают, что через некоторое время именно это привело к разработке игр, где оппонентом был компьютер [10].

В области преподавания иностранных языков появились программы для перевода письменных и устных текстов, способные самообучаться. Широкое применение нашли программы автоматической оценки ученических письменных работ.

В современное время ускорению перевода и записи текста служат программы, трансформирующие живую речь в письменную. Согласно исследованию, проведенному Р. Ли, восприятие уже записанной аудиоречи упрощают программы, распознающие речь, оформляющие ее в субтитры и сопровождающие диалог на экране [11].

В исследовании C. Лаи и Т. Джин было проведено сравнение переводов на разные языки, выполненные машиной и человеком. По полученным данным, машинный перевод значительно уступал ручному переводу [12]. В исследовании А. Буланже перевод, совершенный программой на базе chat-GPT 3.5, был сопоставим с переводом человека [13]. Это в дальнейшем может привести к массовому отказу от услуг переводчика в областях, где это экономически невыгодно, а машинный перевод максимально удовлетворяет заявленным требованиям.

Однако машинный перевод пока еще не в силах перевести многие художественные, поэтические и стилистически маркированные тексты, что дает преподавателю возможность уделить именно этому виду перевода особое внимание в процессе обучения.

Другим уязвимым местом использования ИИ в обучении иностранным языкам и переводу, по мнению Б. Чона, является слабая база перевода на азиатские и региональные языки [14].

Среди преимуществ использования ИИ в преподавании ИЯ ученые А. Берент и А. Сансивери выделяют прекрасную автоматизацию, доступную для учителя при проверке письменных работ студентов. Ряд программ, таких как GPT-3 и text-davinci-003, помогает преподавателю автоматически оценить большое количество эссе на иностранном языке, а учащимся - подготовиться самостоятельно к сдаче письменной части международных экзаменов [15].

Однако среди недостатков автоматической оценки стоит отметить «безразличие» системы к стилистическим приемам в тексте и качественному анализу текста.

Оценка студенческих письменных работ в скором будущем станет автоматической, однако большое беспокойство, по словам А. Мизумото, вызывает обстоятельство, касающееся честности самих учащихся при написании эссе [16]. С этим под силу справиться только самому учителю, который проводит наблюдение за студентами и проверяет достоверность работы с помощью устного пересказа учащегося, отмечая прилежность и самостоятельность каждого ученика по отдельности.

По замечанию Б. Канга, функция автоматического распознавания речи не понимает речь и правила ее структуры. С одной стороны, функционал таких программ ограничен и не позволяет автоматически корректировать транскрибируемую речь, с другой стороны, они являются прекрасным тренажером для формирования правильной речи, позволяющим педагогам проверить ошибки учащегося без прослушивания речи вживую [17]. Как пишет С. Юн, программы ASR (automatic speech recognition) еще очень далеки от совершенства, но уже нашли свое применение во многих сферах образования и науки [18].

Особое внимание стоит уделить обучающим программам, чей функционал недостаточно проработан, но разработчики уже выпустили их в продажу. К таким программам относятся образовательные игры, в которых виртуальный диалог ограничен заданными программой фразами, лексическими единицами и грамматическими конструкциями. В погоне за цифровизацией образовательные учреждения могут внедрить их в образовательный процесс. Использование подобных программ не только не улучшит образовательные результаты, но, наоборот, демотивирует учащихся.

К счастью, подобные программы вытесняются программным обеспечением на базе ИИ, которое имеет широкую вариативность речевых и языковых единиц. Особенно популярны они при отработке фонетических навыков. Эти программы благодаря функции распознавания речи научились слушать обучающегося и давать формальный ответ. Если речь собеседника имеет грубые ошибки или неразборчива, то программа выдаст ошибку или неверно формулирует ответ. Такие программы отлично подходят в качестве тренажера при самостоятельном изучении языка или домашней работе.

Учеными выделяются следующие преимущества использования программ для автоматического распознавания речи:

- адаптированность для самостоятельной и внеклассной работы (Д. А. Ляхманов) [19];

- выделение грамматических и лексических ошибок (С. Ким) [20];

- отсутствие ответа при неразборчивом произношении (Н. В. Ле) [21];

- необходимость понимания или перевода речи собеседника для продолжения диалога (С. Нандини) [22];

- возможность повторения за диктором сложных фонетических единиц - в программах, имеющих функцию озвучивания (К. Кун) [23].

М. Цепинг замечает, что несмотря на все преимущества риски использования программ для распознавания речи достаточно имплицитные и кажущаяся простота использования нередко оборачивается закреплением в речи ошибок, совершаемых программой [24]. Как пишет Л. Cаобин, частой проблемой является отсутствие ограничений для их использования [25]. Включение функции автоматической коррекции речи ведет к отсутствию анализа сделанных ошибок и, в частности, убеждает учащегося в отсутствии необходимости стараться не делать ошибок. Таким образом, образовательный результат от использования подобных программ сводится к нулю.

Ниже рассмотрены программы, совмещающие автоматическое распознавание речи с автоматической оценкой речи.

Не всегда у учащихся есть возможность проконсультироваться с учителем, когда это необходимо, и не у многих есть финансовые возможности нанять репетитора. По этой и многим другим причинам высокую популярность получили чат-боты (программы на базе ИИ), которые научились распознавать и воспроизводить речь на разных языках. В своем развитии чат-боты научились адаптироваться к уровню речи не носителя языка, с чем связан их успех среди начинающих изучать язык.

И. Ирзавати провел анализ приложений, имеющих высокую популярность среди обучающихся, к ним относятся: Mondly, Duolingo, Replika [26]. По словам М. А. Мурашко, приложения, использующие технологию чат-бот, могут распознавать правильность произношения и акцент, давая необходимые рекомендации по их улучшению, а также грамматическую справку и возможность составления собственного словаря для изучения слов [27]. Исследователь Н. Фитрия замечает, что современные приложения хорошо адаптируемы для изучения языка дошкольниками и детьми младшего школьного возраста благодаря внедрению игрового элемента, мультипликаций и музыки [28].

Стоит отметить, что приложения на базе ИИ, как и ИКТ, могут стать помощниками учителю только при полном изучении их функционала и понимании ограничивающих их использование факторов, которыми могут быть как неадаптирован-ность программ для определенной группы учащихся или отсутствие необходимой учебной базы в самих программах, так и неприспособленность к индивидуальным особенностям и языковому уровню учащихся.

Согласно исследованию В. Виндя, среди учителей во всем мире наибольшую популярность получили следующие приложения: play.ht, elsaspeak, speechify, notevibes и naturalreaders [29]. Навыки произношения прекрасно отрабатываются при помощи программы lovo, которая дает учащемуся выбрать желаемый акцент и прослушать текст на нем, тем самым подготовка к докладу на иностранном языке упрощается: учащемуся не надо проверять каждое сложнопроизносимое слово в словаре, а программа сама подскажет, какую интонацию и темп речи выбрать для презентации.

Как замечает Т. Кастули, возможности программы speechace помогают учащимся проверить свои разговорные навыки в беседах на разнообразные темы. С виртуальным экзаменатором учащиеся тестируют качество собственной речи на английском языке в течение трех минут [30]. Программа дает обратный ответ в виде анализа ошибок в лексике, грамматике и произношении. Также программа указывает на сильные стороны речи учащегося, мотивируя тем самым продолжать совершенствование речи.

Для отработки навыков перевода можно использовать новую функцию, разработанную Яндексом: озвучку иноязычного видео на русском языке с переводом. Эта функция будет полезна для продолжающих изучение языка, учащиеся могут сравнить свой перевод с аналогом, выполненным искусственным интеллектом, а также попрактиковаться в роли синхронного переводчика при переводе диалогов.

Очень перспективным направлением в интеграции ИИ в обучение и изучение иностранного языка является внедрение программ, заменяющих живого собеседника. Одна из таких программ - talkpal.ai, которая умеет строить беседу с обучающимся на английском языке, отвечая на вопросы и задавая собственные на начатую тему беседы. С одной стороны, такая практика ценна для отработки навыка спонтанной диа-

логовой речи, с другой стороны, чат-бот не может заменить практику с реальным собеседником, имеющим индивидуальные особенности речевого поведения и уникальный культурный багаж.

Проведя обзор наиболее актуальных тенденций в сфере внедрения ИИ в обучение иностранному языку, можно сделать вывод, что несмотря на всю свою перспективность и практичность ИИ не может полностью заменить реальную разговорную практику и учитель должен всегда об этом помнить.

Методологическая база исследования / Methodological base of the research

Программы на базе ИИ можно использовать в качестве как основного, так и вспомогательного средства обучения. Алгоритм технологии внедрения ИИ и ИКТ основывается на трех типах интеграции технологий в процесс обучения: интернет-опосредованное обучение, смешанное обучение и дистанционное обучение. При этом в зависимости от типа строится содержание обучения и рассчитывается количество времени, которое будет отводиться на занятии ИКТ и технологиям на базе ИИ, а также объем самостоятельной работы учащегося в цифровом пространстве.

При интернет-опосредованном обучении рекомендуется отказаться от чрезмерного использования технологий ИИ и виртуального окружения. Основным средством обучения будет ИКТ без использования ИИ. Именно такое обучение было выбрано для проведения уроков с объяснением нового материала. ИКТ без ИИ применялись для демонстрации учебного материала с целью максимальной визуализации вводимого материала. На этом этапе использовались следующие средства ИКТ: проекторы, интерактивные доски, индивидуальные средства передачи аудио- и видеоинформации (смартфоны и планшеты).

Интерактивное обучение наиболее гибко использует возможности как традиционного урока, так и средства ИКТ, в том числе и на базе ИИ. В разработанном алгоритме внедрения ИИ в процесс обучения интерактивный метод занимал большую часть учебного времени и часто использовался для закрепления пройденного материала и проведения проверочных работ. Ниже представлена таблица использования ИКТ и технологий ИИ при обучении иностранному языку в вузе (см. табл. 1).

Таблица 1

Применение средств ИКТ и технологий на базе ИИ на уроке ИЯ

Этап урока Средства ИКТ без ИИ ИКТ на базе ИИ

Введение и демонстрация нового материала Интерактивная доска, проектор, смартфон, планшет, ноутбук

Закрепление нового материала Аудио- и видеоматериал, интернет-ресурсы и обучающие тренажеры Яндекс ИИ, редактор текстов Deepl, игровые приложения, ChatGPT

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Самостоятельная работа Электронные книги, интернет-словари и энциклопедии, мобильные устройства Программы распознавания речи, чат-бот

Проверка и оценка Google forms, Grammarly Программы автоматической оценки письменных текстов, программы распознавания речи

Экспериментальное обучение с внедрением ИИ в процесс изучения английского языка происходило в первом семестре 2023 года с сентября по декабрь на базе

Медицинского института РУДН. В обучении принимали участие по 25 студентов в каждой группе (экспериментальной и контрольной). В обучение экспериментальной группы вводились задания, выполняемые при помощи средств ИКТ на базе ИИ. Обучение контрольной группы шло без специального внедрения ИИ в обучение с использованием стандартных ИКТ без ИИ. Обучение экспериментальной группы шло в три этапа: введение и закрепление материла, самостоятельная работа и оценивание.

На этапе закрепления учебного материала геймификация занимала лидирующее место благодаря поддержанию мотивации учащихся в процессе освоения нового материала. В работе со студентами мы использовали следующие ресурсы для гейми-фикации: Langly, Dragonbox, Kahoot, Taboo-ai, Buddy.

При закреплении лексического материала и введении его в речь были использованы чат-боты, произносящие тексты на английском языке с адекватным акцентом и темпом разговора. Учащиеся вслух произносили наиболее тяжелые слова и предложения.

На этапе самостоятельной работы наиболее активно использовались все средства ИКТ: как на базе ИИ, так и без. В подготовке устных высказываний учащиеся пользовались программами автоматического распознавания речи. Студенты использовали наушники и микрофон для записи и прослушивания собственной речи. После записи программа SpeechAce оценивала правильность произношения слов и выбор грамматических конструкций.

На базе полученной оценки учащийся должен был повторно высказаться по заданной теме или перейти к другому заданию. Прогресс в выполнении заданий на запись собственной речи предоставлялся преподавателю в форме транскрибированного текста и скриншота автоматической оценки. При необходимости преподаватель мог попросить учащегося произнести текст повторно.

Преимуществами такой работы являлись комфорт для студента, если он стесняется выступать перед другими учащимися, а также существенная экономия времени занятия, отдаваемая проверке устных ответов. Наиболее успешные высказывания воспроизводились публично во время занятия в качестве примера.

Чат-бот также давал достаточную оценку уровня владения грамматической и лексической стороной речи. Преподавателем также учитывались попытки самостоятельного исправления найденных ошибок. При помощи чат-бота преподаватель обращал внимание на ошибки студентов и давал индивидуальные задания, также выполняемые в режиме проверки искусственным интеллектом. Итоговая отметка при оценивании домашней работы всегда оставалась за преподавателем.

В оценивании письменных работ применялась программа DaVinci, что давало возможность определить самостоятельность выполненной работы. Также индивидуальные эссе проходили проверку на антиплагиат и использование чат-бота.

Итоговым этапом являлось создание проекта, закрепляющего пройденный лексический и грамматический материал, и отработка фонетических навыков. В качестве проектной работы учащиеся составляли англоязычные субтитры к видеоролику и озвучивали его, используя темп и интонацию, свойственные носителями языка. Для выполнения проектов были пройдены все предыдущие этапы подготовки готовой речи, от перевода до проверки озвученной речи программой распознавания и рекомендуемой коррекции. Для создания озвученного текста и субтитров использовалось приложение Filmore. Студенты, владеющие языком на более продвинутом уровне, создавали аудио- и видеообзоры, а также пробовали себя в качестве видеоблогеров, создавая подкаст на заданную тему.

Важным этапом внедрения ИИ в обучение ИЯ являлось оценивание студентов. Отметка выводилась либо самим преподавателем, либо с помощью средств ИКТ. При автоматическом оценивании преподаватель просматривал данные программы и работу учащегося, утверждая итоговую оценку за задание. Автоматическая оценка не всегда являлась корректной, в некоторых случаях имела место техническая ошибка, связанная с недоработкой программы.

Результаты исследования / Research results

В результате проведенного исследования оцениванию и сравнению были подвержены лексический, грамматический и фонетический аспекты иноязычной речи. Контроль по этим аспектами проходил на базе письменной работы (грамматика и лексика) и составления речевого высказывания на пройденную тему (грамматика, лексика, произношение). По итогам экспериментального обучения не было существенных различий в уровне владения лексическими и грамматическими навыками. Отметку «отлично» получили 12% студентов контрольной группы и 20% экспериментальной. «Удовлетворительно» получили 36% учащихся контрольной и 32% экспериментальной групп. «Хорошо» получили 48% молодых людей контрольной и 58% экспериментальной групп.

Отдельному оцениванию подлежали фонетические навыки, так как при изначально схожих значениях после экспериментального обучения учащиеся экспериментальной группы показали значительно лучшее владение произносительными навыками, чем участники контрольной группы. 56% участников экспериментальной группы получили отметку «отлично» по сравнению с 25% в контрольной группе. «Хорошо» получили 40% учащихся экспериментальной группы и 50% контрольной, 4% учащихся экспериментальной группы получили отметку «удовлетворительно» по сравнению с 25% учащимися в контрольной группе.

Данные развития фонетических навыков студентов контрольной и экспериментальной групп сравнили по t-критерию Стьюдента. Анализ данных экспериментальной группы показал значительное повышение уровня сформированности фонетических навыков после проведения экспериментального обучения ( табл. 2). Данные контрольной группы до и после обучения не показали статистически значимых изменений (см. табл. 3).

Представленные ниже графики демонстрируют прогрессивные изменения в формировании фонетических навыков в экспериментальной группе по сравнению с контрольной на момент окончания экспериментального обучения.

Таблица 2

Формирование фонетических навыков в экспериментальной группе до и после экспериментального обучения

Оценка ЭГ до начала эксперимента ЭГ после эксперимента

Отлично 5 (20%) 14 (56%)

Хорошо 13 (52%) 10 (40%)

Удовлетворительно 7 (28%) 1 (4%)

p значение p = 0,000

Формирование фонетических навыков в контрольной группе

до и после обучения

Таблица 3

Оценка КГ до начала эксперимента КГ после эксперимента

Отлично 6 (24%) 5 (20%)

Хорошо 12 (48%) 13 (52%)

Удовлетворительно 7 (28%) 7(28%)

p значение p = 0,161

15 10 5 0

удовл. хор. от

ЭК до эксперимента КГ до эксперимента

20

10

удовл. хор. отлично

ЭГ после эксперимента

КГ после эксперимента

Динамика формирования фонетических навыков в экспериментальной и контрольной группах

Проведенный после эксперимента устный опрос участников показал, что учащиеся были довольны внедрением ИИ в процесс обучения ИЯ. Многие высказались положительно касательно практической самостоятельной отработки речевых навыков с виртуальным собеседником. Особый интерес у учащихся вызвала подготовка проектов под контролем ИИ. Данные эксперимента выявили положительные результаты поэтапной технологии внедрения в ИИ в обучение иностранному языку в вузе и могут быть использованы для сравнения с данными при дальнейшем исследовании в области формирования произносительных навыков средствами ИИ.

Заключение / Conclusion

Использование искусственного интеллекта, несомненно, является многообещающим в развитии и разработке новых подходов и технологий в обучении иностранному языку. Классификация средств обучения и их поэтапное использование на занятии и в самостоятельной работе учащихся значительно упрощают процесс интеграции ИИ в обучение иностранному языку. ИКТ без ИИ также остаются актуальны на этапе демонстрации материла, но внедрение ИИ в закрепление, самостоятельную работу повышает интерес учащихся к изучению нового материла. Программы для оценивания работ учащихся, с одной стороны, облегчают работу преподавателя по проверке самостоятельных работ учащихся, с другой стороны, помогают учащимся самим проверить и исправить свои работы.

В результате проведенного экспериментального обучения было доказано преимущество внедрения ИИ для совершенствования произносительных навыков учащихся по сравнению с их формированием традиционными методами и с использованием ИКТ без ИИ. За относительно короткие сроки учащиеся повысили свой уровень произношения.

0

В качестве темы дальнейшего исследования стоит рассмотреть формирование разнообразных навыков владения иностранным языком средствами ИИ в более долгосрочном периоде апробации.

Ссылки на источники / References

1. Haenlein M., Kaplan A. A Brief History of Artificial Intelligence: On the Past, Present, and Future of Artificial Intelligence // California Management Review. - 2019. - Vol. 61. - URL: https://www.researchgate.net/publica-tion/334539401_A_Brief_History_of_Artificial_Intelligence_On_the_Past_Present_and_Future_of_Artificial_In-telligence

2. Boden M. A. Artificial intelligence. - Elsevier, 1996. - Р. 194.

3. Kaul V., Enslin S., Gross S. History of Artificial Intelligence in Medicine // Gastrointestinal Endoscopy. - 2020. -92(4). - P. 807-812.

4. Buchanan B. Brief History of Artificial Intelligence // Ai Magazine. - 2005. - 26 (4). - P. 53-53.

5. Essinger J. Jacquard's Web: How a Hand-Loom Led to the Birth of the Information Age. - Oxford: Oxford University Press, 2004. - 1st ed. - Р. 302.

6. Кузьмина В. С. Философские проблемы развития робототехники // Экономика. Общество. Человек: материалы Всерос. науч.-практ. конф. с междунар. участием / науч. ред. Е. Н. Чижова. Т. 1. Вып. XXXVII. - Белгород: Белгородский государственный технологический университет им. В. Г. Шухова, 2019. - С. 126.

7. Тьюринг А. А. Вычислительные машины и разум // Разум. - 1950. - Т. IX. - Вып. 236. - С. 433-460.

8. Коломийцев С. Ю. Тест Тьюринга и искусственное мышление в начале XXI века // Человек. - 2015. - № 4. -С. 59-68.

9. Султанов Д. М. Темпоральность и универсальный характер разума: М. Минский об интеллекте как исчислении // Cognitive Neuroscience - 2021: материалы междунар. форума, Екатеринбург, 02-03 декабря 2021 года / Министерство науки и высшего образования Российской Федерации, Уральский федеральный университет имени первого Президента России Б. Н. Ельцина. - Екатеринбург: Издательство Уральского университета, 2022. - С. 92.

10. Brynjolfsson E., McAfee A. The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. - New York: WW Norton & Company, 2014. - Р. 281.

11. Lee R. Artificial Intelligence in Daily Life. - Singapore: Springer, 2020. - P. 980.

12. Lai C., Jin T. Teacher Professional Identity and the Nature of Technology Integration // Computers & Education. -2021. - P. 175.

13. Boulanger A. The Use of Machine Translation and AI in Medical Translation: Pros and Cons // Medical Writing. -2024. - Vol. 33. - P. 62-65.

14. Jeon B. Corpus Extraction and Purification Process for AI-based Chinese Character Translation // Korean Association for Literacy. - 2023. - Vol. 14. - P. 41-67.

15. Berent I., Sansiveri A. Davinci the Dualist: The Mind-Body Divide in Large Language Models and in Human Learners // Open Mind. - 2023. - Vol. 8. - P. 84-101.

16. Mizumoto A., Eguchi M. Exploring the Potential of Using an AI Language Model for Automated Essay Scoring // Research Methods in Applied Linguistic. - 2023. - Vol. 2 (2). - URL: https://www.sciencedirect.com/science/arti-cle/pii/S2772766123000101?ssrnid=4373111&dgcid=SSRN_redirect_SD

17. Kang B., Jeon H., Lee H. AI-based Language Tutoring Systems with End-to-end Automatic Speech Recognition and Proficiency Evaluation // ETRI Journal. - 2024. - Vol. 46. - P. 48-58.

18. Yoon S., Chen L., Zechner K. Predicting Word Accuracy for the Automatic Speech Recognition of Non-Native Speech // Interspeech. - 2010. - P. 773-776.

19. Ляхманов Д. А., Абрамов А. В. Распознавание речи // Информационные системы и технологии - 2019: сб. материалов XXV Междунар. науч.-техн. конф., Н. Новгород, 19 апреля 2019 года. - Н. Новгород: Нижегородский государственный технический университет им. Р. Е. Алексеева, 2019. - С. 656-660.

20. Kim S. et al. Automatic Recognition of Second Language Speech-In-Noise // JASA express letters. - 2024. - 4(2). - URL: https://pubs.aip.org/asa/jel/article/4/2/025204/3263708/Automatic-recognition-of-second-language-speech-in

21. Ле Н. В., Панченко Д. Распознавание речи на основе искусственных нейронных сетей // Технические науки в России и за рубежом: материалы Междунар. науч. конф. (г. Москва, май 2011 г.). - М.: Ваш полиграфический партнер, 2011. - С. 8-11.

22. Nandini S., Amita D. Survey on Automatic Speech Recognition Systems for Indic Languages // In Proceedings of 2nd International Conference on Smart Data Intelligence, 2022. - URL: https://dl.acm.org/doi/10.1145/3571742

23. Kuhn K. et al. Measuring the Accuracy of Automatic Speech Recognition Solutions // ACM Transactions on Accessible Computing. - 2023. - Vol. 16. - URL: https://dl.acm.org/doi/pdf/10.1145/3636513

24. Zeping M., Jinbo W. Exploring the Integration of Large Language Models into Automatic Speech Recognition Systems: An Empirical Study. - Springer, 2023. - URL: https://arxiv.org/abs/2307.06530

25. Xiaobin L. et al. Improving English pronunciation via automatic speech recognition technology // International Journal of Innovation and Learning. - 2019. - № 25 (126). - URL: https://www.inderscience.com/of-fers.php?id=97674

26. Irzawati I. The Integration of Duolingo into EFL Learning // Esteem Journal of English Education Study Programme. -2023. - Vol. 6. - P. 328-337.

27. Мурашко М. А. Иммерсивный подход к обучению английскому языку на примере цифрового сервиса mond-lyvr // Актуальные проблемы языка и культуры: традиции и инновации: сб. ст. участников V Междунар. науч.-практ. конф. для студ., магистрантов, педагогов и молодых учёных, Арзамас, 21 ноября 2022 года / науч. ред. Л. Н. Набилкина, отв. ред. Д. Л. Морозов. - Арзамас, 2023. - С. 133-138.

28. Fitria N., Usman M., Sahara N. Duolingo Application for Advancing English Speaking Skills // Journal of Innovation in Educational and Cultural Research. - 2023. - № 4. - P. 587-595.

29. Windya W. et al. The Use of Duolingo Application to Enhance Junior High School Students' Speaking ability // Edumaspul: Jurnal Pendidikan. - 2023. - № 7. - P. 5861-5870.

30. Kasturi T. et al. The Cohort and Speechify Libraries for Rapid Construction of Speech Enabled Applications for Android // In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue. -2015. - P. 441-443.

1. Haenlein, M., & Kaplan, A. (2019). "A Brief History of Artificial Intelligence: On the Past, Present, and Future of Artificial Intelligence", California Management Review, vol. 61. Available at: https://www.researchgate.net/publi-cation/334539401_A_Brief_History_of_Artificial_Intelligence_On_the_Past_Present_and_Future_of_Artifi-cial_Intelligence (in English).

2. Boden, M. A. (1996). Artificial intelligence, Elsevier, p. 194 (in English).

3. Kaul, V., Enslin, S., & Gross, S. (2020). "History of Artificial Intelligence in Medicine", Gastrointestinal Endoscopy, 92(4), pp. 807-812 (in English).

4. Buchanan, B. (2005). "Brief History of Artificial Intelligence", Ai Magazine, 26 (4), pp. 53-53 (in English).

5. Essinger, J. (2004). Jacquard's Web: How a Hand-Loom Led to the Birth of the Information Age, Oxford University Press, 1st ed., Oxford, p. 302 (in English).

6. Kuz'mina, V. S. (2019). "Filosofskie problemy razvitiya robototekhniki" [Philosophical issues in the development of robotics], Ekonomika. Obshchestvo. Chelovek: materialy Vseros. nauch.-prakt. konf. s mezhdunar. uchastiem / nauch. red. E. N. Chizhova. T. 1. Vyp. XXXVII, Belgorodskij gosudarstvennyj tekhnologicheskij universitet im. V. G. Shuhova, Belgorod, p. 126 (in Russian).

7. T'yuring, A. A. (1950). "Vychislitel'nye mashiny i razum" [Computing machines and the mind], Razum, t. IX, vyp. 236, pp. 433-460 (in Russian).

8. Kolomijcev, S. Yu. (2015). "Test T'yuringa i iskusstvennoe myshlenie v nachale XXI veka" [The Turing test and artificial intelligence at the beginning of the 21st century], Chelovek, № 4, pp. 59-68 (in Russian).

9. Sultanov, D. M. (2022). "Temporal'nost' i universal'nyj harakter razuma: M. Minskij ob intellekte kak ischislenii" [Temporality and the universal nature of the mind: M. Minsky on intelligence as calculus], Cognitive Neuroscience - 2021: materialy mezhdunar. foruma, Ekaterinburg, 02-03 dekabrya 2021 goda, Ministerstvo nauki i vysshego obrazovaniya Rossijskoj Federacii, Ural'skij federal'nyj universitet imeni pervogo Prezidenta Rossii B. N. El'cina, Izdatel'stvo Ural'skogo universiteta, Ekaterinburg, p. 92 (in Russian).

10. Brynjolfsson, E., & McAfee, A. (2014). The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies, WW Norton & Company, New York, p. 281 (in English).

11. Lee, R. (2020). Artificial Intelligence in Daily Life, Springer, Singapore, p. 980 (in English).

12. Lai, C., & Jin, T. (2021). "Teacher Professional Identity and the Nature of Technology Integration", Computers & Education, p. 175 (in English).

13. Boulanger, A. (2024). "The Use of Machine Translation and AI in Medical Translation: Pros and Cons", Medical Writing, vol. 33, pp. 62-65 (in English).

14. Jeon, B. (2023). "Corpus Extraction and Purification Process for AI-based Chinese Character Translation", Korean Association for Literacy, vol. 14, pp. 41-67 (in English).

15. Berent, I., & Sansiveri, A. (2023). "Davinci the Dualist: The Mind-Body Divide in Large Language Models and in Human Learners", Open Mind, vol. 8, pp. 84-101 (in English).

16. Mizumoto, A., & Eguchi, M. (2023). "Exploring the Potential of Using an AI Language Model for Automated Essay Scoring", Research Methods in Applied Linguistic, vol. 2 (2). Available at: https://www.sciencedirect.com/sci-ence/article/pii/S2772766123000101?ssrnid=4373111&dgcid=SSRN_redirect_SD (in English).

17. Kang, B., Jeon, H., & Lee, H. (2024). "AI-based Language Tutoring Systems with End-to-end Automatic Speech Recognition and Proficiency Evaluation", ETRI Journal, vol. 46, pp. 48-58 (in English).

18. Yoon, S., Chen, L., & Zechner, K. (2010). "Predicting Word Accuracy for the Automatic Speech Recognition of Non-Native Speech", Interspeech, pp. 773-776 (in English).

19. Lyahmanov, D. A., & Abramov, A. V. (2019). "Raspoznavanie rechi" [Speech recognition], Informacionnye sistemy i tekhnologii-2019: sb. materialovXXVMezhdunar. nauch.-tekhn. konf., N. Novgorod, 19 aprelya 2019 goda, Nizhe-gorod-skij gosudarstvennyj tekhnicheskij universitet im. R. E. Alekseeva, N. Novgorod, pp. 656-660 (in Russian).

20. Kim, S. et al. (2024). "Automatic Recognition of Second Language Speech-In-Noise", JASA express letters, 4(2). Available at: https://pubs.aip.org/asa/jel/article/4/2/025204/3263708/Automatic-recognition-of-second-lan-guage-speech-in (in English).

21. Le, N. V., & Panchenko, D. (2011). "Raspoznavanie rechi na osnove iskusstvennyh nejronnyh setej" [Speech recognition based on artificial neural networks], Tekhnicheskie nauki v Rossii i za rubezhom: materialy Mezhdunar. nauch. konf. (g. Moskva, maj 2011 g.), Vash poligraficheskij partner, Moscow, pp. 8-11 (in Russian).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

22. Nandini, S., & Amita, D. (2022). "Survey on Automatic Speech Recognition Systems for Indic Languages", In Proceedings of 2nd International Conference on Smart Data Intelligence. Available at: https://dl.acm.org/doi/10.1145/3571742 (in English).

23. Kuhn, K. et al. (2023). "Measuring the Accuracy of Automatic Speech Recognition Solutions", ACM Transactions on Accessible Computing, vol. 16. Available at: https://dl.acm.org/doi/pdf/10.1145/3636513 (in English).

24. Zeping, M., & Jinbo, W. (2023). Exploring the Integration of Large Language Models into Automatic Speech Recognition Systems: An Empirical Study, Springer. Available at: https://arxiv.org/abs/2307.06530 (in English).

25. Xiaobin, L. et al. (2019). "Improving English pronunciation via automatic speech recognition technology", International Journal of Innovation and Learning, № 25 (126). Available at: https://www.inderscience.com/of-fers.php?id=97674 (in English).

26. Irzawati, I. (2023). "The Integration of Duolingo into EFL Learning", Esteem Journal of English Education Study Programme, vol. 6, pp. 328-337 (in English).

27. Murashko, M. A. (2023). "Immersivnyj podhod k obucheniyu anglijskomu yazyku na primere cifrovogo servisa mondlyvr" [An immersive approach to teaching English using the example of the digital service "mondlyvr"], Ak-tual'nye problemy yazyka i kul'tury: tradicii i innovacii: sb. st. uchastnikov V Mezhdunar. nauch.-prakt. konf. dlya stud., magistrantov, pedagogov i molodyh uchyonyh, Arzamas, 21 noyabrya 2022 goda, Arzamas, pp. 133-138 (in Russian).

28. Fitria, N., Usman, M., & Sahara, N. (2023). "Duolingo Application for Advancing English Speaking Skills", Journal of Innovation in Educational and Cultural Research, № 4, pp. 587-595 (in English).

29. Windya, W. et al. (2023). "The Use of Duolingo Application to Enhance Junior High School Students' Speaking ability", Edumaspul: Jurnal Pendidikan, № 7, pp. 5861-5870 (in English).

30. Kasturi, T. et al. (2015). "The Cohort and Speechify Libraries for Rapid Construction of Speech Enabled Applications for Android", In Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 441-443 (in English).

Вклад авторов

А. С. Бобунова - разработка концепции исследования, проведение исследования, подготовка и редактирование текста.

М. Г. Сергеева - проведение исследования, утверждение окончательного варианта статьи.

Contribution of the authors

A. S. Bobunova - development of the research concept, conducting the research, preparing and editing the text.

M. G. Sergeeva - conducting the research, approving the final version of the article.

i Надоели баннеры? Вы всегда можете отключить рекламу.