CC BY
111
Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2017. № 1
ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ
С.В. Титова
КОНТРОЛЬ И ОЦЕНИВАНИЕ В ЯЗЫКОВОМ КЛАССЕ
С ПОМОЩЬЮ МОБИЛЬНЫХ ПРИЛОЖЕНИЙ
Федеральное государственное бюджетное образовательное учреждение
высшего образования «Московский государственный университет имени М.В. Ломоносова» 119991, Москва, Ленинские горы, 1
Цель данной статьи — анализ результатов внедрения мобильной системы тестирования PeLe (Норвегия, HiST) в процесс обучения английскому языку для развития языковых (лексических и грамматических) навыков. Методическая модель внедрения предполагала использование проблемно-ориентированного подхода к обучению на базе формирующего контроля, мгновенной обратной связи и интерактивных послетестовых заданий. Данная модель была разработана и протестирована в ходе международного исследовательского проекта MobiLL преподавателями английского языка МГУ имени М.В. Ломоносова и Университета HiST (Норвегия) в 2013/2014 учебном году. Анализ, основанный на количественных и качественных данных исследования, показал, что занятия по изучению иностранного языка с использованием системы PeLe способствовали развитию языковых навыков. Анализ опроса мнения студентов выявил положительный эффект формирующего контроля с использованием мобильных устройств и послетестовых заданий для мотивации учащихся и развития навыков работы в сотрудничестве.
Ключевые слова: мобильное обучение иностранным языкам, мобильная система тестирования, текущий контроль.
Сегодня мобильные устройства и технологии играют важнейшую роль в повседневной жизни студентов, которые более комфортно и уверенно себя чувствуют в мобильной среде, нежели преподаватели. Поступив в университет, мобильные аборигены воспринимают с радостью любые попытки преподавателей использовать эти ставшие уже неотъемлемой частью их жизни устройства в учебном процессе. Однако умение использовать мобильные устройства для решения конкретных личных или бытовых задач не гарантирует знание их обучающих функций и свойств [Kukulska-Hulme, 2010: 130—141]. Элементы мобильного обучения иностранным языкам уже внедряются в неко-
Титова Светлана Владимировна — доктор педагогических наук, профессор, зам. декана по дополнительному образованию факультета иностранных языков и регионове-дения МГУ имени М.В. Ломоносова (e-mail: stitova3@gmail.com).
торых российских университетах. Как показывают недавние исследования по этому вопросу, студенты имеют опыт использования мобильных устройств в процессе самостоятельного обучения [Титова, Авраменко, 2014: 162—167].
Многие ученые выделяют сегодня так называемые социальные аспекты мобильных технологий, которые позволяют создать особую модель мобильного обучения, построенную на теории Л. Выготского, ставящей на первое место важность диалога в образовательном контексте. Вовлеченность, присутствие и свобода действий рассматриваются как основные дидактические свойства мобильных технологий, способствующие созданию интерактивной среды обучения ^апаИег, Gururajan, Hafeez-Baig, 2009: 21—46]. Главное условие успешного функционирования мобильной среды обучения — основанный на сотрудничестве, исследовательский подход к развитию профессиональных компетенций, который представляет собой отход от пассивных методов, предполагающих простую передачу знаний, к проблемно-ориентированным методам обучения [Сафонова, 2015: 104—115]. Подобные интерактивные диалогические модели обучения очень похожи на научно-исследовательский процесс [Sambell, 2010: 52—61]. Таким образом, мобильные технологии позволяют преподавателям создавать среду сотрудничества, которая вдохновляет студентов на самостоятельное изучение, привнося истинный исследовательский подход к предмету. Данный подход предполагает фундаментальное изменение философии преподавания и обучения, при этом мобильные устройства особенно важны, поскольку предоставляют возможности мгновенной обратной связи и оценивания, качественно меняя учебное взаимодействие. Особое внимание в этом случае уделяется стимулированию развития неформального общения, так как мобильная интерактивная среда мотивирует общение обучающихся с членами группы, преподавателями и другими специалистами в любое время и в любом месте, предоставляет возможность получить доступ к любым данным, делиться и обмениваться своим собственным контентом [Титова, Талмо, 2015: 49—64].
Несмотря на большое количество исследований в сфере мобильного обучения в нашей стране и за рубежом, преподавателям нелегко определить педагогический потенциал, предоставляемый мобильными технологиями, соотнести его с целями, методами и формами обучения, поскольку на данный момент в нашей стране нет общепринятой методической базы мобильного обучения иностранным языкам. Вместе с тем существует необходимость переориентации традиционной модели обучения, которая должна быть нацелена прежде всего на развитие умений и навыков обучающихся, а не только на оценку сформированности компетенций. Именно поэтому гипотеза данного
исследования заключалась в том, что основанный на сотрудничестве проблемно-ориентированный подход в сочетании с дидактическими функциями мобильных приложений тестирования будет способствовать более эффективному формированию языковых навыков обучающихся.
Дидактические функции мобильной системы тестирования PeLe. Система мобильного тестирования (PeLe) для портативных устройств, разработанная в университете HiST (Тронхайм, Норвегия), позволяет преподавателям тестировать студентов при помощи мобильного устройства, оценивать их результаты и предоставлять своевременную обратную связь как отдельным студентам, так и группам сразу после теста. Если вопрос теста вызывает трудности у многих студентов, преподаватель выбирает вид послетестового задания в качестве оперативного исправления возникших трудностей. В систему PeLe интегрирована система SRS таким образом, что она может использоваться, чтобы предоставить студентам второй шанс выбора варианта. PeLe позволяет студентам видеть на своих собственных устройствах свои индивидуальные контрольные баллы и результаты из системы SRS [там же].
Однако наиболее ценная дидактическая функция PeLe заключается в том, что данная система тестирования позволяет проводить формирующее оценивание (formative assessment). Цель формирующего оценивания — не столько оценивание, сколько диагностика пробелов в умениях и навыках как индивидуальных обучающихся, так и группы в целом. Для диагностики такого рода важны общие результаты и динамика группы. Обратная связь является ключевым элементом формирующего контроля. Формирующее оценивание, как известно, способствует повышению мотивации обучающихся, предоставляя им возможность самим оценивать и контролировать процесс обучения [Nicol, Macfar-lane-Dick, 2006: 199-218].
Данный подход к диагностике помогает преподавателю выявить слабые стороны презентации учебного материала, своевременно внести поправки и дополнительные разъяснения. Опираясь на результаты формирующего оценивания, преподаватель может скорректировать свои методы и стратегии, способы подачи учебного материала, может определить, какой аспект нуждается в дополнительном объяснении или большем количестве упражнений и заданий. Кроме того, преподаватель должен подготовить проблемные задания для того, чтобы стимулировать послетестовую групповую дискуссию, если обучающиеся будут испытывать сложности, делая тест. Основная цель проблемных заданий — помочь студентам самостоятельно прийти к правильному решению путем групповых обсуждений и логических заключений. Технические характеристики и соответствующие им дидактические функции PeLe представлены в табл. 1.
Таблица 1
Технические характеристики и дидактические функции PeLe
Технические характеристики РеЬе Дидактические функции РеЬе
Мгновенная оценка выполненного теста и обратная связь Своевременная диагностика усвоения материала группой и отдельными обучающимися Обеспечение мгновенной обратной связи в процессе обучения Корректировка методов и подходов
Сохранение индивидуальных и групповых результатов тестирования Использование технологии электронного портфолио Использование технологии формирующего оценивания Групповая и индивидуальная диагностика усвоения материала
Преподаватель может видеть на своем экране, что происходит в процессе проведения теста Своевременное выявление проблем у обучающихся Контроль прогресса обучающихся Обеспечение мгновенной обратной связи в процессе обучения
Включение мультимедийных материалов в тест Развитие мотивации у обучающихся
Необходимое оборудование: один компьютер, мобильные устройства, доступ в Интернет Обучение в условиях с ограниченным количеством технических устройств Нет необходимости в использовании дорогостоящего оборудования
Обучающиеся используют свои мобильные устройства Нет необходимости в проведении инструкций, так как устройства знакомы
Цели и этапы международного проекта Mobill. Цель международного исследовательского проекта MobiLL, в котором приняли участие норвежские преподаватели университета S0r-Tr0ndelag University College Trondheim HiST (Норвегия, Трондхейм) и российские преподаватели факультета иностранных языков и регионоведения МГУ имени М.В. Ломоносова, состояла в разработке модели интеграции системы мобильного тестирования PeLe в традиционный курс по дисциплине «Иностранный язык».
В течение двух семестров 2013/2014 года преподаватели МГУ и HiST пилотировали систему PeLe. Для этого были сформулированы следующие вопросы:
— Каков педагогический потенциал системы PeLe для развития коммуникативной компетенции, в частности, для развития языковых навыков обучающихся?
— Влияет ли применение системы PeLe (в частности, мгновенная обратная связь) на осуществление контроля в традиционном курсе и способствует ли развитию языковых навыков обучающихся?
— Каким образом можно эффективно внедрить проблемно-ориентированный подход в мобильное обучение?
— Влияет ли предложенный метод мобильного обучения иностранному языку на мотивацию студентов и в какой степени?
— Является ли мотивация или ее отсутствие результатом применения технического средства обучения или методики внедрения?
Участниками российского исследования были 35 слушателей (три экспериментальных группы и одна контрольная группа) подготовительных курсов факультета иностранных языков и регионоведения МГУ имени М.В. Ломоносова. Как показало входное тестирование, уровень владения английским языком обучающихся соответствовал А2 по общеевропейской шкале.
Эксперимент в МГУ проводился в три этапа с сентября 2013 по май 2014 г. На первом этапе исследования мобильная система PeLe использовалась для проведения формирующих грамматических и лексических тестов в трех экспериментальных группах. Количественные данные первой и второй попыток обучающихся проанализированы посредством среднеарифметических значений и среднеквадратического отклонения. Второй этап эксперимента состоял в сравнительном анализе результатов промежуточного тестирования в экспериментальных и контрольной группах. На третьем этапе эксперимента обучающимся было предложено ответить на вопросы опросника, основной целью которого было выяснение отношения участников экспериментальных групп к предложенной модели обучения.
Модель внедрения мобильной системы тестирования PeLe в процесс обучения. Во время первого этапа эксперимента проведение формирующего тестирования с поддержкой системы PeLe происходило по следующей модели:
1. Настройка шаблона теста на базе PeLe преподавателем, который выбирает количество вопросов теста, количество дистракторов, отмечает правильный ответ.
2. Выполнение PeLe теста в классе: тест можно проводить как на базе PeLe, если преподаватель внес все тестовые вопросы в систему заранее, так и демонстрируя вопросы на интерактивной доске или предложив печатную версию теста. Во время выполнения теста обучающимися на мобильных устройствах преподаватель видит на экране своего компьютера весь процесс выполнения всеми участниками группы, отмечает вопросы, которые вызывают наибольшее количество затруднений.
3. Демонстрация результатов и обеспечение мгновенной обратной связи: после окончания теста преподаватель анализирует результаты
теста, используя графики или таблицы, выделяет самые сложные вопросы теста, по которым проводит послетестовые задания для отработки и закрепления наиболее сложных моментов. В качестве после-тестовых заданий предлагаются фронтальная дискуссия, дискуссия в парах или задание на базе системы голосования РеЬе. Если на какой-либо вопрос более 75% участников группы дают неправильный ответ, преподаватель объясняет материал еще раз, указав правильный ответ. Преподаватели экспериментальных групп заполняли таблицу с типами предложенных послетестовых заданий после каждого РеЬе теста.
4. Повторное прохождение теста: после проведения ряда послете-стовых заданий преподаватель предлагает обучающимся или сделать тест еще раз, или ответить только на вопросы, вызвавшие наибольшие трудности с помощью мобильной системы обратной связи SRS. На этом этапе преподаватель может продемонстрировать обучающимся результаты первой и второй попыток тестирования в виде графиков.
Анализ результатов исследования. Результаты первой и второй попыток (после получения обратной связи, обсуждения и выполнения заданий) РеЬе тестов в экспериментальных группах иллюстрируют значительное улучшение результатов при второй попытке в группах 2 (56>75) и 3 (57>77), где средние значения входного тестирования членов группы были 64 и 66 баллов соответственно. Тем не менее подобного прогресса не наблюдается в группе 1 (85>87), у членов которой изначально уровень был выше (88 баллов при входном тестировании). Таким образом, можно сделать вывод о большей эффективности интеграции системы РеЬе для обучающихся с низким уровнем владения языком (табл. 2).
Таблица 2
Средняя оценка, среднеквадратическое отклонение и t-test для первой и второй попыток тестирования в экспериментальных группах
Первая попытка средняя оценка Вторая попытка средняя оценка Первая попытка среднеквадрати-ческое отклонение Вторая попытка среднеквадрати-ческое отклонение Показатели t-test для первой и второй попыток
Группа 1 85 87 7,9 8,05 0,5023
Группа 2 56 75 13,11 10,17 3,0512
Группа 3 57 77 14,44 8,40 3,2342
Как было уже сказано, в ходе исследования использовалось три основных формата послетестовых заданий: повторное объяснение материала преподавателей (при <75% правильных ответов при первичном ответе на вопрос); фронтальная дискуссия (при 50% правильных
ответов) и работа в группах/парах при (>25%) правильных ответов. Согласно результатам эксперимента наиболее часто используемым (59) и эффективным послетестовым заданием для закрепления языкового материала являлась фронтальная дискуссия (табл. 3).
Таблица 3
Количество и типы послетестовых заданий в экспериментальных группах
Повторное объяснение преподавателем Фронтальная дискуссия Обсуждение в группах Общее количество послетесто-вых заданий Среднее количество послетесто-вых заданий на группу
% N % N % N % N 5,125
Группа 1 34,4 11 53,1 17 12,5 4 26 32
Группа 2 37,5 18 43,8 21 19,9 9 39 48
Группа 3 25,6 11 48,8 21 25,6 11 35 43
Все группы 32,5 40 48 59 19,5 24 123
Вероятнее всего, фронтальные дискуссии использовались чаще, поскольку преподавателям было легче быть самому инициатором обсуждений, задавать и формулировать проблемные вопросы, стимулирующие обучающих, находить правильные ответы, решать проблемы. Обсуждение в группах, которое изначально было задумано, как объяснение одним из членов группы, который ответил правильно на тот или иной вопрос, требовало дополнительной подготовки и было очень трудоемко с точки зрения количества аудиторного времени, которое необходимо на его реализацию. Именно этим объясняется тот факт, что количество фронтальных заданий превышает почти в два раза обсуждение в группах (59>24). Данный эксперимент продемонстрировал, что обеспечение мгновенной обратной связи и проведение послетестовых заданий в рамках проблемно-ориентированного подхода способствует закреплению языкового материала.
На втором этапе эксперимента после серии формирующих тестов (8) на базе РеЬе в экспериментальных и контрольных группах было проведено итоговое тестирование, а также были сравнены результаты входного и итогового тестирования в экспериментальных и контрольной группах. Баллы, полученные студентами экспериментальных групп (81>87, 64>78, 66>73), отражают несомненный прогресс, в то время как в контрольной группе обучающиеся не показали особого прогресса (60>62). Анализ результатов с помощью методики t-test также подтвердил, что модель интеграции системы РеЬе оказалась более эффективной для экспериментальных групп 2 и 3, в которых входной уровень тестирования был ниже, чем в группе 1 (табл. 4).
Таблица 4
Результаты входного и финального тестирования экспериментальных и контрольной групп
Группы Входной тест Среднестатистический результат Входной тест Среднеквад-ратический результат Итоговый тест Среднестатистический результат Итоговый тест Среднеквад-ратический результат T-TEST (сравнение результатов входного и итогового тестирования)
Экспериментальная группа 1 81 5,97 87 8,23 1,8027
Экспериментальная группа 2 64 8,75 78 14,58 2,6201
Экспериментальная группа 1 66 15,09 73 10,30 1,2405
Контрольная группа 60 7,09 62 4,88 0,7025
На третьем этапе эксперимента обучающимся было предложено выразить свое мнение по пройденным тестам и новым методам работы. Данный опросник с четырехуровневой системой оценивания включал 11 вопросов, в опросе приняло участие 24 студента из экспериментальных групп. Результаты опроса представлены в табл. 5.
Таблица 5
Результаты опросника
Полностью согласен/сна Согласен/сна Не согласен/сна Совершенно не согласен/ ста Среднее значение
1. Мобильные устройства — самые лучшие ТСО для обучения иностранным языкам сегодня 17 4 3 0 3,58
2. PeLe тесты помогли мне лучше понять обсуждаемую тему 16 6 2 0 3,58
3. PeLe тесты помогли мне подготовиться к промежуточным и финальным экзаменам 16 4 2 2 3,41
4. Мгновенная обратная связь, которая обеспечивалась сразу после теста, мотивировала меня 22 2 0 0 3,91
Окончание табл. 5
Полностью согласен/сна Согласен/сна Не согласен/сна Совершенно не согласен/ ма Среднее значение
5. Послетестовые задания помогли мне лучше понять грамматические правила 14 6 4 0 3,41
6. Послетестовые задания были полезны и проводились вовремя 17 5 2 0 3,62
7. Вторая попытка прохождения теста на SRS помогла мне исправить ошибки 11 6 3 4 3,00
8. Смена форм учебной деятельности способствовала лучшему усвоению материала и удерживало мое внимание дольше 10 8 4 2 3,08
9. Делать РеЬе тесты было интересно, они поменяли мое отношение к обучению ИЯ 10 8 4 2 3,08
10. РеЬе тесты усложняли учебный процесс, были бесполезными 0 0 4 20 1,16
11. РеЬе тесты способствовали развитию моей мотивации 16 6 2 0 3,58
В целом результаты опроса показали положительное отношение студентов к проведенному эксперименту. Обучающиеся выделяли актуальность мгновенной обратной связи, подчеркивали эффективность послетестовых заданий для развития языковых навыков и подготовки к промежуточному и итоговому формам контроля. Несмотря на общие позитивные отклики, несколько респондентов высказали критические замечания. Например, отвечая на вопросы пятый и девятый, четыре студента были не согласны с тем, что послетестовые задания помогли им лучше понять грамматические правила и что делать РеЬе тесты было интересно, они поменяли их отношение к обучению ИЯ. Тем не менее, как наш анализ показал, подавляющее большинство студентов нашли, что модель интеграции РеЬе в учебный процесс эффективна.
Таким образом, разработанная методика интеграции мобильной системы тестирования РеЬе в традиционный процесс обучения языковым навыкам способствует реализации проблемно-ориентирован-
ного и исследовательского подходов. За счет персонификации и групповой деятельности обучающихся, а также обеспечения мгновенной обратной связи и своевременного контроля усвоения учебного материала на базе мобильного приложения тестирования достигаются следующие дидактические цели: глубокое усвоение материалов; формирование необходимых умений и навыков; развитие мотивации обучающихся; оптимизация учебного процесса за счет экономии аудиторного времени и времени, необходимого на проверку тестовых заданий. Перспективными направлениями дальнейшего исследования в этой области являются: создание и пилотирование новых форматов заданий и упражнений на основе приложений обратной связи для развития коммуникативной и социокультурной компетенций; организация интерактивной аудиторной и самостоятельной работы обучающихся на базе мобильных технологий; разработка теоретической модели развития устно- и письменноречевых умений и ее реализация на практике [Абрамова, 2015].
Список литературы
1. Абрамова О.М. Использование облачных технологий для организации контроля учебной деятельности // Высшее образование в России. 2015. № 7.
2. Сафонова В.В. Интернет-ориентированная методика обучения межкультурному общению на иностранных языках: проблемы и перспективы развития // Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2015. № 2. С. 104—115.
3. Титова С.В., Авраменко А.П. Компетенция преподавателя в среде мобильного обучения // Высшее образование в России. 2014. № 7. С. 162—167.
4. Титова С.В., Талмо Т. Создание модели интерактивной лекции с помощью мобильной системы голосования SRS // Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2015. № 3. С. 49—64.
5. Danaher P. A., Gururajan R, Hafeez-Baig A. Transforming the practice of mobile learning: Promoting pedagogical innovation through educational principles and strategies that work // Innovative mobile learning: Techniques and technologies / Ed. by H. Ryu, D.P. Parsons. Hershey, PA and N.Y: Information Science Reference/IGI Global, 2009. Р. 21-46.
6. Kukulska-Hulme A. Mobile learning for quality education and social inclusion. UNESCO IITI, 2010. P. 130-141.
7. NicolD., Macfarlane-Dick D. Formative assessment and self-regulated learning: A model and seven principles of good feedback practice // Studies in Higher Education. 2006. № 31 (2). P. 199-218.
8. Sambell K. Enquiry-based learning and formative assessment environments: student perspectives // Practitioner Research in Higher Education. 2010. № 4 (1). P. 52-61.
Svetlana V. Titova
MOBILE TESTING APPS FOR ASSESSMENT AND EVALUATION IN LANGUAGE CLASSROOM
Lomonosov Moscow State University 1 Leninskie Gory, Moscow, 119991
One of the objectives of this paper is to investigate the pedagogical impact of both the mobile testing system PeLe and the enquiry-based learning approach on language skills development in the context of mobile-assisted language learning. The research aims to work out a methodological framework of PeLe implementation into language classroom through formative assessment, immediate feedback and interactive post-test activities. The framework was developed and pilot tested in a joint research project by EFL teachers at a Russian and a Norwegian universities. Students enrolled in a preparatory English course at a Russian university were randomly assigned to 3 experimental groups and 1 control groups. The analysis based on quantitative research data demonstrated that PeLe supported language classes resulted in language skill gains. Student attitude questionnaire analysis highlighted the positive effect of mobile formative assessment and of post-test activities on learner motivation and collaboration skills. This study suggests that the use of technology was effective in extensively engaging students in enquiry-based tasks to cultivate collaboration and creativity.
Key words: MALL, mobile testing system, formative assessment, enquiry-based learning, immediate feedback, collaboration environment.
About the author: Svetlana V. Titova — Dr. Sciences, Professor, Deputy Dean of the Faculty of Foreign Languages and Area Studies, Lomonosov Moscow State University (e-mail: stitova3@gmail.com).
References
1. Abramova O.M. 2015. Ispolzovanie oblachnyh technologiy dlya organizachii kontrolya uchebnoi deyatelnosti [The use of cloud technologies to control learning process]. Vysshee obrazovanie v Rossii, no 7. URL: http://cyberleninka. ru/article/n/ispolzovanie-oblachnyh-tehnologiy-dlya-organizatsii-kontrolya-uchebnoy-deyatelnosti (accessed: 09.09.2016). (In Russ.)
2. Safonova V.V. 2015. Internet-orientirovannaya medotika obuchenia mesh-kulturnomu obscheniuna inostrannih jazikah: problemi i perspektivi [The Internet-Focused Method of Teaching Intercultural Communication in Foreign Languages: Problems and Prospects]. Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no 2, pp. 104—115. (In Russ.)
3. Titova S.V., Avramenko A.P. 2014. Kompetentsiya prepodavatelya v srede mobil'nogo obucheniya [Teacher competences in mobile learning environment]. Vysshee obrazovanie v Rossii, no 7, pp. 162—167. (In Russ.)
4. Titova S.V., Talmo T. 2015. Sozdanie modeli interactivnoi lekchii s pomoschiu sistemi golosovania SRS [Creating an educational design of the interactive
lecture on the basis of the mobile voting tool SRS]. Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no 3, pp. 49—64. (In Russ.)
5. Danaher P. A., Gururajan R., Hafeez-Baig A. 2009. Transforming the practice of mobile learning: Promoting pedagogical innovation through educational principles and strategies that work. In H. Ryu, D.P. Parsons (Eds.), Innovative mobile learning: Techniques and technologies Hershey, PA and N.Y.: Information Science Reference/IGI Global, pp. 21—46.
6. Kukulska-Hulme A. 2010. Mobile learning for quality education and social inclusion. UNESCO IITI, pp. 130-141.
7. Nicol D., Macfarlane-Dick D. 2006. Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education, no 31 (2), pp. 199-218.
8. Sambell K. 2010. Enquiry-based learning and formative assessment environments: student perspectives. Practitioner Research in Higher Education. University of Cambria, no 4 (1), pp. 52-61.
