CC BY
11
А.Ю. Алипичев, О.В. Таканова, А.Н. Кузнецов
(Москва)
К ВОПРОСУ О ПОВЫШЕНИИ ВАЛИДНОСТИ ФОНДОВ ОЦЕНОЧНЫХ СРЕДСТВ, ПРИМЕНЯЕМЫХ В РАМКАХ ИНОЯЗЫЧНОЙ ПОДГОТОВКИ В НЕЯЗЫКОВОМ ВУЗЕ
ON THE ISSUE OF INCREASING THE VALIDITY OF ASSESSMENT RESOURCES, USED AS PART OF FOREIGN LANGUAGE TRAINING AT A NON-LINGUISTIC UNIVERSITY
В статье рассматривается один из эффективных подходов к повышению валидности фондов оценочных средств (ФОС) по дисциплине «Деловой иностранный язык», входящей в учебные планы магистратуры неязыковых вузов. В центре внимания находятся конкретные мероприятия, сопряженные с включением в ФОС тех видов учебной деятельности (в том числе, интерактивных), которые, как показывает педагогическая практика, в наибольшей степени способствуют формированию компетенций, заявленных в вузовских основных образовательных программах. Ключевые слова: валидизация контрольно-измерительных материалов, обучение иностранным языкам, деловой иностранный язык, фонд оценочных средств, интерактивные технологии обучения, неязыковой вуз, компетентностный подход, образовательные результаты.
The article discusses one of the effective approaches to improving the validity of assessment resources for the discipline of «Business Foreign Language», which is included in the curriculum of magistracy in non-linguistic universities. The focus is on specific activities associated with the inclusion of those types of educational activities (among which are interactive ones), which, as shown by pedagogical practice, contribute to the greatest degree to the formation of competencies declared in the university's main educational programs.
Key words: validation of assessment tools, foreign language teaching, business foreign language, assessment resources, interactive learning technologies, competency approach, learning outcomes, non-linguistic university.
Внедрение в вузовскую практику основ дидактического проектирования на основе компетентностного подхода привело к возникновению у преподавателей значительных затруднений. Одной из основных проблем можно считать проектирование валидной системы оценивания уровня сфор-мированности у студентов/выпускников компетенций, требуемых основными образовательными программами [8]. При данном подходе в процессе учения обучающийся должен научиться самостоятельно и независимо мыслить и быть готовым к действиям в реальных жизненных условиях [12]. По-
скольку компетентностный подход предполагает переход от классической оценки знаний, умений и навыков к оценке компетенций, возникают проблемы с обеспечением адекватной оценки результатов обучения. Оценка качества подготовки выпускников по знаниям и умениям, демонстрируемым на текущих и итоговых экзаменах, с использованием традиционных оценочных средств недостаточно адекватно характеризует действительный уровень их готовности к успешной профессиональной деятельности [10].
Также новым и принципиально важным отличием нового подхода стало то, что це-
лью оценивания становилось не выявление ошибок и недостатков в работе студента, а определение степени готовности к предстоящей профессиональной деятельности и формирование осознанной мотивированности к ней. Следовательно, уже в процессе обучения студенты должны получать адекватное представление о специфике своей будущей профессиональной деятельности и роли в ней иностранного языка [1].
Для наиболее успешной реализации компетентностного подхода в образовании появилась необходимость в разработке новых методов оценивания. Высказываясь об основополагающих принципах формирования оценочных средств, Д.П. Резник [16] отмечает важность трёх из них: во-первых, соответствие целям образования, во-вторых, учет характера проверяемых знаний и, в-третьих, осознание функций контроля в образовательном процессе. При этом необходимо учитывать, что этап контроля уровня сформированности компетенций (особенно профессиональных) является неотъемлемым компонентом образовательного процесса в вузе, поскольку он обеспечивает эффективную обратную связь не только между обучающимися и преподавателем, но и преподавателем и требованиями учебно-программной документации; кроме того, это позволяет инструментализировать мониторинг индивидуальных достижений студентов.
Оцениванию результатов освоения программы обучения посвящены работы многих отечественных специалистов, среди которых Н.Ф. Ефремова [6], Н.В. Соловова [14], В.И. Звонников [7] и др. Актуальность этого вопроса обусловлена тем, что при отсутствии действенных инструментов и методов оценки сформированности компетенций успешная реализация компетентност-ного подхода в образовании не представляется возможной.
Поскольку компететностный подход является практикоориентированным, многообразие оценочных средств позволяет активизировать учебный процесс за счет использования средств контроля, позволяющих соотнести формируемые компетенции
с требованиями, предъявляемыми к практикующим специалистам. Таким образом, существует объективная необходимость в разработке новых подходов к оцениванию, которые позволили бы обеспечить более валидное проектирование фондов оценочных средств.
Фонд оценочных средств ФОС определяется как «комплекты методических материалов, предназначенных для установления соответствия (или несоответствия) требованиям ФГОС ВПО уровня освоения студентами основной образовательной программы (ООП) по определенному направлению подготовки или специальности». Данные методические материалы включают в себя совокупность контрольно-измерительных материалов (типовые задачи/задания, контрольные работы, тесты и др.) и методы их использования для оценки уровня сфор-мированности заявленных компетенций и уровня достижения обучающимся прогнозируемых результатов обучения [11]. В частности, ФОС может включать материалы, определяющие процедуры оценивания -описание условий оценивания, выполнения заданий (логистика, время, оборудование и т. д.) [9]. ФОС формируются отдельно по каждому направлению и профилю подготовки, а также по каждой дисциплине (модулю). ФОС нацелен на организацию и планирование самостоятельной работы обучающихся, а также оценку качества освоения основной общеобразовательной программы.
Основные задачи ФОС заключаются:
- в проведении текущего контроля успеваемости обучающихся с целью оперативного контроля результативности их учебной деятельности;
- в осуществлении промежуточной аттестации. Данный вид аттестации позволяет оценить степень достижения запланированных результатов обучения в соответствии со сроками, установленными учебным планом.
По мнению многих методистов [4; 9; 14], фонды оценочных средств призваны обеспечивать всестороннюю, объективную и достоверную оценку качества результатов обучения, должны быть исключены субъек-
тивность и низкая информативность оценки, ориентированность на фиксацию недостатков, а также отсутствие четких правил вывода итоговых оценок.
В связи с широким распространением идеи компетентностного подхода появляются различные методические рекомендации по формированию ФОС, служащие теоретической базой для дальнейшей оптимизации. Так, например, по мнению российского профессора Н.Ф. Ефремовой [6], основные принципы, которые должны быть использованы методистами при составлении ФОС, таковы:
- валидные контрольные измерительные материалы;
- соответствие содержания материалов уровню и стадии обучения;
- четко сформулированные критерии оценки;
- максимально объективные и продуктивные методы оценки;
- высококвалифицированные специалисты;
- четко прописанные рекомендации действий по итогам оценки.
Некоторые исследователи обращают внимание на то, что моделирование квазипрофессиональной деятельности наилучшим образом позволяет преподавателю наиболее полно и точно оценить степень сформированности у студента той или иной компетенции [2]. Однако моделирование ситуации является наиболее сложным этапом в формировании ФОС в силу комплексности структуры каждой компетенции [5; 9].
Многими специалистами также справедливо подчеркивается, что наибольшей сложностью при оценивании в рамках ком-петентностно-ориентированного обучения является то, что сформированность компетенций может наблюдаться только через «включение» человека в определенную деятельность [13].
Таким образом, основная задача, стоящая перед составителями рабочих программ дисциплин и фондов оценочных средств, заключается в тщательном анализе компетенций, которыми должны овладеть студенты в рамках модуля, и поиске эффек-
тивных методов проверки приобретенных студентами знаний, учитывая специфику реализации компетентностного подхода в образовании. Причем для обеспечения определенного качества подготовки фонды оценочных средств должны быть определенным образом валидизированы.
Чтобы фонды оценочных средств в полной мере отражали степень сформирован-ности компетенций, при их составлении необходимо принимать во внимание некоторые особенности контроля в общем. Так, по мнению ряда российских исследователей, важнейшими учитываемыми при составлении ФОС аспектами должны быть периодичность проведения оценки, соблюдение последовательности проведения оценки, многоступенчатость, единство используемой технологии оценивания и критериев оценивания для всех студентов [3].
В качестве одного из подходов к вали-дизации фондов оценочных средств исследователи применили «экспертную оценку». В качестве экспертов было предложено использовать две категории специалистов: обучающихся и педагогов.
Первая категория - обучающиеся в вузах, характеризующиеся определенным профессиональным опытом, - и в этой связи авторы провели опрос магистрантов, чтобы определить, насколько полно и эффективно реализуются оценочные средства в рамках одной из изучаемых ими дисциплин.
Данные опроса показали, какие оценочные средства на практике являются наиболее частотными и как они коррелируют с заявленными компетенциями. В таблице 1 представлены результаты опроса магистрантов (2018/2019 учебный год). Данный опрос предполагал определить регулярность использования тех или иных оценочных средств в рамках дисциплины «Деловой иностранный язык».
На следующем этапе исследования был проведен опрос 15 преподавателей дисциплины «Деловой иностранный язык» в РГАУ - МСХА имени К.А. Тимирязева (вторая категория специалистов) (результаты представлены в таблице 2). Это позволило верифицировать применяемые контрольно-из-
Таблица 1.
Оценка регулярности использования оценочных средств в рамках дисциплины «Деловой иностранный язык» (% от общего числа опрошенных студентов)
Оценочные средства Часто, % Редко,% Не используется, %
Задания для работы с текстами (чтение, устный и письменный перевод, пересказ) 91 9 0
Задания для работы с аудиотекстами 0 15 85
Устное сообщение по предложенной теме (презентация) 58 37 5
Тест (лексико-грамматические упражнения) 66 34 0
Дискуссия 17 32 41
Эссе (сочинение, статья) 50 32 18
Ролевая игра 0 34 66
Анализ практической ситуации (case-study) 0 28 72
мерительные материалы с лингводидакти-ческой точки зрения - в аспекте выявления наиболее целесообразных и эффективных оценочных средств (исходя из идеи реализации компетентностного потенциала дисциплины), используемых в рамках реализации иноязычной подготовки.
На основе полученных данных опросов авторы разработали методические рекомендации по оптимизации оценочных средств иноязычной подготовки в неязыковом вузе.
Преподавателям было предложено ответить, применение каких оценочных средств (в рамках текущего контроля) является наиболее эффективным для оценивания пока-
зателей сформированности у магистрантов направления подготовки 27.04.01 Стандартизация и метрология ОПК-1 («готовность к коммуникации в устной и письменной формах на русском и иностранном языках для решения задач профессиональной деятельности» [15]) и ПК-22 («готовность к сбору, обработке, анализу, систематизации и обобщению научно-технической информации, отечественного и зарубежного опыта по направлению исследований, выбору рациональных методов и средств при решении практических задач, разработке рабочих планов и программ проведения научных исследований и перспективных технических разработок, подготовке отдельных заданий
Таблица 2.
Оценка эффективности использования оценочных средств для определения уровня сформированности компетенций у магистрантов в рамках дисциплины «Деловой иностранный язык» (% от общего числа опрошенных преподавателей)
Оценочные средства Что обычно используете Не используется, %
Задания для работы с текстами (чтение, устный и письменный перевод, пересказ) 100 53
Задания для работы с аудиотекстами 13 80
Устное сообщение по предложенной теме (презентация) 60 67
Тест (лексико-грамматические упражнения) 80 40
Дискуссия 42 73
Эссе (сочинение, статья) 27 60
Ролевая игра 20 87
Анализ практической ситуации (case-study) 13 93
для исполнителей, подготовке научно-технических отчетов, обзоров и публикаций по результатам выполненных исследований и разработок» [15]).
По результатам исследования было выявлено, что наименее рекомендуемыми оценочными средствами текущего контроля являются ролевая игра (20%), анализ практической ситуации и работа с аудиотекста-ми (по 13%). При этом ряд преподавателей (80%) считает, что работа с аудиотекстами может являться особенно эффективной в силу того, что у многих студентов и начинающих специалистов возникают существенные затруднения в области восприятия иностранной речи на слух (при переговорах, разговорах по телефону, просмотре видеороликов и т.п.). Аналогично, 87% и 93% преподавателей высказываются в пользу таких оценочных средств, как ролевая игра и анализ практических ситуаций, соответственно. По мнению большинства преподавателей, причиной крайне ограниченного использования весьма полезных и при этом максимально интерактивных технологий подготовки является отсутствие достаточной методической базы (видео- и аудиома-териалов, сценариев игры, описаний проблемных ситуаций и т.п.) и опыта внедрения подобных видов учебной деятельности на практических занятиях.
Соответственно, для учебных групп подготовки 2019/2020 учебного года были существенно переработаны оценочные материалы и пересмотрены фонды оценочных средств. В частности, по итогам опроса и последующей методической работы такие оценочные средства, как задания на аудирование и анализ практической ситуации, были включены в ФОС для периодического использования преподавателями в рамках текущей работы.
Таким образом, как показывает опыт работы кафедры иностранных и русского языков РГАУ-МСХА имени К.А. Тимирязева, помимо типовых лексико-грамматических упражнений, наиболее валидными и репрезентативными являются оценочные средства (материалы), охарактеризованные ниже:
1) проблемно-поисковые и творческие задания для работы с текстами /
аудиотекстами (тематика: поиск работы, правила корпоративного этикета, особенности ведения деловых переговоров и публичных выступлений):
• найдите в тексте определенную информацию / заданные слова (выражения) на русском языке;
• составьте план текста и перескажите текст (с опорой на план);
• восстановите пропущенные слова в текст упражнения (смысловое прогнозирование);
• завершите незаконченные предложения / восстановите начало предложения (установление причинно-следственных связей);
• распределите предложения текста по порядку;
• озвучьте отрывок видеоролика / продолжите речь персонажа;
• подготовьте свои рекомендации на основе прочитанного / прослушанного;
2) темы для дискуссии (дебатов, круглых столов):
• связь особенностей характера, темперамента и личных качеств инженеров АПК с профессиональными требованиями;
• типичные прагматические и лек-сико-грамматические ошибки в содержании резюме и мотивационного письма;
• типичные вопросы и требования к поведению соискателя вакансии при прохождении собеседования в международной компании;
• типичные коммуникативные ошибки в содержании телефонных звонков;
• особенности делового этикета в кросс-культурном контексте (на примере представителей разных стран и культур);
3) задания для анализа практических ситуаций.
• Пример письменного задания:
«Зарубежная компания объявила об открытии вакансии на должность в соответствии с Вашей квалификацией. Составьте мотивационное письмо в отдел по работе с персоналом.
• Пример устного задания:
«Вам представляется возможность прохождения летней стажировки в профильной зарубежной компании. Вы получаете обра-
зование в техническом вузе, но ранее не проходили практику за рубежом, хотя у вас есть опыт стажировок в компаниях-импортерах зарубежной сельхозтехники. Подготовьте вопросы для телефонного звонка по поводу согласований условий стажировки.
Укажите свои преимущества и выразите готовность развиваться и повышать свою квалификацию во время стажировки».
Таким образом, в ходе данного исследования был обобщен научно-педагогический опыт определения эффективности использования оценочных средств для формирования компетенций, заявленных в рабочей программе дисциплины. В результате исследования было выяснено, что диапазон оценочных средств целесообразно расширить, определив при этом оптимальное место каждого оценочного средства в образовательном процессе. По результатам опроса было выявлено, что некоторые оценочные средства, которые, по мнению преподавателей, могут быть эффективно использованы на практике, не достаточно широко использовались или не были вообще предусмотрены рабочей программой дисциплины «Деловой иностранный язык» (задания для работы с аудиотекстами, анализ практических ситуаций, ролевые имитационные игры). Опрос студентов показал, что на практике, к сожалению, не все оценочные средства, указанные в рабочей программе, в достаточной мере активно реализуются преподавателями в рамках дисциплины «Деловой иностранный язык». В то же время ряд «традиционных» оценочных средств (задания для работы с текстами, лексико-грамматиче-ские упражнения и тесты) не в полной мере способствовал формированию профессиональных компетенций.
На основе полученных данных был разработан ряд методических рекомендаций
по оптимизации оценочных средств дисциплины «Деловой иностранный язык» для направления подготовки 27.04.01 - Стандартизация и метрология, внедрение которых может поспособствовать большей вариативности и эффективности оценивания обучающихся, в частности:
- включить в качестве оценочных средств текущего контроля такие средства, как ролевая игра, анализ практических ситуаций, задания для работы с аудиотекстами, для проверки степени сформированности ПК-22 и ОПК-1;
- для более эффективной оценки сформированности ПК-22 и ОПК-1 рекомендуется расширить применение дискуссии в качестве оценочного средства, для чего проработать перечень тем и ситуаций для обсуждения;
- постоянно обогащать спектр оценочных средств с учетом современных тенденций в образовании в области цифрови-зации и развития программ дистанционного обучения.
Важно отметить, что представленные выше методические рекомендации относятся к проектированию дидактического инструментария, способствующего более валидной реализации процедуры текущего оценивания в рамках дисциплины «Деловой иностранный язык». Несмотря на то, что исследование проводилось в рамках конкретной дисциплины, представленный подход к валидизации имеет характер инвариантности и для других дисциплин учебного плана подготовки обучающихся в магистратуре.
Кроме того, определение подходов к ва-лидизации фондов оценочных средств для реализации этапов промежуточной и итоговой аттестации, используемых в практике вузов, требует дальнейшего полиаспектно-го исследования.
Литература
1. Алипичев А.Ю. Специфика инвариантного и вариативного компонентов содержания иноязычной подготовки в техническом вузе // Коммуникация в современном поликультурном мире: прагматика лингвистического знака /отв. ред. Т.А. Барановская.- Москва, 2015. - С. 380-386.
2. Алипичев А.Ю., Кузнецов А.Н. Проектирование содержания подготовки переводчиков в сфере профессиональной коммуникации: учебное пособие для преподавателей. 2-е изд., испр. и доп.. - М., 2011.- 105 с.
3. Боровков А.И., Киселёва К.Н., Романов П.И. Нормативные правовые и методические основы формирования фондов оценочных средств основных образовательных программ высшего образования // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Гуманитарные и общественные науки.
- 2016. -№ 2 (244).- С. 131-139.
4. Давыдова О.В. Создание измерителей для оценки компетенций обучающихся // Вестник университета. - 2012. - № 12. - С. 77-82.
5. ДаниловА.Н., ОвчинниковА.А, Гитман М.Б., СтолбовВ.Ю. Об одном подходе к оцениванию уровня сформированности компетенции выпускника вуза // Современные проблемы науки и образования. - 2014. - №6. [Электронный ресурс]. Режим доступа https://www. science-education.ru/ru/article/view?id=15324. Дата обращения: 28.03.2020.
6. Ефремова Н.Ф. Подходы к оцениванию компетенций в высшем образовании: учеб. пособие. - М.: Исследовательский центр проблем качества подготовки специалистов, 2010.
- 216 с.
7. Звонников В.И., Челышкова М.Б. Оценка качества результатов высшего образования в условиях реализации компетентностно-ориентированных образовательных программ // Вестник Университета (Государственный университет управления). - 2010. - № 4. -С. 109-114.
8. Кузнецов А.Н., Таканова О.В. Психолого-педагогические факторы профессиональной ориентации студентов агроинженерных вузов средствами дисциплины «Иностранный язык»// Вестник ФГОУ ВПО «Московский государственный агроинженерный университет имени В.П. Горячкина».- 2009. - №5 (36). - С.83-86.
9. Кузнецов А.Н., Щавелева Е.Н. Проектирование фондов оценочных средств по дисциплине «иностранный язык»: от концепции к внедрению // Вестник Московского государственного лингвистического университета. Образование и педагогические науки.-2017.- № 4 (775). - С. 150-156.
10. Письмо Министерства образования РФ от 16.05.2002. № 14-55-353ин/15. «Методика создания фонда оценочных средств в учреждениях высшего профессионального образования». [Электронный ресурс]. Режим доступа: http://www.consultant.ru/cons/ cgi/online.cgi?req=doc&base=EXP&n=385150#08609287848810319. Дата обращения: 28.03.2020.
11. Прилипко Е. В. Оценивание при компетентностном подходе к обучению иностранному языку // Иностранные языки в школе.- 2014.- № 5. - С. 47-52.
12. Сергеева Н.А., Яковлева Н.А. Балльно-рейтинговая система оценивания как средство стимулирования самостоятельной работы магистрантов // Электротехнологии и электрооборудование в АПК.- 2019.- № 2 (35). - С. 125-130.
13. Смышляева Л.Г. Технологии компетентностно-ориентированного образования взрослых. -Томск: Томский политехнический университет, 2009. - 212 с.
14. Соловова Н.В. Формирование и оценка компетенций: учебное пособие. - Самара: Изд-во «Самарский университет», 2015. - 80 с.
15. Федеральный государственный образовательный стандарт высшего образования по направлению подготовки 27.04.01 Стандартизация и метрология [Электронный ресурс]. Режим доступа: http://fgosvo.ru/uploadfiles/fgosvom/270401_STANDART.pdf. Дата обращения: 28.03.2020.
16. Resnick, L.B. & Resnick, D.P. (1992). Assessing the thinking curriculum: New tools for education reform. In B.R. Gifford & M.C.O'Connor (Eds) Changing assessment: alternative views of aptitude, achievement and instruction. Boston: Kluwer Academic Publishing. Pp. 37-75.
