CC BY
33
10
ВЕСТНИК МАРИЙСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА. 2016. Т. 10, № 1 (21)
УДК 378:81
Т. И. Забурдаева, И. В. Казанцева, О. Б. Шестакова, А. Л. Коляго Марийский государственный университет, Йошкар-Ола
ЛИНГВОДИДАКТИЧЕСКАЯ ТЕСТОЛОГИЯ: МЕТОДОЛОГИЯ ОЦЕНКИ СФОРМИРОВАННОСТИ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ БАКАЛАВРОВ ЯЗЫКОВЫХ ФАКУЛЬТЕТОВ
Одной из важнейших задач Федеральной целевой программы развития образования на 2016-2020 годы является формирование востребованной системы оценки качества образования и образовательных результатов. Программа предусматривает проектно-целевой подход реализации в отличие от классического программно-целевого подхода ФЦП развития образования на 2011-2015 годы. Отсутствие у многих преподавателей знаний в области тестологии приводит к нарушению требований, предъявляемых к структуре, содержанию и оформлению тестовых заданий (ТЗ) согласно международному стандарту IMS QTI и системе менеджмента качества применительно к разработке, производству и реализации тестов и программных продуктов. Традиционно в качестве основных критериев качества тестовых материалов (ТМ) рассматривают валидность и надежность, расчет количественных значений которых осуществляется с использованием экспериментально-статистических методов, основанных на эмпирической обработке результатов тестирования испытуемых. В статье описываются теоретико-методологические требования при составлении тестовых заданий по иностранным языкам согласно Общеевропейским компетенциям, а также методика создания качественных тестовых материалов с последующей разработкой технологии их сертификации, которые позволят обеспечить достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования. В статье обобщается имеющийся в мировой и отечественной науке опыт разработки и оценивания тестов по иностранным языкам в контексте подготовки будущих учителей в условиях университетского образования. Также уделяется внимание описанию последовательности действий, направленных на определение ожидаемого процента выполнения теста испытуемыми. При этом особый акцент делается на возможности образовательной платформы LMS Moodle при осуществлении контроля сформированности компетенций студентов-бакалавров факультета иностранных языков.
Ключевые слова: качество образования, модель, спецификация, компетенция, оценка, тест
Присоединение России к Болонскому процессу (19 сентября 2003 г.) обозначило реформирование всей системы высшего профессионального образования. Одним из кардинальных изменений является перенос акцентов с содержания образования на результаты обучения, которые определены в ФГОС ВПО/ФГОС ВО как общекультурные и профессиональные компетенции.
В соответствии с Концепцией долгосрочного социально-экономического развития Российской Федерации на период до 2020 года, «стратегической целью государственной политики в области образования является повышение доступности качественного образования, соответствующего требованиям инновационного развития экономики, современным потребностям общества и каждого гражданина» [2, с. 60].
Реализация этой цели предполагает решение одной из приоритетных задач - формирование
механизмов оценки качества и востребованности образовательных услуг с участием потребителей, участие в международных сопоставительных исследованиях.
Оценка качества профессиональной подготовки студентов-бакалавров языковых направлений и информатизация процесса оценивания сфор-мированности компетенций являются особенно актуальными в последнее время. В первую очередь это предполагает наличие определенного набора методологических инструментов, позволяющих объективно осуществлять процедуру диагностики уровня ведущих профессиональных компетенций студентов. Это отмечается во многих работах отечественных и зарубежных исследователей [1; 3; 4; 5; 6; 7]. В полной мере это относится и к студентам, обучающимся по профилю «Иностранные языки» в рамках направления «Педагогическое образование». Именно комплекс
© Забурдаева Т. И., Казанцева И. В., Шестакова О. Б., Коляго А. Л., 2016
формируемых компетенций определяет в дальнейшем статус выпускника-бакалавра не только как носителя профессиональных компетенций, но и как активного субъекта профессиональной деятельности.
В настоящее время наблюдается противоречие между необходимостью осуществления контроля степени сформированности разного рода компетенций и недостаточной разработанностью технологий для их оценки.
В связи с переходом на двухуровневую систему образования и разработкой рабочих программ по новым образовательным стандартам возникает необходимость совершенствования контрольно-измерительных материалов. При этом особое внимание уделяется разработке специальных фондов оценочных средств (ФОСов) для диагностики сформированности профессиональных компетенций. Основная цель ФОСов (матрица компетенций, паспорта компетенций, тестовые задания) состоит в том, чтобы студент, осуществляя какие-либо условные действия, активно мыслил, искал и принимал осознанные решения при возникновении проблемы. Другими словами, они не являются средствами измерения соответствующих знаний, а должны оценивать уровень его понимания, профессионального мышления. Наличие противоречий между необходимостью осуществления контроля уровня сформированности разного рода компетенций и недостаточной разработанностью технологий для их оценки предполагает анализ критериев выбора адекватных методологических средств, способных обеспечить методологическую помощь при оценке сформиро-ванности профессиональных компетенций студентов-бакалавров факультета иностранных языков. На первом этапе основная цель состоит в отборе и внедрении в учебный процесс современных образовательных технологий для формирования у обучающихся требуемых компетенций. Дальнейшая работа предполагает создание фондов оценочных средств, позволяющих проводить объективную комплексную оценку сформированных профессиональных компетенций. При этом образовательные технологии рассматриваются как способ формирования компетенций (через использование активных и интерактивных методов обучения), а ФОСы по языковым дисциплинам - как средство контроля за получением образовательного результата, уровня сформированности компетенций в процессе освоения ООП/ОПОП. Оценка качества подготовки студентов-бакалавров осуществляется в двух основных направлениях:
- оценка уровня освоения дисциплин;
- оценка компетенций обучающихся.
Компетенция есть личностное свойство человека, потенциальная способность и готовность индивида справляться с различными задачами, формирующиеся в деятельности и интегрирующие ценностно-смысловое отношение к ней.
В структуре компетенции выделяют следующие компоненты:
- «знаниевый компонент» (знание академической области, способность знать и понимать);
- «ценностный компонент» (ценностные ориентации личности и мотивация к решению профессиональных задач);
- «деятельностный компонент» (практическое и оперативное применение знаний к конкретной ситуации).
Формирование той или иной компетенции далеко не всегда может быть прямо соотнесено с освоением одной определенной дисциплины или группы дисциплин. Компетенции вырабатываются параллельно и совокупно в ходе всех форм учебной работы студента - освоения отдельных дисциплин и групп дисциплин, прохождения практик, выполнения НИР и самостоятельной работы.
Компетентностная модель выпускника представляет собой соглашение между потребителями (работодатели, студенты) и университетом (разработчик ООП/ОПОП) относительно целей и ожидаемых результатов освоения ООП/ОПОП.
В настоящее время в практике применения тестовых технологий в системе профессионального образования существуют противоречия между:
- потребностью в достоверной и оперативной информации о качестве учебных достижений обучающихся и невозможностью ее получения из-за отсутствия стандартизированных фондов оценочных средств;
- необходимостью в повышении качества тестов и используемыми методами экспертизы, которые не позволяют получить объективную оценку их качества;
- целями экспертизы и невозможной их полной реализации из-за отсутствия комплексного подхода в применении релевантных методов оценивания качества тестовых материалов;
- потребностью в технологии комплексной экспертизы качества тестовых материалов, применение которой позволит обеспечить контроль надежными и валидными тестами, и отсутствием соответствующей технологии.
Лингводидактическая тестология включает в себя внедрение современных форм контроля
12
ВЕСТНИК МАРИЙСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА. 2016. Т. 10, № 1
сформированности компетенций студентов в соответствии с требованиями ФГОС, в частности дистанционные образовательные платформы.
Одной из таких платформ является Moodle (Modular Object-Oriented Dynamic Learning Environment / модульная объектно-ориентированная динамическая среда обучения), которая представляет собой автоматизированную, основанную на компьютерных и интернет-технологиях, систему управления обучением.
Все вышесказанное свидетельствует о необходимости использования возможностей образовательной платформы LMS Moodle при осуществлении контроля сформированности компетенций студентов - бакалавров факультета иностранных языков. Образовательные возможности данной платформы огромны, ее педагогические средства позволяют как передавать знания, так и осуществлять контроль результатов обучения с помощью тестов и заданий. Встроенные компоненты Web 2.0 помогают организовать контроль сформированности компетенций у студента с использованием рейтинговых систем на основе сбора и анализа информации по выполненным работам с помощью построенных самой системой графиков, таблиц и диаграмм.
Комплекты контрольно-оценочных средств по каждой учебной дисциплине, размещенные в LMS Moodle, включают в себя контрольно-оценочные материалы, позволяющие оценить знания, умения и уровень приобретенных компетенций с учетом положений Общеевропейских компетенций, позволяющих оценить уровень владения иностранным языком согласно Европейской шкале оценивания (А1-С2).
Встроенная система тестирования в Moodle предоставляет обширные возможности для создания онлайн-тестов. Нами используется два основных подхода: прямое добавление теста в курс, с последующим добавлением тестовых заданий; создание новых тестов на основе банка вопросов. Второй подход требует больших затрат времени, но предоставляет преподавателю дополнительные возможности. В данном случае все вопросы курса сконструированы в категории и подкатегории, что облегчает их поиск в базе.
Говоря о вариантах тестирования на базе данной образовательной платформы, следует упомянуть технические возможности создания тестовых заданий различных типов. Это могут быть задания на множественный выбор, когда студент выбирает ответ на вопрос из нескольких предложенных ему вариантов, причем правильных от-
ветов может быть несколько. Оценка данного типа задания определяет, сколько в процентном отношении от общего количества баллов испытуемый получит за правильный ответ. Кроме того, при выборе неправильного ответа можно снизить общий процент результата теста путем установления системы штрафов. Так, для правильных вариантов назначаются положительные баллы, а для неверных - отрицательные. Несомненным преимуществом системы является возможность создать комментарий к ответу, позволяющий студенту понять свою ошибку, особенно данная техническая возможность актуальна при проведении промежуточного контроля.
Система позволяет преподавателю отслеживать не только участие пользователей, но и результаты освоения дисциплины, а также осуществлять контроль сформированности заложенных в матрице основной образовательной программы компетенций.
Оценивание качества вариантов тестов проводится на соответствие их следующим критериям:
- первый критерий - полнота охвата требований к уровню подготовки выпускников каждым вариантом теста и всеми вариантами вместе;
- второй критерий - правильность пропорций содержания теста;
- третий критерий - проверка соответствия содержания рецензируемой системы заданий спецификации теста.
Качество тестовых материалов — это интегральное свойство их содержательных, формальных, функциональных и структурно-логических характеристик, обусловливающих достоверность оценки учебных достижений обучающихся.
Модель оценки качества тестовых материалов должна быть представлена системной совокупностью четырех основных подсистем (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы.
Достижение поставленной цели предполагает ее поэтапную реализацию:
1. Обобщение имеющегося в мировой и отечественной науке опыта разработки и оценивания тестов по иностранным языкам (английский и немецкий) в контексте подготовки бакалавров в высших учебных заведениях.
2. Описание последовательности действий, направленных на определение ожидаемого процента выполнения теста испытуемыми.
3. Выявление инструментария и разработка критериев для диагностики тестовых заданий по английскому и немецкому языкам.
4. Адаптация выявленного инструментария к процессу подготовки студентов-бакалавров факультета иностранных языков.
5. Совершенствование фондов оценочных средств по английскому и немецкому языкам комплексов по ФГОС ВО направления подготовки 44.03.05 - Педагогическое образование (профиль: Иностранные языки). Размещение ФОСов в образовательной среде e-learning.marsu.ru.
Разработанные ЭУМК позволят совершенствовать имеющие и разработать новые качественные компьютерные тесты, способные объективно оценивать уровень языковой подготовки студентов по завершении изучения дисциплин языковой направленности на разных курсах.
Научное обоснование комплексного подхода в разработке методологических инструментов для формирования фондов стандартизированных оценочных средств для контроля и оценки учебных достижений обучающихся по иностранным языкам, определение специфики тестовых материалов для системы профессионального образования как педагогического измерительного инструментария оценки качества подготовки бакалавров призвано обеспечить достоверную оценку учебных достижений бакалавров в учреждениях высшего образования.
Ш
1. Забурдаева Т. И. Алгоритм разработки тестовых заданий по грамматике на основе пособия-стандарта «ProfileDeutsch» // XXI век: итоги прошлого и проблемы настоящего плюс»: Периодическое научное издание. Пенза: Пензенская государственная технологическая академия. Серия: социально-гуманитарные науки, 2013. № 7 (11). С. 100-105.
2. Забурдаева Т. И. Совершенствование тестов как средства педагогических измерений на основе Общеевропейских компетенций // Иностранные языки: лингвистические и методические аспекты: сборник научных трудов. Тверь: Твер. гос. ун-т, 2014. Вып. 26. С. 59-65.
3. Andreeva I. N., Glizerina N. D., Kolomiets D. L., Kuro-chkina L. V., Maltseva E. V., Shestakova O. B. Technologies of Organizing Prospective Teachers' Practical Training on the Basis of Competence Approach // Review of European Studies. 2015. Vol. 7 (8). Pp. 43-51.
4. Hennig G. Alte- Handreichungen für Testautoren. Itemtypen. Newberry House, 1982. 48 S.
5. Kazantseva I. V, Zaburdaeva T. I., Kolyago A. L. Assessment of Test Quality in German for Bachelor Students on the Basis of Common European Competences in Foreign Language // Mediterranean Journal of Social Sciences. 2015. Vol 6 (3). pp. 381-387.
6. Weir Cyril J. Limitations of the Common European Framework for developing comparable examinations and tests. Oxford: University Press. http://dx.doi.org/10.1191/0265532205lt309oa (дата обращения 01.02.2016).
7. Zaburdaeva T. I., Serebryakova M. A., Kazantseva I. V., Kolyago A. L., Ivanova O. V. Control оf Competences Formation оf Foreign Language Bachelor Students оп the Basis of LMS Moodle // Review of European Studies. 2015. Vol. 7 (8). Pp. 295-307.
Статья поступила в редакцию 14.01.2016 г.
Для цитирования: Забурдаева Т. И., Казанцева И. В., Шестакова О. Б., Коляго А. Л. Лингводидактическая тесто-логия: методология оценки сформированности профессиональных компетенций бакалавров языковых факультетов // Вестник Марийского государственного университета. 2016. № 1 (21). С. 10-14.
Об авторах
Забурдаева Татьяна Ивановна, кандидат педагогических наук, доцент, Марийский государственный университет, Йошкар-Ола, tanja-zab@yandex.ru
Казанцева Инна Валерьевна, кандидат филологических наук, доцент, Марийский государственный университет, Йошкар-Ола, inna-kazanceva@yandex.ru
Коляго Анна Леонидовна, кандидат педагогических наук, доцент, Марийский государственный университет, Йошкар-Ола, kolyago@yandex.ru
Шестакова Ольга Борисовна, кандидат филологических наук, доцент, Марийский государственный университет, Йошкар-Ола, shobor@bk.ru
14
BECTHHK MAPHHCKOrO rOCy^APCTBEHHOrO yHHBEPCHTETA. 2016. T. 10, № 1
T. I. Zaburdaeva, I. V. Kazantseva, O. B. Shestakova, A. L. Kolyago
Mari State University, Yoshkar-Ola
LINGUODIDACTIC TESTOLOGY: METHODOLOGY OF ASSESSING THE LEVEL OF FOREIGN LANGUAGE DEPARTMENT BACHELOR STUDENTS' PROFESSIONAL COMPETENCIES
One of the most important tasks of the Federal Targeted Program (FTP) of education development for the period of 2016-2020 is developing the system of assessment of the quality and results of education. The main approach of the program is a "project-goal" approach unlike the classical approach of the Federal Targeted Program of education development for 2011-2015. Many teachers know nothing or very little about testology, it leads to non-compliance with the requirements of the international standard IMS QTI concerning the structure, contents and form of tests and the requirements of the quality management system applied to the process of developing, producing and selling tests and program products. Validity and reliability are traditionally regarded as the main criteria of test quality assessment. Calculation of numerical data is made with the help of experimental-statistic methods based on the empirical analysis of the test results. The article is dedicated to the theoretical and methodological requirements to tests in foreign languages in accordance with Common European Framework, to the methods of constructing high-quality tests and the development of certification technology, which will guarantee proper evaluation of students' academic progress at the institutions of vocational training. The article gives some generalization of the world and domestic experience in developing and evaluating tests in foreign languages in the context of university teacher training. Besides, much attention is paid to the succession of actions aimed at determining the expected percentage of fulfilling the test by the participants of the experiment. At the same time, special emphasis is placed on the opportunities by the educational platform LMS Moodle in the process of evaluating the competence level of bachelor students of Foreign Language Department.
Keywords: quality of education, model, specification, competence, assessment, test
_m_
1. Zaburdaeva T. I. Algoritm razrabotki testovykh zadanii po grammatike na osnove posobiya-standarta «ProfileDeutsch» [Grammar tests generation algorithm based on the manual-standard «Profile Deutsch»]. XXI vek: itogi proshlogo i problemy nastoyash-chego plyus» = XXIth century: the results of the past and present problems plus: Periodicheskoe nauchnoe izdanie. Penza. Seriya: sotsial'no-gumanitarnye nauki, no. 8 (12), pp. 187-193.
2. Zaburdaeva T. I. Sovershenstvovanie testov kak sredstva pedagogicheskikh izmerenii na osnove Obshcheevropeiskikh kompetentsii [Improving the test as a means of educational measurement based on Common European Framework]. Inostrannye yazyki: lingvisticheskie i metodicheskie aspekty = Foreign languages: linguistic and methodological aspects: nauchnykh trudov. Tver': Tver. gos. un-t, 2014, vyp. 26, pp. 59-65.
3. Andreeva I. N., Glizerina N. D., Kolomiets D. L., Kurochkina L. V., Maltseva E. V., Shestakova O. B. Technologies of Organizing Prospective Teachers' Practical Training on the Basis of Competence Approach, Review of European Studies. 2015, vol. 7 (8), pp. 43-51.
4. Hennig G. Alte- Handreichungen fur Testautoren. Itemtypen. Newberry House, 1982, 48 p.
5. Kazantseva I. V., Zaburdaeva T. I., Kolyago A. L. Assessment of Test Quality in German for Bachelor Students on the Basis of Common European Competences in Foreign Language, Mediterranean Journal of Social Sciences. 2015, vol 6 (3), pp. 381-387.
6. Weir Cyril J. Limitations of the Common European Framework for developing comparable examinations and tests. Oxford: University Press. http://dx.doi.org/10.1191/0265532205lt309oa
7. Zaburdaeva T. I., Serebryakova M. A., Kazantseva I. V., Kolyago A. L., Ivanova O. V. Control of Competences Formation of Foreign Language Bachelor Students on the Basis of LMS Moodle, Review of European Studies. 2015, vol. 7 (8), pp. 295-307.
Submitted 14.01.2016.
Citation for an article: Zaburdaeva T. I., Kazantseva I. V., Shestakova O. B., Kolyago A. L. Linguodidactic testology: methodology of assessing the level of foreign language department bachelor students' professional competencies. Vestnik of Mari State University. 2016, no. 1 (21), pp. 10-14.
About the autors
Zaburdaeva Tat'yana Ivanovna, Candidate of Pedagogical Sciences, Associate Professor, Mari State University, Yoshkar-Ola, tanja-zab@yandex.ru
Kazantseva Inna Valer'evna, Candidate of Philological Sciences, Associate Professor, Mari State University, Yoshkar-Ola, inna-kazanceva@yandex.ru
Kolyago Anna Leonidovna, Candidate of Pedagogical Sciences, Associate Professor, Mari State University, Yoshkar-Ola, kolyago@yandex.ru
Shestakova Ol'ga Borisovna, Candidate of Philological Sciences, Associate Professor, Mari State University, Yoshkar-Ola, shobor@bk.ru
