CC BY
975
УДК 811.11(07)
Викулина Мария Анатольевна
доктор педагогических наук, профессор кафедры педагогики и психологии
Нижегородский государственный лингвистический университет им. Н.А. Добролюбова, Нижний Новгород, Россия, e-mail: prof_viculina@lunn.ru
Безукладников Константин Эдуардович
доктор педагогических наук, профессор, заведующий кафедрой методики
преподавания иностранных языков
Пермский государственный гуманитарно-педагогический университет, Пермь, Россия, e-mail: konstantin.besukladnikov@gmail.com
ПЕДАГОГИЧЕСКАЯ КВАЛИМЕТРИЯ И ЕЕ РОЛЬ В ОПРЕДЕЛЕНИИ КАЧЕСТВА ОБРАЗОВАНИЯ
Maria A. Vikulina
PhD in Pedagogy, Professor of the Department of Pedagogy and Psychology
Linguistic University of Nizhny Novgorod, e-mail:prof_viculina@lunn.ru
Konstantin E. Bezukladnikov
PhD in Pedagogy, Professor, Head of the Department for Foreign Language Education
Perm State Humanitarian Pedagogical University, Perm, Russia, e-mail: konstantin.besukladnikov@gmail.com
PEDAGOGICAL QUALIMETRY AND ITS ROLE IN DETERMINING
EDUCATION QUALITY
Аннотация. Статья посвящена рассмотрению актуальной в современном образовании проблеме оценки его качества. Рассмотрены теоретические основы тестирования, подходы, принципы, развитие и применение в современной российской и зарубежной образовательных парадигмах. Приводится анализ структурных компонентов, функций тестирования и классификация.
Ключевые слова: квалиметрия; управление образованием; контроль качества, оценивание; самообразование; тестирование.
Abstract. The paper highlights the problem of education quality assessment as one of the most essential in nowadays education. Theoretical foundations of testing, approaches to testing, its principles, development and application in Russia's and
© ИВикулина М.А., Безукладников К.Э., 2014
foreign educational paradigms are touched upon. The authors concentrate on its structural components and functions and classify tests into a number of categories.
Key words: qualimetry; education management; quality control; progress assessment; self-education; testing.
Одной из важнейших задач совершенствования системы образования является обеспечение качества образования на основе сохранения его фундаментальности и соответствия актуальным и перспективным потребностям личности, общества и государства. Совершенствование управления и контроля качества обучения выступают важнейшими направлениями деятельности образовательных организаций.
В реализации контроля качества обучения существуют две взаимодополняющие составляющие.
Первая составляющая заключается в контроле самого процесса обучения и охватывает все его аспекты (учебные планы и программы, квалификацию педагогических кадров, наличие учебной литературы и учебно-методических пособий, функционирование учебных лабораторий и баз проведения практики), уделяя особое внимание воспитательной работе и научной деятельности, творческой атмосфере и условиям для самореализации и самоактуализации личностных качеств, саморазвития личности, развития ценностных ориентаций и духовности студента.
Вторая составляющая затрагивает контроль результатов обучения, предполагая определенную свободу в методах и средствах его достижения, при этом необходимо обеспечить обладание выпускником теми знаниями, умениями, навыками и иными качествами, которые востребованы обществом и которые соответствуют стандартам высшего образования (основу контроля результатов составляет выявление и анализ динамики развития каждого студента в процессе обучения с целью не только выявления текущей успешности обучения и пригодности студента для дальнейшей профессиональной деятельности, но и целесообразности введения корректирующих мероприятий в учебный процесс).
Педагогическое измерение [2] есть процесс отображения числами уровней проявления интересующих качеств личности. Главным предметом существующей общей педагогической теории измерения является разработка и применение заданий в тестовой форме, тестовых заданий и тестов для активизации учебного процесса, научной организации тестовой формы самоконтроля в процессе самообразования.
В течение многих десятилетий ХХ в. в теории и практике в образовании в качестве педагогической диагностики применялись тесты. Поэтому зарубежная и отечественная литература многие десятилетия акцентировала внимание на теоретических проблемах тестового контроля, проблемах разработки и совершенствования методик создания и применения тестов для педагогического контроля (входного, рубежного, итогового). При этом
исследователи обращали внимание на обучающие возможности тестов, создаваемых для контроля знаний. Однако их обучающий потенциал рассматривался в основном через призму контролирующих функций, когда, например, испытуемый после решения теста рубежного контроля мог увидеть свои пробелы в знаниях и попытаться ликвидировать их к следующему тестированию. Как показывает современная российская образовательная практика, такой подход обладает определённой узостью и не в полной мере раскрывает потенциал применяемых в образовании тестовых технологий.
Тест - наиболее подходящее средство педагогического измерения, представляющее собой специфическую форму системы возрастающей трудности заданий для эффективного измерения уровня и оценки структуры результатов подготовленности испытуемых.
В. М. Кадневский [6] определяет тестирование как совокупность методических и организационных мероприятий, обеспечивающих разработку независимых и объективных средств оценки качества образования, подготовку и проведение на его основе стандартизованной процедуры измерения и оценки уровня развития индивидуальных способностей и образованности испытуемых, обработку и анализ полученных результатов.
Как считает ученый, именно тестирование в образовании призвано оперативно и беспристрастно выявлять глубину, объем, структуру, содержание, иерархию знаний, умений и навыков. Поэтому оно в состоянии решить одну из самых сложных задач воспитания - сформировать потребность и умения самоанализа и самоконтроля, что является фундаментом индивидуализации и гуманизации образования, ориентирования учащихся на самообразование.
Традиционные средства контроля не в состоянии преодолеть несоответствие между требованием организовать обучение на высоком уровне сложности, предельно повышающем нагрузку на обучающихся, и назревшей необходимостью перехода к поддерживающему здоровье образованию за счет сокращения учебной нагрузки. Тестирование же, предъявляя единые требования, повышает уровень объективности, относительного и абсолютного уменьшения затрат учебного времени на проведение контроля знаний.
Кроме того, тестовый контроль дает возможность сконцентрироваться на трудном вопросе, вернуться к невыполненному заданию, самостоятельно определить приоритетность выполнения заданий, что недостижимо при устном опросе.
В разные годы тестирование привлекало внимание исследователей. Наиболее изучен генезис тестирования за рубежом (Р.Н. Дюбуа, Г. Ченси и Д. Доббин, А. Анастази, Г. А. Миллер). В разработку российской тестологии внесли неоценимый вклад В.С. Аванесов [1; 2], М.Б. Челышкова [8] и многие другие ученые как отечественные [3; 4; 5], так и зарубежные [7].
Выделены основные функции тестирования - это функции определения способностей, уровня обученности и контроля. Наиболее важными из них
выступают диагностическая, дидактическая (обучающая), развивающая, организующая, дифференцирующая, воспитательная, управленческая и др.
Диагностическая функция проявляется в получении первичной валидной информации о качестве знаний, умений и навыков, психологических качествах обучаемых для принятия управленческих решений и широкого использования образовательного мониторинга.
Дидактическая (обучающая) функция реализуется при использовании заданий в тестовой форме для выявления пробелов в знаниях, их закрепления, обретения умения работать с тестами и обретения тестовой культуры.
Развивающая функция проявляется в создании дополнительной рефлексии и мотивации обучения при выявлении недостаточно результативных оценок по результатам промежуточного тестирования и достижения более устойчивых знаний к следующему тестированию.
Организующая функция проявляется в изменении преподавателем структуры учебного процесса путем включения в него большей доли тестовых заданий при обучении, текущем контроле, корректировке программ и др.
Воспитательная функция тестов связана с повышением учебной мотивации и желанием получить более высокий результат, с формированием чувства ответственности за результаты своего учебного труда, установок на сотрудничество, самоорганизацию и самоподготовку.
Управленческая функция связана с анализом результатов тестирования и обеспечением условий для принятия более грамотных решений на основе получения объективной и достоверной, квалиметрически выверенной информации об уровне учебных достижений обучающихся.
Выделяют основные направления использования тестовых дидактических материалов:
- входное тестирование (позволяет судить о степени подготовленности студентов, наличии пробелов в знаниях; спланировать программу работы как со студентом, так и студенту для обеспечения требований государственного образовательного стандарта);
- выходное тестирование (дает реальную возможность объективной оценки результатов работы студента и преподавателя, определения эффективности учебно-воспитательного процесса и используемых дидактических систем, методов обучения и развития);
- вспомогательный (корректирующий) контроль усвоения знаний позволяет преподавателю выяснить непосредственно в ходе занятия, насколько доходчиво, понятно он излагает материал, доступна ли студенту принятая ступень абстракции; оценить степень понимания учебного материала и здесь же, на занятии, устранить это непонимание или недопонимание;
- текущий и рубежный контроль (с ведущей функцией обучения, но не контроля).
Указанные виды контроля нацелены в первую очередь на выявление причин незнания, устранение пробелов в знаниях, на оценивание имеющихся у студента знаний путем:
- допуска к лабораторным работам (проверка знания студентами теоретического материала по содержанию лабораторных работ);
- защиты лабораторных работ (проверка знаний студентами теоретического материала и умения применять их на практике);
- самооценки степени понимания изучаемого материала в процессе самообразования;
- обеспечения систематического повторения и контроля степени понимания ранее изученного материала.
Общеизвестны два основных вида тестов.
1. Традиционный педагогический тест (представляет собой единство по меньшей мере трех систем):
- содержательной системы знаний, описываемой языком проверяемой учебной дисциплины;
- формальной системы заданий возрастающей трудности;
- статистических характеристик заданий и результатов испытуемых.
К данному виду относят гомогенные и гетерогенные тесты. Гомогенный тест как наиболее применяемый в учебной практике представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания (цель: объективность, качество и эффективность метода оценки структуры и измерения уровня подготовленности учащихся по одной учебной дисциплине или ее разделу). Гетерогенный тест включает систему заданий возрастающей трудности, специфической формы и определенного содержания (цель: объективность, качество и эффективность метода оценки структуры и измерения уровня подготовленности учащихся по нескольким учебным дисциплинам). Нередко в такие тесты включаются и психологические задания для оценки уровня интеллектуального развития. Обычно данный вид тестов используется для комплексной оценки выпускника школ, оценки личности при приеме на работу, отбора наиболее подготовленных абитуриентов при приеме в вузы.
2. Нетрадиционные тесты представлены интегративными и адаптивными тестами.
Интегративный тест состоит из системы заданий, отвечающих требованиям интегративного содержания, тестовой формы, возрастающей трудности таких заданий, ответы на которые требуют привлечения
синтезированных (обобщенных, явно взаимосвязанных) знаний по двум и более учебным дисциплинам (цель: обобщенная итоговая диагностика подготовленности выпускника образовательного учреждения). Создание таких тестов дается только тем преподавателям, которые владеют знаниями ряда учебных дисциплин, понимают важную роль межпредметных связей в обучении, способны создавать задания, правильные ответы на которые требуют от обучающихся знаний различных дисциплин и умений применять такие знания.
Адаптивный тест - это вариант автоматизированной системы тестирования (в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий), в которой заранее известны параметры трудности (каждое задание проходит эмпирическую апробацию на достаточно большом числе типичных учащихся) и дифференцирующей способности каждого задания. К адаптивным относятся репетиционные тесты, составленные из заданий всех вариантов тестов, предназначенных для массового тестирования.
Возможности тестов и широта их применения, наличие различных методологических оснований, используемых разными авторами, позволяют классифицировать тесты, применяемые в сфере образования, следующим образом:
- диагностические тесты, или тесты общих способностей: тесты специальных способностей; тесты успешности академических достижений; тесты для выявления особых качеств обучающегося (памяти, характера, творчества и др.);
- дидактические тесты: успеваемости, определенных умений, уровня обученности, глубины и полноты знаний;
- тесты по содержанию и структуре: гомогенные, гетерогенные, интегративные, адаптивные и др.;
- тесты по целевой направленности: критериально-ориентированные, нормативно-ориентированные, содержательно-ориентированные (определение уровня исходных знаний, дифференцирующие по качеству подготовки, разделяющие на успевающих и неуспевающих и т. д.);
- тесты по задачам тестирования: тематические, рубежные, итоговые, обучающие, развивающие, контролирующие остаточные знания;
- тесты по средствам предъявления: тесты на бумажных носителях с заполнением специальных бланков ответов, компьютерные адаптивные тесты с предъявлением последовательно каждого задания на экране монитора и фиксацией результата программными методами.
В.М. Кадневский рассматривает еще два вида тестов:
- «обучающий тест» (не стандартизованный экзаменационный тест, где соблюдены принцип расположения заданий по возрастающей степени трудности, принцип хронологической последовательности, выявлены апробационным путём статистические свойства каждого задания и др.) - это группа заданий в тестовой форме, объединенных (стандартизованных) принципом соответствия последовательности изложения материала в учебнике;
- «закрепляющий» - тест, в котором задания сгруппированы методом случайного компьютерного подбора, а не расположены в соответствии с последовательностью материала каждого параграфа учебника.
В работе М.Б. Челышковой [8] предлагается иная классификация, в основе которой - уровневый системный подход описания достижений обучающихся, позволяющий сгруппировать результаты обучения в зависимости от уровней учебной деятельности.
Уровни усвоения учебного материала:
А) Воспроизведение знаний:
- требования к достижениям студентов (уровню подготовки) в обобщенных терминах (знать терминологию, специфические факты (даты, события, имена людей и т.д.), категории, методы, принципы, законы, теории и т. д.);
- формулировки требований в терминах внешней деятельности (дать определение, называть, формулировать, описывать, установить соответствие (между термином и определением), показывать (находить), пересказывать, перечислять (особенности), выбирать и т.д.).
Б) Понимание и применение знаний в знакомой ситуации:
- требования к достижениям студентов (уровню подготовки) в обобщенных терминах (понимать факты, законы, принципы, критерии, теории; понимать прочитанный текст; применять знания для объяснения, сравнения, для решения качественных и количественных задач; правильно использовать методы, алгоритмы, процедуры; строить графики, диаграммы, таблицы и др.);
- формулировки требований в терминах внешней деятельности (объяснять, соотносить, характеризовать (приводить характеристики), сравнивать, устанавливать (различие, зависимость, причины), выделять существенные признаки, рассчитывать (определить по формулам или алгоритму), решить, составить что-то по готовой схеме, выполнить в соответствии с правилами, продемонстрировать, измерить, продолжить/закончить (мысль, предложение), вставить пропущенные слова (буквы) и т.д.).
В) Применение знаний в измененной или незнакомой ситуации:
- требования к достижениям студентов (уровню подготовки) в обобщенных терминах (интегрировать знания из различных разделов для решения различных проблем, анализировать, обобщать, оценивать, конструировать, планировать деятельность, экспериментировать);
- формулировки требований в терминах внешней деятельности (составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать гипотезу (выводы), обосновать свою точку зрения или точку зрения автора, предсказывать последствия, отличать факты от мнений (суждений), факты от гипотез, выводы от положений, анализировать информацию, находить ошибку, давать отзыв или рецензию, высказывать суждение, свое мнение о соответствии выводов и фактов, значении (роли) идей, точности (измерений), качестве (точности, эффективности, экономичности) проделанной работы, выбранном способе решения или используемых методах, строить модель (изменять модель), реконструировать, составить план эксперимента, рассказа, решения, изменить план и т.д.).
Первый уровень связан с непосредственным воспроизведением по памяти содержания изученного материала и его узнаванием. Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обозначенными правилами. Третий уровень включает применение знаний в измененной или незнакомой ситуации [7, с. 91]. На наш взгляд, можно добавить умение извлекать синтезированные знания из гетерогенных (охватывающих несколько учебных дисциплин) тестов.
Формирование теста, предназначенного для педагогического контроля, занимает тоже немало времени и осуществляется в несколько этапов. Самым первым этапом в соответствии с целями тестирования (рубежное или итоговое) становится выбор вида теста, его объема, определение времени на выполнение, определение структуры (по содержанию, форме заданий и другим параметрам).
Второй этап включает разработку спецификации теста (стандарта для всех вариантов), которая должна содержать ряд обязательных параметров по степени охвата содержания учебной дисциплины, количеству заданий, по форме их представления и тематике в соответствии с содержанием разделов, инструкции для преподавателей и испытуемых.
На третьем этапе в соответствии с разработанной спецификацией осуществляется отбор заданий (из наработанной базы) в тест на основе предварительной оценки из прогнозируемой трудности.
Четвертый этап подготовки теста_можно назвать апробационным. Он включает разработку методики тестирования, определение времени для
проведения апробации, подготовку инструкции для обучающихся и преподавателей, проводящих апробацию, размножение материалов и проведение самой апробации. После проведения апробационного тестирования начинается этап доработки педагогического теста.
На этом этапе проводится статистическая обработка результатов тестирования и в соответствии с этими результатами проводится корректировка теста: ранжирование заданий по принципу возрастающей степени трудности, при необходимости замена дистракторов в отдельных заданиях или самих заданий, а затем и повторная апробация.
Таким образом, подготовка качественного педагогического теста, предназначенного для разных видов контроля, - процесс достаточно трудоемкий и длительный (иногда занимает несколько лет). Кроме того, необходимо иметь в виду, что проблема разработки качественного теста, отвечающего критериям научности, не имеет однозначного решения. В определенном смысле разработка качественного теста - это «улица с двусторонним движением», где не все зависит только от качества тестового материала, созданного опытным разработчиком. Многое зависит и от уровня подготовки учеников. Задания, «хорошо работающие» на одной выборке учащихся, могут оказаться не дающими даже минимальных статистических результатов на другой.
Первичным на пути к созданию педагогического теста выступает разработка заданий в тестовой форме, или тестовое задание, которое В.С. Аванесов определяет как «педагогическое средство, отвечающее требованиям: цель; краткость; технологичность; логическая форма высказывания; определенность места для ответов; одинаковость правил оценки ответов; правильность расположения элементов задания; одинаковость инструкции для всех испытуемых; адекватность инструкции форме и содержанию задания» [1, с. 10-11]. Перечисленные требования одновременно служат и признаками оценки качества заданий.
Для того чтобы комплекс тестовых заданий являлся адекватным инструментом определения уровня и структуры знаний студентов, необходимо выполнение ряда условий:
- равномерный охват всех разделов дисциплины в соответствии с учебной программой, т.е. быть репрезентативным по содержанию;
- обладание широким распределением заданий по степени трудности по каждому разделу изучаемой дисциплины;
- наличие высокой степени адекватности, т. е. результаты тестирования должны эффективно дифференцировать студентов по уровню знаний;
- характер высокой устойчивости (выявлять знания, основанные на глубоком понимании основ предмета, а не механическом запоминании отдельных разрозненных фактов);
- «помехоустойчивость» (исключение влияния вероятностных факторов на результат тестирования, в частности, влияние варианта задания и ответов «наугад»);
- достаточная объемность, чтобы исключить возможность «натаскивания»;
- достаточное разнообразие по форме заданий и формулировок (дает возможность избежать быстрой утомляемости тестируемых);
- высокая степень валидности (результаты тестирования должны отражать именно те знания и навыки студента, которые не только необходимы для дальнейшего прогресса обучения, но и характеризовали бы студента как будущего специалиста).
Тестовые задания различаются по форме ответа как задания с выбором правильного ответа (одного, нескольких, одного наиболее правильного), открытой формы, установление соответствия, установление правильной последовательности.
Для проверки тестовых свойств заданий используется матрица (компактная форма записи элементов, связанных некоторой общностью содержания) результатов тестирования по всем проверяемым заданиям. В матрице имеются строки, что равняется числу испытуемых, и столбцы по числу заданий. Использованы две цифры: 1 и 0. В матрице любого размера эти цифры отражают результаты взаимодействия множества испытуемых и множества заданий. Сложение элементов матрицы по строкам и столбцам имеет педагогический смысл: чем больше правильных ответов на задание, тем легче оно оказывается для данной группы испытуемых. Например, с первым заданием успешно справились все испытуемые, в то время как с третьим -только один испытуемый, потому что оно - самое трудное [9].
Таким образом, современный педагогический тест, созданный с соблюдением всех требований теории педагогических измерений, позволяет не только получать объективную информацию об уровне подготовленности обучающихся, но и служит элементом общественной стабильности, ибо позволяет распределять выпускников образовательных учреждений в соответствии с их индивидуальными способностями и интересами социума.
Кроме того, тестирование позволяет одномоментно получить информацию об учебных достижениях во всём образовательном пространстве страны, для принятия взвешенных управленческих решений. Получение объективной информации, не искажённой субъективным мнением учителя,
значимо для управленческих структур при определении перспектив развития общества и функционирования государства. По большому счёту, объективные данные о результатах обучения и уровне знаний обучающихся являются залогом успешного развития социума и государства в мировом цивилизационном процессе.
Статья написана в рамках задания 2014/361 на выполнение государственных работ в пределах базовой части государственного задания Министерства образования и науки Российской Федерации «Комплексный квалиметрический анализ в системе управления качеством образования в вузе».
Список литературы
1. Аванесов В.С. Научные проблемы тестового контроля знаний. - М.: [б. и.], 1994. - 135 с.
2. Аванесов В.С. Педагогическое измерение латентных // Педагогическая диагностика. - 2003. - № 4. - С. 69-78.
3. Горб В. Г. Педагогический мониторинг в вузе: методология, теория, технологии. - Екатеринбург: Изд-во Урал. ун-та, 2003. - 387 с.
4. Гулюкина Н.А., Клишина С.В. Педагогический тест: этапы и особенности конструирования и использования: пособие для преподавателя -Новосибирск: НГТУ, 2001. - 131 с.
5. Ефремова Н.Ф. Современные тестовые технологии в образовании. - М.: Логос. - 176 с.
6. Кадневский В.М. Генезис тестирования в истории отечественного образования: автореф. дис. ... д-ра пед. наук: 13.00.01. - Екатеринбург, 2007. - 37 с.
7. Равен Дж. Педагогическое тестирование: проблемы, заблуждения, перспективы. - М.: Когито-Центр, 1999. - 142 с.
8. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб. пособие - М.: Логос, 2002. - 432 с
9. Zhigalev B.A, Vikulina M.A., Bezukladnikov K.E. Pedagogical Measuring of Education Quality // Life Science Journal. - 2014. - 11(7s). - S. 356-359.
