CC BY
142
ИННОВАЦИИ В ОБРАЗОВАНИИ
М.В.Гуськова
Ключевые слова:
количественные измерения, качественные измерения, эвалюация, порядковая шкала, номинальная шкала, интервальная шкала, смешанная методология эвалюации, кодирование данных.
КОЛИЧЕСТВЕННЫЕ И КАЧЕСТВЕННЫЕ ИССЛЕДОВАНИЯ В ОБРАЗОВАТЕЛЬНОЙ ЭВАЛЮАЦИИ
Представлены проблемы совмещения количественных и качественных данных в эвалюации. Приведены виды шкал для измерений различных уровней. Рассмотрены условия получения данных на количественном уровне измерения. Сформулированы условия, вынуждающие обратиться к качественным шкалам в эвалюации. Предлагаются подходы для работы с качественными данными с целью их корректной интерпретации при проведении эвалюации в образовании.
Современный период в развитии исследований в сфере управления качеством образования характеризуется устойчивым интересом научного сообщества к эвалюации, под которой понимается интегратив-ная категория оценочно-аналитической деятельности в управлении качеством образования, основанная на педагогических измерениях и предназначенная для принятия административно-управленческих решений в образовании. Сами по себе измерения в образовании могут быть как количественного, так и(или) качественного уровня. Критерием демаркации результатов измерений от других оценок, полученных традиционным путем, является вовсе не уровень данных, а степень научного обоснования их качества. В первом случае,
при измерениях в образовании, данные сопровождаются оценками надежности и валидности, полученными по специальным методикам, а во втором случае вопрос о качестве данных решается интуитивным путем. Каждый педагог опирается на свой опыт и полагает, что он обоснованно и справедливо оценил подготовку учеников или студентов. В контексте образовательной эвалюации оценивание всегда должно быть основано на педагогических измерениях, поскольку для принятия административно-управленческих решений по результатам эвалюации необходимы очень надежные и валидные оценки.
В образовании качественные результаты измерений представляются в порядковых или номинальных шкалах, а для количественных данных используется интервальная шкала. В целом, грань между количественными и качественными измерениями нередко бывает весьма тонкой. Например, по результатам тестирования студентов при дихотомическом оценивании правильности выполнения отдельных заданий с множественным выбором (1 - если задание выполнено правильно, а 0 - в противоположном случае) получаются, с первого взгляда, количественные оценки, которые на самом деле являются порядковыми в силу отсутствия единицы измерения, поскольку правильность выполнения зависит от трудности заданий теста. Однако эти же результаты тестирования могут быть представлены в интервальной шкале, если используется автоматизированная проверка результатов тестирования, исключающая влияния субъективного компонента со стороны оценок экспертов, а первичные баллы переводятся в интервальную шкалу, имеющую единицу измерений - логит, с помощью аппарата теории ШТ (ItemResponseTheory), обеспечивающей инвариантность оценок параметра испытуемых в зависимости от трудности заданий теста.
В целом, к количественным измерениям в образовательной эвалюа-ции можно отнести те, которые основываются на применении заданий с выбором ответа, автоматизированном оценивании и теории ШТ, а их результаты представляются в интервальной шкале, поскольку шкала отношений недостижима в педагогических измерениях в силу отсутствия абсолютного нуля. Правда, такого уровня строгости при дифференциации измерительных шкал придерживаются не всегда и нередко к количественному уровню, не вполне оправданно, относят все результаты эвалюации, полученные с помощью тестов.
Смешению понятий «количественные» и «качественные» измерения способствует также необходимость представления качественных
данных в виде некоторых точек на числовой оси путем их кодирования, поскольку для осмысления и обработки качественных данных их всегда следует отобразить на оси в виде некоторых символов, роль которых чаще всего отводится числам. В целом, качественные исследования могут охватывать весьма широкий спектр: от эвалюации результатов обучения индивидов до эвалюации проектов по модернизации образования или оценке эффективности деятельности организаций и национальных программ в образовании. Однако, даже в тех случаях, когда исследователи собирают данные на качественном уровне посредством экспертизы, интервьюирования и наблюдений, они кодируют их тем способом, который позволяет обработать и интерпретировать данные с помощью корреляционного, факторного или регрессионного анализа.
Конечно, количественные данные предпочтительнее с позиций минимизации ошибок измерений. Однако не следует забывать, что обращение исключительно к количественным данным нередко снижает глубину исследования и понимания педагогических явлений. Например, обращение к заданиям с выбором ответа и исключение из тестов заданий со свободно конструируемым ответом не позволит оценить компетенции, а даст довольно точные, но ограниченные по интерпретации оценки знаний и простейших умений обучаемых.
В образовательной практике нередко требуется совмещение данных разного уровня. Например, при проведении процедуры государственной аккредитации образовательных учреждений осуществляется экспертиза соответствия содержания и качества образовательных программ требованиям образовательных стандартов, требующая качественных оценок на основе описательных заключений со стороны экспертов. Наряду с этим необходимо оценивание уровня подготовки студентов и представление результатов оценивания в количественной форме, в которой указан процент превышения проходного балла для каждой дисциплины, подсчитанный по результатам тестирования студентов. Таким образом, в государственной аккредитации приходится анализировать как количественные, так и качественные данные.
Задача интеграции данных в процедурах государственной аккредитации намного усложнится в связи с переходом к новым ФГОС, ориентированным на компетентностный подход, что предполагает многообразие форм заданий в тестах. Введение заданий со свободно конструируемым ответом, которые являются обязательным компо-
нентом компетентностных тестов, приведет к получению качественных данных при тестировании студентов, поскольку результаты выполнения таких заданий должны проверять эксперты. Помимо этого останется и технология компьютерного тестирования по аккредита-ционным педагогическим измерительным материалам, предназначенным для проверки знаний и умений по дисциплинам образовательной программы и позволяющим получить результаты студентов в количественной шкале. Таким образом, переход к новым ФГОС в процедурах аккредитации неизбежно повлечет за собой задачу корректного объединения данных разного уровня на основе совмещения количественных и качественных результатов измерения.
На качественном уровне для измерений в эвалюации характерна большая описательность, а инструментарием служат преимущественно, портфолио, анкеты, собеседования и интервью, обеспечивающие результаты эвалюации в шкалах типа Лайкерта. В количественном подходе преобладают нормативные предписания, находящие свое практическое отражение в нормах выполнения тестов, а результаты эвалюации при интерпретации представляются в стандартизированных шкалах интервального или квазиинтервального характера. Хотя подобное разделение не всегда выполняется достаточно строго и не в полной мере согласуется с классификацией уровней измерения по Стивенсу, однако, даже в таком нестрогом виде оно являлось на протяжении последнего десятилетия ХХ века предметом споров сторонников количественных и качественных подходов к измерениям при проведении эвалюации в образовании.
Это противостояние ярче всего проявлялось в методологии оценочных процессов в образовании, но протекало по - разному в нашей стране, где долгое время были запрещены количественные методы, основанные на тестах, и в странах, широко использовавших количественные измерения в эвалюации. В частности, в США общий ход развития методологии эвалюации начиная с 80-х гг. ХХ века, сопровождался острыми дебатами между сторонниками количественного или качественного подхода при измерениях в образовании (Datta, Gage, Guba&Lincoln, House, Rossi), которые вплоть до наших дней не нашли всеми принятой компромиссной точки зрения. Аналогичные процессы протекали в психологии, где в 70-80- е гг. шли длительные методологические споры между такими учеными, как Cronbach, Cook и Campbell, которые отстаивали противоположные точки зрения по поводу ис-
пользования количественных или качественных подходов к решению методологических проблем валидности измерений и интерпретации результатов измерений в практике. По сути, ни одно из направлений в социальных науках не избежало проявлений подобных споров и противостояния парадигм в оценочных процедурах.
В 2008 году известный американский ученый в сфере эвалюации М. Patton, описывая поводы для обращения к качественным измерениям в эвалюации, отмечал, что выбор качественных измерений в эвалюа-ции диктуется тремя практическими причинами. Во-первых, многие образовательные программы основаны на гуманистических ценностях, предполагающих, что их руководители и эвалюаторы предпочтут личные контакты с участниками программ и данные, которые появляются в качественных исследованиях. Во-вторых, качественные методы могут также быть выбраны в силу того, что валидные и надежные количественные измерения просто невозможны в данной программе. В-третьих, к качественным измерениям прибегают, когда хотят придать должную глубину при интерпретации результатов количественного исследования.
В целом, можно сформулировать ряд условий, которые вынуждают исследователей обратиться к качественным шкалам в эвалюации:
• Фокус исследования в эвалюации сосредоточен на процессе, выполнении или развитии образовательной программы, когда анализируется динамика и описывается прогресс в развитии результатов ее выполнения.
• Программа содержит индивидуализированные результаты, которые нуждаются в развернутой интерпретации.
• Необходима всесторонняя информация о деталях программы.
• Фокус исследования в эвалюации сосредоточен на особенностях и уникальных качествах, проявленных ее участниками.
Конечно, качественные исследования нередко дают смещенные оценки. При проведении качественного исследования чаще всего полагаются на экспертные оценки, поэтому, чтобы минимизировать смещение, приходится тратить значительные усилия, критически проанализировать ситуации, распознавать предвзятость экспертов и минимизировать действие субъективных факторов для повышения валидности и надежности данных исследования. Однако было бы неверно становиться на сторону сторонников количественных методов в эвалюации. Понятно, что для любых количественных данных необхо-
дима качественная интерпретация, в свою очередь, качественные данные нуждаются в численном кодировании для проведения анализа, оценивания надежности и валидности полученной информации.
В связи с этим к началу XXI века в противостоянии сторонников количественных и качественных данных в эвалюации был выбран определенный компромисс, который нашел свое отражение в создании смешанной методологии эвалюации (Strauss, Bucher, Enrlich, Schatzman, &Sabshin и др). Позднее смешанная методология получила свое дальнейшее развитие в трудах В.И. Звонникова и была названа бипарадиг-мальной методологией, поскольку базировалась на идее использования двух измерительных парадигм, дополняющих друг друга.
Нередко данные качественных исследований используются для построения теоретических подходов к проведению эвалюации, не только объясняя ее феномены, но и обеспечивая теоретические основы для оценочных процедур. Хорошо сконструированная теория эвалюации должна отвечать четырем базовым критериям: она должна быть адекватна исследуемым феноменам, соответствовать реальности, быть обобщаемой (включать генерализуемые данные) и допускать возможность проведения мета-эвалюации.
Если теория эвалюации отвечает требованиям повседневной реальности и содержит аппарат для анализа качества различных данных, то она должна быть также понятной тем, кто ее применяет при оценке программ в практической области. Данные, которые эвалюа-ция интерпретирует, должны обладать потенциальной способностью к обобщению, оцениваемой с помощью коэффициента генерализации. Результаты применения теории эвалюации также нуждаются в анализе для проверки их надежности и валидности в рамках мета-эвалюа-ции. Таким образом, при построении теории эвалюации необходимы все ее компоненты, позволяющие применить ряд процедур для проведения исследования некоего явления на количественном или качественном уровне.
Культура работы с качественными данными на сегодняшний день недостаточно развита в отечественном образовании. В рамках научных подходов к работе с данными при качественных исследованиях широко применяется кодирование, которое представляет собой операции, посредством которых качественные данные разделяют, концептуализируют и снова соединяют по-новому. Таким образом, кодирование является центральным процессом при проведении качественных
исследований в эвалюации. В целом, выделяют три основных вида кодирования: открытое кодирование, осевое кодирование и избирательное кодирование. Несомненно, что границы между видами кодирования носят искусственный характер. Различные виды кодирования не обязательно привязаны к определенным этапам исследования, а могут сменять друг друга. Хотя открытое и осевое кодирование наиболее типично для ранних фаз выполнения исследований в эвалюации, они могут встречаться и в конце исследования.
Это случается в тех случаях, когда в конце исследования в процессе избирательного кодирования обнаруживаются какие-то понятия, которые остались слабо разработанными или неинтегрированными. Успешность кодирования во многом зависит от того, насколько тесно осуществляется взаимодействие участников работ по эвалюации в процессах сбора и анализа данных. Эти виды работ должны чередоваться с учетом того, что задачи анализа регламентируют формирование выборки данных, которая, в свою очередь, оказывает значительное влияние на выбор методов анализа.
К открытому кодированию относится приписывание понятийных ярлыков к отдельным ситуациям, событиям и другим примерам феноменов. Процесс приписывания основывается на сравнении понятий между собой, при котором происходит группировка (категоризация) и классификация понятий на основе объединения их в группы более высокого порядка. В целом, к открытому кодированию относятся процессы разбивки, исследования, сравнения, концептуализации и категоризации данных. После разбивки данные готовы к измерению, посредством которого указывается местоположение групп вдоль континуума измеряемых переменных. Таким образом, во время открытого кодирования данные разбивают на отдельные группы, тщательно исследуются, сравниваются по подобию и различиям и помещаются на шкалу качественных измерений, позволяющую выделить и проанализировать феномены в эвалюации.
Роль открытого кодирования неизмеримо возрастает в связи с введением компетентностного подхода в практику отечественного образования. Каждая компетенция в силу своей мета-латентной природы нуждается в выражении в форме совокупности эмпирических референтов, поддающихся операционализации (представлению в виде измеряемых переменных). Роль таких эмпирических референтов отводится признакам проявления компетенции. Например, в профессиональном
образовании эти признаки должны описывать проявление знаний и умений студента в различных видах профессиональной деятельности, ранжированных по уровням проявления компетенции, как показано в табл. 1 для компетенции «Ориентация менеджера на достижение высоких результатов».
Ранжирование признаков компетенции по уровням проявления значительно облегчает и сам процесс формирования компетенций, и их оценивание на основе качественных измерений.
таблица 1.
Описание признаков компетенции, ранжированных по уровням проявления
Ориентация менеджера на достижение высоких результатов
Профессиональный уровень освоения (90 или более баллов) Способен выбрать стратегические цели по достижению высоких результатов. Способен передать свои ожидания высоких результатов своим сотрудникам. Способен помочь сотрудникам приложить максимум усилий для достижения высоких результатов. Способен создать и транслировать систему оценки результатов и этапов их достижений. Поддерживает сотрудников в длительные периоды неудач и стимулирует их дальнейший карьерный рост и развитие.
Продвинутый уровень освоения (89 - 70 баллов) Способен выбрать оперативные цели по достижении высоких результатов на достаточно трудном, но реалистичном уровне. Способен представить способы оценки достижений для сотрудников. Способен проявлять и демонстрировать сотрудникам упорство в достижении результата, активность и стойкость в течение периода неудач.
Базовый уровень освоения (69 - 40 баллов) Способен демонстрировать стремление к успеху на фоне временных неудач. Нацелен на достижение конкретных результатов, но не ставит перед собой цели. В меру инициативен, но в основном исполнителен.
Минимальный уровень освоения (менее 40 баллов) Хотел бы добиться успеха, но не способен проявить нужное упорство в достижении результатов. Столкнувшись с неудачами теряет веру в себя. В некоторых случаях проявляет инициативу, но, как правило, удовлетворен уже достигнутыми результатами.
Главной особенностью таких описаний является их выражение на языке действий, а не сведение к классической триаде: знать, уметь, владеть, как, по привычке, нередко стараются сделать разработчики
паспортов компетенций. Поскольку число компетенций в федеральных государственных образовательных стандартах (ФГОС) в системе профессионального образования, как правило, довольно велико, то такие описания лучше делать для кластеров компетенций. Например, в базовую часть стандартов для подготовки бакалавров по менеджменту включено 50 профессиональных компетенций. Добавление профессиональных компетенций по профилям подготовки увеличивает это число до 55- 60, а иногда и до 70.
Конечно, корректно оценить уровень сформированности такого числа компетенций у студентов просто невозможно, поэтому профессиональные компетенции рекомендуется структурировать, выделив из их совокупности схожие группы - кластеры - по некоторым признакам: по характеристикам проявления, либо по связям с задачами профессиональной деятельности, либо по видам профессиональной деятельности. Сравнение компетенций по подобию и различиям при их кластеризации позволит поместить задания компетентностных тестов, разработанные для кластеров, на шкалу качественных измерений, позволяющую выделить и проанализировать освоение компетенций в эвалюации.
Обычно, развитие категорий в эвалюации первоначально происходит на основе объединения по признаку общих свойств, а затем они отображаются на шкале в виде переменных измерения. Благодаря этому процесс открытого кодирования стимулирует обнаружение категорий, категоризацию их на основе свойств и построение порядковой или номинальной шкалы путем измерений. Каждая группа категорирован-ных данных имеет несколько общих свойств, которые изменяются по всей шкале измерений. Таким образом, каждой категории ставится в соответствие особый профиль измерений, который обычно называют паттерном.
В целом, можно отметить, что понятия являются основными строительными блоками качественных исследований в эвалюации. Открытое кодирование представляет собой аналитический процесс, посредством которого понятия идентифицируются, категорируются и отображаются в соответствии со своими свойствами на оси измерений. Основные аналитические процедуры, с помощью которых выполняется этот процесс, включают постановку вопросов о данных, проведение сравнений по подобию и различиям каждого понятия в соответствии со свойствами, выбор переменных для построения шкал, проведение измерений.
Осевое кодирование включает ряд процедур, с помощью которых данные после открытого кодирования соединяют по-новому, на основе других связей между отдельными категориями. Процедуры осуществляются с помощью парадигмы кодирования, которая включает причинные условия, контекст, стратегии действия или взаимодействия и следствия. Под причинными условиями понимаются события, которые являются причиной появления или развития феномена, для управления которым предпринимается ряд действий или взаимодействий по эвалюации. Помимо основных свойств феномена, которые показываются с помощью местоположения переменной измерения на шкале, существуют контекстные условия, также влияющие на выбор стратегии взаимодействия переменных.
В отличие от открытого кодирования, предназначенного для разделения данных и идентификации категорий, осевое кодирование соединяет эти данные по-новому, устанавливая связи между категориями и субкатегориями. В результате этого между категориями вводятся причинно-обусловленные связи, интегрирующие на более высоком уровне измеряемые переменные и лежащие в основе построения причинно-обусловленных моделей эвалюации.
В осевом кодировании центр внимания смещается на определение категорий и условий, которые способствуют их появлению. Устанавливаются контекстные факторы влияния на анализируемые категории, стратегии их взаимодействия. Таким образом, описание контекста включает определенный ряд условий, в рамках которых принимаются стратегии взаимодействия категорий для управления определенным феноменом, его реализации и реагирования на него в процессе эвалюации.
При проведении осевого кодирования происходит соединение и развитие категорий на основе некоторой парадигмы, включающей причинно-обусловленную модель эвалюации. Эти преобразования осуществляются посредством аналитических процедур, содержащих постановку вопросов о связи и влиянии категорий и проведение сравнений. Реальный процесс осевого кодирования включает четыре аналитических шага, которые слабо разделяются по времени осуществления. К этим шагам относится: установление гипотетических связей между категориями в форме утверждений, верификация этих гипотез на основе эмпирических данных, поиск свойств категорий и установление положения переменных на шкале с помощью измерений, иссле-
дования вариаций феноменов путем сравнения каждой категории по различным паттернам, полученным по результатам измерений.
Избирательное кодирование предназначается для валидизации связей между категориями, требующими дальнейшего развития. После прохождения периода сбора и анализа данных в эвалюации возникает задача валидизации категории для получения обоснованных данных в процессе окончательной их интеграции. Этот этап является наиболее сложным процессом в эвалюации. Интеграция категорий по результатам их валидизации незначительно отличается от осевого кодирования, однако, она выполняется на более высоком, более абстрактном уровне анализа, включающем исследование валидности данных измерения.
Избирательное кодирование выполняется в несколько шагов. Первый шаг включает выявление линии исторического развития категории. Второй шаг состоит в установлении связей второстепенных категорий с центральной категорией посредством принятия парадигмы. Третий шаг направлен на установление связей категорий с помощью измерений и отображения их на осях переменных. Четвертый шаг - валидизация этих связей на основе эмпирических данных эвалюации. Пятый и последний шаг состоит в интеграции категорий, которые, возможно, нуждаются в дальнейшем совершенствовании и/или развитии. Эти шаги не обязательно следуют друг за другом в линейной последовательности при проведении эвалюации и обычно не разграничиваются в практической работе.
Практика работы эвалюаторов в ряде стран, обладающих высокоразвитыми системами образования, говорит о том, что обращение к научным методам работы с качественными данными позволит значительно повысить надежность и валидность результатов эвалюации и тем самым будет способствовать повышению обоснованности управленческих решений в образовании.
Литература
1. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: компетентностный подход.- М.: Логос, 2012.
2. Глебова Л.Н., Гуськова М.В. Подходы к формированию независимой оценки качества профессионального образования // Высшее образование сегодня. - 2012. - № 4.
3. Гуськова М.В. Качество образования оценят независимые экспер-
ты // Эксперт. - 2011. - № 46 (779).
4. Крокер Линда, Алгина Джеймс Введение в классическую и современную теорию тестов: учебник / Пер. с англ. Н.Н.Найденовой, В.Н.Симкина, М.Б. Челышковой/ Под общ.ред. В.И.Звонникова, М.Б. Челышковой.- М.: Логос, 2010.
5. 5.Patton, M. Q. Utilization-focusedevaluation: The new century text. ThousandOaks, Calif. 2004.
