Мультиплексное измерение качества школьного образования Текст научной статьи по специальности «Науки об образовании»

Н.Н.Найденова

Ключевые слова:

качество образования, мультиплекс, средняя оценка, градиентная оценка, этапы мониторинга.

мультиплексное измерение качества школьного образования

в статье рассматривается проблема измерения качества образования интегральным методом (мультиплексом), который разработан и предложен автором для применения в школьной системе оценки качества образования. Этапы мониторинга учебных достижений мультиплексом представлены в краткой форме.

в каждой школе в том или ином виде существует собственная система мониторинга учебных достижений, а также и школьная система оценки качества образования. Как правило, мониторинг и система оценки носят сугубо предметный характер. Основой любого оценивания качества образования является оценка качества обучения, включающая три формы: первичная (входная), формативная (текущая) и кумулятивная (итоговая). в рамках формативной оценки мониторинг имеет право быть предметным. формативная оценка является основным принципом дидактической деятельности учителя, так как реализуется путем систематических проверок степени достижения учебных целей на протяжении всего процесса обучения и дает возможность получать и накапливать сведения для успешного управления обучением, воспитанием и развитием учащихся. Так как обучение во многих странах носит предметный

характер, то и оценка результатов обучения чаще всего бывает формативной и на выходе - кумулятивной, или итоговой, но в любом виде такие оценки являются предметными. При оценке качества образования в целом, а не только качества обучения оценка носит заведомо суммативный характер, включая и текущие оценки, и кумулятивные оценки результатов обучения. В случае же оценки качества образования необходима сум-мативная оценка мультипредметного, даже межпредметного характера, как принято в международных исследованиях качества образования.

Сейчас очень трудно судить о качестве образования в конкретной школе. Так как в основном оценки ведутся на шкале в пять баллов (реально в три балла), да и сама оценка носит предметный характер и сводится лишь к оценке результатов обучения. Но надежное и валидное измерение качества образования не должно сводиться только к оценкам результатов обучения, хотя должно включать и этот вид оценивания. Качество образования проверяется заданиями неучебного типа, с которыми учащийся не встречался в период обучения, мультипредметного характера. Кроме того, при оценке качества образования оценивается влияние на оценку различных факторов: психологический и личностный характер ученика; качество образовательной среды дома, в школе, вне школы; стиль и методы обучения; школьный и классный климат; социальный, экономический и культурный статус семьи; поведение; гражданская позиция; моральные ценности; эмоциональное развитие и т.п. Чаще всего оценка качества образования в школе ведется по средней оценке, как «средняя температура в больнице», что не является достоверной оценкой даже оценки качества обучения в школе. Например, результаты школы по математике превосходны, а по истории - почти удовлетворительны, то есть соответственно отметки «5+» и «3-», для школы выводится средний результат в четыре балла. Отметка «четыре» трактуется в российской системе образования как «хорошая», следует - можно сказать, что школа хорошая. Но из этой школы учащийся должен иметь по истории репетитора, чтобы сдать ЕГЭ, в то время как по математике учащийся сдаст ЕГЭ успешно. Или возьмем школу, в которой и математика, и история оценена на «хорошо», тогда средний балл также равен «4», но учащиеся из этой школы сдадут успешно ЕГЭ и по истории, и по математике. Таким образом, лучше та школа, в которой сбалансированы результаты по разным предметам. Заметим, что два предыдущих примера показывают, что рейтинг или ранг школ будет одинаков, поэтому рейтинговая оценка качества образования в школе будет иметь такой же усредненный характер, не отражая реального качест-

ва. Если же оценивать качество образования по количеству поступивших в вузы, то такая оценка также не объективна. Может быть, в первом примере все учащиеся имели репетиторов, дополнительно занимались на курсах в других школах и т.п. - тогда этот показатель не имеет никакого отношения к оценке качества образования в данной школе.

Рассматривая проблему измерения качества образования в школе с психологических, социальных, культурных, педагогических и др. позиций, можно попытаться объективно, надежно и валидно измерить уровень качества образования учащегося, класса внутри одной параллели, между классами, на разных ступенях обучения, в целом по школе. Такое измерение должно быть мультипредметным, многовариативным, полиинструментальным, многофакторным, мультишкальным и др. - т.е. мультиплексным [1]. По-латыни «мультиплекс» — сложный, многократный. в словаре иностранных слов «мультиплекс» определяется как универсальный технический прибор, стереофотограмметрический оптический прибор для создания топографических карт по аэрофотоснимкам. Новый метод оценки качества образования в школе был назван мультиплексом. Приходя в мультиплексный кинотеатр, а такой термин широко используется в культуре, можно: посмотреть фильмы разных стран разного жанра, рассчитанные на разную возрастную аудиторию; перекусить в различных заведениях; поиграть в боулинг, бильярд и др.; послушать музыку; посидеть в интернете и др. Вводя термин «мультиплекс» в образование, принималось во внимание именно сочетание в одном измерении измерений разных видов и по разным шкалам. Таким образом, мультиплекс в образовании - это универсальный метод измерения качества образования с оцениванием текущих оценок, выставляемых педагогами школы на момент тестирования мультиплексом, с учетом социальных, педагогических, психологических и других факторов.

Мультиплексное измерение качества образования ведется с опорой на читательскую компетентность в рамках авторской концепции «Читаю. Пишу. Размышляю» (ЧПР), то есть измеряются: 1) скорость чтения информации разных видов с учетом понимания прочитанного; 2) понимание прочитанного через оценку разных видов деятельности: репродукции, интерпретации и рефлексии; 3) умения сформировать структурный дизайн эссе на основе прочитанного текста и личных знаний и умения написать эссе грамотно и в соответствии с дизайном. Первое измерение в ЧПР названо как «Читаю», что включает умение быстро и качественно читать разные тексты, в том числе электронные, и понимать прочитан-

ное. Второе измерение «Пишу» отражает уровень ученика, способного: выразить свое отношение к тексту; сделать краткую интерпретацию прочитанного; найти требуемые отрывки (фразы, мысли) в тексте, заданные в явной и подтекстной формах. Третье измерение «Размышляю» - это умение писать эссе по заданной или разработанной самостоятельно учащимся структуре.

В мультиплексе ведется:

оценка ключевых компетенций, принятых в мировом образовательном пространстве;

определение уровня грамотности по предметам базисного учебного плана;

измерение способностей учащихся применять знания и умения по разным предметам вне учебных ситуаций;

рейтинг на шкалах отечественного и международного измерения; оценивание выполнения тестовых заданий разных видов предъявления;

выявление личной стратегии выполнения теста;

оценка в рамках авторской концепции мультиплекса «Читаю. Пишу. Размышляю»;

назначение пенальти и бонусов за поведение в период тестирования; введение шкальной оценки за выполнение анкет разных видов; прогноз на успешность выполнения национальных экзаменов; формирование индивидуальной траектории образования; другие измерения, оценивания, учет других оценок.

В результате мониторинга на основе мультиплекса формируются индивидуальная оценка качества образования учащихся, учителей, классов, школы, что позволяет каждому субъекту оценить свои индивидуальные оценки в школе и в мониторинге и идентифицировать себя на шкалах международного, наднационального и национального инструментария с учетом социально-педагогических и психологических факторов. Кроме того, согласно современной теории эвалюации [2] измерение качества образования проводится в рамках реалистической [3] стадии эвалюации с включением международного инструментария, оценки ключевых компетенций, оценивания уровня информационной грамотности и др.

Поэтому мониторинг качества образования в школе новым методом интегрального измерения (мультиплексом) в условиях современного глобализирующегося и изменяющегося образования, когда модерниза-

ция общероссийской, региональной, муниципальной и школьной систем оценки качества образования и текущая информационная поддержка позитивного образа педагогических измерений (ЕГЭ, ГИА, стандарты и т.п.) просто необходимы, представляется особенно актуальным, так как позволяет получить надежную и валидную информацию о реальном уровне качества образования в школе и выявить факторы, способствующие повышению качества образования.

Не только практические работники сферы образования, но и исследователи начинают интенсивно заниматься решением проблемы измерения качества образования в школе, основанного на разных подходах к оценке качества образования. Как правило, современные решения в мировом образовательном пространстве принимаются на основе моделей измерения. В данном случае предлагается двойная модель мультиплекса, состоящая из модели разработки и модели реализации. Однако в российском образовании, несмотря на заявленную важность модернизации систем оценки качества образования и понимание влияния таких измерений на итоговые оценки в школе, пока отсутствуют системы оценки компетенций. Проводимые тесты в рамках ГИА и ЕГЭ чаще направлены на формативную оценку знаний в рамках одного предмета, а кроме того, полностью отсутствуют кросс-оценки, проведенные одновременно сразу международным, наднациональным и национальным инструментариями.

Тем не менее в России накоплен значительный потенциал оценивания качества образования в суммативной форме, подготовлено в рамках ЕГЭ значительное количество специалистов по педагогическим измерениям, создан Федеральный институт педагогических измерений и др. Но по-прежнему почти не проводится повышение квалификации учителей в области педагогических измерений, слабо преподают эту область педагогики будущим учителям. И в целом пока еще педагогическая общественность недостаточно осознала необходимость получения валидного и надежного, универсального и комплексного, мультипредметного и межпредметного инструментария.

Введение ЕГЭ породило переориентацию учителей нашей школы на более широкое использование измерительных технологий без достаточной и необходимой квалификации, что порождает отрицательное отношение к тестовым технологиям. В целом по-прежнему в прессе и обществе под тестом понимают лишь одну примитивную форму - стандартизированный тест, содержащий задания с выбором ответа, задания, которые направлены на проверку конкретных знаний. Такими задани-

ями очень удобно пользоваться при текущем контроле, но не при оценке качества образования. Существенные различия между современными тестами, измеряющими качество образования, и тестами текущего контроля приводят к тому, что тест приобретает сложную комплексную форму, чаще всего юнитную форму. Любое тестовое задание состоит из тела задания (текстовой информации) и вопросов по тексту. Простое задание имеет одно тело и один вопрос к тексту в любой форме: открытой (ответ надо записать своими словами) или закрытой (предлагается выбрать один или несколько ответов, предложенных в вопросной части). Стандартизированный тест состоит из простых заданий в закрытой форме, причем, как правило, предлагается выбрать один верный ответ из четырех предложенных. Юнитная форма задания состоит из одного тела (текстовой информации) и вопросной части в разных формах предъявления, причем вопросная часть обычно содержит более двух вопросов к одному тексту. Сами вопросы могут содержать дополнительный уточняющий текст к телу задания и собственно вопрос.

Нельзя забывать и о том, что таким тестом оцениваются и способности применять знания и умения в незнакомой ситуации, а также, кроме индивидуальных оценок, проводится расчет средних оценок по школе в целом. При мультиплексе средняя оценка становится градиентной, что является гораздо более информативным. Градиентная оценка - это средние оценки для различных по уровню подготовки групп учащихся: очень слабых и очень сильных, слабых и сильных, ниже среднего и выше среднего уровня, средних. Средняя группа учащихся оценивается массовым градиентом, то есть при оценивании из выборки исключаются слабые и сильные учащиеся, а остаются 50% учащихся со средним уровнем подготовки. Нижняя граница массового градиента - результаты учащихся, чей уровень подготовки ниже среднего, то есть из выборки исключили 25% слабых учащихся, результаты которых могут зависеть от других факторов, не касающихся качества обучения, воспитания и развития. Верхняя

- соответственно минус 25% сильных учащихся. Средний градиент оценивает среднюю группу учащихся за минусом 10% очень слабых и 10% очень сильных, то есть охватывает 80% учащихся. Полный градиент оценивает все группы учащихся, включая минимальные и максимальные результаты, которые чаще всего на границах градиента определяются генетическими особенностями человека. Для оценки качества образования очень важен массовый градиент, то есть вычленяется только оценка за счет эффективности деятельности самой школы, так как исключены уча-

щиеся с генетическими особенностями и учащиеся, результаты которых могут в большей степени испытывать влияние образовательной среды дома и вне школы.

Итак, мониторинг учебных достижений, как и мониторинг качества образования, на основе мультиплекса является более объективным и надежным измерителем как для принятия управленческих решений в целом на уровне школы, так и для конкретного индивидуума. Отчетные презентационные материалы по мультиплексу всегда содержат все виды градиентных оценок, то есть предстает полная картина о школе, а не только обезличенный средний результат в целом для всех групп учащихся. Кроме того, при оценке мультиплексом учитывается влияние различных факторов с целью построения прогностических функций, построения индивидуальной траектории обучения, профильности обучения и др.

Хотя, как в целом любые тестовые технологии, мультиплекс обладает и рядом недостатков:

более низкая технологичность обработки результатов, субъективность оценки открытых заданий и заданий-эссе, большее время обработки и увеличение финансовых затрат на обработку теста из-за большего количества заданий в форме эссе,

выравнивание и шкалирование можно проводить только после первичного сбора и анализа всех данных,

требует большого времени на выполнение теста из-за мультипредметности, многошкальности, многоинструментальности и т.д.

В свете современной теории эвалюации качества образования мультиплекс позволяет более достоверно сравнивать результаты между классами и составлять рейтинги классов и учащихся. Так как сама оценка вычисляется на основе вопросно-ответной теории (item-response theory

- IRT) или современной теории тестирования, как ее называют в России, то есть оцениваются не только результат выполнения теста, но и сами задания по трудности, включающие предпочтения экспертов по кодировке открытых заданий. Оценивание результатов только по сумме верных ответов на задания теста без учета трудности выполняемых заданий и стиля эксперта приводит к некорректным оценкам. Предположим, тест состоит из пяти заданий, два из которых в открытой форме и оцениваются экспертами на шкале в пять баллов. Тогда два ученика, выполнивших только два закрытых задания, получат два балла, но у первого ученика сложность двух заданий была небольшой и средней, а у второго - большой и средней. Понятно, что их оценки не должны быть одинаковыми,

учитывать сложность заданий при оценке результатов ученика и позволяет ШТ. Или другой пример, ученик выполнил два открытых задания на среднем уровне и эксперт поставил ему по четыре балла, то есть ученик получил восемь баллов. А второй ученик также выполнил открытые задания, но кодировался другим экспертом, который считал поставить лишь по два балла, то есть ученик получил в сумме четыре балла. Наблюдается разница в два раза при одинаковых ответах, которая зависит исключительно от эксперта. Поэтому на единую шкалу в ЮТ следует помимо заданий и учащихся включить и эксперта.

В результате эксперимента был разработан план проведения в школе мультиплекса в мониторинге учебных достижений и в целом в мониторинге качества образования. Разработанная автором пошаговая модель реализации мультиплекса ставит мультиплекс на определенные технологичные рельсы. Освоение данной технологии помогает учителю и при оценивании учебных достижений в текущем режиме. Косвенно, если оценивать квалификацию учителя через результаты его учащихся, то мультиплекс можно использовать и с этой целью.

Следовательно, измерение качества образования в школе посредством мультиплекса позволяет: получить более объективные оценки интегрированного типа; характеризовать сбалансированность образования в конкретном классе, школе и у отдельного ученика; построить прогноз для дальнейшего обучения; сформировать рекомендации для родителей и учителей. Кроме того, для каждого ученика выставляется оценка на международной, наднациональной и национальной шкалах.

Для реализации мультиплексного измерения качества образования в школе необходимо:

- выстроить модель мониторинга в соответствии с пошаговой моделью мультиплекса;

- обучить учителей современной системе разработки заданий открытого типа и их кодировке по методу частичного кредитования;

- разработать инструментарий для текущего, срезового и итогового мониторинга на разных ступенях обучения;

- организовать службу проведения мультиплекса, включая подготовку материалов, организацию проведения, протокольное сопровождение и т.п.;

- осуществить комплексное исследование роста учебных достижений у классов непрерывного мониторинга;

- разработать систему построения индивидуальной траектории об-

учения с учетом социальных, педагогических и психологических факторов;

-усовершенствовать контрольно-измерительные и анкетные материалы с целью адаптации к школьному мониторингу на основе оценок качества образования на общем и школьном уровнях.

При разработке и реализации системы мониторинга учебных достижений на разных этапах обучения с использованием мультиплексного измерения качества образования, а не уровня обученности по различным предметам, решаются следующие задачи:

Изучить и освоить теоретический материал по проблеме мониторинга учебных достижений в мировом образовательном пространстве.

Освоить и разработать школьный инструментарий измерения учебных достижений в рамках мультиплекса.

Организовать и провести лонгитюдное (на протяжении нескольких лет) исследование применимости мультиплекса для целей мониторинга учебных достижений на различных ступенях обучения в школе.

Выявить основные трудности реализации мультиплекса для мониторинговых исследований в школе.

Апробировать измерение качества образования в рамках концепции «Читаю. Пишу. Размышляю».

Интерпретировать презентации результатов каждого этапа мониторинга.

Обобщить результаты эксперимента по внедрению мультиплекса.

Разработать перспективный график мониторинга по мультиплексу по разным видам мониторинга.

Измерение качества образования в школе можно проводить в две стадии: первичного и вторичного мультиплекса (подробнее смотри ниже при описании этапов), которые занимают до трех лет. Мониторинг по мультиплексу можно проводить только после однократной реализации обеих стадий. Итак, для наиболее точных оценок качества образования начальный мониторинг может включать:

• две стадии мультиплекса на одной и той же выборке учащихся на основе однократного тестирования (квази-мониторинг - примерные оценки);

• только первичный мультиплекс на той же выборке в течение нескольких лет (простой мониторинг);

• обе стадии на той же выборке в течение нескольких лет (полный мониторинг).

Срезовый мониторинг включается только после или вместе с начальным мониторингом. Он относится к лонгитюдному измерению качества образования в V-VI классах, если на этой же выборке учащихся проводился либо начальный мониторинг, либо просто вторичный мультиплекс.

Основной мониторинг - это VП-VШ классы, если на этой же выборке учащихся проводился начальный мониторинг.

Мониторинг качества образования в школе по мультиплексу следует проводить в несколько этапов:

Предварительный (от 0.5 учебного года)

• Анализ теоретического материала по проблеме мониторинга учебных достижений в школе.

• Разработка шаблонов по вводу экспертных оценок по текущему мониторингу.

• Разработка тестовых, анкетных и инструктивных материалов. Первичный мультиплекс (до 0.75 учебного года)

• Разработка плана рассадки и репрезентативности форм тестов.

• Проведение мультиплекса с разной предметной фокусировкой.

• Разработка анализа данных и создание первичной презентации. Вторичный мультиплекс и начальный мониторинг (до 1.25 учебного

года)

• Продолжение мультиплексного измерения качества образования.

• Разработка анализа данных и создание вторичной презентации.

• Проведение мониторинга начальной ступени обучения.

• Разработка и создание презентации мониторинга на начальной ступени обучения.

Срезовый мониторинг по мультиплексу (до 1 учебного года)

• Продолжение мультиплексного измерения качества образования.

• Разработка анализа данных и создание срезовой презентации.

• Разработка и анализ данных мониторинга в рамках концепции «Читаю. Пишу. Размышляю».

• Проведение срезового мониторинга основной ступени обучения. Основной мониторинг (до 3 учебных лет)

• Продолжение мультиплексного измерения качества образования.

• Проведение основного мониторинга на основной ступени обучения в режиме лонгитюда.

• Разработка анализа данных и создание основной презентации. Заключительный (до 2 учебных лет)

• Завершение исследования по мониторингу учебных достижений в

школе на различных ступенях обучения.

• Разработка модели непрерывного мониторинга.

• Обобщение результатов эксперимента.

В качестве ожидаемых результатов эксперимента по применению мультиплекса в школе помимо оценок различного вида можно также считать:

• Научно-методическое обобщение материала по проблемам измерения качества образования в школе на разных ступенях обучения разными инструментариями.

• Программы измерения учебных достижений в разных видах мониторинга по мультиплексу

• Создание комплекта контрольно-измерительных материалов мультиплекса (II-VIII, X классы) с сопровождающей документацией.

• Создание массива презентационных материалов.

• Мероприятия по распространению опыта экспериментальной деятельности (обучение учителей, мастер-классы, круглые столы, педагогические советы, встречи с родителями, конференции, публикации участников эксперимента).

Литература

1. Найденова Н.Н. Эвалюация - новый подход к качеству образования // Образование в изменяющемся мире. - М: ИТИП РАО, 2005.

2. International Handbook of Educational Evaluation, 1-6 / T. Kellaghan, D.L. Stufflebeam (Eds.), Dordrecht: Kluwer Academic Publishers. Printed in Great Britain, 2003.

3. Ray Pawson & Nick Tilley. Realist Evaluation. CA: Sage, 2002.