CC BY
217
ТЕОРИЯ ОБРАЗОВАНИЯ
УДК 37.012 ББК 74.00
МЕТОДОЛОГИЧЕСКИЙ АППАРАТ МОНИТОРИНГА В ОБРАЗОВАНИИ И ЕГО ПОНЯТИЙНАЯ СИСТЕМА
Т. А. Строкова
Ключевые слова: педагогический мониторинг; критериально-оценочный аппарат; критериально-диагностический инструментарий; систематизация, интериоризация и прогнозирование в мониторинге.
Резюме: В статье дается характеристика понятийной матрицы педагогического мониторинга, акцентируется внимание на «болевых точках» его организации и осуществления.
Мониторинг - относительно новый термин в педагогической понятийной системе. В самом общем виде мониторинг - это постоянное наблюдение за каким-либо объектом с целью выявления и предупреждения о нежелательных отклонениях в его развитии. Однако осмысление сущности мониторинга, решение проблем его практической реализации еще не завершены. Многие определяют мониторинг как изучение, диагностику, контроль, экспертизу и даже как метод, инструмент. Такое разнообразие определений можно объяснить следствием его широкого использования в различных сферах научно-практической деятельности, хотя нельзя исключать и факт сложности самого этого феномена, одновременно принадлежащего и теории, и практике. Так, Н. Вербицкая и В. Назаров удачно сравнивают мониторинг с многогранником, который при внимательном рассмотрении поворачивается то одной, то другой своей гранью [1, с. 16].
Главными особенностями, отличающими мониторинг от близких понятий, являются присущие ему системность, длительность, динамичность, многократность замеров на основе одинаковых эмпирических признаков, полифункциональность, полипроцессуальность и др., что позволяет признать в качестве важнейших «граней» мониторинга такие его характеристики, как система и процесс.
В многочисленных публикациях выделены различные виды и типы мониторинга, дифференцированные по определенным основаниям: по области применения - экологический, медицинский, социологический, психологический, педагогический, экономический и др.; по целям - информационный, ба-
зовый, проблемный, управленческий и др.; по уровню управления образованием - федеральный, региональный, муниципальный, институциональный и др [3; 4].
Педагогический мониторинг наиболее часто определяют как систему сбора, обработки, хранения и использования информации о функционировании образовательной системы, позволяющей судить о состоянии этой системы в любой момент времени и прогнозировать ее развитие [2]. Объектом педагогического мониторинга (далее: мониторинг) является учебно-воспитательный процесс или обучение. Субъектами мониторинга могут выступать как отдельные лица - учителя, представители органов управления образованием, отдельные ученики и родители, привлеченные к этой работе, так и функциональные службы - педагогические, психолого- и медико-педагогические, социолого-пе-дагогические и т. п. В зависимости от характера наблюдаемого педагогического явления предметом мониторинга могут быть качество образования, организация образовательного процесса, содержание, технологии и средства обучения и воспитания, детская одаренность, поведение обучающихся, профессиональная компетентность учителя, здоровье учащихся и педагогов и другое.
Основная цель мониторинга в образовании - информационное обеспечение управления этой системой на основе объективного представления о ее состоянии и происходящих в ней количественных и качественных изменениях.
Содержание мониторинга включает в себя выполнение всех входящих в него процедур (т. е. определенного порядка совершения ряда последовательных действий или мероприятий) - организации, сбора данных, первичной обработки собранной информации, ее систематизации, анализа и интерпретации, распространения и прогнозирования дальнейшего развития наблюдаемого педагогического объекта. К сожалению, в подавляющем большинстве теоретических исследований не фиксируется внимание на полном перечне мониторинговых процедур, что на практике приводит к сужению его содержания. Следствием этого является довольно распространенная ситуация, когда собранная информация становится достоянием лишь незначительного круга пользователей, куда не входят ни учащиеся и их родители, ни большинство учителей. Да и сама информация, особенно психологическая, зачастую представляется в виде диагноза, без объяснения сути выявленного состояния объекта и возможных причин и факторов, вызвавших его.
Подобные явления не должны иметь место ни в теории, ни в практической деятельности. Ведь результаты мониторинга, в широком смысле их толкования, - это не только представленные, скажем, в табличном варианте сведения об изучаемом объекте, но и выводы, и прогнозные заключения, и рекомендации, сформулированные на их основе. Только осуществление всех процедур в полном объеме обеспечит исполнение роли, отводимой мониторингу в образовании. Исключение из содержания мониторинга какой-либо процедуры нарушает его целостность как системы. Кроме того, оно порождает миф
о ненужности мониторинговой деятельности, так как достаточно хорошо известны случаи невостребованности предоставляемой психологическими службами информации об учащихся без педагогической интерпретации результатов проведенных обследований, не говоря уже о прогнозировании развития школьников и рекомендациях их учителям по совершенствованию образовательной практики.
Мониторинг основывается на системе принципов - основных исходных идеях и положениях, определяющих все его звенья. В принципах отражаются нормативные указания к организации и проведению мониторинга, к выработке его стратегии и конкретных тактических действий. Наиболее признаваемы принципы: целостности, целенаправленности, непрерывности, согласованности действий субъектов мониторинга, адресности, гласности, оптимальности. Из них вытекают требования - обеспечения целевого назначения, объективности информации, сравнимости данных, необходимости и достаточности собираемой информации, получения как можно большего объема информации наименьшими затратами человеческих усилий, средств и времени и др.
Функциональная направленность мониторинга определяется целями, ради достижения которых он проводится. Функции мониторинга - это обязанности (роли, предназначения), которые на него возлагаются и которые он реально выполняет в образовании. Среди них важнейшие - информационная, аналитико-оценочная, стимулирующе-мотивационная, контролирующая, коррекционная и прогностическая функции.
С введением в образовательный процесс педагогических новшеств, всегда сопровождаемых определенным риском, возникла необходимость отслеживания хода и результатов инновационной деятельности, так как инновационные процессы, как доказали ученые, подвержены действию законов необратимой дестабилизации педагогической инновационной среды (Н. Р. Юсуф-бекова) и сопротивления нововведениям (С. Д. Поляков). Мониторинг педагогических нововведений как разновидность педагогического мониторинга призван отслеживать изменения, происходящие вследствие инновационных преобразований. Он представляет собой целостную систему непрерывного изучения, оценки и прогноза изменений состояния и развития образовательного процесса, его субъектов или отдельных сторон в результате инновационной или опытно-экспериментальной работы. Информация, собранная в процессе мониторинга, позволяет вовремя вскрывать негативные последствия нововведений и тем самым предупреждать или минимизировать возникающие факторы риска. Появляется возможность в случае необходимости активного вмешательства в ход инновационного процесса, не дожидаясь, когда он приведет к нежелательным результатам.
Рассматривая мониторинг как процесс, следует прежде всего выделить в нем циклы и этапы. Период от начала мониторинга до предоставления ана-литико-прогностической информации пользователям называется циклом.
В зависимости от цели и предмета мониторинга временная протяженность одного его цикла может быть разной: месяц, четверть, триместр, полугодие, год. Число циклов обусловливается длительностью мониторинга.
Каждый мониторинговый цикл содержит в своей структуре несколько этапов, т. е. процессуальных элементов цикла. Хотя у ученых отсутствует единство мнений относительно числа и названий этапов, содержание деятельности субъектов мониторинга остается одним и тем же, что позволяет использовать любую из разработанных структурных моделей. Наиболее оптимальной нам представляется модель, включающая организационно-подготовительный, аналитико-диагностический, оценочно-прогностический и коррекционный этапы.
Самым ответственным моментом организационно-подготовительного этапа мониторинга является разработка критериально-оценочного аппарата - совокупности критериев, показателей и индикаторов, с помощью которых осуществляется оценка состояния отслеживаемого педагогического объекта. Центральная роль в этой совокупности отводится критериям - ключевым признакам наблюдаемого объекта. Их определение тесно увязывается с рядом факторов, главным из которых является адекватное понимание сущности объекта. Следствием усеченного, одностороннего представления сущности качества образования, например, стала достаточно распространенная порочная практика его оценки лишь по результатам, в которых доминируют количественные показатели.
В зависимости от целей мониторинга, масштаба и сложности объекта его оценка может быть произведена на основе единичного критерия или целого комплекса критериев, способных всесторонне охватить оцениваемый объект и обеспечить его целостную характеристику. Так, исходя из широкой содержательной трактовки качества образования как единства составляющих его трех компонентов - результатов, функционирования (протекания) образовательного процесса и созданных для него условий, что соответствует теории социального управления, для его мониторинговой оценки мы выбрали три группы критериев: критерии качества результатов образования, критерии качества функционирования образовательного процесса и критерии качества условий, в которых протекает этот процесс.
Признаки качества результатов образования содержали как количественные (успеваемость, отсев, второгодничество, внешкольная успешность и др.), так и качественные характеристики (учебная и школьная мотивация, трудовая дисциплина, общий интеллект, интеллектуальная, коммуникативная, волевая и адаптационная компетенции, нравственная воспитанность, факты и виды девиаций и др.). Особое внимание уделено здоровью детей, выводы о состоянии которого делались на основе показателей коэффициента здоровья, группы здоровья, уровня физического развития, числа часто болеющих детей,
числа заболеваний, приходящихся на 1 тыс. чел., наиболее распространенных видов заболеваний и др.
Качество функционирования образовательного процесса оценивалось по содержанию основного и дополнительного образования (его новизна, вариативность, разноуровневость, реальность выбора учащимися, удовлетворение образовательных запросов школьников и др.), организации и содержанию внеклассной воспитательной работы (новизна, направления деятельности детских общественных объединений, действенность ученического соуправления, удовлетворенность детей организуемыми видами внеклассных занятий и др.), технологиям обучения и воспитания (владение и использование учителями современных технологий, доминирующие методы обучения, отработка общеучебных мыслительных умений, способы оценивания ЗУН, дифференциация работы с различными категориями учащихся - одаренными детьми, детьми с особыми нуждами, с ослабленным здоровьем и т. д.).
Качество условий, в которых протекает образовательный процесс, определялось на основе анализа его программно-методического обеспечения, материально-технической базы, предметно-пространственной и образовательной среды, психологической атмосферы в ученических коллективах, характера взаимных отношений учащихся с одноклассниками и учителями, качества кадрового состава, психологического климата в педагогических коллективах и др.
Принималась во внимание и социальная оценка качества образования, осуществляемая по признакам удовлетворенности родителей результатами обучения и воспитания их детей, созданным в школе для их развития условиям, отношением к их детям учителей и одноклассников, конкурентоспособности выпускников школ и социального статуса образовательного учреждения.
Пятилетний опыт реализации нашей мониторинговой программы в Ханты-Мансийске и Тюмени позволяет получать необходимую и достаточную информацию об индивидуальном (ученик), институциональном (образовательное учреждение) и муниципальном (система образования города) уровне выполнения социального заказа на новое качество образования и эффективности управления системой образования в целом.
Критерии, как правило, разбивают на показатели, т. е. измеряемые характеристики, дающие количественную и / или качественную информацию о конкретных свойствах оцениваемого объекта. Так, показателями свободной личности в школе № 80 Тюмени были определены произвольность поведения, эмоциональная раскрепощенность, чувство собственного достоинства, самостоятельность в принятии решений, способность к свободному выбору, рефлексивность.
Сами показатели часто детализируют с помощью индикаторов - доступных наблюдению и измерению конкретных проявлений тех или иных особенностей наиболее сложных показателей. Индикаторы обнаруживают и представ-
ляют новые характеристики наблюдаемого объекта, которые не могут быть выявлены непосредственно через показатели.
В выборе показателей и индикаторов, в отличие от выбора критериев, не последнюю роль играет субъективный фактор, в частности теоретические позиции и предпочтения разработчиков мониторинга, их принадлежность к определенной научной школе. Так, одни оценивают обученность по В. П. Симонову (распознавание, запоминание, применение, перенос знаний), другие - по И. Я. Лернеру (полнота, глубина, системность, прочность, осознанность, действенность знаний), третьи - по Т. И. Шамовой (уровень усвоения знаний, системность и действенность знаний, сформированность интеллектуальных, информационных и коммуникативных умений и умений самоорганизации) и т. п. Поэтому при выборе показателей каждого критерия соблюдают требования их необходимости и достаточности, пропорциональности удельного веса (чтобы не допустить перекоса в сторону какого-либо одного критерия), единства общих и специфических показателей, количественных и качественных характеристик, их способности к всестороннему охвату оцениваемого объекта и обеспечению его целостности и др.
В соответствии с критериально-оценочным комплексом выбирается диагностический инструментарий, т. е. совокупность форм статистической отчетности, информационных стандартов, анкет, опросных листов, рейтинговых оценок, тестов и т. п., используемых для изучения наблюдаемого педагогического объекта в целях постановки диагноза его состояния и прогноза дальнейшего развития, а также регулирования и коррекции. Диагностический инструментарий должен отвечать требованиям валидности - способности указывать, что именно измеряет инструментарий и насколько хорошо он это делает: чем валиднее инструмент, тем лучше отображает он то качество, свойство, ради измерения которого используется. Он должен быть надежным, т. е. отражать точность измерения и устойчивость к действию посторонних факторов и помех.
Кроме того, используемый инструментарий должен обеспечить достаточность информации, ее достоверность, однозначность трактовки полученных данных, их сравнимость с результатами, добытыми иными средствами, и быть по возможности минимально трудоемким; он должен быть удобен в сборе и последующей обработке информации и позволять отслеживать изучаемые признаки объекта в динамике.
Одновременно с выбором методов продумывают, как и какими способами будут измерены выявляемые признаки. Измерение - это процедура, посредством которой наблюдаемому признаку приписываются числа или порядковые величины по определенным правилам, состоящим в установлении соответствия между некоторыми свойствами чисел и некоторыми свойствами признака.
Инструментом для измерения непрерывных свойств объекта, как правило, выбираются шкалы, с помощью которых качественные характеристики
получают свое выражение в форме количественных оценок. Это могут быть 3-, 5-, 7- и даже 9-мерные шкалы с различными цифровыми значениями: (1; 2; 3; 4; 5) или (- 0,3; - 0,2; - 0,1; 0; + 0,1; + 0,2; + 0,3) и др.
Однако в педагогике, особенно в воспитании, существует немало «тонких», неформализуемых показателей и индикаторов, которые невозможно подвергнуть измерениям без их огрубения или абсурдного представления.
Аналитико-диагностический этап мониторинга начинается с опробования критериально-диагностического инструментария - совокупности оценочных, диагностических и измерительных средств, используемых для отслеживания состояния и развития наблюдаемого педагогического объекта. Специальная проверка инструментария позволяет убедиться в его адекватности и надежности, удобстве пользования, при необходимости внести определенные коррективы и приступить к сбору данных по полной мониторинговой программе, соблюдая известные правила организации и проведения диагностических исследований.
Собранная на этом этапе информация проходит первичную обработку и систематизируется, т. е. приводится в определенный порядок. Она представляется в виде таблиц, графиков, профилей (гистограмм, диаграмм), «таб-летных» форм и / или различных классификаций, выполненных на основе четких оснований - сходства, различия, величины, силы выраженности каких-либо свойств и признаков и т. п. Упорядоченная подобным образом информация значительно облегчает выполнение последующих мыслительных операций -сопоставления, сравнения, анализа и обобщения, установления причинноследственных отношений, устойчивых связей и эмпирических зависимостей. Она намного упрощает наиболее сложную и ответственную мониторинговую процедуру - интерпретацию собранных данных, т. е. объяснение вскрытых фактов, истолкование их смыслов и значений.
Интерпретация информации - кульминационный момент каждого мониторингового цикла. Она осуществляется с целью диагноза реального состояния наблюдаемого объекта, прогноза его дальнейшего развития и формулирования выводов и рекомендаций для планирования дальнейшей педагогической деятельности. Направление и содержание интерпретации задают концептуальные установки, научные теории и теоретические положения, отобранные в качестве исходных посылок при определении целей и разработке программы мониторинга. Однако формулируемые оценки должны быть свободны от субъективизма, предвзятости, «подгонки» фактов под теории или, наоборот, теорий под факты.
Убедительность интерпретационных суждений достигается глубиной осмысления и разносторонним анализом мониторинговых данных, сопоставлением ожиданий и реального положения дел, прослеживанием динамики фиксируемых признаков. Следует, кстати, заметить, что «динамическими» данными считаются те, которые содержат более двух измерений, т. е. по-
мимо начального и конечного есть еще и промежуточные. Поэтому говорить, например, о положительной динамике результатов нововведения на основе только двух мониторинговых измерений - исходного и достигнутого - просто некорректно. Необходим хотя бы еще один, промежуточный, срез, проведенный с использованием аналогичных измерительно-диагностических средств.
Процедура интерпретации информации допускает возможность разных вариантов толкования отдельных фактов, для однозначного объяснения которых не хватает собранных данных и требуется дополнительная проверка каждой из версий. Так, в нашей практике проведения мониторинга качества образования в Ханты-Мансийске было зафиксировано значительное ухудшение психологического климата в педагогическом коллективе одной из школ. Вероятностным дестабилизирующе действующим фактором могла стать инновационная деятельность, к которой приступила эта школа, так как на этапе зарождения инновационных процессов в педагогической среде начинают проявляться необратимые деструктивные изменения. Действительно, не все учителя данной школы приняли предстоящие инновационные преобразования. Четко выделилась небольшая группа, лидер которой, авторитетный учитель, открыто выступила против принятия инновационной программы, заявив, что в ней нет ничего нового, что она «так работала всегда».
Другой версией, объясняющей факт ухудшения психологического климата, могло быть доминирование в поведении членов педагогического коллектива индивидуально-личностных качеств, сформированных на среднем уровне, для которого свойственно проявление в зависимости от складывающихся обстоятельств прямо противоположных признаков (по методике В. И. Андреева, оценка - по 5-балльной шкале): коллективизм и индивидуализм, удовлетворенность и разочарованность (деловые качества), оптимизм и пессимизм, прогресс и застой (творческие качества), толерантность и нетерпимость, взаимопомощь и нездоровое соперничество (нравственные качества). Причем индексы показателей психологического климата, приближающиеся к 2 баллам, свидетельствовали о тенденции его перехода с «благоприятного» уровня к «достаточно неблагоприятному».
Мы не исключали возможности существования и других вариантов интерпретации результатов мониторинга. Но знакомство с положением дел в этой школе позволяло нам считать вскрытые причины ухудшения психологического климата в коллективе главными.
Тщательный анализ фактологической информации, выявление устойчиво проявляющихся и зарождающихся тенденций, выделение проблемного поля и наиболее острых, подлежащих первоочередному разрешению проблем создают условия для прогнозных заключений. Прогноз - это вероятностное суждение о дальнейшем развитии объекта, основанное на экстраполяции (переносе из настоящего в будущее) наблюдаемых тенденций. Прогнозированием называют формулирование на основе длительных наблюдений вероятностных
суждений об изменениях, которые произойдут или могут произойти при определенных условиях. Оно осуществляется по результатам всех предшествовавших ему мониторинговых процедур и требует данных, накапливаемых в процессе продолжительных и повторяемых динамических наблюдений. Именно длительный характер наблюдений и оптимальность собранной информации (известно, что обилие данных, как и их недостаток, одинаково снижают точность предсказаний) обеспечивают прогностическую надежность мониторинга, а принятые на его основе решения повышают качество управления системой образования.
К примеру, в числе прогнозных положений, сформулированных в процессе опытно-экспериментальной работы уже упоминавшейся тюменской школы № 80, интегрировавшей отечественные и зарубежные гуманистические идеи с целью обновления традиционной системы обучения младших школьников, отмечены следующие: 1) преподавание одним учителем всех предметов с 1 по 8 класс, как это первоначально задумывалось в соответствии с идеей вальдорфской школы, может привести к резкому снижению качества знаний учащихся, так как учителя даже с высшим образованием не в состоянии проводить по всем предметам занятия на одинаково высоком уровне, как этого требует российская система образования; 2) безотметочное обучение, обеспечивавшее психологический комфорт учащимся начальных классов, может спровоцировать у учащихся среднего школьного звена безответственное отношение к результатам своей учебной деятельности; 3) зарубежные инновации приживаются, если они не противоречат духу отечественного образования. Все это послужило основанием для коррекции концепции развития школы и внесения изменений в инновационную деятельность. В частности, с 4 класса было введено отметочное обучение; основному учителю разрешалось преподавать только два предмета - русский язык или математику и какой-либо другой предмет, компетентность в котором позволяла ему на должном уровне обучать этому предмету учащихся 5-7 классов; были пересмотрены ранее отобранные для использования зарубежные методические идеи. Последующая инновационная работа педагогического коллектива подтвердила рациональность принятых мер.
Таким образом, определение понятий, наиболее часто встречающихся в публикациях о мониторинге в образовании, и краткая их характеристика свидетельствуют не только об их многообразии, но и определенной специфике, что позволяет считать недопустимым их вольное толкование. Овладение и адекватное использование понятийно-методологического аппарата мониторинга в образовании позитивно отразится на исследовательской культуре педагогов, качестве организации и проведения мониторинга и его результатах.
Литература
1. Вербицкая Н., Назаров В. Мониторинг и саморазвитие школьного управления // Директор школы. - 1999. - № 6. - С. 15-19.
2. Майоров А. Н. Мониторинг в образовании. - СПб.: Образование -
Культура, 1998. - 344 с.
3. Основы педагогических технологий: Краткий толковый словарь. -Екатеринбург: Изд-во УрГПУ, 1995. - 22 с.
4. Попов В. Г., Голубков П. В. Мониторинг развития региональной системы образования // Стандарты и мониторинг в образовании. - 2000. - № 2. -С. 30-33.
