Использование контекстных данных в системе оценки качества образования: опыт разработки и апробация инструментария Текст научной статьи по специальности «Науки об образовании»

Использование контекстных данных в системе оценки качества образования:

опыт разработки и апробация инструментария

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий

Статья поступила в редакцию в августе 2014 г.

Использованы результаты проекта «Генезис, современная ситуация и тенденции развития неравенства в общем образовании», выполненного в рамках Программы фундаментальных исследований НИУ ВШЭ в 2014 г.

Ястребов Гордей Александрович

кандидат социологических наук, старший научный сотрудник Лаборатории сравнительного анализа развития постсоциалистических обществ НИУ ВШЭ, докторант European University Institute (Флоренция). E-mail: gordey.yastrebov @gmail.com

Пинская Марина Александровна

кандидат педагогических наук, ведущий научный сотрудник Центра социально-экономического развития школы Института образования НИУ ВШЭ. E-mail: m-pinskaya@yandex.ru Сергей Геннадьевич Косарецкий кандидат психологических наук, директор Центра социально-экономического развития школы Института образования НИУ ВШЭ. E-mail: skosaretski@hse.ru

Адрес: Москва, 101000, Мясницкая ул., 20.

Аннотация. Представлен возможный подход к оценке результатов деятельности образовательных организаций, позволяющий учесть их социальную специфику. В его разработке авторы руководствовались: 1) результатами многочисленных исследований, подтверждающих обусловленность образовательных результатов контекстными факторами (как в России, так и за рубежом); 2) зарубежным опытом в решении аналогичных задач; 3) соображениями доступности минимально необходимой информации для осуществления подобных оценок в современных российских

реалиях. Идея, положенная в основу предлагаемого инструмента оценки, состоит в том, что при наличии необходимых данных можно эмпирически выявить устойчивые соотношения между учебными достижениями учащихся и контекстными показателями (например, различными характеристиками социального состава учащихся). В исследовательской практике поиск этих соотношений осуществляется средствами множественного регрессионного анализа. Результаты данного анализа — установленные эмпирические соотношения — затем могут быть использованы для «дисконтирования» формальных достижений, т. е. формулирования обоснованных повышенных ожиданий для организаций, работающих в благоприятных контекстах, и более скромных ожиданий для организаций, функционирующих в более сложных условиях. Обсуждаются два варианта использования этой информации: на основе формулы или на основе специального индекса (индекс социального благополучия школы), разработанного авторами. Рассматриваются ограничения в использовании предлагаемых инструментов. Раскрываются перспективы учета контекстных показателей в системе оценки качества образования в России. Ключевые слова: качество образования, оценка качества, контекстуали-зация, контекстные данные, социальный контекст, социальный состав учащихся, ЕГЭ.

58

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

Проблема трансформации сложившегося подхода к оценке деятельности образовательных организаций за счет анализа условий их работы, иначе говоря, школьного контекста, при всей ее, казалось бы, простоте и очевидности остается нерешенной. Несколько лет исследований на материале российских школ еще раз подтвердили: связь между учебными результатами школьников и внешними, не зависящими от школы факторами, определяющими условия ее деятельности, — эта связь находится в фокусе образовательной политики и управленческих стратегий в мировой практике — актуальна и для отечественных школ; важными составляющими условий деятельности являются характеристики школьных ресурсов и школьного контингента. И хотя результаты исследований широко представлялись на разных общественных площадках1, обсуждались в ходе профессиональных дискуссий2, каких бы то ни было серьезных решений на этом основании принято не было.

Среди документов, регламентирующих оценивание деятельности образовательных организаций, следует прежде всего обратить внимание на План мероприятий («дорожная карта») «Изменения в отраслях социальной сферы, направленные на повышение эффективности образования и науки» (Распоряжение Правительства РФ от 30 декабря 2012 г. № 2620-р), предусматривающий «разработку (изменение) показателей эффективности деятельности подведомственных государственных (муниципальных) организаций общего образования, их руководителей и основных категорий работников». Понятие «эффективность» было предложено для социальной сферы и науки в целом, но его содержание и специфика применительно к школе не были раскрыты и не стали предметом серьезного обсуждения. Как следствие, педагогическая составляющая из него, увы, выпала. В соответствии с Планом органами государственной власти субъектов Российской Федерации, осуществляющими управление в сфере образования, и органами местного самоуправления в 2013 г. эти показатели были на скорую руку разработаны и представляют собой довольно эклектичные наборы с грубыми процедурами их оценки и использования для стимулирования руководителей и работников. 1 2

1 Например, общественные слушания комиссии Общественной палаты Российской Федерации по развитию образования «Выравнивание шансов детей на качественное образование» (июнь 2012 г.) [Фрумин и др., 2012].

2 В частности, тематическая Девятая международная научно-практическая конференция «Тенденции развития образования: разные, но равные. Как преодолеть разрыв в доступе к качественному образованию», 17-18 февраля 2012 г.

Авторы статьи выражают благодарность организаторам и участникам вебинара Российского тренингового центра при Институте управления образованием РАО (9 декабря 2013 г.) и семинара «Актуальные исследования и разработки в области образования» Института образования НИУ ВШЭ (27 мая 2014 г.), на которых обсуждались отдельные положения и идеи этой статьи. При ее подготовке мы постарались учесть все прозвучавшие замечания и сомнения, связанные с перспективами использования представленного здесь инструментария в реальной практике управления образованием.

http://vo.hse.ru

59

l»ol

ПРАКТИКА

В Указе Президента Российской Федерации от 7 мая 2012 г. № 597 «О мероприятиях по реализации государственной социальной политики» было предложено до 1 апреля 2013 г. обеспечить «формирование независимой системы оценки качества работы организаций, оказывающих социальные услуги, включая определение критериев эффективности работы таких организаций и введение публичных рейтингов их деятельности» (п. 1, пп. «к»).

Реализация данного пункта Указа повлекла за собой некоординированный поиск критериев для оценки эффективности — вновь без проработки самого понятия. Более узнаваемыми и «удобными» оказались публичные рейтинги, на которых и сосредоточили внимание разработчики системы оценки качества и которыми, по сути, оказались подменены анализ и целенаправленная стратегия управления. Рейтинги позволили продолжить привычную, начиная с национального проекта «Образование», практику: выявлять и поддерживать «лидеров» — наиболее сильные и успешные образовательные организации, как правило, обладающие мощными ресурсами, и игнорировать тех, кто не попадает в верхние строчки рейтингов и кто как раз реально нуждается в качественной оценке своей ситуации для определения путей поддержки. Использование наиболее простых «линейных» моделей рейтингования, опирающихся в основном на показатели ЕГЭ и олимпиад, не позволяет оценивать реальные усилия школы, и действительно эффективные учебные заведения, обеспечивающие результаты максимально высокие для тех условий, в которых они осуществляют свою деятельность, остаются незамеченными.

Еще один документ, Постановление Правительства Российской Федерации от 5 августа 2013 г. № 662 г. «Об осуществлении мониторинга системы образования», декларировал важность «непрерывного системного анализа и оценки состояния и перспектив развития образования (в том числе в части эффективности деятельности организаций, осуществляющих образовательную деятельность), усиления результативности функционирования образовательной системы за счет повышения качества принимаемых для нее управленческих решений». В Перечень обязательной информации о системе образования, подлежащей мониторингу, вошли некоторые данные о школьных ресурсах, но в нем отсутствуют наиболее существенные характеристики контингента учащихся. Такой подход существенно ограничивает возможность достижения заявленной цели — «повышения качества управленческих решений»з.

Приходится констатировать, что сегодня в практике оценки результатов работы школ и их использования в управлении все еще: 3

3 Правила осуществления мониторинга системы образования, п. 2 http:// www.rg.ru/2013/08/19/monitoring-site-dok.html

60

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

• не учитываются различия в ресурсах, которыми располагают школы, и в характеристиках контингента учащихся, которые в них обучаются;

• основное внимание уделяется тем, кто оказался в числе первых, а аутсайдеры и отстающие не попадают в поле зрения органов управления образованием;

• не оцениваются вклад и усилия школы;

• конструкт «эффективность» используется неосмысленно.

Однако наполнение понятия «эффективность» применительно к образовательному учреждению и оценка условий (контекста) его работы сохраняют свою актуальность для федеральных, региональных и местных органов управления образованием. Государственная программа «Развитие образования» на 20132020 гг. включает подпрограмму 3 «Развитие системы оценки качества и информационной прозрачности системы образования», в рамках которой планируется внедрить национальную систему оценки качества образования, мониторинговых исследований в образовании. Министерство образования и науки РФ и Рособрнадзор продолжают начатую ранее4 работу по созданию общероссийской системы оценки качества общего образования.

Кроме того, ряд субъектов Российской Федерации демонстрирует заинтересованность в том, чтобы не ограничиваться формальным выполнением «дорожной карты», но выстроить действительно обоснованную систему оценки эффективности работы школ.

Предлагаемый в настоящей статье подход к учету контекстных данных в оценке деятельности образовательных организаций может оказаться востребованным в этой работе.

Констатируя отсутствие сложившихся традиций учета кон- 1. Учет текстных данных в системе управления качеством образова- контекстных ния и в оценке эффективности образовательных организаций, данных мы вовсе не утверждаем, что при сравнении учебных заведе- в образовании ний или образовательных систем контекстная информация игнорируется полностью и повсеместно. Однако существующие исследования и попытки по-прежнему, во-первых, не носят систематического характера, во-вторых, как правило, охватывают лишь отдельные регионы и, в-третьих, в методологическом плане настолько отличаются друг от друга, что не дают возможности проводить корректные сравнения (см., например, [Собкин, Пи-

4 В 2007 г. был подготовлен Проект концепции ОСОКО (Общероссийской системы оценки качества образования), который пока еще не реализован на национальном уровне.

http://vo.hse.ru

61

ЩОІ

l»ol

ПРАКТИКА

сарский, 1998; Константиновский, Вахштайн, Куракин, 2013; Ястребов и др., 2013]).

Но что мы имеем в виду, когда говорим о контекстных данных применительно к сфере образования? Что представляет собой контекст? В самом широком смысле под контекстом мы подразумеваем некоторую среду или систему обстоятельств, в которых тот или иной процесс или феномен приобретает особое содержание. В обыденной жизни, говоря о чем-то, что это «вырвано из контекста», мы сообщаем, что не можем адекватно воспринять ту или иную информацию без дополнительных сведений, делающих ее содержательной с интересующей нас точки зрения.

Применительно к системе образования контекст можно определить как обстоятельства, в которых протекает образовательный процесс, но обстоятельства внешние по отношению к этому процессу, т. е. не являющиеся его непосредственной частью, и притом оказывающие на него существенное влияние. По существу, речь идет о наборе внешних, не всегда очевидных факторов, которые участники образовательного процесса контролировать не могут, но которые нельзя игнорировать, оценивая результаты этого процесса.

В своих предыдущих публикациях мы подробно обсуждали теоретические основания учета контекстных данных в образовании [Пинская, Косарецкий, Фрумин, 2011; Ястребов, 2012; Ястребов и др., 2013]. Здесь достаточно будет сказать, что в большинстве современных работ, в которых организация образования рассматривается в связи с проблемами социально-экономического неравенства, не обходится без ссылок на крупных социологов, таких как Д. Коулман, П. Бурдье, и на их многочисленных последователей. В своих исследованиях они убедительно доказали, что социальные и экономические факторы (будь то характеристики семей учащихся или целых локальных сообществ, районов или территорий) определяют тот контекст, вне которого невозможно адекватно воспринимать деятельность отдельно взятой образовательной организации или целой образовательной системы, а следовательно, невозможно и корректно оценить степень ее эффективности.

Многочисленные исследования проведены с целью выяснить, как социально-экономические преимущества трансформируются в образовательные. Например, обеспеченные семьи могут позволить себе услуги репетиторов и другие виды дополнительного внешкольного образования. В семьях с высоким уровнем образования накоплению преимуществ в обучении способствует определенная культура, к тому же такие семьи сильнее заинтересованы в налаживании эффективного взаимодействия со школой и принимают более активное участие в ее жизни. Однако при обилии эмпирических работ, посвященных неравенству в российском образовании [Константиновский и др., 2011; Ястребов, 2010; Пра-

62

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

хов, Юдкевич, 2012; Рощина, 2012], и наличии достаточно ясных представлений о механизмах его воспроизводства в отечественной практике управления это знание по-прежнему мало востребовано, практически не используется и, что особенно поразительно, все еще не находит отражения в статистическом учете.

При этом в ряде зарубежных стран такая практика является уже вполне устоявшейся. Например, в Великобритании система оценки результатов деятельности школы включает данные о половозрастном, этническом и социально-экономическом составе учащихся и параллельно учитывает их возможную мобильность между образовательными учреждениями, которая может создавать определенные искажения при оценке5. В США нет единой системы учета контекстных данных, однако в ряде штатов, например во Флориде, Южной Каролине, Висконсине, Теннесси, осуществляются собственные программы оценки качества образования, основанные на схожей идеологии [OECD, 2008. P. 76]. Читателям журнала «Проблемы современного образования», вероятно, хорошо знаком опыт Австралии [Вальдман, 2013a] и Чили [Вальдман, 2013b]. В Австралии комплексный учет контекстной информации осуществляется с помощью специально разработанного индекса (Index of Community Socio-Economic Advantage), который рассчитывается индивидуально для каждой школы. Он представляет собой сумму социально-экономических показателей5 6, чьи веса в общей формуле ежегодно определяются на основе специального анализа и отражают степень влияния данного показателя на различия в успеваемости учащихся. Далее сравнение образовательных организаций по уровню успеваемости осуществляется с учетом этого индекса по принципу выявления «статистических соседей», т. е. в группах школ со схожими значениями индекса (и соответственно социально-образовательных условий). В Чили все школы разделяются на пять групп средствами кластерного анализа, основанного на трех переменных: уровень образования родителей, доход семьи и индекс социальной уязвимости школ7 8; дальнейшее сравнение образовательных учреждений также осуществляется внутри выделенных групп8.

5 Вся информация о школах и процедурах оценки размещается в открытом доступе на сайте Департамента образования Великобритании: http://www.education.gov.uk/schools/performance/

6 В частности, используются данные о занятости и образовании родителей учащихся, языке их внутрисемейного общения, принадлежности к коренным народам Австралии, типе населенного пункта, в котором расположена школа.

7 Используемый в официальной статистике индекс бедности, который рассчитывается для определения норм финансирования питания в школах.

8 Дополнительные данные о том, какая контекстная информация используется в статистике образования в других странах, можно найти в од-

http://vo.hse.ru

63

ЩОІ

l»ol

ПРАКТИКА

Наборы используемых показателей в большинстве стран достаточно похожи и, видимо, без особых проблем поддаются статистическому учету, поскольку сбор соответствующей информации зачастую осуществляется самими образовательными организациями на этапе приема детей в школу. Различия в системах учета могут быть обусловлены степенью важности тех или иных показателей в конкретном национальном контексте. Например, фиксация этнической принадлежности учащихся, миграционного статуса семей могут быть малорелевантными в странах, которые не сталкиваются с масштабным притоком мигрантов. Кроме того, немаловажную роль играют финансовые, юридические и морально-нравственные ограничения на получение тех или иных контекстных показателей в системе оценки качества образования. Общий тренд состоит в постепенном преодолении этих ограничений, которое является условием эффективного управления качеством образования.

О необходимости учета контекстных показателей при сравнении эффективности учебных заведений и образовательных систем в последнее время активно пишут известные отечественные специалисты [Агранович, 2008; Боченков, Вальдман, 2013; Болотов, Вальдман, 2013]. Так, например, при сравнении региональных образовательных систем авторы сборника «Управление качеством образования в регионе на основе показателей и индикаторов» призывают обращать внимание на следующие контекстные показатели, определяющие социально-экономическую специфику субъектов Российской Федерации: валовый региональный продукт на душу населения, доля сельского населения, миграционный баланс, уровень безработицы, показатели развития социально-культурной инфраструктуры и т. п. [Агранович и др., 2008. С. 21]. На схожей идеологии основана одна из первых в России попыток типологизации региональных образовательных ситуаций [Собкин, Писарский, 1998].

Примеры использования контекстной информации для непосредственной типологизации образовательных организаций пока еще очень редки. Одним из них является исследование, осуществленное под руководством Д. Константиновского, в котором для построения реальной типологии школ был применен кластерный подход, позволивший произвести классификацию одновременно с учетом нескольких измерений: помимо показателей «результата» рассматривались показатели «входа» и «процесса». Безусловная заслуга авторов состоит в том, что отбор конкретных показателей осуществлялся не только в соответствии с теоретическими представлениями, но и по данным статистического анализа, це-

ной из наших предыдущих публикаций [Ястребов и др., 2013, С. 194-195], а также в тематическом сборнике ОЭСР [OECD, 2008. P. 135-137].

64

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

лью которого было выделить именно те контекстные характеристики, которые наиболее тесно связаны с образовательными результатами [Константиновский, Вахштайн, Куракин, 2013]. Кластерный подход к построению типологии образовательных организаций с учетом контекстной информации ранее также предлагали использовать другие авторы [Агранович и др., 2008].

Кластеризация, безусловно, является шагом в верном направлении. Причем неважно, осуществляется она статистическими методами (кластерный анализ) или произвольным способом (когда критерии отнесения объекта к тому или иному типу определяются a priori), важен сам принцип, предполагающий, что «на выходе» получаются группы объектов, обладающие схожим набором признаков. Тем не менее, с нашей точки зрения, у такого подхода есть одно весьма существенное ограничение, которое связано с дискретностью выделяемых кластеров и типов. Кластеризация по определению предполагает редукцию всего многообразия объектов в ограниченное число групп, в результате чего часть информации об их характеристиках неизбежно теряется. Прежде всего это касается характеристик, которые выражаются с помощью непрерывных показателей, таких как баллы ЕГЭ, численность контингента школы, доля детей из социально неблагополучных семей. Внутри одного и того же типа различия между объектами, по сути, игнорируются, и в результате более дифференцированные их оценка и сравнение становятся затруднительными (они оказываются особенно проблематичными для пограничных объектов, чьи характеристики являются крайними значениями внутри своей группы).

В этой статье мы предлагаем методику использования контекстных данных для сравнения эффективности образовательных организаций, которая позволяет обойти указанные ограничения. Эта методика представляет собой попытку адаптировать уже существующие методологические разработки в данной области к российским реалиям.

Благодаря многочисленным исследованиям факторов, от которых зависит результат процесса обучения, а также вниманию, которое уделяется повышению эффективности образовательных систем во всем мире, сегодня уже существует концептуальный фундамент для оценивания и сравнения между собой образовательных учреждений.

Концептуальных моделей, описывающих процесс обучения и потенциально воздействующие на его интенсивность факторы, разработано множество [Rumberger, Thomas, 2000; Shavelson et al., 1987; Willms, 1992; Barr, Dreeben, 1983]. Все они рассматривают этот процесс как сложносоставной феномен, в котором имеет место взаимная обусловленность множества обстоятельств.

2. Концептуальные подходы к оценке школьной эффективности

http://vo.hse.ru

65

ЩОІ

l»ol

ПРАКТИКА

Учитывать многоуровневую структуру образовательного процесса — принципиальная необходимость, поскольку результаты обучения представляют собой наслоение факторов одного уровня над другими. Так, например, на индивидуальном уровне успехи ученика зависят от предпринимаемых им усилий и количества практики, которую он получает, выполняя определенный объем домашних заданий. На уровне классов успехи зависят, помимо прочего, от объема и качества работы учителей, их способности обеспечить соответствующую атмосферу в группе. Наконец, на уровне школы значение имеют доступные ей финансовые, кадровые и прочие ресурсы, характер организации, которые также определяют объем и качество образовательных возможностей, находящихся в распоряжении учеников. Таким образом, рассматривать в качестве критерия эффективности сами по себе образовательные достижения, не имея адекватных представлений о том, из каких многочисленных факторов и на каких уровнях они складываются, не совсем корректно, не говоря уже о практике построения различных рейтингов, игнорирующих обстоятельства формирования этих достижений.

В конкретных исследованиях школьной эффективности за рубежом (например, [Hanushek, 1986; Levin, 1994]) наиболее распространенной является так называемая экономическая модель школы, рассматривающая учебное заведение по аналогии с любой другой организацией, осуществляющей полезную деятельность в условиях некоторого набора заданных ограничений. В данной модели образовательный процесс состоит из трех основных компонент.

Это, во-первых, ресурсы, к которым можно отнести не только педагогические кадры и материально-техническое обеспечение, но и, что чрезвычайно важно, контингент учащихся, который характеризуется долей способных учеников, уровнем их исходной подготовки, другими не зависящими от школы переменными, оказывающими влияние на освоение школьной программы (например, готовность родителей оплачивать дополнительное образование и репетиторов). Ресурсы, таким образом, рассматриваются как заданные, или внешние по отношению к учебным заведениям, обстоятельства их функционирования [Hanushek, 1989].

Вторая компонента — это сам образовательный процесс, понимаемый в самом широком смысле. Характер этого процесса, собственно, и определяет то, насколько эффективно имеющиеся в распоряжении школы ресурсы трансформируются в результаты обучения. Его качество может быть связано с эффективностью управления в школе, с особенностями внутришкольной атмосферы, с использованием особых педагогических практик, с актуальностью образовательных программ — именно здесь находится ключ к выявлению эффективных моделей организации учебного процесса [Shavelson et al., 1987].

66

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

И наконец, третья компонента — результаты, т. е. степень овладения школьной программой, успеваемость и прочие образовательные достижения. Набор переменных, составляющих результаты обучения, зависит от широты априорных представлений о целевой функции образования или функции конкретного учебного учреждения (например, функция социализации, освоения значимых социальных компетенций и т. п.). Для выявления действительно эффективных моделей организации учебного процесса важно не ограничиваться показателями результата, а обращать внимание также на исходные условия, в которых этот результат формируется.

Для оценки школьной эффективности разработаны специальные инструменты — особый класс статистических моделей, позволяющих косвенно или напрямую производить количественную оценку параметров, характеризующих вклад различных факторов в формирование учебных достижений или результатов обучения. В основе этого класса моделей лежит принцип статистического описания связи одного (объясняемого) показателя с другими (объясняющими) с помощью методов множественного регрессионного анализа. Данные методы входят в число стандартных компетенций, освоение которых предусмотрено большинством современных программ высшего профессионального образования как в естественно-научных областях, так и в некоторых общественных, прежде всего экономических и социологических, науках.

Конкретные модели, или инструменты, можно условно разделить на три основные группы по критерию доступности показателей, с помощью которых осуществляется фиксация учебных достижений или результатов обучения:

1) модели оценки текущих достижений;

2) модели оценки учебного прогресса (value added);

3) модели оценки учебных достижений, измеряющихся с помощью дискретных показателей [Rumberger, Palardy, 2004.

P. 240].

Выбор модели в каждом случае определяется исходя из характера данных, имеющихся в распоряжении исследователей или органов, производящих оценку.

Самым распространенным типом моделей для оценки школьной эффективности является модель оценки текущих достижений. Она используется в тех случаях, когда сведения об образовательных достижениях фиксируются лишь на определенный момент времени и нет возможности каким-либо образом оценить их динамику (например, с помощью проведения повторного тестирования или других испытаний спустя тот или иной период времени). Примером может служить модель, рассматривающая

http://vo.hse.ru

67

ЩОІ

l»ol

ПРАКТИКА

результаты ЕГЭ, ГИА или любого другого тестирования конкретного ученика как некоторую функцию от его активности на занятиях в школе, интенсивности домашней подготовки, качества работы учителей, характеристик школьной программы и т. п. Применительно к школам (а не отдельным ученикам) это могут быть модели, оценивающие связь результатов тестирования отдельной когорты учеников с параметрами ее кадрового и финансового обеспечения, социального состава учащихся (модели кон-текстуализации).

Модели оценки учебного прогресса (value-added models, т. е. модели добавленной стоимости) пока менее распространены, однако принадлежат к числу наиболее передовых в практике оценки эффективности образовательных организаций [OECD, 2008]. Достаточно редкое применение этих моделей объясняется сложностью и затратностью получения необходимых для их построения данных: для оценки учебного прогресса требуется проводить систематическое тестирование, которое позволило бы по сопоставимой методике оценивать прирост знаний учащихся в процессе освоения ими школьной программы. Очевидно, что по финансовым соображениям далеко не все страны могут позволить себе содержание таких систем оценивания. Наиболее широко они применяются сегодня в экономически развитых странах, например в Великобритании, а также некоторых штатах США. Безусловным преимуществом этих моделей является то, что благодаря возможности зафиксировать некоторый исходный уровень знаний ребенка они позволяют ближе всего подойти к оценке того прироста, который обеспечивает школа.

Наконец, модели оценки учебных достижений, измеряющихся с помощью дискретных показателей, используются в тех редких случаях, когда результирующий показатель выражается с помощью некоторой дискретной величины. Таким показателем может быть, например, факт исключения ребенка из школы или его добровольный переход из одного учебного заведения в другое, победа в олимпиаде. Другой возможный пример дискретных показателей — фиксация результатов обучения с помощью ограниченной порядковой шкалы, такой как широко распространенная в России 5-балльная система оценки текущих знаний. Применительно к самим учебным заведениям дискретным показателем может быть их позиция в некоторой формальной классификации, разделяющей эти заведения по степени их успешности и т. п. Другими словами, эти модели применяются в тех случаях, когда по каким-либо причинам результаты обучения нельзя измерить в непрерывных показателях, например в результатах национального тестирования ЕГЭ и ГИА.

Вне зависимости от того, какая из моделей используется для оценки учебных достижений, критическим условием является выделение и учет факторов индивидуального (способности, ха-

68

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

рактеристики семьи), группового (состав класса, характеристики учителей), школьного (общая ситуация с кадрами, финансами, набором учебных программ) и, наконец, территориального уровней (характеристики поселений, районов и даже регионов, в которых расположены школы). Преимущество такого подхода состоит в том, что он позволяет оценить вклад каждого фактора (или группы факторов) по отдельности, рассматривая их в определенной последовательности — от самого элементарного уровня к самому агрегированному. Благодаря такому анализу становится, в частности, понятно, на каком уровне сосредоточены факторы, существенно влияющие на результат. Такая информация представляет большую ценность для лиц, отвечающих за осуществление образовательной политики и принимающих решения о том, как наиболее эффективно перераспределить имеющиеся ресурсы. Неудивительно, что именно в таком, многоуровневом дизайне выполнено большинство исследований и аналитики, сформировавших определенную традицию в анализе школьной эффективности за рубежом [Aitkin, Longford, 1986; Willms, Raudenbush, 1989; OECD, 2008. P. 15].

С другой стороны, даже более простые модели, оперирующие обобщенной информацией об образовательных организациях (усредненные характеристики результатов обучения, социального состава учащихся, кадровых и материально-технических ресурсов школы и т. п.), способны дать представление о том, насколько неадекватным является рейтингование школ на основе одних только «выходных» показателей [Dyer, Linn, Patton, 1969; Burstein, 1980; McCall, Kingsbury, Olson, 2004]. Идея, положенная в основу такого анализа, интуитивно понятна: школы ранжируются не по абсолютному объему или уровню образовательных результатов, а по тому, насколько сильно эти результаты оказываются выше или ниже среднестатистических показателей для школ с идентичными параметрами контингента и ресурсов. Эта разница между фактическими результатами и среднестатистическими нередко интерпретируется в литературе как «школьные эффекты» или «вклад школы», хотя, строго говоря, с появлением более точных моделей, учитывающих учебный прогресс (value-added models), такое определение уже не может считаться корректным [OECD, 2008. P. 15].

Действующая система статистического учета в российских учреждениях среднего образования не только не включает индивидуальные показатели учебного прогресса, но и не дает возможности анализировать индивидуальные результаты обучения в привязке к социально-демографической информации (притом что в целях такого анализа эта информация может использоваться в полностью анонимном виде).

3. Опыт использования контекстных данных для сравнения эффективности российских школ

http://vo.hse.ru

69

l»ol

ПРАКТИКА

Пожалуй, самой полной и открытой сегодня является статистика электронного мониторинга, осуществляемого в рамках образовательной инициативы «Наша новая школа»9. Однако, во-первых, базовым уровнем представления данных в рамках этого мониторинга являются образовательные организации, т. е. сведения по отдельным учащимся недоступны, а во-вторых, что гораздо критичнее, при всем своем разнообразии10 публикуемый спектр показателей не содержит характеристик социального состава учащихся. Таким образом, даже с теми возможностями, которые предоставляет данная информационная база, осуществить сколько-нибудь полноценный анализ школьной эффективности в соответствии с рассмотренными выше принципами и подходами невозможно. Отсутствие необходимой контекстной информации, а именно социальных характеристик учащихся и их семей, — принципиальная проблема, которую необходимо решить, прежде чем какие-либо модели оценки школьной эффективности могут быть адаптированы на российской почве.

Чтобы продемонстрировать возможности использования контекстных данных для сравнения эффективности российских школ, мы привлечем материал нашей предыдущей работы, в которой на основании сведений, собранных в двух российских регионах в 2011-2012 гг., мы показали, что академическая успеваемость действительно устойчиво различается в школах, во-первых, с разным социальным составом учащихся и, во-вторых, с разным кадровым и материальным обеспечением [Ястребов и др., 2013]. Информацию для проведения этого исследования мы получили из так называемых социальных паспортов образовательных организаций, которые не являются обязательными для школ и пока еще не формируются в значительном числе субъектов РФ. В нашем случае эти данные были собраны «под заказ» после специального обращения в региональные органы управления образованием.

Данные социальных паспортов собираются администрацией образовательных организаций или социальными педагогами (в связи с сокращением этой категории сотрудников в шко-

9 Сайт проекта и мониторинга: http://www.kpmo.ru/. До осени 2014 г. данные мониторинга в разрезе практически каждой школы РФ были представлены в открытом доступе. В настоящее время доступ возможен только для зарегистрированных пользователей или косвенным путем — через интерфейс Интерактивной карты общеобразовательных организаций России (сайт проекта: http://www.educationmap.ru/). Достоверность размещаемых в системе данных и адекватность методологии расчета показателей являются предметом дискуссий в экспертном сообществе.

10 Представлены показатели, характеризующие финансово-экономическую деятельность, инфраструктуру и кадровый состав образовательных учреждений, а также некоторые другие сведения (численность и наполняемость классов, соотношение численности учителей и учеников и др.).

70

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

Таблица 1. Содержание расширенного социального паспорта школы

Характеристики контингента

Характеристики школ

Доля учащихся из многодетных семей Доля учащихся из неполных семей Доля учащихся, находящихся под опекой Доля учащихся из семей, где не работают оба родителя

Доля учащихся из семей, где единственный родитель является безработным Доля учащихся из семей, в которых родители (один родитель) являются инвалидами Доля учащихся из семей, где оба родителя имеют высшее образование Доля учащихся из семей, где хотя бы один родитель имеет высшее образование Доля учащихся из семей, проживающих в квартирах с частичными удобствами Доля учащихся из семей, проживающих в частном секторе

Доля учащихся, для которых русский язык не является языком внутрисемейного общения

Доля учащихся, проживающих в приемных семьях

Доля учащихся, состоящих на внутришкольном учете

Доля учащихся, состоящих на учете в КДН и ЗП

Вид образовательного учреждения (обычные СОШ, лицеи, гимназии, школы с углубленным изучением предметов)

Численность контингента Число учащихся, приходящихся на одного учителя (соотношение учитель — ученик)

Наличие у директора школы специального образования (менеджмент) Состояние здания (находится ли в аварийном состоянии, требует ли капитального ремонта) Доля учителей первой категории Доля учителей высшей категории Доля учителей с высшим педагогическим образованием Доля учителей — работающих пенсионеров

Городской/сельский статус школы Средний балл ЕГЭ по математике Средний балл ЕГЭ по русскому языку

лах такая практика встречается все реже) и представляют собой обобщение сведений, которые родители учащихся в добровольном порядке предоставляют школам. Наряду с этими сведениями в социальный паспорт мы также просили включить некоторые дополнительные характеристики образовательных организаций, которые также представляют интерес для оценки их эффективности: результаты обучения (например, баллы ЕГЭ по русскому языку и математике), численность контингента, вид учреждения, доля учителей определенной квалификации и т. д. Ключевые показатели из расширенного социального паспорта приведены в табл. 1.

Предлагаемый ниже подход к использованию контекстных данных строится на существенном упрощении, поскольку в качестве базовой единицы анализа в нем используются не отдельные учащиеся, а школы в целом, т. е. их агрегированные характеристики. Вследствие этого упрощения часть эффектов, проявляющихся на более элементарном уровне анализа (например, роль семьи в формировании учебных достижений ребенка, без которой невозможно адекватно оценить тот вклад, который обеспечивает школа), при анализе неизбежно затушевывается, т. е. ста-

http://vo.hse.ru

71

1ЦОІ

ПРАКТИКА

новится статистически менее отчетливой при переходе на более агрегированный уровень. Однако, несмотря на априори меньшую точность по сравнению с более сложными моделями, выстроенными на индивидуальных данных, такой подход вполне может быть адаптирован для анализа школьной эффективности, о чем свидетельствует практика его использования в тех ситуациях, когда альтернативный подход оказывается недоступен в силу аналогичных информационных ограничений (например, [OECD, 2008. P. 15]).

3.1. Анализ с помо- Располагая перечисленной выше информацией по некоторой щью «остатков» (скажем, региональной) выборке школ, мы можем определить регрессионной эмпирическое соотношение между показателями образователь-модели ных результатов (или любыми другими показателями целевой функции школы) и характеристиками контекста. Наиболее распространенная процедура выявления этого соотношения — множественный регрессионный анализ, частным случаем которого является поиск оптимальной линии тренда для точек, рассеянных на координатной плоскости некоторого графика (например, графика, проецирующего зависимость среднего балла ЕГЭ от доли учителей высшей категории). Множественный регрессионный анализ позволяет сделать то же самое, но для неограниченного числа аргументов, т. е. для трех и более измерений, например, когда требуется описать разброс результатов в зависимости не только от доли учителей высшей категории, но и таких характеристик, как соотношение численности учителей и учеников, доля детей из обеспеченных семей. Смысл этого анализа сводится к подбору таких параметров функции, при которых она позволяет максимально точно описать разброс объясняемого показателя за счет нескольких объясняющих аргументов.

В упрощенной векторной форме модель такой функции для рассматриваемого здесь случая может быть записана следующим образом:

Y . = в0 + Bn х (характеристики контингента). +

+ Bm х (ХАРАКТЕРИСТИКИ школ). + Є.,

где Y. — объясняемый показатель для /-й школы. Это могут быть любые целевые показатели школы, а для демонстрации метода в качестве примера здесь и далее мы будем использовать средние результаты ЕГЭ11. Параметр в0 — некоторый фиксирован-

11 Аналогичная процедура может быть адаптирована для выявления потенциально высокоэффективных и низкоэффективных школ с использованием других критериев образовательных достижений, поскольку очевидно, что для всесторонней оценки качества работы школ потребуется использование расширенного перечня критериев. Пространство этих

72

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

ный, т. е. не зависящий от аргументов функции — характеристик школ и контингента, уровень результатов ЕГЭ, с которым суммируются все далее рассматриваемые эффекты; Bn — вектор из n параметров, отражающих степень связи соответствующих характеристик контингента со средними результатами ЕГЭ (где n соответствует числу включаемых в модель характеристик контингента); Bm — такой же вектор из m параметров, но для характеристик самих школ (m — число этих характеристик); є,— остаток, или «шум», характеризующий разброс показателей ЕГЭ между школами, который не может быть объяснен с помощью остальных включенных в модель факторов и рассматривается в данном случае как случайный эффект.

В представленной выше модели предполагается, что все объясняющие факторы, которые в нее включаются (векторы характеристик), связаны с объясняемой переменной Y, (результаты обучения) линейно, что, впрочем, не является такой уж нереалистичной предпосылкой и легко проверяется с помощью графического анализа путем построения диаграмм рассеяния для пар переменных, в которых одна является объясняемой переменной, а другая — объясняющей. В любом случае множественная линейная регрессия обладает тем преимуществом, что при необходимости позволяет моделировать нелинейные связи, для чего используются различные трансформации входящих в нее переменных (например, логарифмирование, экспонирование, возведение в степень).

Все перечисленные выше параметры (в0, а также элементы Bm и Bn) оцениваются методом наименьших квадратов, что дает возможность подобрать такие значения этих параметров, которые позволяют максимально точно описать различия школ по показателю Yi с помощью объясняющих факторов, т. е. характеристик школ и характеристик контингента. Значение каждого параметра интерпретируется как обычный регрессионный коэффициент, который показывает, как в среднем меняется объясняемая переменная (результаты обучения) при изменении соответствующей объясняющей переменной на единицу, притом что все остальные переменные в модели не меняются (т. е. статистически контролируются). Знак коэффициента и его значение, та-

возможных критериев также может быть сформировано за счет использования следующих показателей, которые могут быть рассчитаны для отдельных когорт учащихся: 1) показатели дифференциации результатов национального тестирования ЕГЭ и ГИА; 2) «продвигающая сила школы» (promoting power [Balfanz, Legters, 2004]), которая рассчитывается как доля успешно окончивших старшую школу в когорте учащихся, перешедших из 9-го класса в 10-й; 3) доля призеров олимпиад и конкурсов разных уровней (другие показатели учебных и внеучебных достижений); 4) доля учащихся, продолжающих обучение на различных ступенях образования по окончании школы, и др.

http://vo.hse.ru

73

ЩОІ

l»ol

ПРАКТИКА

ким образом, отражают характер связи (положительный или отрицательный, сильный или слабый). При этом регрессионные модели не идентифицируют причинно-следственные связи, т. е. не дают основания утверждать, что объясняющие переменные влияют на объясняемую, — они лишь позволяют установить наличие и характер этой связи.

В табл. 2 представлены значения коэффициентов (параметров), которые были получены в результате множественного регрессионного анализа на основе выше представленной модели с использованием реальных данных по школам трех российских регионов в 2011-2012 гг. Эти результаты не являются отражением общероссийской ситуации, поскольку выборка исследования ограничена тремя регионами и небольшим временным интервалом^. Поэтому мы считаем необходимым предостеречь от осуществления каких-либо интервенций в действующую образовательную политику на основании полученных здесь оценок и еще раз подчеркнуть, что речь идет лишь о демонстрации методики.

В табл. 2 приводятся только те показатели, которые, согласно проведенному анализу, оказались устойчиво и статистически значимо связаны с объясняемой переменной (средними баллами ЕГЭ по двум основным предметам — русскому языку и математике) и, следовательно, могут рассматриваться в качестве оснований для контекстуализации, т. е. для осуществления более взвешенных сравнений образовательных организаций — сравнений, учитывающих характер их текущего ресурсного обеспечения и сложность контингента обучающихся^. На самом деле процесс получения этих оценок состоит из нескольких итераций, в ходе которых отрабатываются модели с различными наборами объясняющих переменных. Задача этих итераций состоит в том, чтобы подобрать оптимальный вид модели для каждого из объясняемых показателей (результатов ЕГЭ), который позволяет максимально точно предсказать различия школ по данному признаку 12 13

12 Идеальным случаем для отработки более совершенных моделей является, конечно, национальная выборка школ или по крайней мере ее репрезентация на основе случайной или другой представительной выборки.

13 Поскольку демонстрируемая здесь модель описывает различия в показателях ЕГЭ фактически по одной когорте учащихся (сведения о результатах ЕГЭ по школе берутся за один год), она, конечно, является существенным упрощением. В такой ситуации социально-демографический состав учащихся следовало бы оценивать не по всему контингенту школы, а только по соответствующему выпуску, однако этого не позволяют сделать данные, содержащиеся в социальном паспорте школы (эта проблема, кстати, легко решается в том случае, если все характеристики учитываются индивидуально). К тому же в этом случае целесообразно учитывать гендерную структуру когорты, которая также может повлиять на средний результат в силу в среднем более высокой успеваемости у девочек [Voyer, Voyer, 2014].

74

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

Таблица 2. Параметры регрессионных моделей, описывающих связь среднего балла ЕГЭ в школах с характеристиками школ и социального состава их учащихся

Параметры модели Коэффициенты для ЕГЭ

по математике по русскому языку

Фиксированный (не связанный с объясняющими переменными) уровень средних результатов ЕГЭ (константа) 42,74** (1,25) 59,61** (1,16)

ХАРАКТЕРИСТИКИ КОНТИНГЕНТА

Процент учащихся из неполных семей -0,10** (0,02) -0,07** (0,02)

Процент учащихся из семей, где оба родителя имеют высшее образование 0,06** (0,01) 0,06** (0,01)

Процент учащихся, для которых русский язык не является языком внутрисемейного общения — -0,09* (0,04)

Процент учащихся, состоящих на внутришкольном учете -0,25** (0,09) -0,25** (0,09)

ХАРАКТЕРИСТИКИ ШКОЛ

Городская школа ; — 2,06** (0,54)

Лицей, гимназия 2,63** (0,62) 3,07** (0,57)

Школа с углубленным изучением предметов — 1,40* (0,67)

Численность контингента 0,01** (0,00) 0,01** (0,0)

Число учащихся, приходящихся на одного учителя -0,24** (0,06) -0,27** (0,06)

Процент учителей высшей категории 0,06** (0,02) 0,05** (0,01)

Процент учителей первой категории 0,06** (0,02) 0,05** (0,01)

ТОЧНОСТЬ (ОБЪЯСНЯЮЩАЯ СИЛА) МОДЕЛЕЙ

Коэффициент детерминации (R2) 0,27 0,35

Примечание: В скобках приведены стандартные ошибки коэффициентов регрессии; * значимо на 5%-ном уровне; ** значимо на 1%-ном уровне.

с помощью ограниченного перечня14 15 объясняющих переменных (причем таким образом, чтобы эти переменные оставались предельно ортогональными друг к другую). В табл. 2 представлены только параметры конечных моделей.

14 Меньшее число объясняющих переменных в модели позволяет включить в анализ большее число образовательных учреждений, поскольку далеко не все школы заполняют социальный паспорт полностью.

15 Одной из основных проблем при моделировании связей методами множественного регрессионного анализа является потенциальная статистическая связь (корреляция) между объясняющими переменными.

http://vo.hse.ru

75

ЩОІ

l»ol

ПРАКТИКА

Интерпретация регрессионных коэффициентов зависит от шкалы, по которой измерены объясняющие и объясняемые переменные: от того, измеряются ли они в баллах, долях, процентах, штуках, десятках штук и т. п. В качестве примера для интерпретации рассмотрим эффект, который «оказывает» на средний балл ЕГЭ по математике «процент учащихся из семей, где оба родителя имеют высшее образование». Коэффициент при этой переменной составляет 0,06, и он статистически значим на 99%-ном уровне. Это значит, что каждое дополнительное увеличение доли учащихся из семей, где оба родителя имеют высшее образование, на 1% в среднем связано с увеличением средних результатов ЕГЭ по математике на 0,06 балла (на 10% — соответственно 0,6 балла). Когда мы интерпретируем коэффициент указанным образом, мы предполагаем, что все остальные показатели не меняются — так, как будто мы рассматриваем две абсолютно идентичные школы, различающиеся исключительно долей детей, у которых оба родителя имеют высшее образование. Аналогичным образом, как видно из табл. 2, в школах, где доля детей из неполных семей выше на 10%, результаты ЕГЭ по математике оказываются в среднем на 1 балл ниже (умножаем отрицательный коэффициент 0,10 на 10), опять же при условии, что все остальные показатели неизменны. Наконец, точность, или объясняющая сила, линейных регрессионных моделей измеряется с помощью коэффициента детерминации, которому соответствует доля объясняемой моделью дисперсии «зависимого» показателя и который является одним из ключевых критериев выбора оптимальной регрессионной модели (в нашем случае — баллов ЕГЭ по двум предметам).

В целом результаты анализа позволяют констатировать, что академическая успеваемость, измерявшаяся на основании баллов ЕГЭ по русскому языку и математике, действительно устойчиво различается для школ с разным социальным составом учащихся: более благополучная социальная среда способствует более высоким образовательным достижениям. К наиболее чувствительным характеристикам этой среды по рассмотренной нами выборке школ относятся: уровень образования родителей, доля учащихся из неполных семей и наличие особо проблемного контингента (учащихся, состоящих на внутришкольном учете, на учете в КДН и т. п.). Вне зависимости от уровня их квалификации учителям «удобнее» работать с учащимися, чьи родители проявляют интерес к успеваемости своих детей и активно инве-

Если такие переменные присутствуют в модели и если связь между ними является достаточно сильной, оценки соответствующих коэффициентов могут быть смещенными и, как следствие, становится невозможным точно определить вклад этих переменных в колебания объясняемого признака.

76

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

стируют имеющиеся ресурсы в различные формы внешкольного образования, чем с детьми, чьи родители не могут себе этого позволить. Отклонения в поведении, культурный барьер, возможная нехватка внимания к детям со стороны родителей — все это создает определенные трудности в работе учителей, которые необходимо учитывать при оценке результатов их деятельности, а также деятельности школы в целом.

Наряду с характеристиками социального состава учащихся со средними показателями успеваемости связан еще и ряд характеристик, позволяющих произвести качественные различия между школами. К числу наиболее значимых из них относятся принадлежность к одному из особых типов учебных учреждений (лицей, гимназия или школа с углубленным изучением отдельных предметов), размер (численность контингента) и параметры кадрового обеспечения (доля учителей высшей категории). Конечно, зачастую все эти факторы накладываются друг на друга: лицеи и гимназии — это, как правило, крупные учебные учреждения с высокой долей высококвалифицированных учителей. Это и есть наиболее привилегированный тип школ, к которому вполне обоснованно должны предъявляться наиболее высокие требования в отношении образовательных результатов. Однако для каждого из этих трех факторов прослеживается независимая связь с показателями успеваемости. Это означает, что, например, при сравнении эффективности школ одного и того же типа и с сопоставимыми показателями кадрового обеспечения нельзя не обращать внимания на разницу в размере учреждений, которая может скрывать, например, различия в объеме финансирования16.

Модели для двух объясняемых переменных — ЕГЭ по математике и ЕГЭ по русскому языку — несколько различаются. Во-первых, различаются значения самих коэффициентов (но не знак связи, т. е. не ее характер). Во-вторых, модель для результатов ЕГЭ по русскому языку выглядит чуть более полной, поскольку включает такие факторы, как городской статус школы и доля учащихся, для которых русский язык не является языком внутрисемейного общения. Не вдаваясь в подробное объяснение возможных причин этих различий (частично они были разобраны нами в [Ястребов и др., 2013]), заметим лишь, что регрессионный анализ представляет собой довольно гибкий инструмент, позволяющий установить различия в чувствительности показателей результата к разным показателям условий, ресурсов и социального контекста. И данное свойство дает возможность контекстуализировать сам инструмент контекстуализации в зависимости

16 Прямая информация о финансировании учебных заведений в данном случае не использовалась, однако она также может быть учтена при построении аналогичных моделей.

http://vo.hse.ru

77

ЩОІ

l»ol

ПРАКТИКА

от условий, выборок и наборов переменных, по отношению к которым он применяется.

Хорошей иллюстрацией несостоятельности оценок, основанных на прямом сравнении результатов ЕГЭ без учета социального контекста и условий, в которых функционируют школы, являются графики, представленные на рис. 1. По горизонтальной оси на них откладываются фактические значения средних результатов ЕГЭ по соответствующим предметам, по вертикальной — результаты ЕГЭ, аппроксимированные с помощью параметров модели, представленной в табл. 2 (они представляют собой контекстуализированные оценки, т. е. оценки ожидаемых значений ЕГЭ, полученные с учетом социального контекста и характеристик школ). Сами контекстуализированные оценки рассчитываются для каждой школы с помощью тривиальных формул, в которых ожидаемые результаты ЕГЭ получаются посредством суммирования соответствующих эффектов (берутся из результатов анализа в табл. 2):

Ожидаемый/контекстуализированный показатель среднего балла ЕГЭ по математике =

= 42,7 + 2,6 (в случае, если школа является лицеем или гимназией) +

+ 0,01 х «количество учащихся» -

- 0,24 х «число учащихся, приходящихся на одного учителя» +

+ 0,06 х «процентучителей высшей категории» +

+ 0,06 х «процентучителей первой категории» - 0,1 х «процент детей из неполных семей» + 0,06 х «процент детей из семей, где оба родителя имеют высшее образование» -

- 0,25 х «процент детей, состоящих на внутришкольном учете».

Ожидаемый/контекстуализированный показатель среднего балла ЕГЭ по русскому языку =

= 59,61 + 2,06 (в случае, если школа является городской) +

+ 3,07 (в случае, если школа является лицеем или гимназией) +

+ 1,4 (в случае школы с углубленным изучением отдельных предметов) +

+ 0,01 х «количество учащихся» -

- 0,27 х «число учащихся, приходящихся на одного учителя» + 0,05 х «процентучителей высшей категории» +

+ 0,05 х «процентучителей 1-й категории» -

- 0,07 х «процент детей из неполных семей» +

+ 0,06 х «процентдетей из семей, где оба родителя имеютвыс-шее образование» -

- 0,09 х «процент детей, для которых русский язык не является родным» -

- 0,25 х «процент детей, состоящих на внутришкольном учете».

Разумеется, интерпретировать получаемые на основе таких формул ожидаемые значения результатов ЕГЭ следует с особой осторожностью, принимая во внимание существование стати-

78

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

Рис. 1. Рассогласованность средних показателей ЕГЭ по школам и их контекстуализированных оценок

Средний балл ЕГЭ

80

60

о §

40

20

стической погрешности при расчете коэффициентов (см. значения стандартных ошибок в табл. 2). Их механическое применение дает лишь некоторую точку отсчета для сравнения с фактическими результатами. В этом случае получаемая разница (так называемый остаток) показывает, насколько реальные показатели успеваемости оказываются выше или ниже уровня, ожидаемого для данной школы с учетом ее ресурсной обеспеченности и контекста.

Как видно из рис. 1, фактические и контекстуализированные оценки в подавляющем большинстве случаев различаются: идеальному их совпадению на графиках соответствует диагональ, где значение по горизонтальной оси равно значению по вертикальной. Точкам, лежащим выше диагонали, соответствуют школы, чьи контекстуализированные результаты оказались выше фактических (потенциально это и есть школы, нуждающиеся в развитии), а точкам, лежащим ниже диагонали,— школы, демонстрирующие более высокие показатели ЕГЭ, чем те, которые являются «приемлемыми» с учетом сложного социального контекста (это школы, успешно преодолевающие заданные ограничения и потенциально являющиеся эффективными).

Характер этих отклонений, равно как и степень относительной эффективности образовательных организаций, иначе можно зафиксировать с помощью анализа «остатков» регрессионных моделей, которые представляют собой разницу между фактическим значением средних результатов ЕГЭ для данной школы и значением, полученным на основе моделирования с учетом соответствующих факторов.

http://vo.hse.ru

79

Частота

ПРАКТИКА

Рис. 2. Распределение «остатков» регрессионных моделей для результатов ЕГЭ по русскому языку и математике

150

100

50

0

Математика

Русский язык

150

100

50

0

-20 -10 0 10 20 30 -40 -20 0 20 40

Значение «остатков» для моделей с критерием ЕГЭ по соответствующим предметам

На рис. 2 приведено фактическое распределение этих регрессионных «остатков». Эти распределения близки к нормальному с математическим ожиданием близким к нулю (одно из ключевых требований к качественной спецификации регрессионной модели, оцениваемой на основе метода наименьших квадратов). Значения «остатков» показывают, в какой степени результаты конкретных школ отклоняются — в большую или меньшую сторону (в зависимости от знака) — от тех, которые предсказывает модель на основе учтенных в ней факторов. Соответственно интерпретировать их можно как абсолютное превышение или недобор по показателям результативности (выраженным в соответствующих единицах, в данном случае в средних баллах ЕГЭ) относительно ожидаемых (среднестатистических) результатов для школ с идентичным набором характеристик контингента и ресурсных ограничений. Очевидно, что при таком подходе более высокая планка ожидаемых результатов устанавливается для школ, функционирующих в более благоприятных контекстах.

Строго говоря, в регрессионной модели эти «остатки» рассматриваются как случайные, однако признать их таковыми можно только при условии, что модель включает полный набор факторов, описывающих распределение исследуемого показателя. В нашем случае очевидно, что это не так: за пределами анализа остаются данные о содержании учебных программ, индивидуальных способностях учеников и т. п. Поэтому анализ «остатков» вполне может рассматриваться как сюжет, представляющий самостоятельный исследовательский интерес. На основе ана-

80

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

лиза этих отклонении школы можно разделить на две условные группы: резильентные (способные преодолевать заданные ограничения и демонстрировать более высокие результаты, чем те, которые предписываются им установленными параметрами модели) и не справляющиеся (те, которые показывают существенно более низкие результаты, чем те, которые предписываются им установленными параметрами модели). На представленных на рис. 2 распределениях этим группам соответствуют положительные (справа от нулевой отметки) и отрицательные (слева) значения остатков.

Степень отклонения фактических показателей результата от ожидаемых с учетом условий и контекста, таким образом, может рассматриваться в качестве маркера потенциальной эффективности или неэффективности образовательных организаций. Критические значения этих отклонений могут устанавливаться произвольным образом, однако, учитывая неизбежную погрешность при расчете ожидаемых показателей с помощью регрессионной модели, для каждого учебного учреждения также целесообразно рассчитывать доверительный интервал таких значений. Для определения коридора допустимых значений можно, в частности, рассчитать формулы верхнего и нижнего предела, в которых используются не сами коэффициенты регрессии, а соответственно верхние и нижние границы доверительных интервалов этих коэффициентов. Попадание фактических значений в найденные пределы будет свидетельствовать о том, что школа в целом демонстрирует результаты типичные (т. е. статистически не различимые по отношению к среднему) для школ с аналогичными характеристиками. Если же окажется, что фактические результаты ЕГЭ лежат ниже (или выше) обозначенного предела, можно с высокой степенью уверенности утверждать, что данная школа демонстрирует существенно более низкие (или высокие) результаты, чем предполагается с учетом ее контекстных и прочих характеристик.

Есть другой способ использовать данные регрессионного анализа для учета социального контекста при оценке образовательных результатов в школах — с помощью условного индекса социального благополучия школы (ИСБШ). Он более простой и наглядный, но с этими его преимуществами связаны и определенные недостатки, которые будут рассмотрены ниже.

Итак, к числу характеристик контингента, устойчиво связанных с результатами ЕГЭ, относятся такие показатели (см. табл. 2):

3.2. Анализ с помощью индекса социального благополучия школы

1) доля учащихся из неполных семей (-);

2) доля учащихся из семей, где оба родителя имеют высшее образование (+);

3) доля учащихся, состоящих на внутришкольном учете (-).

http://vo.hse.ru

81

ЩОІ

l»ol

ПРАКТИКА

Таблица 3. Значения коэффициентов регрессионного уравнения при характеристиках социального состава учащихся и рекомендуемые удельные веса для конструкции общего индекса социального благополучия школы

Для уравнений с зависимой переменной Рекомендуемый удельный вес в общей конструкции индекса

«средние результаты ЕГЭ по математике» «средние результаты ЕГЭ по русскому языку»

Процент учащихся из неполных семей -0,10 -0,07 ~20%

Процент учащихся из семей, где оба родителя имеют высшее образование +0,06 +0,06 ~15%

Процент учащихся, состоящих на внутришкольном учете -0,25 -0,25 ~65%

Сумма модальных значений коэффициентов 0,41 0,38 (100%)

Мы не приводим в данном случае показатель «доля учащихся, для которых русский язык не является языком внутрисемейного общения», поскольку он оказался уместным только в одной из моделей, и, чтобы не плодить лишние сущности, для демонстрации метода мы ограничимся тремя вышеперечисленными показателями.

Поскольку указанные характеристики в использовавшейся нами регрессионной модели измеряются в одних и тех же единицах (проценты), на основе полученных коэффициентов мы легко можем определить удельные веса этих характеристик в конструкции агрегированного индекса социального благополучия школы. В табл. 3 еще раз приводятся значения этих коэффициентов, полученные в результате регрессионного анализа. Напомним, что с некоторой условностью их можно рассматривать как характеризующие вклад соответствующего показателя в формирование образовательных результатов школы. На основе этой информации представляется возможным оценить приблизительные удельные веса контекстных показателей в структуре ИСБШ, с помощью которого можно было бы комплексно охарактеризовать социальный состав учащихся и далее на его основе дифференцировать образовательные организации для осуществления более корректного их сравнения.

Приблизительные удельные веса для компонент индекса несложно вычислить, например, путем деления модальных значений отдельных коэффициентов на их общую сумму. В табл. 3 приведены рекомендуемые значения этих удельных весов, по-

82

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

лученные на основе усреднения показателей для двух моделей (для ЕГЭ по русскому языку и математике). Таким образом, одной из возможных конструкций такого индекса может быть следующая:

ИСБШ = 85 + 15 х «доля учащихся из семей, где оба родителя имеют высшее образование» -

- 20 х «доля учащихся из неполных семей» -

- 65 х «доля учащихся, состоящих на различных видах учета»,

где первое значение (85) всего лишь позволяет привести индекс к шкале, принимающей значения от 0 до 100. Несложно убедиться в том, что в максимально выгодном для школы положении (когда все положительные характеристики социального состава равны 1, а отрицательные — 0) индекс принимает значение 100, а в положении, в котором школа максимально уязвима,— 0. Можно использовать и другие способы «свертки» интегрального показателя (например, широко применяемую в статистике Z-стандартизацию), главное — чтобы его шкала учитывала различные веса составных показателей, соответствующие их потенциальному вкладу в разброс показателей результата. ИСБШ рассчитывается для каждого учебного учреждения на основе исходной информации, содержащейся в социальном паспорте.

О том, что показатели результата более чувствительны к ИСБШ, чем к отдельным его составляющим, свидетельствует, в частности, простой корреляционный анализ, выполненный по данным тех же трех регионов, для которых осуществлялся расчет параметров регрессионных моделей (табл. 4).

Теперь продемонстрируем, как ИСБШ можно использовать для сравнения результатов деятельности образовательных организаций с учетом их социального контекста.

Принцип его использования во многом схож со способом учета контекстной информации в рамках австралийского мониторинга NAPLAN: необходимо выделить группы «статистических соседей», т. е. учебных заведений, чьи условия функционирования максимально похожи, чтобы затем проводить сравнения внутри этих групп. Но для этого прежде целесообразно определиться с другими качественными отличиями образовательных организаций (помимо тех, что измеряются с помощью ИСБШ). Предположим, что к таким отличиям относятся вид учреждения (обычная СОШ, лицей, гимназия или школа с углубленным изучением отдельных предметов) и его городской либо сельский статус. Здесь в качестве примера мы предлагаем рассмотреть группу обычных городских СОШ.

Школы данной группы также могут существенно различаться по социальному составу учащихся, поэтому далее необходи-

http://vo.hse.ru

83

ЩОІ

l»ol

ПРАКТИКА

Таблица 4. Корреляция показателей социального контекста с показателями успеваемости

Показатели социального контекста Средний балл ЕГЭ

по русскому языку по математике

ИСБШ 0,50 0,44

Процент учащихся из неполных семей -0,21 -0,22

Процент учащихся из семей, где оба родителя имеют высшее образование 0,44 0,38

Процент учащихся, состоящих на различных видах учета -0,38 -0,33

Процент учащихся, для которых русский язык не является родным -0,11 -0,09

Примечание: Все коэффициенты значимы на 1%-ном уровне.

Таблица 5. Группировка городских школ по значению ИСБШ

Уровень ИСБШ (группы по квинтилям) Интервал фактических значений ИСБШ Средний балл ЕГЭ

по русскому языку по математике

Низкий (1-й квинтиль) [0; 79,5] 58,1 40,7

Ниже среднего (2-й квинтиль) (79,5; 81,6] 59,1 42,9

Средний (3-й квинтиль) (81,6; 83,9] 62,6 44,4

Выше среднего (4-й квинтиль) (83,9; 86,4] 63,0 45,6

Высокий (5-й квинтиль) (86,4; 100] 64,2 46,7

мо их как-то дифференцировать с помощью сконструированного выше индекса. Для этого можно разбить все школы на 5 квинтилей, т. е. равных по численности групп со значениями ИСБШ от наименьшего к наибольшему, где нижнему квинтилю соответствуют школы с наименее благополучным контингентом, а верхнему — с наиболее благополучным. В табл. 5 приводятся некоторые параметры этих групп для совокупности городских школ в трех регионах: интервал фактических значений ИСБШ и среднее значение баллов ЕГЭ по двум основным предметам (список этих характеристик можно расширить, включив в него другие показатели результативности образовательных организаций).

84

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

Рис. 3. Распределение результатов ЕГЭ по двум основным предметам в группе городских школ с высокими значениями ИСБШ

35,0 45,0 55,0 65,0 75,0 85,0

Русский язык

Примечание: Горизонтальной и вертикальной линией на графике отмечены значения среднего по группе школ балла ЕГЭ по математике (46,7) и русскому языку (64,2) соответственно.

Как видно из табл. 5, средний уровень результатов устойчиво и к тому же предсказуемо различается для групп городских школ, дифференцированных по уровню социального благополучия. Тем не менее, как будет показано ниже, даже внутри этих относительно однородных групп имеют место различия по результату, которые только теперь, после того как учтены важные условия деятельности образовательных организаций, следует рассматривать как маркеры потенциальной эффективности или неэффективности.

На рис. 3 изображено распределение городских школ из 5-го, т. е. наиболее благополучного по социальному составу, квинтиля, в пространстве двух измерений — средних баллов ЕГЭ по русскому языку и математике. Каждой точке на графике соответствует одна школа. Как видим, значительная часть учебных заведений сосредоточена в области средних для группы значений образовательных результатов, которые можно считать типичными для школ с соответствующими качественными характеристиками (эта область помечена эллипсом). Существенные выпадения за пределы этой области свидетельствуют о том, что по каким-то причинам данные школы демонстрируют слишком высокие или, наоборот, слишком низкие результаты для своей группы. Именно эти школы должны стать предметом особого внимания со стороны органов управления образованием и, возможно, объектом для интервенций.

http://vo.hse.ru

85

ЩОІ

l»ol

ПРАКТИКА

Так, например, особого внимания заслуживает школа, расположенная в правом верхнем квадранте рисунка, условно обозначенная номером 2: ее показатели как по русскому языку, так и по математике значительно выше средних в группе, притом что по формальным признакам условий и контекста она ничем не отличается от остальных. Объяснений этому обстоятельству может быть несколько: от грамотно выстроенного процесса обучения, специфики образовательных программ и качественной работы учителей до умышленного (либо неумышленного) искажения результатов17. В любом случае такие показатели являются для органов управления образованием поводом глубже изучить ситуацию в школе и принять соответствующие управленческие решения (например, о детальном изучении опыта этой школы с перспективой распространить его в других образовательных организациях).

В левом нижнем квадранте рис. 3 сосредоточены школы (4-6), чьи низкие результаты нельзя оправдать спецификой условий и контекста, в котором они осуществляют свою деятельность, поскольку рассматриваемая группа уже «выравнена» с учетом этих условий. И поэтому адресная образовательная политика, осуществляемая в отношении этих школ, должна быть в первую очередь сосредоточена на выяснении причин, по которым они не могут обеспечить показатели качества обучения, приемлемые для своего уровня.

Предлагаемый способ анализа позволяет выявлять также различные промежуточные случаи, например школы 1, 3 и 7, в которых относительное опережение или недобор имеют место лишь для определенной группы показателей результата.

Показатели ЕГЭ по двум основным предметам и иллюстрация, представленная на рис. 3, используются лишь как пример, который позволяет продемонстрировать общий принцип и потенциал методики учета контекстной информации для сравнения результатов деятельности учебных учреждений. Линейку этих показателей можно и нужно расширять таким образом, чтобы они охватывали максимально полный перечень целевых индикаторов и позволяли отслеживать, насколько сбалансированно школы осуществляют свою образовательную и социализирующую функцию. Этот анализ, как и анализ с помощью регрессионных «остатков», также следовало бы дополнить динамическими сравнениями, т. е. такими сравнениями, при которых учитывается динамика показателей за относительно продолжительный период времени, поскольку без нее невозможно сделать вывод о том, насколько устойчивыми (а не случайными) являются искомые различия. При осуществлении этих комплексных сравнений важ-

17 Чего, к сожалению, нельзя исключать в свете широко известных результатов кампании ЕГЭ в 2013 г.

86

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

но принимать во внимание ограничения, которые накладывают на реализацию соответствующих функций уже имеющиеся в распоряжении школы ресурсы и социальный контекст.

Общий принцип представленного здесь анализа воспроизводит логику анализа с помощью регрессионных «остатков»: для школ с идентичными характеристиками сперва рассчитываются типичные показатели результата, с которыми затем осуществляется сравнение фактических показателей конкретных образовательных организаций. Справедливости ради следует отметить, что разбиение школ на группы «статистических соседей» мало чем отличается от кластерного подхода, который уже используют некоторые отечественные специалисты [Агранович и др., 2008; Константиновский, Вахштайн, Куракин, 2013] и который имеет свои ограничения. В частности, такой подход игнорирует проблему пограничных значений ИСБШ (см., например, границы интервалов в табл. 5) и других непрерывных показателей, по которым школы объединяются в группы, так как наблюдаемые отклонения по результатам (в том числе на рис. 3) могут, среди прочего, быть обусловлены некоторыми внутригрупповыми различиями. В связи с этим первый метод, на наш взгляд, является более предпочтительным.

В России пока не сложились традиции учета контекстных дан- 4. Заключение ных в системе управления качеством образования и при оценке эффективности образовательных организаций. В ряде отечественных и зарубежных исследований, а также в данной статье показано, почему пренебрежение такими данными абсолютно не оправданно, особенно если речь идет о выработке эффективной и сбалансированной образовательной политики, способной адресно реагировать на возникающие проблемы.

Инструменты и способы использования контекстной информации в управлении образованием достаточно разнообразны и, в частности, не ограничиваются рассмотренными здесь подходами. Однако в России отсутствуют критически важные предпосылки, открывающие возможность для разработки таких инструментов и их широкого применения. Одна из таких предпосылок—систематический сбор данных о социальном составе учащихся, что сегодня является вполне осуществимой задачей, учитывая уже имеющийся опыт введения социальных паспортов образовательных организаций в ряде российских регионов. Но даже там, где эта информация оказывается доступна, она все еще является неточной и весьма фрагментарной, поскольку сведения предоставляются на добровольной основе, к тому же нет каких-либо общепринятых стандартов их учета и первичной обработки. Однако более общей и в ближайшей перспективе, видимо, трудноразрешимой проблемой на пути использования контекстной информации в управле-

http://vo.hse.ru

87

ЩОІ

l»ol

ПРАКТИКА

нии образованием остается общее недоверие к статистическим сведениям, поступающим от участников образовательной системы и органов управления образованием, что неизбежно снижает эффективность их использования в управленческих целях. Известным примером является все та же статистика ЕГЭ, которая, по мнению многих специалистов, не отражает реального содержания образования и к тому же чрезвычайно подвержена риску фальсификации [Болотов, Вальдман, 2013].

Имеющиеся проблемы необходимо решать, поскольку от этого, без всяких преувеличений, зависит конкурентоспособность российской системы образования в международной гонке за высокими образовательными стандартами, в которой Россия, судя по данным международных исследований, пока не имеет прочных позиций. Лидируя либо успешно конкурируя со многими развитыми странами в одних исследованиях (PIRLS, TIMSS), она заметно уступает им в других (PISA)18. В краткосрочной перспективе, вероятно, следовало бы сосредоточиться на тех проблемах, решить которые несложно, и для этого не требуется больших затрат. Одна из них — налаживание сбора детализированной контекстной информации по всем школам в Российской Федерации по специальной унифицированной форме. Его вполне можно было бы реализовать в ходе мониторинга системы образования, осуществляемого в рамках образовательной инициативы «Наша новая школа» (конечно, с внесением изменений в состав собираемых сведений), или на базе таких амбициозных, но полезных инициатив, как проект «Открытое правительство». К обмену мнениями по наполнению этой формы, включая обсуждение возможных моделей оценки деятельности образовательных организаций с учетом контекстных данных (в том числе рассмотренных в статье разработок Центра социально-экономического развития школы при Институте образования НИУ ВШЭ) следовало бы привлечь специалистов региональных центров оценки качества образования, а также ученых, ведущих исследования в данной области. Получение данного массива информации дало бы органам управления образованием объемное представление о ситуации в системе российского среднего образования.

В будущем, однако, неизбежно потребуется перейти к более тонкой системе учета, позволяющей регистрировать динамику успеваемости, учебные достижения и важную социально-демографическую информацию для каждого отдельного учащегося, включая его возможные перемещения внутри образовательной системы. Она откроет доступ к наиболее продвинутым моделям оценки деятельности образовательных организаций, применяе- 18

18 Основные результаты исследования PISA-2012 http://www.centeroko.ru/ public.htm

88

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

мым сегодня в развитых странах. Поскольку этот шаг сопряжен со значительными финансовыми затратами и требует снятия определенных юридических ограничений, вероятно, некоторую подготовительную работу, включая экспертное обсуждение возможных моделей такого мониторинга и его пилотирование в отдельных регионах, также следовало бы начать уже сегодня. Эта работа, на наш взгляд, может быть реализована в рамках Федеральной целевой программы развития образования 2011-2015 гг. и Государственной программы «Развитие образования» на 2013-2020 гг.

Таким образом, перед Общероссийской системой оценки качества образования встают следующие требующие скорейшего решения задачи:

• включение в состав собираемой информации контекстных данных;

• разработка моделей и инструментария агрегации контекстных данных, в том числе получения «национальных индексов»;

• внедрение методик учета контекстных данных в анализ результатов оценки,в том числе мониторингов;

• введение стандартов представления контекстных данных в системы информирования (сайты, публичные отчеты).

И только после того как будут сделаны хотя бы наиболее простые, но принципиальные шаги, включающие в алгоритмы оценки учет контекста деятельности образовательных организаций, можно будет говорить об управлении качеством образования. Не о фиктивном, реагирующем «в рефлекторном режиме» на актуальные внешние сигналы, а о целенаправленном, построенном на анализе качественных данных и реализующем целенаправленные стратегии, которые декларируются государственной образовательной политикой19. В мировом опыте их принято формулировать просто: «поднимать планку и сокращать разрывы».

1. Агранович М. Л. Индикаторы в управлении образованием: что пока- Литература зывают и куда ведут? // Вопросы образования. 2008. № 1. С. 120-145.

2. Агранович М. Л. Оценка эффективности деятельности региональных органов исполнительной власти в сфере образования // Журнал руководителя управления образованием. 2010. № 6. С. 39-50.

3. Агранович М. Л., Алексеева А. С., Зайцева О. В., Коган Е. Я., Матвеева Н. А., Митрофанов К. Г., Прудникова В. А., Селиверстова И. В. Управление качеством образования в регионе на основе показателей и ин-

19 Более подробно практика такого управления, соответствующие программы и проекты, реализованные на национальном и региональном уровне и широко применяемые в зарубежной практике, описаны в тематическом сборнике материалов [Фрумин и др., 2012].

http://vo.hse.ru

89

ЩОІ

l»ol

ПРАКТИКА

дикаторов: сб. инструктивно-методических материалов. М.: Логос, 2008.

4. Болотов В. А., Вальдман И. А. Виды и назначение программ оценки результатов обучения школьников // Педагогика. 2013. № 8. С. 15-26.

5. Боченков С. А., Вальдман И. А. Интерпретация и представление результатов ЕГЭ: проблемы и возможные решения//Вопросы образования. 2013. № 3. С. 5-24.

6. Вальдман И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки NAPLAN в Австралии //Проблемы современного образования. 2013a. № 2.

С. 5-18.

7. Вальдман И. А. Особенности организации мониторингов учебных достижений в странах мира: национальная программа оценки SIMCE в Чили // Проблемы современного образования. 2013b. № 5. С. 133-149.

8. Константиновский Д. Л., Вознесенская Е. Д., Чередниченко Г. А., Хо-хлушкина Ф. А. Образование и жизненные траектории молодежи: 19982008 гг. М.: Институт социологии РАН, 2011.

9. Константиновский Д. Л., Вахштайн В. С., Куракин Д. Ю. Реальность образования. Социологическое исследование: от метафоры к интерпретации. М.: ЦСПиМ, 2013.

10. Пинская М. А., Косарецкий С. Г., Фрумин И. Д. Школы, эффективно работающие в сложных социальных контекстах // Вопросы образования. 2011. № 4. С. 148-177.

11. Прахов И. А., Юдкевич М. М. Влияние дохода домохозяйств на результаты ЕГЭ и выбор вуза // Вопросы образования. 2012. № 1. С. 126-147.

12. Рощина Я. М. Семейный капитал как фактор образовательных возможностей российских школьников // Вопросы образования. 2012. № 1.

С. 257-271.

13. Собкин В. С., Писарский П. С. Типы региональных образовательных ситуаций в Российской Федерации. М.: Центр социологии образования РАО, 1998.

14. Уваров А. Г., Ястребов Г. А. Социально-экономическое положение семей и школа как конкурирующие факторы образовательных возможностей: ситуация в России // Мир России: социология, этнология. 2014. № 2. С. 103-132.

15. Фрумин И. Д., Косарецкий С. Г., Пинская М. А., Груничева И. Г., Тимко-ва Т. В. (ред.) Выравнивание шансов детей на качественное образование: сб. материалов. М.: НИУ ВШЭ, 2012.

16. Ястребов Г. А., Бессуднов А. Р., Пинская М. А., Косарецкий С. Г. Проблема контекстуализации образовательных результатов: школы, социальный состав учащихся и уровень депривации территорий // Вопросы образования. 2013. № 4. С. 188-246.

17. Ястребов Г. А. Инвестиции в человеческий капитал (Эффект культурной преемственности vs эффект дохода) // Общественные науки и современность. 2010. № 2. С. 70-77.

18. Ястребов Г. А. Что мы знаем о роли школ в воспроизводстве социального неравенства (по материалам ведущих социологических изданий начиная с 1970-х годов) // И. Д. Фрумин, С. Г. Косарецкий, М. А. Пинская, И. Г. Груничева, Т. В. Тимкова (ред.) Выравнивание шансов детей на качественное образование: сб. материалов. М.: НИУ ВШЭ, 2012. С. 8399.

19. Aitkin M., Longford N. (1986) Statistical Modeling Issues in School Effectiveness Studies // Journal of Royal Statistical Society. Series A. Vol. 149. No 1. P. 1-43.

90

Вопросы образования. 2014. № 4

Г. А. Ястребов, М. А. Пинская, С. Г. Косарецкий Использование контекстных данных в системе оценки качества образования

20. Balfanz R., Legters N. (2004) Locating the Dropout Crisis — Which High Schools Produce the Nation's Dropouts? Where Are They Located? Who Attends Them? John Hopkins University CSOC Report. Baltimore, MD.

21. Barr R., Dreeben R. (1983) How Schools Work. Chicago: University of Chicago.

22. Burstein L. (1980) Issues in the Aggregation of Data // Review of Research in Education. Vol. 8. P. 158-236.

23. Dyer H. S., Linn R. L., Patton M. J. (1969) A Comparison of Four Methods of Obtaining Discrepancy Measures on Observed and Predicted School System Means on Achievement Tests // American Educational Research Journal. Vol. 6. No 4. P. 591-605.

24. Hanushek E. A. (1986) The Economics of Schooling: Production and Efficiency in Public Schools // Journal of Economic Literature. Vol. 24. No 3. P. 1141-1177.

25. Hanushek E. A. (1989) The Impact of Differential Expenditures on School Performance // Educational Researcher. Vol. 18. No 4. P. 45-62.

26. Levin H. M. (1994) Production Functions in Education //T. Husen, T. N. Postlethwaite (eds) International Encyclopedia of Education. New York: Pergamon. P. 4059-4069.

27. McCall M.S., Kingsbury G. G., Olson A. (2004) Individual Growth and School Success. Lake Oswego, OR: Northwest Evaluation Association.

28. OECD (2008) Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value-Added of Schools. OECD: Paris.

29. Rumberger R. W., Palardy G. J. (2004) Multilevel Models for School Effectiveness Research //D. Kaplan (ed.) Handbook of Quantitative Methodology for the Social Sciences. Thousand Oaks, CA: Sage. P. 235258.

30. Rumberger R. W., Thomas S. L. (2000) The Distribution of Dropout and Turnover Rates Among Urban and Suburban High Schools // Sociology of Education. Vol. 73. No 1. P. 39-67.

31. Shavelson R., McDonnell L., Oakes J., Carey N. (1987) Indicator Systems for Monitoring Mathematics and Science Education. Santa Monica, CA: RAND.

32. Voyer D., Voyer S. D. (2014) Gender Differences in Scholastic Achievement: A Meta-Analysis // Psychological Bulletin. Vol. 140. No 4. P. 1174-204.

33. Willms J. D. (1992) Monitoring School Performance: A Guide for Educators. Washington, DC: Falmer.

34. Willms J. D., Raudenbush S. W. (1989) A Longitudinal Hierarchical Linear Model for Estimating School Effects and Their Stability //Journal of Educational Measurement. Vol. 26. No 3. P. 209-232.

http://vo.hse.ru

91

1ЦОІ

En

PRACTICE

Using Contextual Data for Education Quality Assessment:

The Experience of Tools Development and Testing

Authors Gordey Yastrebov

Candidate of Sciences in Sociology, Senior Research Fellow, Laboratory for Comparative Analysis of Post-Socialist Development, National Research University— Higher School of Economics; Doctoral Student, European University Institute (Florence, Italy). E-mail: g.yastrebov@hse.ru

Marina Pinskaya

Candidate of Sciences in Pedagogy, Leading Research Fellow, Center of Social and Economic School Development, Institute of Education, National Research University—Higher School of Economics. E-mail: m-pinskaya@yandex.ru

Sergey Kosaretsky

Candidate of Sciences in Psychology, Director, Center of Social and Economic School Development, Institute of Education, National Research University — Higher School of Economics, Russian Federation. E-mail: skosaretski@hse.ru

Address: 20 Myasnitskaya str., Moscow, 101000, Russian Federation.

Abstract The paper suggests an approach to assessing performance of educational institutions with regard to their social specifics. To develop this approach, the authors relied upon 1) results of numerous studies proving correlations between student performance and contextual factors (both in Russia and abroad); 2) foreign colleagues' experience of solving similar problems; and 3) the idea of providing minimum required information to enable such assessments in contemporary Russia. The fundamental idea lying behind the proposed assessment tool is that, having necessary data at hand, one can identify empirically stable correlations between student performance and contextual factors (e. g. different social composition of students). In research practice, these correlations were revealed through multiple regression analysis. Results of such analysis—established empirical correlations—may then be used to “discount” formal progress, i. e. to have justifiably higher expectations about institutions in more favorable contexts and lower expectations about those in less favorable situations. The authors think over two ways of using this information: based either on a formula or on a specific index (the index of school social well-being) they have elaborated. They also draw attention towards possible constraints associated with using these tools and touch upon a more global problem of considering contextual factors in assessing the quality of education in Russia.

Keywords education quality, quality assessment, contextualization, contextual data, social context, social composition of students, the Unified State Examination (USE).

References Agranovich M. (2008) Indikatory v upravlenii obrazovaniem: chto pokazyvayut i kuda vedut? [Indicators in Education Management: What Is Indicated and What's the Purpose?]. Voprosy obrazovaniya, no 1, pp. 120-145.

Agranovich M. (2010) Otsenka effektivnosti deyatelnosti regionalnykh organov is-polnitelnoy vlasti v sfere obrazovaniya [Assessing Performance of Regional

92

Educational Studies. 2014. No 4

PRACTICE

En

Executive Authorities in Education]. Zhurnal rukovoditelya upravleniya obra-zovaniem, no 6, pp. 39-50.

Agranovich M., Alekseeva A., Zaytseva O., Kogan Y., Matveeva N., Mitrofanov K., Prudnikova V., Selivyorstova I. (2008) Upravlenie kachestvom obrazovaniya v regione na osnove pokazateley i indikatorov: sb. instruktivno-metodicheskikh materialov [Managing Education Quality in Regions Based on Factors and Indicators: Guidelines and Procedures], Moscow: Logos.

Aitkin M., Longford N. (1986) Statistical Modeling Issues in School Effectiveness Studies. Journal of Royal Statistical Society, series A, vol. 149, no 1, pp. 1-43.

Balfanz R., Legters N. (2004) Locating the Dropout Crisis — Which High Schools Produce the Nation's Dropouts? Where Are They Located? Who Attends Them? John Hopkins University CSOC Report. Baltimore, MD.

Barr R., Dreeben R. (1983) How Schools Work. Chicago: University of Chicago.

Bochenkov S., Valdman I. (2013) Interpretatsiya i predstavleniye rezultatov YGE: problemy i vozmozhnye resheniya [Interpretation and Representation of USE Results: Problems and Possible Solutions]. Voprosy obrazovaniya, no 3, pp. 5-24.

Bolotov V., Valdman I. (2013) Vidy i naznacheniye programm otsenki rezultatov obucheniya shkolnikov. Pedagogika, no 8, pp. 15-26.

Burstein L. (1980) Issues in the Aggregation of Data. Review of Research in Education, vol. 8, pp. 158-236.

Dyer H. S., Linn R. L., Patton M. J. (1969) A Comparison of Four Methods of Obtaining Discrepancy Measures on Observed and Predicted School System Means on Achievement Tests. American Educational Research Journal, vol. 6, no 4, pp. 591-605.

Frumin I., Kosaretsky S., Pinskaya M., Grunicheva I., Timkova T. (eds) (2012) Vy-ravnivaniye shansov detey na kachestvennoye obrazovaniye: sb. materialov Komissii Obshchestvennoy palaty Rossiyskoy Federatsii po razvitiyu obrazovaniya [Balancing Children's Chances for Quality Education: Collection of Materials Issued by the Education Development Committee of the Civic Chamber of the Russian Federation]. Moscow: National Research University — Higher School of Economics.

Hanushek E. A. (1986) The Economics of Schooling: Production and Efficiency in Public Schools. Journal of Economic Literature, vol. 24, no 3, pp. 1141-1177.

Hanushek E. A. (1989) The Impact of Differential Expenditures on School Performance. Educational Researcher, vol. 18, no 4, pp. 45-62.

Konstantinovsky D., Vakhshtayn V., Kurakin D. (2013) Realnost obrazovaniya. Sotsiologicheskoye issledovaniye: ot metafory k interpretatsii [Education Reality. Sociology Research: From Metaphor to Interpretation]. Moscow: Center for Social Forecasting and Marketing.

Konstantinovsky D., Voznesenskaya Y., Cherednichenko G., Khokhlushkina F. (2011) Obrazovaniye i zhiznennye trayektorii molodyozhi: 1998-2008 gody [Education and Life Trajectories of Youth: 1998-2008]. Moscow: Institute of Sociology, Russian Academy of Sciences.

Levin H. M. (1994) Production Functions in Education. International Encyclopedia of Education (eds T. Husen, T. N. Postlethwaite), New York: Pergamon, pp. 4059-4069.

McCall M.S., Kingsbury G. G., Olson A. (2004) Individual Growth and School Success. Lake Oswego, OR: Northwest Evaluation Association.

http://vo.hse.ru

93

En

PRACTICE

OECD (2008) Measuring Improvements in Learning Outcomes: Best Practices to Assess the Value-Added of Schools. OECD: Paris.

Pinskaya M., Kosaretsky S., Frumin I. (2011) Shkoly, effektivno rabotayushchie v slozhnykh sotsialnykh kontekstakh [Schools Working Effectively in Complicated Social Contexts]. Voprosy obrazovaniya, no 4, pp. 148-177.

Prakhov I., Yudkevich M. (2012) Vliyaniye dokhoda domokhozyaystv na rezul-taty YGE i vybor vuza [How Household Income Affects the USE Scores and the Choice of Higher Educational Institution]. Voprosy obrazovaniya, no 1, pp. 126-147.

Roshchina Y. (2012) Semeyny kapital kak faktor obrazovatelnykh vozmozhnostey rossiyskikh shkolnikov [Family Capital as a Factor of Educational Opportunities for Russian School Students]. Voprosy obrazovaniya, no 1, pp. 257-271.

Rumberger R. W., Palardy G. J. (2004) Multilevel Models for School Effectiveness Research. Handbook of Quantitative Methodology for the Social Sciences (ed. D. Kaplan), Thousand Oaks, CA: Sage, pp. 235-258.

Rumberger R. W., Thomas S. L. (2000) The Distribution of Dropout and Turnover Rates Among Urban and Suburban High Schools. Sociology of Education, vol. 73, no 1, pp. 39-67.

Shavelson R., McDonnell L., Oakes J., Carey N. (1987) Indicator Systems for Monitoring Mathematics and Science Education. Santa Monica, CA: RAND.

Sobkin V., Pisarsky P. (1998) Tipy regionalnykh obrazovatelnykh situatsiy v Rossi-yskoy Federatsii [Types of Regional Educational Situations in the Russian Federation]. Moscow: Center for Sociology of Education, Russian Academy of Education.

Uvarov A., Yastrebov G. (2014) Sotsialno-ekonomicheskoe polozhenie semey i shkola kak konkuriruyushchie faktory obrazovatelnykh vozmozhnostey: situ-atsiya v Rossii [Socioeconomic Status of Families and School as Competing Factors of Educational Opportunities: The Situation in Russia]. Mir Rossii: Sotsiologiya, etnologiya, no 2, pp. 103-132.

Valdman I. (2013a) Osobennosti organizatsii monitoringov uchebnykh dostizheniy v stranakh mira: natsionalnaya programma otsenki NAPLAN v Avstralii [Specifics of Student Performance Monitoring in Countries of the World: The National Assessment Program — Literacy and Numeracy (NAPLAN) in Australia. Problemy sovremennogo obrazovaniya, no 2, pp. 5-18.

Valdman I. (2013b) Osobennosti organizatsii monitoringov uchebnykh dostizheniy v stranakh mira: natsionalnaya programma otsenki SIMCE v Chili [Specifics of Student Performance Monitoring in Countries of the World: The Education Quality Measurement System (Sistema de Medicion de la Calidad de la Educacion SIMCE) in Chile]. Problemy sovremennogo obrazovaniya, no 5, pp. 133-149.

Voyer D., Voyer S. D. (2014) Gender Differences in Scholastic Achievement: A Meta-Analysis. Psychological Bulletin, vol. 140, no 4, pp. 1174-204.

Willms J. D. (1992) Monitoring School Performance: A Guide for Educators. Washington, DC: Falmer.

Willms J. D., Raudenbush S. W. (1989) A Longitudinal Hierarchical Linear Model for Estimating School Effects and Their Stability. Journal of Educational Measurement, vol. 26, no 3, pp. 209-232.

Yastrebov G. (2010) Investitsii v chelovecheskiy kapital (Effekt kulturnoy preem-stvennosti vs effect dokhoda) [Investments in Human Capital (Cultural Continuity Effect vs. Income Effect]. Obshchestvennye nauki i sovremennost, no 2, pp. 70-77.

94

Educational Studies. 2014. No 4

PRACTICE

En

Yastrebov G. (2012) Chto my znayem o roli shkol v vosproizvodstve sotsialnogo neravenstva (po materialam vedushchikh sotsiologicheskikh izdaniy nachi-naya s 1970-kh godov) [What We Know about the Role School Plays in Reproducing Social Inequality (based on the major sociology periodicals beginning from the 1970s)]. Vyravnivaniye shansov detey na kachestvennoye obrazovaniye: sb. materialov Komissii Obshchestvennoy palaty Rossiyskoy Federatsiipo razvitiyu obrazovaniya [Balancing Children's Chances for Quality Education: Collection of Materials Issued by the Education Development Committee of the Civic Chamber of the Russian Federation], Moscow: National Research University — Higher School of Economics, pp. 83-99.

Yastrebov G., Bessudnov A., Pinskaya M., Kosaretsky S. (2013) Problema kon-tekstualizatsii obrazovatelnykh rezultatov: shkoly, sotsialny sostav uchash-chikhsya i uroven deprivatsii territoriy [The Problem of Academic Performance Contextualization: Schools, Social Composition of Students, and the Extent of Deprivation of Territories]. Voprosy obrazovaniya, no 4, pp. 188-246.

http://vo.hse.ru

95