CC BY-NC-ND
143
Школьный климат
История понятия, подходы к определению и измерение в анкетах PISA
Т. А. Чиркина, Т. Е. Хавенсон
Чиркина Татьяна Александровна
стажер-исследователь Международной лаборатории анализа образовательной политики Института образования Национального исследовательского университета «Высшая школа экономики». E-mail: tchirkina@hse.ru Хавенсон Татьяна Евгеньевна научный сотрудник Международной лаборатории анализа образовательной политики Института образования Национального исследовательского университета «Высшая школа экономики». E-mail: tkhavenson@hse.ru
Адрес: 101000, Москва, ул. Мясницкая, 20.
Аннотация. Школьный климат является одним из значимых факторов образовательных достижений. Однако в России его исследование затруднено отсутствием инструментов для измерения. Рассматривается история изучения понятия «школьный климат», обсуждаются подходы к его определе-нию.Описаны наиболее распространенные опросники для измерения школьного климата и проанализирован набор включаемых в них компонентов. Для эмпирического исследования выбрана анкета для учеников,
которая используется в международном исследовании PISA, теоретически позволяющая измерить ряд аспектов школьного климата. Проведен психометрический анализ с использованием методов конфирматорно-го факторного анализа и современной теории тестирования. Выяснилось, что структура индексов, измеряющих школьный климат, не такая, как предполагали разработчики анкеты. Нет определенности в том, действительно ли вопросы отражают именно предполагавшиеся в анкетах индикаторы школьного климата. Часть суждений в опроснике составлены так, что большинство школьников выражают с ними согласие либо несогласие, не показывая различий в восприятии того, о чем задан вопрос. Для большинства суждений наблюдается несбалансированность категорий ответов, их неодинаковая наполненность. Предлагаются шаги по развитию инструмента. Ключевые слова: школьный климат, PISA, измерение в образовании, современная теория тестирования, кон-фирматорный факторный анализ, теория измерений.
DOI: 10.17323/1814-9545-2017-1-207-229
Статья поступила в редакцию в ноябре 2016 г.
Факторы успеваемости учеников в школе являются одной Введение из ключевых тем в исследованиях образования. Набор этих факторов очень разнообразен: это и характеристики ученика, и параметры учебного процесса, и особенности школы и ее окружения. На заре исследований в этой области преимущест-
Статья подготовлена в ходе проведения работы в рамках Программы фундаментальных исследований Национального исследовательского университета «Высшая школа экономики» и с использованием средств субсидии на государственную поддержку ведущих университетов Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров, выделенной НИУ ВШЭ.
венное внимание уделялось именно характеристикам ученика, его семьи, района, в котором расположена школа. Позднее фокус переместился на свойства учителей и учебного процесса, в последние десятилетия исследователи все более пристально анализируют ежедневно происходящие в школе события, причем фиксируют не только объективные показатели учебной деятельности, но и социальные и психологические характеристики.
Одной из таких характеристик является школьный климат — невидимый, но ощущаемый всеми участниками элемент школьной жизни. Эмпирически установлено наличие связи школьного климата с образовательной деятельностью школьников, степенью вовлеченности школьников в учебу и учебными достижениями [MacNeil, Prater, Busch, 2009; Sherblom, Marshall, Sherblom, 2006], с уровнем выбытия школьников из учебного заведения, продолжением учебы в старших классах [Коулман, 2001] и другими академическими результатами. Школьный климат рассматривается как предиктор не только академических достижений, но и другого рода результатов обучения в школе — развития социальных навыков, уровня самооценки школьников, их эмоционального и психологического состояния [Shochet et al., 2006; Way, Reddy, Rhodes, 2007; Касаткина, Аксенова, 2013].
Интерес к школьному климату выходит за пределы сугубо исследовательских или управленческих задач, он важен также для родителей учеников, например при выборе школы. В европейских странах и США созданы центры изучения школьного климата, существует более сотни инструментов, предназначенных для его измерения на разных этапах обучения (в начальной, средней, старшей школе) и для разных участников образовательного процесса (учителей, директоров, учащихся и их родителей) с очень широким диапазоном применения результатов1.
Понятие «школьный климат» многогранно, в него включают самые разные характеристики школьной жизни, от объективных размеров и технического состояния школьного здания до субъективного восприятия внутришкольных отношений. Соответственно разнообразны и инструменты для измерения этого свойства школьной жизни. Они различаются как по целям измерения, так и по набору измеряемых показателей школьного климата.
Систематические исследования школьного климата берут начало в изучении климата в организациях. Результаты этих работ обусловили перенос понятия «климат организации»
1 См., например, сайт американского Национального центра школьного климата. http://www.schoolclimate.org/climate/
в контекст изучения школ, там же были заимствованы первые определения и инструменты. Другим источником послужили исследования эффективности школ, в которых анализировались факторы, отличающие более успешные школы от менее успешных. Развиваясь параллельно, эти две исследовательские традиции повлияли на теорию, методологию и инструменты измерения школьного климата.
В России измерение школьного климата можно разделить на два направления. Рамки первого ограничиваются пределами внутришкольных исследований, где оценкой школьного климата занимаются школьные психологи или социальные педагоги [Богданова, 2008]. Созданные с этой целью русскоязычные методики для измерения школьного климата предназначены скорее для диагностики, чем для измерения с исследовательскими целями и сравнения школ между собой. В рамках второго подхода для оценки школьного климата зачастую используются данные масштабных международных исследований, например сравнительного мониторингового исследования качества математического и естественно-научного образования (Trends in Mathematics and Science Study, TIMSS)2 или международной программы по оценке образовательных достижений учащихся (Programme in International Students Assessment, PISA)3. Однако ни те ни другие инструменты не изучались с точки зрения качества измерения. Во-первых, не ставился вопрос о структуре выделенных факторов школьного климата — действительно ли вопросы в анкете могут быть сгруппированы в индексы? Во-вторых, в русскоязычной литературе не изучалось психометрическое качество вопросов, включаемых в анкеты, — действительно ли они дают возможность получить количественную оценку и дифференцировать школы по степени проявления тех или иных характеристик школьного климата?
Целью нашего исследования является теоретический и эмпирический анализ понятия «школьный климат». В рамках теоретического анализа рассматривается история исследования данного явления, предлагается обзор подходов к определению понятия и вариантов выбора и сочетания его компонентов, а также описываются наиболее известные способы его измерения. Эмпирический анализ предпринят с целью оценить возможности измерения школьного климата с помощью опросников PISA: устанавливается, какие аспекты школьного климата, выделенные в ходе обзора литературы, затрагиваются в анкетах PISA; исследуются факторная структура индексов, а также психометрические характеристики вопросов.
2 timss.bc.edu
3 pisa.oecd.org
1.Теоретический анализ понятия «школьный климат»
1.1. История изучения
Первой работой, посвященной исследованию климата в школе, считается изданная в 1908 г. книга А. Пэрри «Управление городской школой» (A. Perry «The Management of a City School»). Будучи директором одной из бруклинских школ, он писал о важности благоприятного климата в школе для обеспечения единства ее членов, а также продуктивности работы и успешности функционирования школы в целом [Freiberg, 1999].
Примерно в это же время, в начале XX в., исследователи организаций обнаружили взаимосвязь климата организации, или атмосферы, с мотивацией работников, продуктивностью их труда и удовлетворенностью работой. Так, в конце 1920-х годов был проведен знаменитый эксперимент на заводе Хоторн компании «Вестерн электрик». Он показал, что на поведение работников оказывают влияние взаимоотношения с коллегами и начальством: позитивное отношение и внимание руководителей к подчиненным повышает продуктивность работы. Такие открытия привлекли внимание исследователей образования, и в частности исследователей школ, ведь школу можно рассматривать как особого рода организацию.
Позднее, в 40-х годах XX в., исследования климата в организации и, как следствие, в школах стали учитывать не только связи между поведением людей и внешними условиями, в которых они находятся, но и связи между стилем управления и поведением группы. К. Левин отмечал, что политика руководства определяет социальный климат в коллективе, который в свою очередь воздействует на работу сотрудников [Lewin, Lippitt, White, 1939].
1950-1960-е годы отмечены активными исследованиями организационного поведения [McGregor, 1960; Tagiuri, 1968; Argyris, 1958]. К. Аргирис был одним из первых, кто начал систематически связывать климат организации с эффективностью работы, удовлетворенностью сотрудников, продуктивностью и уровнем текучести кадров.
Первые исследовательские работы, посвященные изучению климата в школе, появились во второй половине XX в. Школа рассматривалась как частный случай организации, инструменты, применявшиеся для исследований организаций, были адаптированы для изучения школ [Halpin, Croft, 1963]. Исследователей интересовали административная структура и связанные с ней процессы в школе, они изучали управленческие практики директоров школ, а также социальные взаимоотношения между учителями.
Большое влияние на изучение климата школы оказала работа Дж. Коулмана, который при исследовании образовательных достижений учеников большое внимание уделял роли школьных факторов [Coleman et al., 1966]. Дж. Коулман показал, что роль любых школьных факторов в объяснении образовательных результатов значительно меньше по сравнению с влиянием харак-
теристик семей учеников. Дальнейшие исследования в значительной степени переориентировались на изучение семейных и индивидуальных характеристик учеников, отодвинув школьные факторы, в том числе климат, на второй план.
Такой подход сохранялся вплоть до 1980-х годов. Одним из весомых аргументов в пользу пересмотра роли школьных факторов в достижениях учащихся оказались результаты нового исследования Дж. Коулмана. Он пришел к выводу, что частные учебные заведения отличаются от государственных высокими достижениями своих учащихся благодаря лучшему качеству климата в школе, который складывается из доверительных взаимоотношений между родителями и учителями и между учителями и школьниками [Coleman, Hoffer, Kilgore, 1982]. В этот период школьный климат стали еще чаще рассматривать во взаимосвязи с учебными достижениями школьников [Kreft, 1993]. В 1990-е годы в фокусе исследований оказались отдельные классы и учителя — школьный климат анализировался именно на этом уровне [Zullig et al., 2010]. Благодаря исследованиям последних десятилетий школьный климат признан важным детерминантом эффективности работы образовательных учреждений, учебных достижений, мотивации,социализации и поведения учеников.
Несмотря на продолжительную историю изучения, для понятия «школьный климат», как и для многих других понятий в социальных науках, не выработано единого всеми принятого определения. Одни исследователи ссылаются на его объективные характеристики, другие — на субъективно воспринимаемые, третьи сочетают те и другие, в результате определения зачастую не согласованы между собой.
Многие определения школьного климата заимствованы из работ, посвященных климату организации. В них принимаются во внимание такие аспекты организационного поведения, как удовлетворенность работой, мотивация, продуктивность, социальные отношения. К. Аргирис подчеркивает комплексность данного феномена и описывает климат как запутанное, многогранное взаимодействие членов организации [Argyris, 1958]. Г. Форхан и Б. Гилмер определяют климат как набор свойств организации, который относительно устойчив во времени, отличает одну организацию от другой и оказывает воздействие на поведение членов этой организации [Forehand, Gilmer, 1964]. Согласно Б. Шнайдеру, климат — это восприятие событий, деятельности и способы взаимодействий, которые ожидаются, регулируются и поддерживаются в организации [Schneider, 1972]. У. Бурк и Г. Литвин считают, что климат — это способы восприятия, ожидания и чувства, которые разделяют все члены организации [Burke, Litwin, 1992]. Р. Копельман с коллегами определяют кли-
1.2. Подходы к определению понятия «школьный климат»
мат как нагруженную индивидуальной интерпретацией рабочую среду [Kopelman, Brief, Guzzo, 1990].
Обобщенное определение климата организации дал Р. Тагиу-ри: климат представляет собой относительно постоянные характеристики внутренней среды организации, которые 1) воспринимаются ее членами; 2) влияют на их поведение; 3) отражают свойства организации; 4) могут быть оценены количественно [Tagiuri, 1968].
Что касается именно школьного климата, А. Пэрри в своей книге назвал его корпоративным духом, который формируют все участники школьной жизни (учителя, родители, школьники, директора) [Freiberg, 1999]. А. Хелпин и Д. Крофт определяют школьный климат как неуловимое смешение восприятия каждым индивидом его работы, ролей в межличностном взаимодействии, а также интерпретации ролей других индивидов [Halpin, Croft, 1963]. Г. Фрейберг называет школьный климат душой и основой школы, которая заставляет учителей, учеников и других вовлеченных в ее работу лиц чувствовать себя частью этого учреждения [Freiberg, 1999]. У. Велш считает, что школьный климат состоит из норм, ценностей и установок, которые определяют взаимодействие агентов в школе, он представляет собой индивидуальное восприятие каждым членом школьного коллектива школы и происходящих в ней процессов [Welsh, 2000]. Дж. Коэн и его коллеги определяют школьный климат как субъективно воспринимаемые индивидами нормы, ценности, межличностные взаимодействия, практики преподавания и обучения. Они подчеркивают, что все участники школьной жизни так или иначе воздействуют на школьный климат, формируют и изменяют его [Cohen et al., 2009].
Суммируя рассмотренные определения, можно выделить три ключевые особенности организационного климата, которые отмечают большинство ученых. Во-первых, климат рассматривается как психофизическое явление, т. е. он представляет собой субъективное восприятие агентами процессов, происходящих в организации [Schneider, 1972; Burke, Litwin, 1992; Kopelman, Brief, Guzzo, 1990; Halpin, Croft, 1963; Cohen et al., 2009]. Во-вторых, и этот тезис вытекает из первого, климат — это латентный конструкт, индикаторами которого могут быть ответы членов организации на вопросы о нормах, практиках и других явлениях, имеющих место в конкретной организации. В-третьих, климат представляется устойчивым во времени феноменом [Forehand, Gilmer, 1964; Tagiuri, 1968]. Другими словами, климат не может меняться от года к году только в результате поступления новых сотрудников в организацию или учеников в школу. Требуются значительные реформы и смена режима, чтобы климат в организации претерпел заметные изменения.
В 1960-е годы сложилось представление о школьном климате как 1.3. Составляющие о сложном комплексном концепте и началась разработка подхо- школьного климата дов к его операционализации и созданию инструментов для измерения. Один из первых инструментов для оценки школьного климата создали А. Хелпин и Д. Крофт — Organizational Climate Description Questionnaire (OCDQ) [Halpin, Croft, 1963]. По их мнению, каким будет школьный климат, определяет администрация школы, и прежде всего ее директор.Поэтому в разработанном ими опроснике для школьного персонала содержались вопросы о деятельности и характеристиках директора и учителей. Предполагалось, что за индикаторами климата стоят восемь факторов:
• степень единства среди учителей;
• отношения с директором школы;
• удовлетворенность учителей своей работой;
• отношения с коллегами;
• степень отчужденности директора;
• степень контроля со стороны директора;
• взаимообмен идеями с директором;
• уважительное отношение директора к учителям.
В 1970-е годы американский психолог Р. Мус разработал свою концепцию школьного климата [Moos, 1979]. Он рассматривал климат только как один из шести показателей социальной среды наряду с местоположением, поведенческими практиками, организационной структурой, усредненными социально-демографическими характеристиками индивидов в организации, а также установленными правилами. При этом в школьном климате он выделял три аспекта: социальный (межличностное взаимодействие агентов внутри школы), аффективный (представления о школе, чувства по отношению к школе) и организационный (правила, структура).
К 1980-м годам в зарубежной литературе накопились сотни исследований на тему школьного климата, в которых использовались разнообразные инструменты для его измерения. С целью их систематизации был проведен метаанализ результатов исследований [Anderson, 1982]. Автор классифицировал используемые в исследованиях индикаторы школьного климата в соответствии с четырьмя аспектами этого понятия, выделенными Р. Тагиури [Tagiuri, 1968]:
1) физические и материальные характеристики школы (Ecology) — характеристики школьного здания, оснащенность классов, размер школы, численность классов;
2) индивидуальный аспект (Milieu) — учителя (опыт работы, удовлетворенность профессией, оценка собственной эф-
фективности), ученики (отношение к школе, к занятиям, вовлеченность в процесс обучения), администрация (степень отчужденности от учебного процесса, характер требуемой от учителей отчетности);
3) социальный аспект (Socialsystem) — взаимоотношения между учителями, учениками, родителями и администрацией и т. д.;
4) культурный аспект (Culture) — ожидания относительно достижений школьников у учителей, администрации, родителей и самих учащихся; система норм, правил, регулирующих отношения участников образовательного процесса, особенности системы оценивания.
В более позднем метаанализе исследований, посвященных школьному климату [Cohen et al., 2009], также были выделены четыре наиболее часто встречающихся в исследованиях школ аспекта климата:
1) безопасность (физическая, эмоциональная, нормы, правила);
2) преподавание и обучение (профессиональные характеристики учителей, академическое развитие);
3) взаимоотношения (между учениками, учителями, директорами, родителями);
4) физическое окружение (размер школы, наличие ресурсов, материалов, факультативных занятий и т. д.)
Социальная и физическая составляющие климата были выделены в обоих метаанализах и содержательно соответствуют друг другу. «Преподавание и обучение» в работе Дж. Коэна с коллегами и индивидуальный аспект школьного климата в анализе К. Андерсона также представляют собой близкие конструкты, в них входят личностные характеристики учителей и учеников. Однако К. Андерсон опирался на теоретическую рамку Р. Та-гиури — а значит, испытывал влияние традиций, сложившихся в исследовании организаций. Вполне закономерным выглядит выделение в его метаанализе культурного аспекта климата, который составляют ожидания и степень единства школьных акторов. Второй метаанализ строился от эмпирических данных, в нем культурный аспект организационного климата не выделен. Здесь среди четырех наиболее часто встречающихся элементов школьного климата упоминается уровень безопасности, ощущаемый в школе, — этого элемента нет в классификации К. Андерсона.
В обзоре, проведенном К. Зуллиг с коллегами [Zullig at al., 2010], для проверки результатов теоретического анализа опе-рационализации школьного климата впервые применялись статистические методы. На первом, теоретическом этапе иссле-
дования авторы выделили пять аспектов школьного климата, наиболее часто встречающихся в литературе:
1) степень единства членов школьного коллектива;
2) уровень безопасности;
3) академические результаты;
4) материальные условия;
5) социальные отношения.
Далее авторы провели вторичный анализ данных, полученных в различных исследованиях школьного климата, с помощью кон-фирматорного факторного анализа и выявили восемь латентных конструктов:
1) чувство общности;
2) соблюдение порядка и дисциплины;
3) академическая поддержка учащихся;
4) физические и материальные условия в школе;
5) удовлетворенность учеников обучением;
6) дискриминация/привилегированность отдельных учеников;
7) взаимоотношения между учащимися;
8) взаимоотношения учеников и учителей.
Таким образом, авторы показали, что пятифакторная модель не соответствует эмпирическим данным. Существуют три отдельных конструкта, отражающих социальный аспект школьного климата: взаимоотношения учеников и учителей, дискриминация/привилегированность отдельных учеников и взаимоотношения между учащимися. В итоге всего было выделено восемь факторов.
Итак, в течение почти ста лет школьный климат то становился предметом всеобщего внимания, то оказывался в тени других факторов, определяющих эффективность школьного образования. На протяжении этого времени происходило становление самого понятия «школьный климат» и разрабатывались подходы к его операционализации. Чаще всего в литературе встречаются— под разными названиями — следующие составляющие концепта «школьный климат»: 1) взаимоотношения агентов внутри школы; 2) физическая среда (характеристики школы, классов); 3) индивидуальные факторы (чувство принадлежности к школе, дисциплина); 4) культура организации (ожидания, правила, нормы).
В эмпирической части работы мы обратимся к анкетам исследо- 2. Анализ опрос-вания PISA и на основе анализа литературы выделим в них фак- ника PISA торы школьного климата. Далее мы проведем психометрический анализ данных факторов с помощью конфирматорного факторного анализа и современной теории тестирования.
Работа основывается на данных проекта «Траектории в образовании и профессии»4, осуществляемого Институтом образования НИУ ВШЭ. Используются данные так называемой стратегической панели, запущенной в 2011 г., когда российские школьники 8-х классов приняли участие в TIMSS (4893 ученика из 210 школ5). В 2012 г. те же школьники приняли участие в PISA (4399 учеников из 208 школ6).
Выборка TIMSS, послужившая стартом лонгитюдного исследования, состоит из классов: в школе, принимающей участие в исследовании, случайным образом отбирается один класс, в котором опрашиваются все ученики. Дизайн исследования PISA другой: в школе случайным образом отбираются 15-летние ученики, так что нет возможности изучать происходящие в классе социальные процессы, а также анализировать результаты как на индивидуальном уровне, так и на уровне класса. Использование именно данных лонгитюдного исследования дает возможность оценить качество измерения школьного климата с помощью анкет PISA на выборке, построенной на уровне класса.
2.1. Описание В анкетах PISA для учащихся мы выделили шесть наборов во-переменных просов, которые, судя по обзору литературы, можно отнести к школьному климату. Каждый набор объединяется затем в индекс:
1) поддержка со стороны учителя математики (Mathematics Teacher Support);
2) дисциплина в классе (Classroom Management);
3) взаимоотношения с учителем (Teacher-Student Relation);
4) чувство принадлежности к школе (Sense of Belonging to School);
5) отношение к школе (Attitude Towards School: Learning Outcomes);
4 В данной работе использованы данные панельного исследования «Траектории в образовании и профессии» (ТрОП — http://trec.hse.ru/). Исследование осуществлено при поддержке Программы фундаментальных исследований НИУ ВШЭ.
5 За исключением нескольких случаев в каждой принимавшей участие в исследовании школе был опрошен один класс, поэтому далее мы будем употреблять «школа» и «класс» как синонимы.
6 В данных исследованиях при составлении анкет используется ротационный дизайн: часть вопросов анкеты получают не все респонденты. При этом выборка остается репрезентативной. В нашем случае на вопросы, относящиеся к школьному климату, ответили 2625 школьников. Подробнее о ротационном дизайне см.: Organisation for Economic Cooperation and Development, and Programme for International Student Assessment (2012) PISA 2012 Technical Report. Paris: OECD. https://www.oecd.org/ pisa/pisaproducts/PISA-2012-technical-report-final.pdf
6) отношение к занятиям (Attitude Towards School: Learning Activities).
Каждый вопрос представляет собой суждение о школьной жизни, степень своего согласия с которым школьники должны были оценить по 4-балльной шкале. В табл. 1 представлены эти суждения, а также название индекса, к которому они относятся.
Теоретически первые три индекса относятся к социальному аспекту школьного климата, конструкт «чувство принадлежности к школе» — к культурному, а отношение к школе и к занятиям — факторы индивидуального аспекта климата.
Изучение индексов проведено в несколько этапов. Сначала мы 2.2. Результаты оценили согласованность ответов учеников, подсчитав показатели дисперсии суждений в индексах на уровне класса и на индивидуальном уровне. На втором этапе, применяя методы конфир-маторного факторного анализа (КФА), мы проверили, насколько согласуются между собой суждения в рамках одного индекса, и исследовали их факторную структуру. Поскольку индексы были разработаны на основе анализа международной выборки, необходимо было проверить, подтверждается ли их факторная структура на российских данных. Наконец, опираясь на методы современной теории тестирования (Item Response Theory, IRT), мы исследовали функционирование суждений и категорий ответов.
Величина дисперсии суждений на уровне целого класса показывает, насколько индексы отражают существование надындивидуальных факторов — установок, мнений, отношений целого класса к тому или иному явлению школьной жизни. Если такие установки сильны, то ответы учеников одного класса будут достаточно схожи между собой, а различия между школами будут значительны. В таком случае дисперсия между классами будет высокой. Если же такие установки не очень сильны, то суждения отражают только индивидуальное восприятие учащимися школьной жизни. Тогда ответы учеников внутри класса будут не похожи друг на друга и будут различаться в той же мере, что и ответы учеников из разных школ. В таком случае более высокие показатели будут у дисперсии внутри класса.
В табл. 1 (столбцы 3 и 4) представлены величины дисперсий суждений и процент вариации, который они объясняют, внутри классов и между классами.
Считается, что различия между классами существенные, если межклассовая дисперсия объясняет более 10% вариации данных [Hox, 2002]. В нашем случае этому критерию удовлетворяют суждения, относящиеся к индексам «поддержка со стороны учителя математики» и «дисциплина в классе». Следовательно, по этим аспектам школьного климата ответы учащихся из разных школ существенно различаются. Формулировки отражаю-
Таблица 1. Дисперсия индикаторов и факторные нагрузки по результатам
Поддержка со стороны учителя
Мой преподаватель дает нам понять, что мы должны усердно учиться Мой преподаватель предоставляет дополнительную помощь учащимся в случае необходимости Мой преподаватель помогает учащимся в изучении математики Мой преподаватель дает учащимся возможность выражать свое мнение
Дисциплина в классе
Преподаватель добивается того, чтобы учащиеся его слушали Преподаватель держит дисциплину в классе Преподаватель начинает уроки вовремя Преподавателю приходится долго ждать, пока учащиеся успокоятся
Взаимоотношение с учителями
Учащиеся ладят с большинством преподавателей Большинство преподавателей интересуются жизнью учащихся Большинство моих преподавателей действительно слушают то, что я говорю Если мне нужна дополнительная помощь, я получу ее от моих преподавателей Большинство моих преподавателей относятся ко мне справедливо
Чувство принадлежности к школе
Я чувствую себя изолированным от коллектива Я легко завожу себе друзей в образовательном учреждении Я чувствую себя частью образовательного учреждения Я чувствую себя неловко, не на своем месте в образовательном учреждении Мне кажется, что я нравлюсь другим учащимся Я чувствую себя одиноким в образовательном учреждении Я чувствую себя счастливым в образовательном учреждении Все в моем образовательном учреждении идеально Я доволен своим образовательным учреждением
Отношение к школе
Образовательное учреждение мало сделало, чтобы подготовить меня к взрослой жизни после его
окончания
Занятия в образовательном учреждении были пустой тратой времени Образовательное учреждение научило меня принимать решения Образовательное учреждение научило меня тому, что может пригодиться в дальнейшей работе Отношение к занятиям
Усердные занятия помогут мне получить хорошую работу Усердные занятия помогут мне поступить в хороший университет (институт, колледж)
Мне нравится получать хорошие отметки Усердные занятия очень важны для меня
конфирматорного факторного анализа
Дисперсия [%] Факторные нагрузки по результатам КФА INFIT MNSQ OUTFIT MNSQ Трудность
внутри класса между классами
0,342 [91] 0,035 [9] 1,000 1,22 1,23 -0,88
0,401 [86] 0,063 [14] 1,343 0,78 0,72 -0,03
0,370 [86] 0,058 [14] 1,315 0,73 0,67 -0,33
0,533 [86] 0,085 [14] 1,208 1,18 1,28 1,25
0,437 [94] 0,026 [6] 1,000 1,07 1,08 -0,36
0,381 [77] 0,113 [23] 1,391 0,66 0,64 -0,29
0,424 [85] 0,686 [85] 0,381 [93] 0,075 [15] 0,123 [15] 0,028 [7] 1,315 0,633 1,000 0,80 1,44 0,96 0,77 1,55 0,93 -0,45 1,10 -0,93
0,519 [93] 0,037 [7] 1,123 1,01 1,02 0,79
0,467 [96] 0,020 [4] 1,227 0,84 0,80 0,07
0,466 [93] 0,033 [7] 1,232 0,89 0,87 -0,16
0,517 [92] 0,042 [8] 1,105 1,25 1,31 0,22
0,512 [96] 0,023 [4] -0,654 1,06 1,11 -0,37
0,434 [98] 0,010 [2] 1,000 0,90 0,88 -0,52
0,485 [99] 0,007 [1] 1,169 0,87 0,86 -0,13
0,890 [99] 0,013 [1] -0,622 1,20 1,28 -0,02
0,421 [98] 0,008 [2] 0,897 0,99 1,00 0,17
0,544 [97] 0,018 [3] -0,701 1,00 1,05 -0,45
0,551 [95] 0,028 [5] 1,251 0,87 0,86 0,38
0,693 [92] 0,064 [8] 1,200 1,12 1,14 0,93
0,517 [92] 0,042 [8] 1,234 1,00 1,00 0,00
0,567 [91] 0,054 [9] 1,000 1,01 1,14 1,05
0,449 [93] 0,034 [7] 0,971 0,94 0,82 -0,08
0,394 [97] 0,013 [3] 1,298 1,08 0,96 -0,31
0,430 [95] 0,022 [5] 1,398 0,93 0,85 -0,67
0,349 [96] 0,016 [4] 1,000 0,90 0,80 -0,14
0,330 [96] 0,014 [4] 0,986 0,77 0,67 -0,57
0,318 [96] 0,014 [4] 0,768 1,15 1,04 -0,69
0,498 [96] 0,022 [4] 0,998 1,05 1,23 1,40
щих их суждений относятся к восприятию учениками положения дел в школе и в меньшей степени отражают их личные установки или отношение. Остальные суждения характеризуются невысокими значениями дисперсии между классами и относительно большой дисперсией внутри класса. Индексы «взаимоотношения с учителями», «чувство принадлежности к школе», «отношение к занятиям» и «отношение к школе» улавливают различия на индивидуальным уровне и отражают именно субъективные аспекты школьного климата.
Далее мы перешли к проверке качества латентных переменных, отражающих конструкты, зафиксированные в названиях индексов. Для начала мы провели разведывательный факторный анализ. Его результаты показали, что в целом для имеющихся данных подходит шестифакторная модель, заложенная в анкетах PISA. Однако разведывательный анализ является первичным этапом проверки структуры индексов, поскольку в его основе лежит допущение всех возможных взаимосвязей между утверждениями и индексами, а критерием качества является объяснение как можно большего процента дисперсии. Наша цель состоит в проверке конкретной модели, где факторы — это рассматриваемые нами индексы PISA, а индикаторами факторов являются суждения, входящие в индексы (факторные нагрузки для каждого суждения приведены в табл. 1, столбец 5), т. е. в подтверждении того, что каждый фактор связан только с одним суждением, а набор суждений объединяется только в один фактор и не связан с остальными.
Результаты КФА свидетельствуют о низком качестве модели (RMSEA = 0,064, CFI = 0,797, TLI = 0,772, SRMR = 0,069)7, следовательно, суждения взаимосвязаны между собой несколько иным образом, чем это предполагается в анкетах. Одно и то же суждение может быть связано с разными факторами, т. е. измерять проявления не одного из шести индексов, а сразу нескольких. Кроме того, модель показала, что часть суждений может относиться к другим, не включенным в нее конструктам. Следовательно, смысл представленных утверждений может быть интерпретирован по-разному—а значит, и интерпретация измеряемых индексов неоднозначна. Результаты КФА позволяют не только оценить качество модели, но и увидеть, какие суждения являются наиболее проблематичными. В нашем случае улучшить модель, сделать ее более подходящей данным, полученным в проекте «Траектории в образовании и профессии», можно, если внести изменения в ее изначальную спецификацию — учесть остаточную корреляцию суждений, которые связаны между собой даже после учета факторных нагрузок.
7 Рекомендованные значения: RMSEA < 0,05, CFI > 0,9, TLI > 0,9, SRMR < 0,05.
Во-первых, это суждения, относящиеся к индексу «чувство принадлежности к школе»: «Я чувствую себя изолированным от коллектива», «Я чувствую себя неловко, не на своем месте в образовательном учреждении» и «Я чувствую себя одиноким в образовательном учреждении». Поскольку эти суждения выражают негативные эмоции, они выделяются среди остальных суждений в данном индексе и остаются в нашей модели связанными друг с другом даже после учета факторных нагрузок.
Во-вторых, это суждения из индекса «отношение к школе»: «Образовательное учреждение мало сделало, чтобы подготовить меня к взрослой жизни после его окончания» и «Занятия в образовательном учреждении были пустой тратой времени». Оба суждения носят негативный характер и помимо измерения отношения к школе в целом отражают мнение о пользе от обучения в школе как о частном аспекте отношения, что объясняет их связь.
Наконец, еще два суждения в индексе «отношения к занятиям» несут отдельную смысловую нагрузку. Это суждения «Усердные занятия помогут мне получить хорошую работу» и «Усердные занятия помогут мне поступить в хороший университет». Они связаны с личными траекториями учащихся после окончания школы и описывают позитивный результат усердных занятий, что приводит к их сильной корреляции между собой помимо корреляции в рамках индекса «отношения к занятиям».
После добавления трех корреляций между указанными выше суждениями и внесения изменений в спецификацию модели КФА были заново рассчитаны показатели качества8. Измененная модель обладает удовлетворительными статистиками согласия: RMSEA = 0,043, CFI = 0,909, TLI = 0,900, SRMR = 0,054.
Далее мы проанализировали психометрические свойства вопросов анкеты с применением методов современной теории тестирования (IRT), чтобы дополнить изучение структуры факторов, проведенное с помощью КФА, оценкой суждений и категорий ответов с точки зрения информативности и полезности для измерения конструкта.
Для начала необходимо было определить, какую именно модель следует применять. Теоретически показатели, измеренные с помощью шкалы Ликерта, могут быть проанализированы в рамках модели с фиксированными промежуточными категориями (Rating Scale Model, RSM). Данная модель предполагает равные интервалы между категориями в шкале ответов для всех суждений. Другая возможная модель — с произвольными промежуточными категориями (Partial Credit Model, PCM) — предполага-
8 Так как промежуточные модели отличаются друг от друга достаточно слабо, для экономии места мы приводим в табл. 1 только первоначальную и конечную модели. Результаты промежуточных моделей доступны по запросу.
Таблица 2. Информационные критерии AIC и BIC для сравнения моделей
AIC BIC
Модель с фиксированными промежуточными категориями 143039,7 143509,3
Модель с произвольными промежуточными категориями 141729,6 142586,6
ет неодинаковые интервалы между категориями в шкале ответов для всех суждений. Выбор подходящей модели основывается на информационных индексах AIC и BIC. Чем меньше значение индекса, тем выше соответствие модели имеющимся данным. В нашем случае модель с произвольными промежуточными категориями лучше подходит данным, поэтому дальнейший анализ производился именно в рамках этой модели (табл. 2).
Мы начали с изучения надежности. Коэффициент альфа Кронбаха, который характеризует согласованность суждений в рассматриваемых факторах, варьирует от 0,7 до 0,8. Учитывая, что эти факторы состоят из небольшого числа суждений, такие значения можно считать приемлемыми.
На следующем этапе исследовалось функционирование самих утверждений. Для этого рассчитаны статистики согласия INTFIT MNSQ (Unweighted Mean-Square Statistic) и OUTFIT MNSQ (Weighted Mean-Square Statistics), которые отражают степень согласованности данных с моделью. Модельное предположение состоит в следующем: с увеличением степени согласия с утверждением увеличивается балл респондента по соответствующему индексу. Если респонденты имеют высокий уровень выраженности признака (высокий итоговый балл по индексу), однако склонны не соглашаться с утверждением, входящим в индекс, или если, наоборот, школьники с невысокими итоговыми баллами по индексу соглашаются с суждением, статистики согласия укажут на это. Рекомендованные значения этих показателей лежат в промежутке от 0,5 до 1,5.
Полученные значения статистик согласия (INFIT и OUTFIT MNSQ) находятся в пределах рекомендованных значений, т. е. все суждения функционируют правильно, в индексах нет утверждений, ответы на которые противоречат профилю ответов в целом. Например, школьники, отметившие низкую поддержку со стороны учителей (имеют низкий первичный балл по соответствующему индексу), как и ожидалось, склонны не соглашаться с суждениями, входящими в этот индекс.
Показатель «трудность» позволяет оценить, насколько легко или, наоборот, трудно школьникам соглашаться с предлагаемыми суждениями. Среднее значение — 0, положительные значения свидетельствуют о существенном уровне трудности, т. е. о невысо-
кой вероятности согласия с суждением. Отрицательные значения означают обратное — большое число респондентов соглашается с суждением. Кроме того, оценивается степень выраженности признака у респондента («трудность респондента»). Оба показателя измеряются в логитах. Если распределения обоих показателей пересекаются по своим значениям, это означает наличие в опроснике суждений, которые отражают характерное для данного респондента отношение к конструкту. Если же распределения двух трудностей не пересекаются или пересекаются недостаточно, то возникает ситуация, когда респондентам не хватает суждений для выражения своего отношения к изучаемому конструкту.
Трудность суждений в изучаемой нами анкете варьирует от -0,93 до 1,4. Большинство анализируемых суждений обладает средним уровнем трудности, за исключением утверждений «Мой преподаватель дает учащимся возможность выражать свое мнение» (№ 4); «Преподавателю приходится долго ждать, пока учащиеся успокоятся» (№ 8); «Все в моем образовательном учреждении идеально» (№ 21); «Образовательное учреждение мало сделало, чтобы подготовить меня к взрослой жизни после его окончания» (№ 23); «Усердные занятия очень важны для меня» (№ 30). Перечисленные суждения характеризуются довольно высоким уровнем трудности. Однако если принять во внимание уровень выраженности признака у респондентов, который лежит в интервале от -1,41 до 6,89, то даже данных суждений недостаточно для точного описания испытуемых. Более 40% испытуемых обладают выраженностью признака выше 1,4 логита. Другими словами, значительной доле школьников в выборке не хватает суждений более трудных, которые могли бы соответствовать характерной для них выраженности признака.
Далее мы обратились к изучению функционирования категорий 2.3. Исследование ответов. Респонденты оценивают суждения по 4-балльной шка- категорий ответов ле от «совершенно не согласен» до «совершенно согласен». Теоретически шкала считается сбалансированной, если все категории ответов имеют примерно одинаковую наполненность и если по мере роста выраженности признака респонденты увеличивают степень своего согласия с соответствующими высказываниями. Если эти условия нарушаются, это, во-первых, может говорить об отсутствии у шкалы различительной способности и о ее неинформативности: респонденты с одинаковым уровнем выраженности признака выбирают разные категории ответов (например, если респонденты не видят разницы между двумя соседними категориями). Во-вторых, это может быть проявлением неправильного функционирования шкалы ответов: респонденты имеют высокую вероятность выбора категории, но тем не менее не отмечают ее, и, наоборот, респонденты, для которых не характерно проявление признака, описанного в суждении, тем не ме-
нее выражают свое согласие с ним. В этом случае статистики согласия INFIT MNSQ и OUTFIT MNSQ, рассчитанные для каждой категории, укажут на это.
Наши результаты показали, что для высказывания «Я чувствую себя неловко, не на своем месте в образовательном учреждении» (№ 17) не соблюдается соответствие уровня выраженности признака и категории ответа. Респонденты, которые отмечали свое полное несогласие и просто несогласие с данным высказыванием, не имели соответствующего низкого уровня выраженности признака, как предполагалось для данной категории. Следовательно, категории не способны дифференцировать людей, т. е. не несут полезной информации и воспринимаются респондентами как неопределенные.
Для категории ответа «совершенно не согласен» в суждениях «Преподаватель добивается того, чтобы учащиеся его слушали» (№ 5), «Преподавателю приходится долго ждать, пока учащиеся успокоятся» (№ 8), «Большинство моих преподавателей относятся ко мне справедливо» (№ 13), «Я чувствую себя изолированным от коллектива» (№ 14), «Я чувствую себя неловко, не на своем месте в образовательном учреждении» (№ 17), «Я чувствую себя одиноким в образовательном учреждении» (№ 19), «Образовательное учреждение мало сделало, чтобы подготовить меня к взрослой жизни после его окончания» (№ 23), «Мне нравится получать хорошие отметки» (№ 29), «Усердные занятия очень важны для меня» (№ 30) статистики согласия фиксируют несоответствие данных, полученных в проекте «Траектории в образовании и профессии», модели, т. е. с этими утверждениями категорически не соглашались школьники, для которых характерно проявление признака, описанного в суждении. Такое противоречие может возникнуть в результате проявления социальной желательности в ответах учащихся, невнимательного заполнения анкеты или же различий в интерпретации респондентами смысла одних и тех же суждений.
Теперь обратимся к рассмотрению наполненности категорий ответа (см. приложение). В большинстве случаев более 80% учащихся выражали согласие с суждением о школьном климате, если оно носит позитивный характер, и несогласие — если негативный. На этом основании можно судить о неравной наполненности категорий ответов практически для всех утверждений.
Кроме того, для большинства суждений часть категорий ответов почти никогда не выбирается, т. е. они бесполезны с точки зрения выявления мнения респондентов (см. приложение). Речь идет о суждениях «Преподаватель добивается того, чтобы учащиеся его слушали» (№ 5), «Я чувствую себя изолированным от коллектива» (№ 14), «Я чувствую себя неловко, не на своем месте в образовательном учреждении» (№ 17), «Я чувствую себя одиноким в образовательном учреждении» (№ 19), «Заня-
тия в образовательном учреждении были пустой тратой времени» (№ 24). Причинами могут быть проблемы с категориями (их избыточность) или же с формулировкой суждения. Поскольку шкала является 4-балльной, мы предполагаем, что вторая причина является здесь более важной. Такое функционирование категорий приводит к потере информации о респондентах. В большинстве случаев формулировка суждений заставляет школьников чаще соглашаться с ними и тем самым затрудняет дифференциацию школьников и оценку климата в школах.
Школьный климат находится в центре внимания исследователей 3. Выводы образования уже около ста лет. Несмотря на разнообразие под- и рекомендации ходов к определению понятия и его составляющих, можно выделить основные характеристики этого конструкта. Во-первых, школьный климат — это характеристика восприятия, а не объективных характеристик школы и процессов в ней. Во-вторых, это латентное свойство школы, которое не может быть измерено напрямую, но проявляется через ряд индикаторов. В-третьих, школьный климат устойчив во времени. Четыре основных аспекта школьного климата, которые чаще других встречаются в разных исследованиях: физический (восприятие материального окружения), культурный (система норм и правил), социальный (взаимоотношения между агентами в школе), индивидуальный (отношение школьников к обучению, чувство принадлежности к школе).
Наиболее полно среди существующих русскоязычных опросников аспекты школьного климата представлены в анкетах ученика, применяемых в исследовании PISA. Однако по результатам психометрического анализа были выявлены существенные недостатки, свойственные данному инструменту. Во-первых, структура индексов, измеряющих школьный климат, оказалась не такой, как предполагают разработчики анкеты. Нельзя сказать с уверенностью, действительно ли вопросы отражают именно предполагавшиеся в анкетах индикаторы школьного климата или респонденты, отвечая на них, выражают свое мнение о других явлениях. Особенно проблематичны с этой точки зрения индексы «отношение к школе» и «отношение к занятиям». Во-вторых, часть проанализированных суждений составлена так, что большинство школьников выражают с ними либо согласие, либо несогласие, не показывая различий в восприятии того, о чем задан вопрос. В-третьих, для большинства суждений наблюдается несбалансированность категорий ответов, их неодинаковая наполненность. С помощью данных суждений невозможно дифференцировать школьников и, следовательно, определить характер климата в школе.
Чтобы анкета исследования PISA давала возможность более точно измерять характеристики школьного климата, мож-
но было бы предпринять следующие шаги: используемые для этой цели суждения необходимо сделать более точными, специфичными, чтобы они более тонко улавливали отношение учащихся к изучаемым объектам, чтобы часть школьников узнавала себя в них, потому что часто сталкивается с ними, а другая — наоборот, рассматривала бы их как непривычные, не свойственные своему опыту. Для факторов «отношение к занятиям» и «отношение к школе» следует добавить суждения, которые бы относились строго к ним и не были бы связаны с несколькими факторами сразу.
Кроме того, стоит пересмотреть группировку суждений в индексы, чтобы каждый индекс измерял один конструкт и суждения не распадались на несколько групп. Для более точной оценки климата в анкету следовало бы добавить суждения, отражающие восприятие физического аспекта (например, характеристики школьного здания, численность учеников и количество классов, оснащение). Кроме того, для оценки школьного климата может быть весьма информативным учет точки зрения учителей и других лиц, причастных к процессу обучения.
Без валидного и надежного русскоязычного инструмента невозможно проводить анализ значимости школьного климата в образовательных достижениях. Данное исследование является отправной точкой для дальнейшего улучшения русскоязычного инструмента измерения климата в школе в рамках исследования PISA или создания отдельного инструмента, направленного на измерение данного параметра.
Литература 1. Богданова М. В. Формирование благоприятного социально-психологического климата в классе. 2008. http://festival.1september.ru/articles/ 524401/
2. Касаткина Н. С., Аксенова И. С. Формирование благоприятного социально-психологического климата в педагогическом коллективе // Вестник Челябинского государственного педагогического университета. 2013. № 10.С. 84-91.
3. Коулман Дж. Капитал социальный и человеческий // Общественные науки и современность. 2001. № 3. С. 121-139.
4. Anderson C. S. (1982) The Search for School Climate: A Review of the Research // Review of Educational Research. Vol. 52. No 3. P. 368-420.
5. Argyris C. (1958) Some Problems in Conceptualizing Organizational Climate: A Case Study of a Bank // Administrative Science Quarterly. No 2. P. 501-520.
6. Burke W. W., Litwin G. H. (1992) A Causal Model of Organizational Performance and Change // Journal of Management. Vol. 18. No 3. P. 523-545.
7. Cohen J., McCabe L., Michelli N. M., Pickeral T. (2009) School Climate: Research, Policy, Practice, and Teacher Education // Teachers College Record. Vol. 111. No 1. P. 180-213.
8. Coleman J. S., Campbell E. Q., Hobson C. F., McPartland J., Mood A. M. (1966) Equality of Educational Opportunity (Summary Report). Washington: U. S. Dept. of Health, Education, and Welfare, Office of Education.
9. Coleman J., Hoffer T., Kilgore S. (1982) Cognitive Outcomes in Public and Private Schools // Sociology of Education. Vol. 55. No 2. P. 65-76.
10. Forehand G. A., Gilmer B. (1964) Environmental Variation in Studies of Organizational Behavior // Psychological Bulletin. Vol. 62. No 6. P. 361-382.
11. Freiberg H. J. (1999) School Climate: Measuring, Improving, and Sustaining Healthy Learning Environments. London: Falmer.
12. Halpin A. W., Croft D. B. (1963) The Organizational Climate of Schools. Chicago: Midwest Administration Center of the University of Chicago.
13. Hox J. J., Moerbeek M., van de Schoot R. (2010) Multilevel Analysis: Techniques and Applications. New York: Routledge.
14. Kreft I. G. (1993) Using Multilevel Analysis to Assess School Effectiveness: A Study of Dutch Secondary Schools // Sociology of Education. Vol. 66. No 2. P. 104-129.
15. Kopelman R. E., Brief A. P., Guzzo R. A. (1990) The Role of Climate and Culture in Productivity // B. Schneider (ed.) Organizational Climate and Culture. San Francisco: Jossey-Bass. P. 282-318.
16. Lewin K., Lippitt R., White R. K. (1939) Patterns of Aggressive Behavior in Experimentally Created «Social Climates» // Journal of Social Psychology. Vol. 10. No 2. P. 271-299.
17. MacNeil A.J., Prater D. L., Busch S. (2009) The Effects of School Culture and Climate on Student Achievement // International Journal of Leadership in Education. Vol. 12. No 1. P. 73-84.
18. McGregor D. (1960) Human Side of Enterprise. New York: McGraw-Hill.
19. Moos R. H. (1979) Evaluating Educational Environments. San Francisco: Jossey-Bass.
20. PerryA. (1908) The Management of a City School. New York: Macmillan.
21. Sherblom S. A., Marshall J. C., Sherblom J. C. (2006) The Relationship between School Climate and Math and Reading Achievement // Journal of Research in Character Education. Vol. 4. No 1-2. P. 19-31.
22. Shochet I. M., Dadds M. R., Ham D., Montague R. (2006) School Connectedness is an Underemphasized Parameter in Adolescent Mental Health: Results of a Community Prediction Study // Journal of Clinical Child and Adolescent Psychology. Vol. 35. No 2. P. 170-179.
23. Schneider B. (1972) Organizational Climate: Individual Preferences and Organizational Realities // Journal of Applied Psychology. Vol. 56. No 3. P. 211-217.
24. Tagiuri R. (1968) The Concept of Organizational Climate // R. Tagiuri, G. H. Litwin (eds) Organizational Climate: Explorations of a Concept. Boston: Division of Research, Graduate School of Business Administration, Harvard University. P. 11-32.
25. Way N., Reddy R., Rhodes J. (2007) Students' Perceptions of School Climate during the Middle School Years: Associations with Trajectories of Psychological and Behavioral Adjustment // American Journal of Community Psychology. Vol. 40. No 3-4. P. 194-213.
26. Welsh W. N. (2000) The Effects of School Climate on School Disorder // The Annals of the American Academy of Political and Social Science. Vol. 567. No 1. P. 88-107.
27. Zullig K. J., Koopman T. M., Patton J. M., Ubbes V. A. (2010) School Climate: Historical Review, Instrument Development, and School Assessment // Journal of Psychoeducational Assessment. Vol. 28. No 2. P. 139-152.
School Climate: The History of the Concept, Approaches to Defining, and Measurement in PISA Questionnaire
Authors Tatiana Chirkina
Research Intern at the International Laboratory for Education Policy Analysis of the Institute of Education, National Research University Higher School of Economics. E-mail: tchirkina@hse.ru
Tatiana Khavenson
Research Fellow at the International Laboratory for Education Policy Analysisof the Institute of Education, National Research University Higher School of Economics. E-mail: tkhavenson@hse.ru
Address: 20 Myasnitskaya St., 101000 Moscow, Russian Federation.
Abstract School climate is a significant factor of educational achievement. However, relevant research in Russia is difficult due to the absence of instruments. The paper peeks into the history of the notion of school climate, discussing approaches to defining the term. It also describes the most widespread questionnaires used to measure school climate and provides an analysis of their components. The empirical study is based on the student questionnaire used by the Programme for International Student Assessment (PISA), which should ideally allow measuring a number of school climate aspects. A psychometric analysis based on the methods of confirmatory factor analysis and modern test theory reveals that the structure of school climate indices is different from what questionnaire designers expected it to be. It can not be clearly determined whether the questions reflect the school climate indicators that the questionnaires were supposed to measure. Some statements are worded in such a way that most school students should either agree or disagree with them, without showing any difference in their attitude toward the subject. The scale is unbalanced for the majority of items. The article suggests making some specific steps to improve this instrument.
Keywords schoolclimate, PISA, educational measurement, modern test theory, confirmatory factor analysis, item response theory.
References Anderson C. S. (1982) The Search for School Climate: A Review of the Research. Review of Educational Research, vol. 52, no 3, pp. 368-420. Argyris C. (1958) Some Problems in Conceptualizing Organizational Climate: A Case Study of a Bank. Administrative Science Quarterly, no 2, pp. 501-520. Bogdanova M. (2008) Formirovanie blagopriyatnogo sotsialno-psikhologichesko-go klimata v klasse [Developing a Congenial Socio-Psychological Environment in the Classroom]. Available at: http://festival.1september.ru/articles/524401/ (accessed 20 January 2017). Burke W. W., Litwin G. H. (1992) A Causal Model of Organizational Performance
and Change. Journal of Management, vol. 18, no 3, pp. 523-545. Cohen J., McCabe L., Michelli N. M., Pickeral T. (2009) School Climate: Research, Policy, Practice, and Teacher Education. Teachers College Record, vol. 111, no 1, pp. 180-213.
Coleman J. S. (2001) Kapital sotsialny I chelovecheskiy [Social Capital in the Creation of Human Capital]. Obshchestvennye nauki I sovremennost, no 3, pp. 121-139. Coleman J. S., Campbell E. Q., Hobson C. F., McPartland J., Mood A. M. (1966) Equality of Educational Opportunity (Summary Report). Washington: U. S. Dept. of Health, Education, and Welfare, Office of Education.
Coleman J., HofferT., Kilgore S. (1982) Cognitive Outcomes in Public and Private Schools. Sociology of Education, vol. 55, no 2, pp. 65-76.
Forehand G. A., Gilmer B. (1964) Environmental Variation in Studies of Organizational Behavior. Psychological Bulletin, vol. 62, no 6, pp. 361-382.
Freiberg H. J. (1999) School Climate: Measuring, Improving, and Sustaining Healthy Learning Environments. London: Falmer.
Halpin A.W., Croft D. B. (1963) The Organizational Climate of Schools. Chicago: Midwest Administration Center of the University of Chicago.
Hox J.J., Moerbeek M., van de SchootR. (2010) Multilevel Analysis: Techniques and Applications. New York: Routledge.
Kasatkina N., Aksenova I. (2013) Formirovanie blagopriyatnogo sotzialno-psikho-logicheskogo klimata v pedagogicheskom kollektive [The Formation of Propitious Social and Psychological Climate in the Pedagogical Collective]. Vestnik Chelyabinskogo gosudarstvennogo universiteta, no 10, pp. 84-91.
Kreft I.G. (1993) Using Multilevel Analysis to Assess School Effectiveness: A Study of Dutch Secondary Schools. Sociology of Education, vol. 66, no 2, pp. 104129.
Kopelman R.E., Brief A. P., Guzzo R. A. (1990) The Role of Climate and Culture in Productivity.Organizational Climate and Culture (ed. B. Schneider), San Francisco: Jossey-Bass, pp. 282-318.
Lewin K., Lippitt R., White R. K. (1939) Patterns of Aggressive Behavior in Experimentally Created "Social Climates". Journal of Social Psychology, vol. 10, no 2, pp. 271-299.
MacNeil A.J., Prater D. L., Busch S. (2009) The Effects of School Culture and Climate on Student Achievement. International Journal of Leadership in Education, vol. 12, no 1, pp. 73-84.
McGregor D. (1960) Human Side of Enterprise. NewYork: McGraw-Hill.
Moos R.H. (1979) Evaluating Educational Environments. San Francisco: Jos-sey-Bass.
Perry A. (1908) The Management of a City School. New York: Macmillan.
Sherblom S.A., Marshall J. C., Sherblom J. C. (2006) The Relationship between School Climate and Math and Reading Achievement. Journal of Research in Character Education, vol. 4, no 1-2, pp. 19-31.
Shochet I.M., Dadds M. R., Ham D., Montague R. (2006) School Connectedness is an Underemphasized Parameter in Adolescent Mental Health: Results of a Community Prediction Study. Journal of Clinical Child and Adolescent Psychology, vol. 35, no 2, pp. 170-179.
Schneider B. (1972) Organizational Climate: Individual Preferences and Organizational Realities. Journal of Applied Psychology, vol. 56, no 3, pp. 211-217.
Tagiuri R. (1968) The Concept of Organizational Climate.Organizational Climate: Explorations of a Concept (eds R. Tagiuri, G. H. Litwin), Boston: Division of Research, Graduate School of Business Administration, Harvard University, pp. 11-32.
Way N., Reddy R., Rhodes J. (2007) Students' Perceptions of School Climate during the Middle School Years: Associations with Trajectories of Psychological and Behavioral Adjustment. American Journal of Community Psychology, vol. 40, no 3-4, pp. 194-213.
Welsh W.N. (2000) The Effects of School Climate on School Disorder. The Annals of the American Academy of Political and Social Science, vol. 567, no 1, pp. 88-107.
Zullig K.J., Koopman T. M., Patton J. M., Ubbes V.A. (2010) School Climate: Historical Review, Instrument Development, and School Assessment. Journal of Psychoeducational Assessment, vol. 28, no 2, pp. 139-152.
