CC BY
68
ja (kvalifikacija (stepen') «specialist»). [Federal state educational standard of higher vocational education training (specialty) 060103 Pediatrics (qualification (degree) «specialist»)]. Available at: http://www.edu.ru/db-mon/mo/Data/d_10/prm1122-1.pdf. (In Russian)
17. Formirovanie obshheevropejskogo prostranstva vysshego obrazovanija: Zadachi dlja rossijskoj vysshej shkoly. [Formation of the all-European space of the higher education: Tasks for the Russian higher school.] Moscow: Higher School of Economics, 2004. (In Russian)
18. Bernardi F. D. C., Saldiva P. H. N., Mauad T. Histological examination has a major impact on macroscopic necropsy diagnoses. Journal of clinical pathology. 2005. V. 58. № 12. P. 1261-1264. (Translated from English)
19. Van Gog T., Paas F., van Merriënboer J. J. G. Effects of process-oriented worked examples on troubleshooting transfer performance. Learning and Instruction. 2006. V. 16. № 2. P. 154-164. (Translated from English)
20. Van Men^nboer J. J. G., Kirschner P. A. Ten steps to complex learning. A new approach to instruction and instructional design. In T. L. Good (Ed.), 21st century education: A reference handbook. Thousand Oaks, CA: Sage. 2008. Р. 244-253. (Translated from English)
УДК 377.5
Эрганова Наталья Евгеньевна
доктор педагогических наук, профессор кафедры управления персоналом и психологии Уральского федерального университета им. первого Президента России Б. Н. Ельцина, Екатеринбург (РФ).
Колясникова Людмила Викторовна
кандидат педагогических наук, доцент, начальник отдела оценки качества и развития образовательных программ Российского государственного профессионально-педагогического университета, Екатеринбург (РФ). E-mail: [email protected]
ПОСТРОЕНИЕ РЕЙТИНГА ПРОФЕССИОНАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ С УЧЕТОМ ОСНОВНЫХ ПОЛОЖЕНИЙ ТЕОРИИ ИЗМЕРЕНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ
Аннотация. Цель работы - теоретическое обоснование и описание апробации методики измерения уровня оказания образовательных услуг, качества образования и рейтингования профессиональных образовательных организаций (ПОО).
Методология и методы. Основу методологии проведенного авторами исследования составили положения системного подхода, исследования по
схематизации и моделированию педагогических объектов, положения теории измерения латентных переменных. В качестве основных методов исследования применялись анализ, синтез, сравнительный анализ, статистические методы обработки результатов исследования.
Результаты. Проведен сравнительный анализ потенциалов квалитативного подхода и возможностей применения основных положений теории измерения латентных переменных при оценивании качества образования и построении рейтингов исследуемых объектов. Изложена методика измерения уровня оказания образовательных услуг при построении рейтинга профессиональных образовательных организаций.
Научная новизна. Исследованы педагогические возможности теории измерения латентных переменных, обозначены принципы построения рейтингов профессиональных образовательных организаций.
Практическая значимость. Разработан операциональный конструкт латентной переменной «качество образования» для среднего профессионального образования (СПО), апробированный в Пермском крае, который может служить базой формирования подобных конструктов для построения рейтинга профессиональных образовательных организаций в других регионах.
Ключевые слова: профессиональное образование, рейтингование профессиональных образовательных организаций, цели рейтингования, квалитативный подход, теория измерения латентных переменных, принципы построения рейтингов профессиональных образовательных организаций.
DOI: 10.17853/ 1994-5639-2016-4-46-64
Erganova Nataliy E.
Doctor of Pedagogical Sciences, Professor, Department of Human Resource Management and Psychology, Ural Federal University named after the first President of Russia B. N. Yeltsyn, Yekaterinburg (RF).
Kolyasnikova Lyudmila V.
Candidate of Pedagogical Sciences, Associate Professor, Chief of the Department of Quality Evaluation and Development of Educational Programs, Russian State Vocational Pedagogical University, Yekaterinburg (RF). E-mail: [email protected]
RATING CREATION FOR PROFESSIONAL EDUCATIONAL ORGANIZATIONS BASED ON THE ITEM RESPONSE THEORY
Abstract. The aim of the investigation is to theoretically justify and describe approval of the measurement of the level of provision of educational services, education qualities and rating of vocational educational organizations.
Methods. The fundamentals of methodology of the research conducted by authors are made by provisions of system approach; research on a schematization and modeling of pedagogical objects; the provision of the theory of measurement of latent variables. As the main methods of research the analysis, synthesis, the comparative analysis, statistical methods of processing of results of research are applied.
Results. The paper gives a short comparative analysis of potentials of qualitative approach and strong points of the theory of latent variables in evaluating the quality of education and ratings of the investigated object. The technique of measurement of level of rendering educational services at creation of a rating of the professional educational organizations is stated.
Scientific novelty. Pedagogical opportunities of the theory of measurement of latent variables are investigated; the principles of creation of ratings of the professional educational organizations are designated.
Practical significance. The operational construct of the latent variable «quality of education» for the secondary professional education (SPE) approved in the Perm Territory which can form base of formation of similar constructs for creation of a rating of the professional educational organizations in other regions is developed.
Keywords: vocational education, rating of professional educational institutions, rating goals, qualitative approach, latent variables measurement theory, principles of professional educational organizations rating creation.
DOI: 10.17853/ 1994-5639-2016-4-46-64
В настоящее время в обществе высока потребность в сравнительных данных о качестве жизни, о функционировании социальных институтов и т. д. С одной стороны, открытой информации достаточно, с каждым днем ее количество увеличивается, растет число источников, которые доступны для различных сегментов пользователей. Однако, с другой стороны, люди нуждаются в сведениях, которые позволяли бы понимать сложившиеся ситуации и принимать грамотные решения. Кроме того, они сталкиваются с недостоверной интерпретацией данных и поэтому перестают доверять многим источникам. Все вышесказанное приложимо к современной ситуации в образовании.
Сегодня в России формируется система оценки качества образования. Рейтинги образовательных организаций дошкольного и общего образования, вузов, созданные в рамках проекта «Социальный навигатор» [5], позволили получить опыт в этой сфере.
В исследованиях под рейтингом понимается форма представления результатов оценки деятельности образовательных организаций или систем, при которой участники рейтинга размещаются в определенной последовательности в зависимости от оценок, полученных по различным показателям их деятельности [4].
В системе профессионального образования методика выявления, измерения и оценивания качества образования только формируется в отдельных регионах. Работа по выполнению пилотного проекта «Подготовка и проведение мониторингов и формирования комплексной системы оценки деятельности организаций, реализующих программы профессиональной подготовки и среднего профессионального образования» в Пермском крае позволила нам уточнить цели и задачи рейтингования для среднего профессионального образования.
Цели ранжирования должны быть связаны с пониманием и представлением деятельности образовательных систем и организаций в целом. В то же время они могут быть направлены на развитие оцениваемых объектов и (или) на информационное обеспечение заказчика.
Задачами рейтинга являются:
• использование конкретных показателей, которые однозначно признаются образовательным сообществом, бизнес-структурами и всеми заинтересованными лицами как наиболее значимые;
• предоставление всем заинтересованным в профессиональном образовании лицам возможности получения достаточно точного представления об успешности или неуспешности решения задач качества образования;
• рейтингование и определение лучших профессиональных образовательных организаций как точек роста, на базе которых возможно повышение качества системы в целом;
• выявление лучших образовательных организаций и внедрение успешного опыта в массовую образовательную практику;
• повышение конкуренции и разработка дополнительных стимулов для ПОО, достигающих наиболее высокой результативности и эффективности;
• внедрение критериев и показателей, которые оценивают уровень оказания образовательных услуг ПОО и позволяют создать основу общественно-профессиональной экспертизы ПОО.
В большинстве случаев рейтинги в образовании - это комплексная оценка деятельности образовательной организации. Однако исследователи подчеркивают, что в этом вопросе они сталкиваются с неразрешимым, на их взгляд, противоречием. С одной стороны, чем рейтинг проще, тем легче соотнести между собой составляющие его критерии [1]. Поэтому в региональных системах рейтинги образовательных организаций составлены на основе нескольких показателей качества. В то же время, чем меньше характеристик включает рейтинг, тем он менее точный, тем в меньшей степени может удовлетворить запрос педагогического сообщества, работодателей и региональных органов управления образованием. С другой стороны, наличие большого количества сложных, комплексных показателей, каждый из которых имеет свой весовой коэффициент, дела-
ет рейтинги непрозрачными, а результаты рейтингования неясными. Эта проблема решается в рамках различных научных подходов, наибольшее распространение среди которых получили квалитативный подход и подход, основанный на теории измерения латентных переменных с применением модели Г. Раша [11].
Согласно квалитативному подходу переход от отдельных оценок (Щ к интегральной оценке (1С) возможен в рамках специально разработанных математических моделей, например по формуле [2]:
п
1С = X М- ■ с , (1)
1=1
где п - число оценочных процедур;
С - весовой коэффициент г-й оценочной процедуры, устанавливаемый методом групповых экспертных оценок, причем должно выполняться условие нормирования:
п
X С, = 1. (2)
1=1
Как видно из формулы (1), модель качества объекта измерений зависит от правильности присвоения той или иной оценочной процедуре весовых коэффициентов. Иными словами, важность каждого структурного элемента модели определяется экспертным методом и зависит, в том числе, и от компетенции экспертов. Следовательно, в модели интегральной оценки деятельности образовательной организации присутствует субъективная составляющая.
Таким образом, традиционная методика вычисления интегрального показателя сводится к следующей процедуре:
• на основе экспертных оценок каждой индикаторной переменной приписывается вес: чем выше важность индикаторной переменной, тем он больше;
• абсолютные значения индикаторных переменных переводятся в относительные; это осуществляется следующим образом: для каждой индикаторной переменной определяется ее максимальное значение, которое и принимается за единицу; остальные значения индикаторной переменной выражаются в долях максимального значения;
• относительные значения индикаторной переменной умножаются на вес этой индикаторной переменной, интегральный показатель вычисляется суммированием взвешенных значений всех индикаторных переменных;
• объекты ранжируются на основе полученного интегрального показателя.
Однако данная методика обладает существенными недостатками: во-первых, экспертные оценки субъективны (варьируя весами, можно получить любое ранжирование объектов); во-вторых, используемый набор индикаторов может характеризовать не одну переменную, а несколько, что искажает получаемые оценки; в-третьих, эти оценки не измеряются на линейной шкале, что затрудняет мониторинг и сравнение объектов [10].
Поскольку в социальных науках измеряемая величина является сложным многомерным конструктом, то методика упрощения модели, на наш взгляд, неперспективна.
Особенностью социальных систем являются латентный (скрытый) характер явлений и процессов. Качество таких систем не может быть измерено непосредственно, оно определяется опосредованно, через свои проявления (manifestations). Такая опосредованная процедура измерений обусловливает необходимость разработки инструментов, с помощью которых можно преобразовывать проявления измеряемого свойства в числа, которые можно было бы рассматривать как результат измерений [10]. Для анализа и построения прогнозов развития подобных категорий в научных исследованиях все чаще предлагается применять теорию соответствия наблюдаемых проявлений измеряемого качества однопараметрической модели Г. Раша.
Достоинством теории, по мнению зарубежных исследователей, является то, что при сопряженном вычислении трудности индикаторных переменных они тем не менее рассматриваются как независимые показатели: количественная характеристика исследуемого свойства у каждого объекта не определяется количественной характеристикой трудности предъявляемых к нему требований [7-9].
Результаты сравнительного анализа двух подходов к построению рейтингов объектов обобщены в таблице. Требования к построению рейтинга
Составляющие (компоненты) рейтинга Требования к компоненту в соответствии с квалитативным подходом к построению рейтинга Пояснения к требованиям Требования к компоненту в соответствии с положениями теории измерения латентных переменных Пояснения к требованиям
1 2 3 4 5
Цели и задачи рейтинга Оценка качества профессионального образования Один из подходов к оценке профессионального образования на входе, контролю внут- Измерение однородной характеристики объекта (латентной переменной) Набор индикаторных переменных должен определять один конструкт; рейтинг определяет-
1 2 3 4 5
ренних текущих процессов, оценке профессионального образования на выходе; обеспечение рыночной перспективы; дополнение работы правительства, органов аккредитации и независимых органов оценки ся как результат взаимодействия объекта измерения и набора индикаторных переменных на основе модели измерения
Прозрачность и понятность цели рейтинга для рейтингуемых ПОО Рейтингуемым ПОО должны быть понятны цели и последствия рейтинго-вания Прозрачность и понятность цели рейтинга для рейтингуемых объектов измерения Рейтингуемым объектам измерения должны быть понятны цели и последствия рейтинго-вания
Учет разнообразия ПОО Набор показателей может варьироваться в зависимости от цели составления рейтинга; возможна кластеризация (стратификация) ПОО по типу, географическому положению, количеству реализуемых образовательных программ, количеству обучающихся и т. д. Определение местоположения объекта измерения на интервальной шкале (шкале логитов) В основе измерений лежит логистическая модель, набор индикаторных переменных верифицируется на соответствие модели измерения, местоположение объекта измерения на шкале определяется совокупностью количественных характеристик объекта, отраженных в объективизированных индикаторах конструкта, соответствующих модели измерения
1 2 3 4 5
Показа- Прозрачность Источники дан- Прозрачность Начальные (ис-
тели ис- и понятность по- ных, расчет по- и понятность по- ходные) данные
следу- казателей казателей казателей (инди- в количествен-
емой ха- каторов) ном выражении
ракте- должны быть
ристики понятны всем
объекта участникам рейтингования
Релевантность Выбор данных Совместимость На этапе состав-
и валидность по- должен быть ос- показателей, ления конструк-
казателей нован на приз- пригодность та определяются
нании способ- каждого показа- экспертным ме-
ности каждого теля для измере- тодом, после ап-
показателя ния требуемой робации инстру-
представлять латентной пере- мента - на осно-
качество, а так- менной ве соответствия
же академичес- модели измере-
кие и институ- ния. Совмести-
циональные мость индикато-
сильные сторо- ров свидетель-
ны, а не наличие ствует о том, что
данных; должно все индикаторы
быть понятно, определяют одну
почему показа- и ту же латен-
тели были вклю- тную перемен-
чены и что они, ную
как предполага-
ется, должны
представлять
Вес показателей На входе - сос- Отсутствие весо- Повышает объ-
результатов дол- тояние системы, вых коэффици- ективность из-
жен быть выше, показатели более ентов показате- мерений, нет по-
чем показателей доступны, но от- лей пыток экспер-
на входе ражают общие условия функционирования ПОО; на выходе - более точно отражают качество деятельности ПОО тным методом определить значимость каждого показателя
Обоснованность Изменения весо- Соответствие Определяется на
и, по возмож- вых коэффици- каждого инди- основе модели
ности, неизмен- ентов мешают катора модели Г. Раша. Если
ность веса пока- потребителям измерения данные адекват-
зателей понять, поменя- ны модели, то их
1 2 3 4 5
лось ли положение учебного заведения или программы в рейтингах из-за присущих им различий или из-за методологических перемен можно использовать для измерения. Если же данные неадекватны модели, то они непригодны для измерения
Определение направления влияния индикаторной переменной Большее значение индикаторной переменной не всегда соответствует большему значению латентной переменной, поэтому необходимо установить направление влияния индикаторной переменной (прямо или обратно пропорционально) на латентную переменную
Квантование (градация) индикаторов Точность измерения латентной переменной зависит от числа градаций (уровней квантования) индикаторной переменной. Уровень, на котором находится индикаторная переменная, определяется по формуле
Сбор и обработка данных Соблюдение этических норм и объективность процедуры сбо- С целью обеспечения доверия к каждому рейтингу ответ- Совпадает
1 2 3 4 5
ра данных ственные за сбор и использование данных, а также те, кто обследует ПОО, должны быть как можно более объективны и беспристрастны
Достоверность и проверяемость данных Достоверность информации, получаемой из различных источников (базы данных, преподаватели, обучающиеся, работодатели) Совпадает Проводится детальный анализ адекватности данных модели измерения
Возможность корреткировки данных Должен быть этап в процедуре построения рейтинга, на котором ПОО могут исправить ошибки в исходных данных, если они их обнаружат в массиве до процедуры их обработки Совпадает
Репрезентативность выборок При формировании выборок при анкетировании преподавателей и обучающихся учитывать требования объема и репрезентативности выборок Совпадает
Интерпретация и представление ре- Понятнось результатов рейтинга Рейтингуемые организации должны понимать принципы построения рей- Результаты рей-тингования ПОО отображаются на линейной шкале Значения рейтинга представлены на интервальной шкале, имеют единицу
1 2 3 4 5
зультатов тингов, иметь измерения - ло-
рейтинга возможность гит. Модель Г. Ра-
влияния на сис- ша превращает
тему и весовые измерения, сде-
коэффициенты ланные в дихо-
показателей томических
и порядковых
шкалах, в ли-
нейные измере-
ния, это позво-
ляет использо-
вать широкий
спектр статисти-
ческих процедур
для анализа ре-
зультатов изме-
рений
Обобщая данные, приведенные в таблице, можно сделать следующие выводы.
Основные недостатки рейтинга, построенного на основе показателей, для которых определяются весовые коэффициенты, - это субъективность весов экспертов и нелинейность шкалы. Зависимость веса показателя от состава экспертной группы и времени установления веса делает систему показателей неустойчивой, а рейтинг необъективным (зависит от субъективных мнений экспертов). Нелинейность шкалы оценивания затрудняет применение статистических методов анализа, предполагающих линейную шкалу измерения.
Основные достоинства формирования интегральных показателей на основе теории измерения латентных переменных состоят в следующем:
• отсутствует фактор субъективности, поскольку нет необходимости в использовании экспертных оценок;
• наличие оценки совместимости используемых индикаторов: оценивается конструктная валидность измерительного инструментария - выясняется, действительно ли все показатели измеряют одну и ту же латентную переменную (в нашем исследовании - уровень оказания образовательных услуг образовательными организациями среднего профессионального образования);
• латентная переменная измеряется на линейной шкале, что позволяет использовать широкий класс статистических процедур для решения задач мониторинга и сравнения объектов исследования;
• чем больше число используемых индикаторов, тем выше точность измерения латентной переменной [3].
Для построения полного, достоверного, релевантного рейтинга, обеспечивающего прозрачность используемой методологии, учет разнообразия деятельности образовательных организаций с применением основных положений теории латентных переменных, необходимо соблюдение ряда принципов. Опишем основные из них для создания рейтингов ПОО.
Независимость построения рейтинга. Необходимы независимые от образовательных организаций процедуры отбора, сбора и обработки количественных и качественных показателей. Эти процедуры проводятся сторонней структурой, включающей в себя представителей образовательного сообщества и работодателей.
При этом формирование и отбор показателей происходит с учетом государственных требований к качеству осуществления основных видов образовательной деятельности, требований и ожиданий трудоустраивающих выпускников ПОО работодателей, самих обучающихся и их родителей.
Интегративный (комплексный) характер построения рейтингов. Данный принцип показывает, что предмет оценивания, например, качество осуществления основных видов деятельности ПОО, должен быть представлен комплексно по основным направлениям деятельности организации.
Количество направлений деятельности и совокупность показателей по каждому ее виду определяется экспертами на первом аналитическом этапе построения системы показателей. Оценивание приобретает инте-гративный (комплексный) характер в том случае, если в качестве объектов оценивания выступают результат или процесс деятельности, а также образовательная среда ПОО.
Таким образом, создается система обобщенных показателей и индикаторов оценки процесса, результатов и условий осуществления основных видов деятельности ПОО. В пилотном проекте по Пермскому краю нами была предложена модель качества образовательных услуг по пяти направлениям деятельности ПОО. Общая оценка деятельности организаций, реализующих программы профессиональной подготовки и среднего профессионального образования, являлась интегральной оценкой по пяти различным видам деятельности ПОО:
• сетевое взаимодействие краевых организаций СПО;
• наличие у образовательных организаций, реализующих программы СПО, инфраструктуры, обеспечивающей беспрепятственный доступ к объектам и услугам для инвалидов;
• мониторинг востребованных рынком труда Пермского края профессий и направлений подготовки;
• кадровые, информационные, учебно-методические ресурсы образовательных организаций Пермского края;
• оценка качества образования.
Для каждого вида деятельности было отобрано от четырех до двадцати семи индикаторов оценки деятельности ПОО.
Объективность оценивания подразумевает его осуществление независимыми экспертами на основании показателей и индикаторов, объективно значимых для качества выполнения основных видов деятельности ПОО. Важнейшим условием при этом является взаимосвязь показателей и индикаторов с предметом оценивания (результат и/или процесс, условия деятельности ПОО).
Практикоориентированность рейтинга, или ориентированность рейтинга на рынок труда, предполагает комплексный характер показателей, в которых должна быть отражена не только нормативная составляющая деятельности, но и требования работодателей и обучающихся, являющиеся связующим звеном между государством, бизнесом и образованием. Поскольку работодатели сегодня заинтересованы в специалистах, готовых к решению профессиональных задач, наличии у них личностных качеств, повышающих эффективность таких решений, показатели качества результата и условий деятельности ПОО должны учитывать эти запросы.
Итерационный характер разработки системы показателей рейтинга обеспечивает валидность измерительного инструмента и подразумевает включенность в его создание представителей академического и профессионального сообществ. Апробация измерительного инструментария рейтинга - системы индикаторов - проводится на выборке ПОО. Результаты апробации подвергаются математической обработке на основе положений теории измерения латентных переменных. Инструментарий требует корректировки набора показателей на основе интерпретации результатов апробации в целях окончательной итерации, которая, в свою очередь, должна пересматриваться через определенный промежуток времени (от года до пяти лет) на предмет актуальности и соответствия предмету оценивания.
Адаптируемость инструментария построения рейтинга (непротиворечивость и преемственность процедур внутреннего и внешнего оценивания). Идеи построения рейтинга распространяются на процедуры внешнего и внутреннего (внутри ПОО) оценивания, обеспечивая тем самым преемственность и непротиворечивость этих процедур. Единые под-
ходы к разработке показателей для любых предметов оценивания - процесса, результата и условий осуществления деятельности - обеспечивают эффективность оценивания, а также целенаправленное управление этими показателями руководством ПОО, создают возможности улучшения деятельности и, как следствие, повышают рейтинг ПОО.
Систематичность проведения процедуры рейтинга: процедура создания рейтинга не разовая, а периодически повторяющаяся. Результаты рейтинга используются руководством ПОО либо для удержания высоких позиций, либо для улучшения показателей.
В ходе исследований в Пермском крае выявлено, что сформированная совокупность индикаторов может быть использована для проведения мониторингов в целях создания комплексной системы оценки деятельности организаций, реализующих программы профессиональной подготовки и среднего профессионального образования. Для измерения уровня оказания образовательных услуг использовалась диалоговая система RUMM 2030 (Rasch Unidimensional Measurement Models), разработанная под руководством Дэвида Эндрича [6].
Результаты пилотного проекта показали, что совместимость 59 индикаторов, определяющаяся на основе критерия х2, составляет значение 124,2; число степеней свободы 122,0; эмпирический уровень значимости 0,425. Поскольку эмпирический уровень значимости статистики х2 значительно превысил значение 0,05, можно утверждать, что все 59 индикаторов являются совместимыми и адекватны модели измерений. Совместное распределение индикаторных переменных, характеризующих деятельность ПОО Пермского края (в пилотном проекте приняли участие 53 образовательные организации) по выявленному уровню оказания образовательных услуг отражено на гистограмме.
В верхней части рисунка находится гистограмма, показывающая распределение ПОО по уровню оказания образовательных услуг, в нижней - отражено распределение индикаторных переменных по значению трудности на той же самой шкале. Здесь persons соответствуют ПОО, а items - 59 индикаторным переменным.
На гистограмме лучшие по комплексной оценке деятельности ПОО находятся в правой части шкалы логитов, а ПОО, для которых латентная переменная «уровень оказания образовательных услуг» имеет наименьшие значения, находятся в диапазоне минимальных значений шкалы логитов.
10 -1
Ж
ЩИ Р
Г 5
Регеоп-Иет ТЬгв^ЪоИ 0>51пЬи(юп
№оир 14 [о Иеггак.епд!)-! о* 0.?0 тэ^гч 35 Огоцр^)
но. л;
Тосв1 [И] 0,41
—Г"
?
• Г7Г7—ЙЁЙ
Ж
II
Л
11
х
11
ш I
I .....
III
I
10 ■
штшшмтт
1Я.?*.
0,0%
■5 НИШ! :IП
0.0%
Распределение профессиональных образовательных организаций и индикаторных переменных на шкале логитов
Исходя из представленной на рисунке информации можно сделать следующие выводы:
• диапазон варьирования ПОО достаточный и составляет 3 логита (от -1,2 до +1,8), что свидетельствует о достаточном различии между ними по диагностированному уровню оказания образовательных услуг;
• значения индикаторных переменных варьируются в большом диапазоне - 7 логитов (от -3 до +4), что обеспечивает высокую точность измерения на всем диапазоне показателей комплексной оценки деятельности и оценки качества образования;
• индикаторные переменные распределены по трудности практически равномерно, что указывает на возможность использования данной системы для измерения уровня оказания образовательных услуг ПОО Пермского края;
• спроектированный набор индикаторов соответствует по трудности уровню оказания образовательных услуг ПОО Пермского края.
Таким образом, рейтингование может быть одним из подходов к оценке деятельности образовательных организаций и систем профессиональной подготовки. Однако методика, основанная на квалитативном подходе, имеет спорный характер с точки зрения обоснованности весовых коэффициентов показателей качества оказания образовательных услуг организациями из различных регионов, с разными социально-экономическими условиями и контингентом обучающихся. Значительная дифференциация условий не только на уровне регионов, но и на уровне конкретных образовательных организаций доказывает несопоставимость рейтингов образовательных организаций вне учета этих условий и вне контекста их деятельности.
Статья рекомендована к публикации д-ром пед. наук, проф. В. А. Федоровым
Литература
1. Аверкин В. Н., Каплунович Т. А., Осипов А. А. Рейтингование в сфере образования как фактор эффективного управления реализацией образовательной политики / / Рейтинги в образовании: от разовых практик к культурным решениям: сб. материалов. Москва: Высшая школа экономики, 2014. С. 74-87.
2. Агранович М. Л. Зачем нам рейтинги и как с ними бороться // Рейтинги в образовании: от разовых практик к культурным решениям: сб. материалов. Москва: Высшая школа экономики, 2014. С. 19-26.
3. Косарецкий С. Г., Седельников А. А. Нормативное регулирование независимой оценки качества образования в Российской Федерации / / Рейтинги в образовании: от разовых практик к культурным решениям: сб. материалов. Москва: Высшая школа экономики, 2014. С. 38-50.
4. Кулемин Н. А. Квалиметрический мониторинг управления качеством образования: концепция, технология, модель. Москва; Ижевск: Алфавит, 2000. 187 с.
5. Маслак А. А., Данилов А. А. Разработка методики измерения качества образования в школе: методические рекомендации. Славянск-на-Кубани: СГПИ, 2009. 67 с.
6. Мерцалова Т. А. Региональные стратегии развития независимого рей-тингования / / Рейтинги в образовании: от разовых практик к культурным решениям: сб. материалов. Москва: Высшая школа экономики, 2014. С. 51-73.
7. Поздняков С. А. Метод и алгоритмы измерения латентных переменных при управлении в образовательных системах: дис. ... канд. тех. наук. Курск, 2009. 168 с.
8. Принципы рейтингования в образовании в Российской Федерации (для образовательных систем и организаций дошкольного, общего и дополнительного образования детей) / / Рейтинги в образовании: от разовых практик к культурным решениям: сб. материалов. Москва: Высшая школа экономики, 2014. С. 11-18.
9. Рачевский Е. Л., Болотов В. А., Чепурных Е. Е., Усачева А. А. Публичные рейтинги в образовании: оценка качества и качество оценки / / Рейтинги в образовании: от разовых практик к культурным решениям: сб. материалов. Москва: Высшая школа экономики, 2014. С. 5-9.
10. Третьякова Т. В. Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями: автореферат диссертации на соискание ученой степени доктора педагогических наук. Якутск, 2010. 45 с.
11. Эрганова Н. Е., Колясникова Л. В., Игонина Е. В. Теоретические и практические аспекты выявления и оценивания качества образования в школе / / Образование и наука. 2014. № 3. С. 35-48.
12. Эрганова Н. Е., Колясникова Л. В., Игонина Е. В. Теоретические и практические аспекты выявления и оценивания качества образования в школе / / Образование и наука. 2014. № 4. С. 91-112.
13. Andrich D. Advanced Social and Educational Measurement. Perth: Murdoch University, 2001. 128 p.
14. Bond T. G., Fox C. M. Applying the Rasch model. Fundamental Measurement in the Human Sciences. Mahwah, New Jersy: Lawrence Erlbaum Associates, Inc., Publishers, 2001. 255 p.
15. Getting Started RUMM 2010. RaschUnidimensional Measurement Models. Pert: RUMM Laboratory Ltd, 2001. 87 p.
16. Ingebo G. S. Probability in the Measure of Achievement. Chicago: MESA Press, 1997. 148 p.
17. Maslak A. A., Karabatsos G., Anisimova T. S., Osipov S. A. Measuring and Comparing Higher Education Quality between Countries Worldwide / / Journal of Applied Measurement, 2005. V. 6, № 4. P. 432-442.
18. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright). Chicago: University of Chicago Press, 1980. 199 p.
19. Smith E. V., Smith M. S. Introduction to Rush Measurement. Theory, models and applications. Maple Grove, Minnesota: JAM Press, 2004. 689 p.
References
1. Averkin V. N., Kaplunovich T. A., Osipov A. A. Rejtingovanie v sfere obrazo-vanija kak faktor jeffektivnogo upravlenija realizaciej obrazovatel'noj politiki. [Rating in education as factor of effective management of the implementation of educational policy]. Rejtingi v obrazovanii: ot razovyh praktik k kul'turnym reshenijam. [Rating in education: from single solutions to cultural practices]. Moscow: Vysshaja shkola jeko-nomiki. [Higher School of Economics]. 2014. P. 74-87. (In Russian)
2. Agranovich M. L. Zachem nam rejtingi i kak s nimi borot'sja. [Why do we need ratings and how to fight them]. Rejtingi v obrazovanii: ot razovyh praktik k kul'turnym reshenijam. [Rating in education: from single solutions to cultural practices]. Moscow: Vysshaja shkola jekonomiki. [Higher School of Economics]. 2014. P. 19-26. (In Russian)
3. Kosaretsky S. G., Sedelnikov A. A. Normativnoe regulirovanie nezavisimoj ocenki kachestva obrazovanija v Rossijskoj Federacii. [Regulatory control of education quality independent evaluation in the Russian Federation]. Rejtingi v obrazovanii: ot razovyh praktik k kul'turnym reshenijam. [Rating in education: from single solutions to cultural practices]. Moscow: Vysshaja shkola jekonomiki. [Higher School of Economics]. 2014. P. 38-50. (In Russian)
4. Kulemin N. A. Kvalimetricheskij monitoring upravlenija kachestvom obrazo-vanija: koncepcija, tehnologija, model'. [Qualimetric monitoring of the quality control of education: the concept, the technology mode. Moscow; Izhevsk: Publishing House Alfavit. [Alphabet]. 2000. 187 p. (In Russian)
5. Maslak A. A., Danilov A. A. Razrabotka metodiki izmerenija kachestva obrazovanija v shkole. [Development measuring school education quality method]. Slav-yansk-On-Kuban: SGPI, 2009. 67 p. (In Russian)
6. Mertsalova T. A. Regional'nye strategii razvitija nezavisimogo rejtingovanija. Regional development strategies of independent rating. Rejtingi v obrazovanii: ot ra-zovyh praktik k kul'turnym reshenijam. [Rating in education: from single solutions to cultural practices]. Moscow: Vysshaja shkola jekonomiki. [Higher School of Economics]. 2014. P. 51-73. (In Russian)
7. Pozdnyakov S. A. Metod i algoritmy izmerenija latentnyh peremen-nyh pri upravlenii v obrazovatel'nyh sistemah. [Method and algorithms latent variables measurement in management of educational systems]. Cand. diss. Kursk, 2009. 168 p. (In Russian)
8. Principy rejtingovanija v obrazovanii v Rossijskoj Federacii (dlja obrazova-tel'nyh sistem i organizacij doshkol'nogo, obshhego i dopolnitel'nogo obrazovanija de-tej). [Principles of rating in education of the Russian Federation (for the educational systems and institutions of pre-school, primary and additional education of children)]. Rejtingi v obrazovanii: ot razovyh praktik k kul'turnym reshenijam. [Ratings in education: from single solutions to cultural practices]. Moscow: Moscow: Vysshaja shkola jekonomiki. [Higher School of Economics].2014. P. 11-18. (In Russian)
9. Rachevsky E. L. Bolotov V. A., Chepurnykh E. E., Usachev A. A. Publichnye rejtingi v obrazovanii: ocenka kachestva i kachestvo ocenki. [Public ratings in education: quality assessment and assessment quality]. Rejtingi v obrazovanii: ot razovyh praktik k kul'turnym reshenijam. [Rating in education: from single solutions to cultu-
ral practices]. Moscow: Vysshaja shkola jekonomiki. [Higher School of Economics]. 2014. P. 5-9. (In Russian)
10. Tretyakova T. V. Sistema ocenki kachestva obrazovanija i ee postroenie v regionah s territorial'nymi i nacional'nymi osobennostjami. [Education quality assessment system and it's creation in regions with territorial and national features]. Abstract of doct. diss. Yakutsk, 2010. 45 p. (In Russian)
11. Erganova N. Y., Kolyasnikova L. V., Igonina Y. V. Theoretical and practical aspects of identification and evaluation of school education quality. Obrazo-vanie i nauka. [Education and Science]. 2014. № 3. P. 35-48. (In Russian)
12. Erganova N. Y., Kolyasnikova L. V., Igonina Y. V. Theoretical and Practical Aspects of Identification and Evaluation of School Education Quality. Obrazo-vanie i nauka. [Education and Science]. 2014. № 4. P. 91-112. (In Russian)
13. Andrich D. Advanced Social and Educational Measurement. Perth: Murdoch University, 2001. 128 p. (Translated from English)
14. Bond T. G., Fox C. M. Applying the Rasch model. Fundamental Measurement in the Human Sciences. Mahwah, New Jersy: Lawrence Erlbaum Associates, Inc., Publishers, 2001. 255 p. (Translated from English)
15. Getting Started RUMM 2010. RaschUnidimensional Measurement Models. Pert: RUMM Laboratory Ltd, 2001. 87 p. (Translated from English)
16. Ingebo G. S. Probability in the Measure of Achievement. Chicago: MESA Press, 1997. 148 p. (Translated from English)
17. Maslak A. A., Karabatsos G., Anisimova T. S., Osipov S. A. Measuring and Comparing Higher Education Quality between Countries Worldwide. Journal of Applied Measurement. 2005. V. 6. № 4. P. 432-442. (Translated from English)
18. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright). Chicago: University of Chicago Press, 1980. 199 p. (Translated from English)
19. Smith E. V., Smith M. S. Introduction to Rush Measurement. Theory, models and applications. Maple Grove, Minnesota: JAM Press, 2004. 689 p. (Translated from English)
