CC BY
92
ЭКОНОМИЧЕСКАЯ ТЕОРИЯ ОБРАЗОВАНИЯ
УДК 37.014
Гуськова М. В. ОСНОВНЫЕ МОДЕЛИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ ПРОЕКТОВ И ПРОГРАММ
Рассмотрены параметрические и причинно-обусловленные модели для оценки качества образовательных проектов и программ. Проанализированы сферы применения этих моделей в образовании. Приведены аргументы, подчеркивающие важную роль такой оценки при анализе результатов модернизации образования.
Ключевые слова: Параметрические и причинно-обусловленные модели, оценка качества, образовательные проекты и программы, модернизация образования.
Эффективность повышения качества образования во многом зависит от результатов выполнения проектов и программ, нацеленных на введение инноваций при модернизации образования. Однако нередко в наиболее масштабных проектах трудно не только отследить результаты выполнения этих проектов и программ, но и достоверно предсказать их отсроченное воздействие на качество процесса и результаты обучения в силу отсутствия системного анализа.
Например, полемика по поводу пользы или вреда от введения ЕГЭ до сих пор ведется без всякой доказательной базы аргументов как сторонниками, так и противниками единого экзамена. Потому и критика со стороны последних не имеет конструктивного характера. Столь же проблематично выглядят последствия нововведений в ВПО, когда вузы начали в 2011 г. работать по новым ФГОС, предполагающим уровневую подготовку специалистов и переход к компетентному подходу. До сих пор никто не пытался проанализировать масштабы перемен, процесс их протекания и возможные последствия - не только планируемые позитивные, но и непредвиденные негативные.
Две модели оценки Решение перечисленных проблем лежит в сфере эвалюации. Ее отличительными чертами являются системность, научность, опора на методы моделирования и высокая прогностичность, которые позволяют с достаточной достоверностью ответить на вопросы о том, каковы будут последствия выполнения проектов и программ по модернизации отечественного ВПО.
Эвалюация — интегративное понятие, которое включает все направления оценочно-аналитической деятельности:
- постановку целей; определение методологического подхода, как правило, с опорой на динамические методы анализа изменений характеристик обучаемых;
- разработку логических и математических моделей для анализа процессов выполнения проектов и программ;
- выбор методов сбора и анализа информации на основе теории педагогических измерений; генерализацию данных;
- разработку методов интерпретации данных анализа для принятия управленческих решений в целях повышения качества образования.
В эвалюации используются две дополняющие друг друга модели оценочной деятельности.
Установление взаимного влияния результатов эвалюации проводится на основе причинно-обусловленного моделирования первого вида, суть которого сводится к построению логических моделей для анализа процесса эвалюации. При этом исследователи руководствуются простым принципом: прежде чем оценивать результаты или их воздействие при выполнении программы или проекта, необходимо удостовериться в том, что сам процесс выполнения и функционирование его компонентов действительно протекают согласно предложенному плану и теоретической модели. Поэтому причинно-обусловленные модели используются обычно при проведении так называемой «эвалюации процесса» один или несколько раз в период выполнения проекта или программы.
Разработка инструментария эвалюации осуществляется путем математического моделирования второго вида, которое развивается в рамках современной теории измерений, получившей название Item Response Theory (IRT). Математические модели этой теории используются для анализа результатов, обеспечивая получение надежных и валидных данных о воздействии управляемых переменных на качество результатов образования.
Обращаясь к моделям первого вида, можно выделить несколько категорий в зависимости от видов анализируемых переменных. В их число входят как управляемые переменные, так и переменные, не поддающиеся контролю и управлению. В целом при
52
© Гуськова М. В., 2012
установлении причинных связей между переменными принято выделять: прямые, косвенные, ложные, модерируемые и двунаправленные причинно-обусловленные связи, а также связи, не поддающуюся анализу
Помимо анализа процесса эвалюации необходимо обеспечить деятельность, которая поможет выявить наблюдаемые результаты проекта, получить информацию для объяснения его результатов и получения ответа на вопрос, был ли достигнут прогресс в обучении и реализованы цели, заявленные при планировании нововведений по результатам выполнения образовательного проекта?
Для этого приходится обращаться к моделям второго вида и теории измерений, позволяющей перенести результаты проекта на количественную или качественную шкалу для их дальнейшего анализа и интерпретации. Перенос результатов эвалюа-ции на шкалу позволяет абстрагироваться от самих объектов эвалюации, в роли которых обычно выступают обучаемые, переходя к анализу взаимного расположения точек на шкале, являющихся отображением оценок измеряемых переменных.
Шкала оценок
Наиболее современный и эффективный подход к построению шкал переменных основан на параметрических моделях ЖГ, устанавливающих функциональную связь между наблюдаемыми результатами измерений и латентными (скрытыми, не наблюдаемыми) переменными, являющимися объектами воздействия в программах и проектах. Обычно роль латентных переменных отводится параметрам обучаемых, в роли которых выступают оценки характеристик учебных достижений (знаний или умений), а в последнее время - оценки компетенций.
Поскольку речь идет о параметрах, а не об их приближенных оценках, то подразумевается величина, отображающая характеристики учебных достижений или уровень освоения компетенций с нулевой ошибкой измерения («истинная оценка», как принято в теории педагогических измерений). ЖТ обладает высокоразвитым математическим аппаратом, позволяющим осуществить переход от наблюдаемых, приближенных оценок параметров интервального характера к точечным истинным оценкам параметров, в роли которых выступают оценки наибольшего правдоподобия, получаемые на основе построения специальной функции по методу максимального правдоподобия Фишера.
В целом теория ЖГ, нацеленная на оценивание латентных параметров испытуемых и заданий тестов на основе математико-статистических моделей измерения, является частью более общей теории латентноструктурного анализа (LSA), хотя каждое из этих направлений и имеет свои характерные особенности и свою сферу применения. В частности,
в LSA оцениваемые значения параметров рассматриваются как некие дискретные точки на оси латентной переменной, в то время как в ЖГ распределения переменных предполагаются непрерывными. Область использования LSA - социально-психологические исследования, тогда как ЖГ применяется в основном при педагогических измерениях.
Современная технология для оценочной деятельности
Необходимость использования ЖГ для сбора информации при проведении эвалюации достаточно очевидна. Эта теория обладает рядом неоспоримых преимуществ по сравнению с классической теорией тестов.
К наиболее значимым преимуществам ЖГ обычно относят:
- устойчивость и высокую объективность оценок параметра, характеризующего уровень учебных достижений или компетентность испытуемых;
- устойчивость и высокую объективность оценок параметре трудности заданий измерителя, не зависящих, в свою очередь, от подготовленности репрезентативной выборки испытуемых, на которой выполнялось измерение;
- возможность измерения значений параметров испытуемых и трудности заданий теста в одной и той же шкале, имеющей свойства интервальной, что предполагает наличие одной единицы измерения для оценок обоих параметров и значительно повышает возможности интерпретации результатов измерений при эвалюации;
- наличие дифференцированных ошибок измерения для оценок параметров, позволяющих повысить надежность и валидность информации о результатах воздействия проекта на качество результатов обучения при проведении эвалюации.
Первоначально в ЖГ вводится основное предположение о существовании некоей функциональной взаимосвязи между наблюдаемыми результатам измерения и латентными параметрами испытуемых, выраженной в виде параметрических моделей педагогического измерения. Эта взаимосвязь обычно задается в виде специальной функции, содержащей то или иное число параметров. В зависимости от числа параметров в ЖГ выделяют одно-, двух- и трехпараметрические модели [6, 7]. Предполагается, что каждому испытуемому ставится в соответствие только одно значение латентного параметра, определяющего наблюдаемые результаты измерение Требование одномерности не носит обязательного характера для тех случаев, когда измерения затрагивают проблемы оценивания компетенций.
В условиях, когда оценки параметра подготовленности обучаемого и параметра трудности учебных заданий выражены в единой шкале логитов, принятой в ЖГ, однопараметрическая модель
Экономика образования ♦ № 3, 2012
53
постулирует для обучаемого с уровнем подготовленности, равным трудности оценочного задания, вероятность правильного ответа в 50%. Для испытуемых с уровнем подготовленности намного большим, чем трудность заданий измерителей, эта вероятность стремится к единице. В случае же, когда трудность заданий намного превышает подготовленность обучаемого, вероятность правильного выполнения заданий будет стремиться к нулю.
Таким образом, в рамках основного предположения ЖГ устанавливается функциональная связь, в которую включены параметры двух латентных множеств. Элементы первого множества - оценки латентного параметра N испытуемых 0, где] =1,2,... N. Второе множество образуют оценки латентного
параметра Р(/' = 1, 2, ... п), равные трудности п
заданий измерителя. Тогда однопараметрическая математическая модель ЖГ (логистическая модель Г. Раша), отображающая взаимосвязь между эмпирическими результатами измерения и оценками
латентных переменных 0 и Р и задающая условную вероятность Р( 0) правильного выполнения ]-го задания трудностью Р J, когда 0 считается независимой переменной, имеет следующий вид:
М0-ь„) р (0)_ 1 + е1.7(0-Ь1)
либо
р (0) = (1+^(1,7(0-ь}. )))',
где коэффициент 1,7 является шкалирующим множителем, обеспечивающим возможность сопоставления результатов измерения, полученных на основе логистической модели с данными по другим моделям измерения.
Методика повышения качества
Наиболее сильный аргумент в пользу ЖГ связан с введением информационной функции на основе дифференцированной ошибки измерения, которая используется для оценки эффективности измерителя и позволяет при проведении эвалюа-ции значительно повысить качество результатов измерения.
Процесс повышения эффективности связан с подбором наиболее пригодных заданий, обеспечивающих минимальное отклонение оценки 0г. от параметра испытуемого. Степень пригодности принято характеризовать с помощью относительной величины, называемой информацией. По одному из определений, предложенных А. Бирнбаумом [7], объем информации, обеспеченный ]-м заданием
теста в данной точке 0, - это величина, обратно пропорциональная стандартной ошибке измерения данного значения 0г. с помощью задания.
Достаточно важно для обеспечения объективности и эффективности управленческих воздействий правильно выбрать модель педагогического измерения в ЖГ.
Отдавая предпочтение классу однопараметрических моделей, можно выиграть в качестве измерений. Однако неизбежная в этой ситуации одномерность трактовки результатов измерений сузит круг управленческих решений. Выбирая двухпараметрические модели, можно получить более многогранную информацию, но проиграть в надежности измерений.
Несомненно, эти вопросы требуют систематических исследований. Они-то и проводятся автором статьи применительно к проблеме эвалюации программ и проектов, в частности по отношению к введению ФГОС в систему ВПО.
Внедрение ФГОС в эвалюации, очевидно, должно вестись в режиме мониторинга, поскольку необходимо систематически отслеживать результаты воздействия новых ФГОС на качество ВПО. Для проведения измерений должны быть выполнены определенные этапы, к числу которых можно отнести следующие:
- разработку описаний признаков проявления компетенций в операционализируемой (поддающейся измерению) форме по различным направлениям профессиональной подготовки в вузах;
- разработку компетентно-ориентированных измерителей, позволяющих надежно и валидно оценить компетенции;
- построение шкал результатов измерений интервального характера;
- проведение анализа шкалированных результатов измерений для выявления изменений (позитивных либо негативных) в качестве результатов образования;
- построение прогностических моделей эвалю-ации для выявления тенденций изменения качества результатов образования.
Таким образом, следует отметить в заключение, эвалюация является не только аппаратом для констатации воздействия нововведений, основанных на выполнении проектов и программ, но и эффективным прогнозирующим механизмом. Он позволяет предвидеть и нивелировать негативные воздействия инноваций на качество отечественного образования.
Библиографический список
1. Звонников В. И. Измерения и качество образования. - М. : Логос, 2006.
2. Проектирование основных образовательных программ, реализующих федеральные государственные
образовательные стандарты высшего профессионального образования - Исследовательский центр проблем качества подготовки специалистов. Координационный совет учебно-методических объединений и научно-методических советов высшей школы. - М., 2009.
3. Челышкова М. Б. Теория и практика конструирования педагогических тестов. - М. : Логос, 2002.
4. Hambleton R. K. Fundamentals of Item Response Theory / R. K. Hambleton, Н. Swaminathan, H. J. Rogers. -N. Y. : SAGE Publications, 1991.
Guskova M. V.
BASIC MODELS EVALUATE THE QUALITY OF EDUCATIONAL PROJECTS AND PROGRAMS
Considered parametric and causal models to assess the quality of educational programs and projects. Analyzed the application of these models in education. The arguments, emphasizing the important role of this assessment in the analysis of educational modernization.
Keywords: parametric and causal models, quality assurance, educational projects and programs, the modernization ofeducation.
УДК 378.014.543.5
Новожилов Э. Д. ОПРЕДЕЛЕНИЕ ЭКОНОМИЧЕСКОЙ ЭФФЕКТИВНОСТИ ОБРАЗОВАНИЯ
В статье предпринята попытка соотнесения экономической эффективности образования и экономического эффекта образования
Ключевые слова: экономическая эффективность образования экономический эффект образования заработная плата стоимость обучения расходы плата за обучение.
Сегодня перед современной школой остро стоит проблема повышения качества образования, которое выступает одним из важнейших факторов сохранения и развития интеллектуального потенциала нации.
В условиях реформирования школы возникает противоречие между реальным уровнем образования школьника и формальными показателями его успеваемости. Необходима разработка новых методов и подходов, позволяющих оценить качество знаний - для успешного перехода на новые обучающие программы и пересмотра существующих в соответствии с требованиями времени. Без создания системы мониторинга уровня знаний невозможно вхождение российской системы образования в европейскую, что, в свою очередь, ограничивает конкурентоспособность российских выпускников на европейском рынке образовательных услуг и труда, а также делает российские вузы непривлекательными для иностранных студентов. Но это не означает, что нужно копировать уже существующие образцы, а говорит о необходимости реформировать российское образование в соответствии с реалиями настоящего времени. Одним из основополагающих компонентов системы мониторинга качества образования, нуждающейся в разработке и современной интерпретации, должна стать система мониторинга уровня знаний |в общеобразовательной школе, что полностью соотносится с Федеральным государственным образовательным стандартом
(ФГОС) и позволяет осуществлять контроль выполнения предметных требований по формированию основ системы научных знаний.
Истоки теории экономическо го эффекта образования
Теоретическое обоснование экономической эффективности образования имеет долгую и богатую историю. Путь решения этой непростой проблемы был тернист, извилист, и его невозможно воспроизвести во всех деталях. Остановимся лишь на узловых пунктах этого пути.
Вспомним в первую очередь ценную в методологическом аспекте мысль А. Смита. Классик придавал большое экономическое значение образованию. Он считал, что расходы, связанные с производительными вложениями в обучение работника, не только служат для облегчения труда и способствуют росту его производительности, но и возмещаются вместе с прибылью. А. Смит, ратуя за повышение уровня элементарного образования всех слоёв населения (умение читать, писать, считать, знание геометрии и физики), исходил из того, что государство «с весьма небольшими издержками» может облегчить, поощрить и даже сделать образование обязательным почти для всего населения. Критикуя недостатки платного обучения в Оксфорде и Кембридже того времени, он рассмотрел преимущества государственной системы образования Шотландии, которая способствовала «более высокому уровню умственного развития людей» [1].
© Новожилов Э. Д., 2012
Экономика образования ♦ № 3, 2012
55
