CC BY
36
УДК 378:001.891
В. В. Кольга, А. Б. Меркулов
МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ИНТЕГРАТИВНОЙ ПЕДАГОГИЧЕСКОЙ СИСТЕМЫ АЭРОКОСМИЧЕСКОГО ОБРАЗОВАНИЯ
Вопрос о выборе школы и вуза для получения образования зачастую ставит простого потребителя в тупик ввиду отсутствия достаточно объективной информации об образовательном учреждении. Для комплексной оценки эффективности деятельности системы непрерывного образования был разработан синтез-метод.
За последние пятнадцать лет рынок образовательных услуг в России претерпел значительные изменения. Появились новые образовательные программы, учреждения общего образования с углубленным изучением предметов, профильные школы (лицеи, гимназии), частные школы. И вопрос выбора школы и вуза для получения образования зачастую ставит простого потребителя в тупик ввиду отсутствия достаточно объективной информации и возможности провести сравнительный анализ, оценить эффективность деятельности образовательного учреждения. Кроме того, этот вопрос связан с долгосрочным прогнозированием, что вкупе с нестабильностью ситуации в России (реформа образования, низкий уровень жизни, рост безработицы) превращает процесс выбора в тяжелую и для многих практически непосильную задачу.
В России система оценки образования реализуется государством, причем основные усилия прилагаются к проведению внешней оценки образовательного учреждения. Но, к сожалению, для простого потребителя государственная оценка (наличие аккредитации и лицензии) может сказать только о том, что учреждение имеет право заниматься образовательной деятельностью, и не ответить на большинство других интересующих его вопросов. Поэтому возникает необходимость в разработке механизма комплексной оценки образовательных учреждений и систем, учитывающей как интересы государства, так и интересы потребителей.
Оценка качества образования является, по существу, составной частью процесса преподавания и получения знаний, она способствует проведению критического анализа результатов образовательного процесса, основанного на фактических данных.
Все разнообразие систем оценки высшего образования, получившее известность в последние 10.. .15 лет, с определенной долей условности может быть разделено на два типа:
- система оценки образования (в том числе и высшего) государственными структурами, регулирующими развитие образовательных учреждений, например Министерством образования, Министерством просвещения и т. д. Такие системы оценок часто связаны с правительственным контролем, лицензированием, государственной аккредитацией, распределением государственных финансовых ресурсов и формированием стратегической политики университетов в рамках страны.
- система оценки высшего образования, принятая в тех странах, где органов государственного управления высшим образованием (в европейском смысле) нет. В этом случае, преобладает процесс самооценки высших учебных заведений, профессиональная или обществен-
ная оценка, направленная на внутренний анализ и улучшение деятельности образовательных учреждений.
Основное отличие системы оценки высшего образования первого типа, характерного для европейских стран, от системы второго типа, применяемой в Америке, заключается в широких полномочиях правительства при формулировке целей и определении наиболее важных аспектов оценки, в способах принятия решений. В странах с централизованной системой образования функции оценки, аккредитации осуществляют соответствующие государственные ведомства.
Однако в мире имеются и другие подходы к осуществлению контроля качества образования. По мнению некоторых экспертов, в настоящее время имеет место тенденция к большему развитию и распространению процессов самооценки. И это касается не только стран, заимствующих американский опыт. В последнее время все большую самостоятельность в вопросах контроля качества образования получают университеты Скандинавских стран [2].
Однако наибольшее развитие система самооценки университетов получила в США. Это связано с тем, что источники власти и контроля в образовательной политике в американских университетах иные, нежели в европейских странах. И хотя в 90-е гг наметилось усиление влияния на университеты со стороны администрации многих американских штатов, особенно в отношении лицензирования частных учебных заведений и образовательных программ, основой оценки и контроля высшего образования в Америке по-прежнему остается саморегуляция.
В основе американской системы самооценки лежат три основных подхода. Во-первых, оценка через аккредитацию учебного заведения по регионам (в США их шесть) специальными организациями, обладающими четко сформулированными стандартами и требованиями к периодичной самооценке и оценке со стороны внешних наблюдателей; во-вторых, аккредитация образовательных программ, организованная профессиональной ассоциацией специалистов; в-третьих, оценка образовательных программ, полностью организованная самим университетом и нацеленная на улучшение его деятельности, на возможность перераспределения ресурсов и образовательных приоритетов. По мнению Г. Р. Келса, системы оценки, организованные самими университетами, - это наиболее прогрессивные формы саморегуляции [1].
Следует отметить, что в США важную роль в процессе аккредитации программ и специальностей высших учебных заведений играют профессиональные общественные ассоциации (ассоциации медиков, юристов, инженеров и т. п.). Считая одной из своих главных задач
поддержание высокого престижа своей профессии и компетенции ее представителей, эти ассоциации очень строго оценивают и сравнивают результаты деятельности высших учебных заведений [2].
В странах с государственной оценкой качества образования можно выделить следующие основные процедуры контроля: лицензирование, оценку (аттестацию) и аккредитацию. Лицензирование и аккредитация проводятся государственными или другими органами на основе заранее установленных критериев, при этом вузы или программы обучения должны удовлетворять определенным базовым требованиям. Оценка (аттестация) может основываться на источниках информации широкого спектра, и к ней могут быть привлечены как местные, так и приглашенные специалисты. В целом же аттестация напоминает аккредитацию и лицензирование с их порогом минимальных требований.
В Российской Федерации изначально сложилась система нескольких раздельных типов оценки, где процедура лицензирования отделена от процедуры аттестации. Однако приказом Министерства образования РФ от 12 ноября 1999 г. № 864, в целях совершенствования процедур оценивания деятельности вузов, был утвержден новый порядок комплексной оценки деятельности высшего учебного заведения, основанный на объединении процедур повторного (очередного) лицензирования, аттестации и государственной аккредитации. Данное решение явилось принципиальным и внесло упорядочение в сферу оценки, которая до последнего времени в РФ была разделена.
Особо следует подчеркнуть, что в нашей стране все три процедуры оценивания осуществляются в рамках федерального органа - Министерства образования и науки.
Рассмотрим далее оценку институциональной эффективности деятельности образовательного учреждения (ОУ). Она предполагает обязательное формулирование миссии, цели и задач этого учреждения, которые преподаватели и сотрудники переносят в образовательные программы. Определение миссии и задач учебного заведения является отправной точкой для выявления его институциональной эффективности. С другой стороны, любая формулировка миссии и цели должна быть трансформирована в форму краткосрочных и долгосрочных планов.
При отсутствии таких планов оценка эффективности деятельности образовательного учреждения будет проблематичной.
Отметим, что в американском варианте оценки и аккредитации выстраивается зависимость оценки институциональной эффективности от результатов самообсле-дования. При этом в идеальных условиях образовательное учреждение проводит только самооценку, чтобы проверить соответствие планов, бюджетов и функций, уточнить распределение ресурсов, углубить учебные программы. Систематизация аттестационных показателей позволяет реально сравнивать деятельность и состояние разных учебных заведений.
Анализ зарубежного опыта аккредитации вузов показывает что перечень индикаторов (показателей), определяемых органом аккредитации, содержит, как правило, до 10.16 крупных показателей. Эти индикаторы обычно сформированы в три группы:
- показатели условий осуществления образовательной деятельности (концепция учебного заведения, кадры, образовательные ресурсы, финансовая состоятельность);
- показатели процесса (управление учебным заведением, содержание образовательных программ, социальная инфраструктура, механизм гарантии качества образования и т. д.);
- показатели результата (качество подготовки выпускников, бакалавров, магистров и т. д., уровень их трудоустройства, эффективность научно-исследовательской и научно-методической деятельности).
Чтобы оценить учебное заведение с точки зрения фокус-групп (потребителей системы), необходимо выявить факторы, влияющие на формирование образовательного спроса. Их можно условно подразделить на долгосрочные и краткосрочные (табл. 1).
Для определения эффективности деятельности интегративной системы подготовки специалистов аэрокосмической отрасли, реализуемой в Сибирском государственном аэрокосмическом университете имени академика М. Ф. Решетнева [3; 4], необходимо провести комплексный анализ образовательной системы.
Используя уже существующие критерии государственной оценки и факторы выбора потребителем учеб-
Таблица 1
Факторы выбора потребителем образовательного учреждения
Долгосрочные факторы (приоритеты) Краткосрочные факторы (приоритеты на настоящий момент)
Высокий уровень заработной платы в течение последующей жизни Высокая оценка нерыночных видов деятельности и интересов, которые связаны с получением образования (процесса обучения, общения с друзьями, школьной или студенческой жизни)
Большее удовлетворение от избранной работы в течение жизни (моральные выгоды)
Достижение более высокого социального статуса
Широкий доступ к более перспективной, интересной работе Отсрочка от службы в армии
Представления родителей о будущем детей, что является определяющим фактором в выборе жизненной стратегии вследствие традиционной системы семейного воспитания в России Коммуникативные качества членов приемной комиссии
Уровень образования и социальный статус родителей, которые влияют на ориентацию своих детей (преемственность поколений, продолжение профессии родителей) Корпоративная культура, фирменный стиль
Выбор профессии, сделанный друзьями или знакомыми Территориальная приближенность
Престиж того или иного вида и уровня образования Наличие в данном учебном заведении друзей (подруг)
ного заведения, сформируем комплексный набор оценочных показателей по следующим группам:
1) показатели условий осуществления образовательной деятельности (концепция учебного заведения, кадры, образовательные ресурсы, финансовая состоятельность);
2) экономические показатели (оплата образовательных услуг, рентабельность, баланс);
3) социально-психологические показатели, связанные с выпускниками ОУ (конкурентоспособность, успешность, успеваемость, научный потенциал, творческий потенциал, уровень поступления в вуз, эффективность научно-исследовательской и научно-методической деятельности);
4) рыночные показатели (уровень трудоустройства, социальный заказ, заработная плата).
Измерение количественных показателей (материальная база, кадровый состав, успеваемость и т. п.), в настоящее время не составляет сложности, поскольку уже накоплен большой опыт в их оценке. Значительно сложнее измерить качественные показатели (успешность, конкурентоспособность, образованность, эффективность), так как в этом случае моменту измерения предшествует процесс перевода качественных показателей в количественные. Использование уже существующих методик (статистическая обработка, метод экспертной оценки) в чистом виде не представляется возможным, поскольку при оценке системы непрерывного образования каждая из методик рассматривает только один аспект деятельности (экономический, социальный, психологический и т. п.).
Для комплексной оценки эффективности деятельности системы непрерывного образования был разработан синтез-метод (рис. 1). При его создании использовались следующие методы:
Обр. Учр.
Подбор экспертов
1 г
Гос. Органы
Внутр. ^
База Факторы^ Данные
данных мониторинга
Комплексная первичная оценка: .^'Группировка ./"’Ранжирование -^’Определение весовых коэфф. .^’Количеств. оценка .-^’Анализ Результата ./^'Формирование отчета
Заказчик
(работодатель)
Факторы отбора кандидатов
Данные
мониторинга
Консуль-
танты
Потреби- тель
Фокус-оценка
Т
Факторы выбора обр. Учрежд
Категориальный анализ
I
Анализ динамики роста
I
Обработка результатов
Рис. 1. Схема синтез-метода
- метод ранжирования;
- метод экспертной оценки (система оценивается экспертами для по Ж-балльной шкале, после чего проводится обработка результатов). Он широко используется в экономике при оценке инвестиционных проектов и систем [5];
- метод весовых коэффициентов (эксперты определяют удельный вес каждого критерия, затем проводится суммарная оценка), применяющийся в системном анализе для оценки крупных структур;
- метод категориального сравнения (одинаковые критерии сравниваются, по остальным проводится аналитический анализ), используемый в математической статистике.
Оценим довузовский этап интегративной педагогической системы аэрокосмического образования, реализуемого на базе Сибирского государственного аэрокосмического университета имени академика М. Ф. Решетнева с использованием предложенного синтез-метода.
1. Подбор группы экспертов. Формируется группа экспертов: представители предприятий аэрокосмической отрасли (3 человека), педагоги (3 человека), социологи (1 человек), экономисты (3 человека), инженеры (2 человека), психологи (3 человека), представители родительского комитета (3 человека).
2. Определение набора факторов первичной оценки системы (базовых факторов). Его можно разделить на следующие группы:
- организационно-управленческие индикаторы (количество образовательных учреждений в системе, структурная иерархия, межуровневая интеграция и др.);
- материально-технические показатели (количество учебных лабораторий, техническое оснащение лабораторий, обеспечение методической литературой и др.);
- кадровые показатели (количество педагогов, наличие ученой степени, ученого звания, возраст, стаж и др.);
- экономические показатели (оплата за обучение, материальные затраты на подготовку к учебному процессу, заработная плата, рентабельность и др.);
- показатели деятельности учреждения (количество поступающих, отсев, успеваемость, посещаемость, творческая активность, уровень сдачи выпускных экзаменов и др.).
3. Комплексная первичная оценка. Осуществляется в следующем порядке:
1) множество предложенных оценочных факторов ранжируется экспертами в зависимости от цели исследования согласно предложенной шкале;
2) выделенный набор оценочных факторов подвергается уточненному ранжированию. Определяются удельные весовые коэффициенты (УВК);
3) проводится количественная оценка системы по выбранным факторам.
Результаты первичной оценки системы представлены в табл. 2.
Проведение комплексной первичной оценки позволило нам проанализировать деятельность системы с точки зрения эффективности управления, организации учебной деятельности. Но для получения полной картины необходимо оценить систему по критериям потребителей (учащихся, родителей, работодателей).
4. Фокус-оценка. Фокус-оценка проводилась аналогично комплексной первичной оценке. Вначале были
сформированы группы фокус-факторов: факторы отбора кандидатов (интересы заказчика по результатам опроса) и факторы выбора образовательного учреждения (интересы потребителя по результатам опроса). Затем на основании ранжирования и количественного анализа этих факторов представителями фокус-групп (работодателями, учащимися, родителями) проведена оценка образовательной системы с точки зрения их потребностей и ожиданий (табл. 3).
Данные табл. 3 показывают, что фокус-группами был выбран ряд факторов, которые не рассматривались в комплексной первичной оценке. Эти факторы носят неизмеримый характер и в наших условиях могут быть оценены только качественно. По результатам анализа этих факторов даются аналитические рекомендации по коррекции деятельности системы.
Результаты комплексной
5. Категориальный анализ. По сформированной группе совпадающих факторов проводится количественный анализ и сравнение результатов комплексной первичной оценки (см. табл. 2) и фокус-оценки (см. табл. 3) по категориям. Значения сравниваемых факторов суммируются по формуле K = S • YBKj + S2 • УВК2 + ...+ Sn • УВК, где
S. - среднее значение оценки фактора; УВК. - удельный весовой коэффициент фактора; К - коэффициент категориального сравнения (табл. 4).
Затем находится К = К / К. = 9,41 / 8,84 = 1,07.
уср п.о ф.а 777
Построим кривую результатов категориального анализа за рассматриваемый период К = Кпо / Кфа (рис. 2).
По графику рис. 2 можно видеть, что отношение между коэффициентом первичной оценки и коэффициентом фокусной оценки в рассматриваемый период превышает 1. Это свидетельствует о результативности реализуе-
Таблица 2
первичной оценки системы
Фактор Ранг Средний балл S УВК, %
Количество предметов 15 15,4 6
Методическое обеспечение учебного процесса 19 13,8 4
Количество педагогов 10 18,1 9
Наличие ученой степени (звания) 10 15,0 8
Педагогический стаж 15 14,6 10
Количество обучаемых 15 18,3 9
Отсев 17 14,3 12
Количество выпускников 15 18,9 12
Уровень сдачи ЕГЭ 20 13,0 15
Количество поступивших в вуз 20 19,1 15
Таблица 3
Результаты фокус-анализа
Фактор Ранг Средний балл (по результатам опроса) S К, ВК % У
Количество учащихся 15 16,9 2
Оплата за обучение 18 17,6 14
Уровень подготовки к ЕГЭ 20 12,6 16
Перспектива поступления 20 19,3 20
Уровень компетентности педагогов (составной): ученая степень, звание стаж 15 15,2 10
Наличие документа государственного образца 17 12,0 10
Диапазон предлагаемых знаний (составной): количество предметов методическое обеспечение учебного процесса 15 14,7 10
Отсев 12 13,1 4
Престиж профиля 15 14,6 10
Престиж образовательного учреждения 15 12,8 8
Таблица 4
Средние рейтинговые баллы анализа за период 2001-2005 гг.
Факторы Перв. оценка Фокус-оценка
Количество обр. программ 15,50 15,56
Методическое обеспечение учебного процесса 14,06 13,81
Наличие ученой степени (звания) 15,00 15,75
Педагогический стаж 14,63 14,63
Количество учащихся 17,88 16,63
Уровень сдачи ЕГЭ 13,00 12,56
Отсев 14,13 13,06
Коэфф. категориального сравнения 9,41 8,84
мой стратегии развития в рамках интегративной педаго- зации научных проектов, можно представить графичес-гической системы аэрокосмического образования. ки (рис. 3).
Рис. 2. Результаты категориального анализа за 2001-2005 гг. Рис. 3. Динамика привлечения учащихся в АШ за 2003-2005 гг.
6. Анализ динамики роста. В качестве примера представим оценку эффективности мероприятий научного характера, реализованных Аэрокосмической школой (АШ) в период 2003-2005 гг. (табл. 5).
Данные табл. 5 позволяют сделать вывод, что реальный прирост намного больше ожидаемого, что говорит
об эффективности реализуемых проектов.
Сравнительный анализ количества учащихся, привлекаемых в Аэрокосмическую школу посредством реали-
Динамика количества учащихся Аэрокосмической школы за рассматриваемый период по следующим индикаторам: общее количество, отсев, количество учащихся, занимающихся НИРС, количество выпускников - приведены на рис. 4 и в табл. 6.
Анализ результатов показывает, что по большей части рассматриваемых критериев среднее значение коэффициента роста больше 0, что говорит о положительной динамике развития образовательной системы. На основе полу-
Таблица 5
Оценка эффективности научно-практической деятельности в Аэрокосмической школе (зависимость набора в АШ от мероприятий научного характера, проводимых АШ)
Годы Количество поступивших £ «Космотех XXI век» d1, % Краевая выставка dъ % А — dl + dí, % Ожидаемый прирост 5™ = АВ5(5п ■ А) Фактический прирост £6акт — (£—£0)
2003-2004 635 23,2 27,7 50,9 178 285
2004-2005 500 17,3 20,7 38,0 133 150
2005 441 (прогноз) 7,4 19,1 26,5 93
Примечание. В таблице используются следующие обозначения: 5 - набор в 8-9-й класс; dl - абсолютная эффективность проекта «Космотех XXI век»; d2 - абсолютная эффективность проекта «Краевая выставка авиа- и ракетомоделизма»; А - суммарная эффективность проектов; 5ож - расчетный прирост, привлеченных в образовательную систему АШ по итогам реализации проектов, человек; 5фшс1 - реальный прирост, привлеченных в образовательную систему АШ по итогам проектов, человек.
Таблица 6
Динамика роста показателей за период 2001-2005 гг.
Факторы 2001-2002 2002-2003 2003-2004 2004-2005 Среднее значение
Количество учащихся 673 795 918 847
Отсев 118 176 192 184
Количество учащихся НИРС 186 213 218 227
Количество выпускников 102 98 92 108
Коэффициент роста КР[ (относительно предыдущего периода)
d Количество учащихся, % 0 18,13 15,47 -7,73 8,62
d Отсев, % 0 49,15 9,09 -4,17 18,03
d Количество учащихся НИРС, % 0 14,52 2,35 4,13 7,00
d Количество выпускников, % 0 -3,92 -6,12 17,39 2,45
Коэффициент роста КР2 (относительно начального периода)
Количество учащихся, % 0 18,13 36,40 25,85 26,80
Отсев, % 0 49,15 62,71 55,93 55,93
Количество учащихся НИРС, % 0 14,52 17,20 22,04 17,92
Количество выпускников, % 0 -3,92 -9,80 5,88 -2,61
готовки специалистов отрасли, что является основой для определения педагогических целей и путей мобилизации внутренних ресурсов системы.
Библиографический список
1. Келс, Г. Р. Процесс самооценки : руководство по самооценке для высшего образования / Г. Р Келс. М., 1999.
2. Вульфсон, Б. Л. Стратегия развития образования на Западе на пороге XXI века / Б. Л. Вульфсон. М. : Изд-во УРАО, 1999.
3. Кольга, В. В. Теория и методология проектирования педагогически интегрированной системы аэрокосмического образования : моногр. / В. В. Кольга. СПб. : Изд-во РГПУ им. А. И. Герцена, 2004.
4. Кольга, В. В. Развитие педагогически интегрированной системы аэрокосмического образования на современном этапе : моногр. / В. В. Кольга. СПб. : Изд-во РГПУ им. А. И. Герцена, 2004.
5. Система аккредитации за рубежом / Г. Н. Мотова, В. Г. Наводнов, В. Ж. Куклин, Б. С. Савельев. М., 1998.
V. V. Kolga, A. B. Merkulov
THE METHOD OF ACTIVITY EFFECTIVENESS EVALUATION OF AEROSPACE EDUCATION INTEGRATED PEDAGOGICAL SYSTEM
Choosing a school or a higher school to get proper education is often a difficult problem for an ordinary customer due to lack of sufficient objective information about the educational establishment. To estimate activity effectiveness of continuous education system thoroughly the synthesis-method has been developed.
ченной оценки результатов составляются рекомендации по модернизации образовательной системы, коррекции учебных планов, планов научной и методической работы, вырабатывается результативная стратегия развития системы подготовки кадров для аэрокосмической отрасли.
1 0 0 0 —
900 -800 -700 -600 •
500 400 300 200 1 00
Рис. 4. Динамика количества учащихся АШ за 2001-2005 гг.
Таким образом, применение синтез-метода для комплексной оценки деятельности системы непрерывного аэрокосмического образования позволяет оценить эффективность функционирования интегративной педагогической системы и провести мониторинг качества под-
