CC BY
62
УДК: 378.126
ФОРМИРОВАНИЕ КОМПЕТЕНЦИЙ ПРЕПОДАВАТЕЛЕЙ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ В ОБЛАСТИ МОНИТОРИНГА, ОЦЕНИВАНИЯ И УПРАВЛЕНИЯ КАЧЕСТВОМ
Н. Ш. Никитина, Н. В. Зазон
FORMATION OF VOCATIONAL EDUCATION TEACHERS' COMPETENCES IN MONITORING,
EVALUATION AND QUALITY CONTROL
N. Sh. Nikitina, N. V. Zazon
Авторами настоящей статьи на основе анализа экспертно-аналитической составляющей деятельности преподавателей профессионального образования разработана система профессиональных компетенций и программа повышения квалификации в области мониторинга, оценивания и управления качеством. Программа прошла апробацию при обучении групп преподавателей. По результатам обучения проведено исследование сформиро-ванности и важности компетенций, удовлетворенности результатами обучения, осознания затруднений.
В исследовании использованы методы педагогического эксперимента, инвариантная методика мониторинга и оценивания качества, статистические методы анализа данных, проверки статистических гипотез. Показана эффективность разработанной программы повышения квалификации на экспериментальных и контрольной группе. Проведен контрольный эксперимент.
Basing on the analysis of the expert-analytical activity of vocational education teachers, the authors of the paper developed a system of professional competencies and professional development programme in monitoring, evaluation and quality management. The program was tested in training groups of teachers. After the study the level of formed competence, satisfaction with training, and difficulties in the training of teachers were examined.
The study used the methods of pedagogical experiment, invariant methods of monitoring and evaluation, statistical methods of data analysis, verification of statistical hypotheses. The effectiveness of retraining programmes has been investigated in the experimental and control groups.
Ключевые слова: мониторинг, оценивание качества, компетенция, методика мониторинга, преподаватели, осознание затруднений, проверка гипотез, удовлетворенность обучением.
Keyword: monitoring, evaluation of quality, competence, methods of monitoring, teachers, awareness of the problems, check of hypotheses, satisfaction with training.
В данной статье представлены результаты обучения преподавателей (ППС) и административноуправленческого персонала (АУП) образовательной организации профессионального образования по авторской программе повышения квалификации (ПК) «Практический мониторинг и оценивание качества в профессиональном образовании» и практической апробации методики мониторинга и оценивания качества результатов обучения [1; 2].
Структура и содержание экспериментальной части исследования определяется гипотезой: «Профессиональная подготовка ППС и АУП к реализации функций мониторинга, оценивания и управления качеством будет эффективной, если определена система компетенций в области мониторинга, оценивания и управления качеством; программа ПК (структура, содержание, методика обучения, мониторинг достижений) обеспечивает формирование необходимых компетенций; эффективность разработанной системы ПК подтверждается сформированностью компетенций в области мониторинга и осознанием их важности, высокой удовлетворенностью процессом и результатами ПК, изменением ценностных установок относительно экспертно-аналитической составляющей деятельности, осознанием затруднений, связанных с выявлением и анализом проблем и поиском решений для их устранения.
Для обоснования содержательной составляющей подготовки ППС и АУП к реализации функций мониторинга, оценивания и контроля качества рассмотрены положения, регламентирующие экспертно-анали-
тическую деятельность в профессиональном образовании: обосновывать выбор объекта и предмета мониторинга; выявлять заинтересованные в результатах мониторинга стороны и исследовать их потребности; определять нормы качества и не допускать абсолютных суждений о качестве; использовать классические и специально разработанные для образования методы и методики мониторинга; проводить мониторинг, обрабатывать результаты, делать содержательные выводы и рекомендации; формировать команду экспертов с учетом профессиональных и личностных качеств; использовать результаты мониторинга не для наказания, а для совершенствования; обеспечивать технологичность процедуры мониторинга, необходимые ресурсы и конфиденциальность данных мониторинга [2].
На основе аналитических исследований сформированы блоки компетенций ППС и АУП, необходимые для эффективного выполнения работ в области мониторинга, оценивания и управления качеством (таблица 1), которые положены в основу проектирования программы ПК.
Таблица 1
Компетенции ППС в области мониторинга, оценивания и управления качеством
Блок компетенций Содержание блока компетенций
В1 - Нормативно -планировочный блок Иметь представление: о нормативной базе управления качеством; типовых моделях системы менеджмента качества (СМК); моделях, применяемых в образовании, нормах качества. Знать: основные разделы и принципы ГОСТ Р ИСО 9001: 2008. Уметь: планировать мероприятия по мониторингу; устанавливать и совершенствовать «нормы качества» для условий, процессов и результатов.
В2 - Блок базовых теоретических знаний и практических умений Иметь представление: о многообразии методов мониторинга и оценивания качества; классификации и применимости методов; статистических методах контроля качества. Знать: основные понятия и определения в области мониторинга качества; простые и новые методы оценивания и управления качеством; простейшие методы обработки статистической информации. Уметь: использовать методы контроля качества в практической деятельности; использовать простейшие статистические методы контроля качества.
В3 - Научнометодический и проектировочный Иметь общее представление: о методиках мониторинга и их месте в СМК; о специфике методик мониторинга в образовании. Знать: общую структуру методики мониторинга, содержание ее необходимых разделов и предъявляемые к ним требования. Уметь: проектировать процессы мониторинга; разрабатывать методики мониторинга различных объектов и предметов мониторинга. Иметь навыки: проведения исследований по проблемам качества; участия в планировании и реализации проектов.
В4 - Экспертноаналитический Иметь представление: об экспертно-аналитической деятельности. Уметь: проводить опросы заинтересованных сторон; извлекать, обрабатывать и анализировать информацию; обсуждать результаты мониторинга с представителями заинтересованных сторон. Иметь навыки: проведения мониторинга качества ресурсов, процессов и результатов; подготовки отчетных документов; документирования процессов мониторинга.
В5 - Технологический Иметь представление: о программных продуктах, используемых для мониторинга и обработки результатов. Уметь: пользоваться компьютером для обработки информации (простейший статистический анализ, графики, гистограммы, корреляционные диаграммы и др.).
В6 - Блок личностномотивационных характеристик и этических норм Иметь представление: об экспертной деятельности; этических и профессиональных нормах и ценностях в использовании результатов мониторинга. Уметь: использовать информацию о результатах мониторинга с позиции «не навреди»; применять результаты не для наказания, а для совершенствования; представлять информацию ответственным за процесс специалистам. Иметь навыки: работы автономно и в команде.
Для создания диагностической основы оценки эффективности системы ПК проведено следующее:
- до ПК исследована готовность ППС и АУП к выполнению функций мониторинга, оценивания и управления качеством (три экспериментальные группы ППС и АУП высшего, среднего и начального профессионального образования (общий объём выборки
- 55 чел.);
- с использованием активных методов обучения проведено ПК по авторской программе (формирующий эксперимент, три экспериментальные группы);
- по окончании обучения проведена оценка эффективности системы ПК по показателям «Значимое повышение показателей, характеризующих сфор-мированность компетенций в области мониторинга, оценивания и контроля качества», «Удовлетворенность», «Важность» и «Осознание затруднений» (две
экспериментальные группы - 39 чел. ППС и АУП высшего, среднего и начального профессионального образования);
- на контрольной группе обучающихся (ППС и АУП всех уровней профессионального образования, общий объем статистических наблюдений - 32 чел.) исследована готовность специалистов к исполнению функций мониторинга;
- проведен сравнительный анализ результатов эксперимента на контрольной и экспериментальной группах, сформированы содержательные выводы, оценена эффективность программы ПК.
Сравнение результатов исследования, полученных до и после ПК, выявление значимости произошедших изменений осуществлялось с помощью аппарата статистической проверки гипотез. Все исследования, связанные с анализом эффективности программы подготовки преподавателей и АУП, монито-
рингом результатов обучения и использования приобретенных компетенций в профессиональной ности, проводились с применением инвариантной методики мониторинга и оценивания качества, разработанной авторами настоящей статьи [2]. Методика апробирована в НГТУ при проведении мониторинга удовлетворенности заинтересованных сторон технологией электронного обучения, качества электронных учебно-методических комплексов, программой повышения квалификации среднего звена управленческих кадров вузов и др. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру [2]:
- наименование методики и организации (подразделения);
- рабочая группа по мониторингу с распределением ролей;
- цели мониторинга: общая и конкретная (возможна иерархия целей);
- задачи и мероприятия мониторинга;
- риски (неуправляемые влияния внешней среды);
- сроки мониторинга и его локализация (с привязкой к задачам);
- статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа);
- объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа);
- показатели (нормы) качества;
- целевые группы (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения);
- методы мониторинга, сбора, обработки и хранения информации;
- инструменты мониторинга (анкеты, опросные листы, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики);
- ресурсы (по задачам, мероприятиям), план-график, бюджет мониторинга;
- отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации).
В формирующем эксперименте в 2009 - 2010 гг. на факультете повышения квалификации НГТУ прошли обучение три группы ППС и АУП. Анкета для проведения эксперимента включала следующие блоки показателей, каждый из которых содержал по 3 показателя (шкала измерения каждого показателя 0 -6 баллов):
1. Осведомленность в вопросах менеджмента, мониторинга и оценивания качества в российском и международном образовании:
1.1. Знаком(а) с понятиями мониторинга и оценивания качества в образовании.
1.2. Знаком(а) с состоянием, тенденциями и моделями в области менеджмента качества в российском образовании.
1.3. Знаком(а) с состоянием и тенденциями в области менеджмента качества в Европе и мире.
2. Знание традиционных методов контроля качества:
2.1. Знаком(а) с методами контроля качества результатов обучения.
2.2. Знаком(а) с методами, могу разработать материалы для контроля и оценить качество ресурсов (условий) учебного процесса.
2.3. Знаком(а) с методами мониторинга и контроля качества процессов в образовании.
3. Использование в собственной деятельности процессов мониторинга и контроля качества:
3.1. Знаком(а) с методиками выявления несоответствий (проблем, недостатков) в образовательном процессе.
3.2. Знаком(а) с методиками анализа выявленных несоответствий (проблем).
3.3. Могу спланировать и организовать работу по устранению выявленных несоответствий и совершенствованию.
4. Деятельность вашей организации в области мониторинга и контроля качества:
4.1. У нас ведутся работы в области менеджмента качества.
4.2. Есть рекламно-информационная поддержка процессов создания СМК.
4.3. Персонал вовлечен в процессы менеджмента качества.
При повышении квалификации использована проблемно-проектная технология обучения: участники программы формировали команды микропроектов по 3 - 5 обучающихся с обязательным включением хотя бы одного специалиста с хорошими навыками работы на компьютере. В процессе обучения команды самостоятельно выбирали объекты и предметы мониторинга, обсуждали их в группе, принимали решение. После этого каждой командой разрабатывалась методика мониторинга выбранного объекта и предмета, измерительный инструментарий (анкеты, опросные листы и пр.). Обучающиеся проводили мониторинг, в котором сами выступали в роли анкетируемых. Данные мониторинга обрабатывалась и визуализировалась с использованием MS Excel, формировались выводы о выявленных несоответствиях и рекомендации по их устранению и предотвращению. Для этого выбирались изученные методы контроля качества: SWOT-анализ, диаграммы Ишикавы и Парето, корреляционные и лепестковые диаграммы, графики, гистограммы и пр. Наибольшие трудности вызывал выбор показателей и норм качества, шкал для проведения измерений (количественной, вербальной, категориальной и др.). Для представления и защиты выпускной работы полученные результаты оформлялись в виде презентации в MS Project и отчета по мониторингу заданного формата. Такая технология обучения позволяла в деятельности формировать устойчивые компетенции.
Во вводном модуле программы проводилась са-мопрезентации членов учебной группы, выяснялись цели участия в программе и ожидания и измерялись «входные» компетенции в области мониторинга и оценивания качества с помощью описанной анкеты. Результаты входного анкетирования обработаны, выявлены проблемы и обсуждены в группе.
Обработка результатов эксперимента проводилась по каждому показателю анкеты. При этом рассчитывались математическое ожидание и среднеквадратическое отклонение по каждому показателю отдельно и в целом по блокам. Математическое ожидание отражает среднее значение показателя по всем обучающимся, среднеквадратическое отклонение - согласованность мнений обучающихся по каждому показате-
показателю. При уменьшении среднеквадратического отклонения согласованность мнений растет.
Для анализа и формирования содержательных выводов сравнивались показатели, полученные в экспериментальной группе, до и после обучения. В таблицу
2 сведены результаты анкетирования обучающихся экспериментальных групп 1 - 3.
Таблица 2
Результаты формирующего эксперимента и проверки гипотез по критерию Г-Уилкоксона для экспериментальных групп до и после ПК (выделены значимо отличающиеся показатели)
Блоки анке- ты Вопро- сы анке- ты Группа 1 (экспериментальная) Группа 2 (экспериментальная) Группа 3 (экспериментальная) Статистическое решение по критерию Т-Уилкоксона
математическое ожидание показателя математическое ожидание показателя математическое ожидание показателя
до после до после до после
1 1.1 4,167 5,167 4,143 5,667 4,375 5,813 различия значимы
1.2 2,444 4,611 2,667 5,143 3,063 5,438 различия значимы
1.3 1,444 3,667 1,857 4,333 2,188 4,625 различия значимы
2 2.1 4,389 5,222 4,000 5,429 4,188 5,688 различия значимы
2.2 3,889 4,944 3,238 5,333 3,625 5,625 различия значимы
2.3 3,111 4,722 2,762 5,429 2,938 5,438 различия значимы
3 3.1 1,833 4,444 2,476 5,143 3,063 5,313 различия значимы
3.2 2,278 4,444 2,571 4,476 2,875 4,625 различия значимы
3.3 2,444 4,222 2,524 4,571 2,938 4,688 различия значимы
4 4.1 2,833 3,833 2,571 2,429 4,375 4,438 различия незначимы
4.2 1,722 2,778 2,857 3,143 4,188 4,375 различия незначимы
4.3 2,167 3,222 3,000 3,238 4,063 4,313 различия незначимы
Проверка значимости произошедших после ПК изменений проводилась с помощью Г-Уилкоксона для связанных выборок.
Проведенный анализ компетенций до и после обучения показал следующее:
- до ПК большинство обучающихся показывают, то знакомы с понятиями менеджмента, мониторинга и оценивания качества в образовании (вопрос 1.1, блок 1). В то же время отмечается слабое знание состояния, тенденций и моделей в области менеджмента качества в российском образовании (вопрос 1.2). Ещё ниже показатель, отражающий осведомленность о тенденциях и моделях в области менеджмента качества в Европе и мире (вопрос 1.3). Результаты анкетирования после обучения показывают, что показатели значимо выросли (в смысле статистики критерия Г-Уилкоксона). У ППС сформированы компетенции на уровне основ-
ных представлений, выявлена большая ориентированность в вопросах менеджмента качества;
- полученные до ПК результаты оценки знаний в области традиционных методов контроля качества свидетельствуют об отсутствии у ППС и АУП компетенций в области практического мониторинга результатов, условий и процессов (вопрос 2.1, блок 2). Исключение составляет знание методов промежуточного и итогового контроля достижений обучающихся, как формы мониторинга, которая традиционно используется в образовании (вопросы 2.2 и 2.3). После обучения эти же показатели выросли значимо;
- навыки практического использования в деятельности ППС и АУП процессов мониторинга, оценивания и менеджмента качества оценены очень низко (вопрос 3.1, т1 = 1,833). Это свидетельствует, что ППС и АУП практически не знакомы с методиками
выявления несоответствий в образовательном процессе (блок 3), слабо знакомы с методиками анализа выявленных несоответствий (вопрос 3.2, т] = 2,278) и практически не могут планировать и организовывать работу по устранению несоответствий и совершенствованию процессов (вопрос 3.3, Ж;=2,444). В целом по блоку 3 математическое ожидание т] = 2,18. После ПК большинство респондентов дали ровные и высокие оценки по всем показателям (вопрос 3.] -т]=4,444, вопрос 3.2 - т] = 4,444, вопрос 3.3 - т] = 4,222), значимо с точки зрения проверки гипотез отличающиеся от тех же показателей до обучения;
- при оценке деятельности организаций (вопрос 4.1), представляемых обучающимися, в области менеджмента качества большинство респондентов до обучения дали низкие показатели (блок 4). Можно предположить, что такая оценка связана либо действительно с очень низким уровнем работ по созданию СМК в организациях, либо с тем, что основной персонал не вовлечен в эти работы и не информирован об истинном положении дел. После ПК мнения изменились незначимо. Отмечается низкий уровень рекламно-информационной поддержки процессов создания
СМК (вопрос 4.2); персонал, как правило, не вовлечен в процессы менеджмента качества (вопрос 4.3).
Для того чтобы подтвердить неслучайность изменений компетенций ППС и АУП после обучения проведен аналогичный эксперимент на контрольной группе. В качестве контрольной группы выбрана группа, обучающаяся по программе ПК «Современные образовательные технологии» в НГТУ одновременно с экспериментальной группой № 2. В таблице
3 приведены показатели анкеты для экспериментальной группы № 2 и контрольной группы до и после обучения.
Для анализа значимости различий показателей блоков 1 - 4 экспериментальной группы № 2 и контрольной группы использовался непараметрический критерий ^-Манна-Уитни для несвязанных выборок.
По всем показателям анкеты принята гипотеза о том, что до ПК уровень показателей в экспериментальной группе не ниже уровня в контрольной группе, и различия в показателях до обучения в контрольной и экспериментальной группе незначимы. После ПК те же показатели в экспериментальной и контрольной группах значимо различаются (в контрольной они ниже - выделенные столбцы).
Таблица 3
Результаты самооценки уровня компетенций в области менеджмента, мониторинга и оценивания качества обучающихся контрольной и экспериментальной группы № 2 до и после ПК по {/-критерию Манна-Уитни
Вопросы анкеты До обучения После обучения Стати- стическое решение
математическое ожидание показателя среднеквадрати- ческое отклонение математическое ожидание показателя среднеквадрати- ческое отклонение
Кр 8 Кр 8 Кр Э '-'гр Кгр 8 Э
1.1 3,594 4,143 1,043 1,125 3,969 5,667 1,134 0,563 различия значимы
1.2 2,844 2,667 1,043 1,321 3,188 5,143 1,152 0,639 различия значимы
1.3 2,156 1,857 1,087 1,125 2,094 4,333 1,154 0,891 различия значимы
2.1 4,063 4,000 1,128 1,447 4,375 5,429 1,153 0,583 различия значимы
2.2 3,813 3,238 1,175 1,306 3,969 5,333 1,149 0,642 различия значимы
2.3 3,375 2,762 1,205 1,109 3,531 5,429 1,145 0,660 различия значимы
3.1 2,625 2,476 1,233 1,401 2,781 5,143 1,091 0,710 различия значимы
3.2 2,750 2,571 1,265 1,218 2,750 4,476 1,098 0,794 различия значимы
3.3 2,906 2,524 1,287 1,295 3,031 4,571 1,105 0,791 различия значимы
4.1 2,625 2,571 1,245 1,678 2,969 2,429 1,103 1,294 различия незначимы
4.2 2,938 2,857 1,176 1,390 3,290 3,143 1,086 1,320 различия незначимы
4.3 2,406 3,000 1,241 1,543 2,710 3,238 1,101 1,231 различия незначимы
Анализ значимости различий показателей двух групп после обучения показывает, что в экспериментальной группе к концу обучения средние значения
показателей значительно повысились, о чем свиде тельствует отвержение гипотезы по ¿/-критерию Май-на-Уитни о незначимости произошедших изменений.
Среднеквадратические отклонения показателей после ПК снизились, что отражает сближение значений показателей компетенций после обучения по сравнению с входными результатами анкетирования. Показатели блока 4 практически не претерпели изменений. Некоторая разница между входными и выходными показателями может быть отнесена к фактору случайности.
Проведенный эксперимент подтвердил, что разработанная программа ПК формирует и развивает компетенции преподавателей и АУП в области мониторинга, оценивания и управления качеством в профессиональном образовании.
Далее была проанализирована эффективность разработанной программы ПК по показателям «Важность», «Удовлетворенность» и «Осознание затруднений» обучающимися. Исследование проводилось с помощью анкет:
- «Удовлетворенность преподавателей процессом и результатами ПК в области мониторинга, оценивания и управления качеством»;
- «Осознание важности владения компетенциями в области менеджмента, мониторинга и оценивания качества»;
- «Осознание преподавателем затруднений и изменение отношения к использованию в преподавании и управлении методов управления качеством».
Исследование показателя «Важность» позволило выделить компетенции, которые наиболее необходимы, по мнению ППС и АУП, для выполнения экспертно-аналитических функций (по результатам исследования получены наиболее высокие оценки):
- «Должны быть знакомы с понятиями мониторинга, оценивания и управления качеством, с тенденциями в области менеджмента качества»;
- «Иметь представление о методиках мониторинга, уметь проектировать процессы и методики мони-
торинга, оценивать качество различных компонентов образовательного процесса»;
- «Уметь пользоваться компьютером для обработки данных мониторинга, проводить простейший статистический анализ, строить графики и гистограммы и пр.»;
- «Иметь представление об этических и профессиональных нормах экспертной деятельности; использовать информацию с позиции «не навреди», не для наказания, а для совершенствования».
Также выявлено, что обучающиеся осознали некоторые затруднения в своей деятельности, которые были неочевидны ранее. Среди них такие: «выделять показатели для оценки качества объекта мониторинга»; «разрабатывать методики мониторинга различных компонентов образовательного процесса»; «систематизировать и обрабатывать результаты, представлять их в наглядном для интерпретации виде». В целом приведенные высказывания подтверждают высокую удовлетворенность обучающихся процессом и результатами ПК.
В 2011 году был проведён контрольный эксперимент на обучающихся третьей экспериментальной группы, которые проходили ПК в 2010 г. (через 1 год) для анализа изменений, произошедших в деятельности преподавателей. Была разработана и разослана анкета, на которую из 18 человек ответило 14 человек (76 %). Приведенные в анкетах высказывания подтвердили практическую применимость новых компетенций в деятельности. Анализ выявил отмеченную преподавателями высокую удовлетворенность процессом и результатами ПК, осознание важности новых компетенций и активное использование их в педагогической деятельности. В целом мониторинг мнений обучившихся достоверно подтвердил эффективность разработанной программы ПК «Практический мониторинг и оценивание качества в профессиональном образовании».
Литература
1. Никитина, Н. Ш. Мониторинг и оценивание качества в образовании. - Ч. 2: Методы мониторинга. Обучение менеджменту качества в образовании: учебное пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). - Новосибирск: НГТУ, 2008. - 60 с.
2. Никитина, Н. Ш. Мониторинг и оценивание качества в образовании. - Ч. 1: Методика мониторинга: учебное пособие / Н. Ш. Никитина, Н. В. Николаева (Зазон). - Новосибирск: НГТУ, 2008. - 32 с.
Информация об авторах:
Никитина Надежда Шагабановна - кандидат технических наук, доцент, профессор кафедры экономической информатики НГТУ, 8(383-3) 46-34-10, nnik46@mail.ru.
Nadezhda Sh. Nikitina - Candidate of Technical Sciences, Associate Professor, Professor at the Department of IT for Economics, Novosibirsk State Technical University.
Зазон Наталья Викторовна - директор представительства НГТУ, 8-913-716-7662, novez-nstu@mail.ru. Natalia V. Zazon - Head of Represenattive Office, Novosibirsk State Technical University.
