CC BY
34
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК 378.146
Т. В. Шутова
ИЗМЕРЕНИЕ КАЧЕСТВА ЛАТЕНТНЫХ СВОЙСТВ УЧЕБНО-ПРОЕКТНОЙ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ ПРОФЕССИОНАЛЬНО-ПЕДАГОГИЧЕСКОГО ВУЗА
Аннотация. Статья посвящена проблемам педагогических измерений качества и результатов образовательного процесса. Анализируются структура учебно-проектной деятельности будущих педагогов-дизайнеров, которая, по мнению автора, может выступать интегральным показателем качества подготовки специалистов данного профиля. Демонстрируется, как уровень учебного проектирования можно измерить при проверке студенческих выпускных квалификационных работ, структура и содержание которых представляют собой полноценный дизайнерский проект. Предлагается набор индикаторов, позволяющих оценить качество учебно-проектной (дизайнерской и педагогической) деятельности выпускников в комплексе. Обосновывается применение программы RUMM 2030 и инструментов математической статистики на основе модели Раша как средств определения качества образования.
Итоги апробации методики измерения латентной переменной «учебно-проектная деятельность педагога профессионального обучения в области дизайна имиджа и стиля» показывают, что критерии качества выпускных квалификационных работ, предложенные как индикаторы, в целом адекватны и могут использоваться для оценки профессиональной компетенции будущих педагогов-дизайнеров.
Ключевые слова: индикаторные переменные, латентные переменные, педагогические измерения, учебно-проектная деятельность.
Abstract. The paper deals with the issue of quality measurement and educational process outcomes. The author analyzes the structure of training and projecting activities of the prospective teachers-designers, and regards
the given structure as the integral quality indicator of the specialist training in the above profile. The training project level can be estimated by examining students' final qualification works. The paper demonstrates a set of indicators for estimating the quality of designing and training activities of the graduates. The implementation of the RUMM 2030 program and mathematical statistics tools based on the Rasch model of quality measurement is substantiated.
The above method approbation regarding the estimation of the latent variables of training and designing activity of prospective vocational teachers demonstrates that the recommended quality criteria, referred to as indicators, can be used in the competence assessment of the future teachers-designers.
Keywords: indicator variables, latent variables, pedagogic measurement, training and designing activity.
В России сложилась государственная система подготовки педагогов профессионального обучения - профессионально-педагогическое образование (ППО), которое является особым видом образования, значительно отличающимся и от инженерно-технического, и педагогического. Оно функционирует на основе собственных принципов, обладает способностью удерживать динамическое равновесие, имеет тенденцию к стабилизации (целостности) и дальнейшему развитию [6].
Перспективы системы ППО связаны с решением многих проблем. Среди них одной из наиболее важных является разработка системы контроля качества подготовки будущего педагога профессионального обучения. Мы рассмотрим данную проблему на примере измерения качества учебно-проектной деятельности студентов вуза, готовящихся стать педагогами-дизайнерами и получающих образование согласно профилю «Дизайн имиджа и стиля», относящемуся к самым современным видам дизайнерского творчества.
Педагог профессионального обучения в области дизайна как многопрофильный специалист получает интегративное образование: дизайнерское (художественно-проектное) и педагогическое (психолого-педагогическое). Такая бинарная направленность подготовки предполагает сложную структуру образовательного процесса
и создает трудности при определении эффективности и качества подготовки [7, 8]. Нередко результаты обучения педагогов-дизайнеров оцениваются однобоко, лишь по одной из составляющих, чаще всего педагогической, что заметно снижает объективность показателей готовности выпускников к профессиональной деятельности.
В настоящее время в среде дизайнерского и педагогического сообщества отсутствует единство в выборе стратегии определения качества подготовки педагогов-дизайнеров, хотя необходимость разработки единой универсальной системы педагогических измерений, позволяющей объективно определять численные значения уровней квалификации будущих специалистов, их готовность успешно решать профессиональные задачи, очевидна.
Одним из «камней преткновения» разработки педагогических измерений является известное противоречие, которое состоит в том, что оценка качества обучения в значительной степени зависит от объективности и надежности измеряемых переменных, а большинство используемых в образовании переменных не измеряются в явном виде [2]. Так, например, профессиональная деятельность будущих педагогов-дизайнеров в области дизайна имиджа и стиля представляет собой в основном процессы образного проектирования, поэтому ее качество невозможно определить строгими и четкими количественными показателями.
Свойство личности, измеряемое косвенным образом, посредством индикаторов, называется латентным (скрытым). Все наблюдаемые ментальные проявления личности считаются индикаторами латентных свойств. [1]. Используемые на практике традиционные методы измерения латентных переменных обладают существенными недостатками. Так, например, бальная система оценивания знаний и умений во многом основывается, на эмоционально-чувственных характеристиках педагога. Тестовая же система измерения знаний и умений зачастую зависит от случайного выбора варианта ответа и уровня сложности тестовых заданий и не позволяет определять качество характеристик учебно-воспитательного процесса.
На наш взгляд, применительно к будущим педагогам профессионального обучения в области дизайна имиджа и стиля, интегральным показателем, который дает возможность оценить качество их образовательного процесса в целом, является учебно-проектная деятельность. Поэтому основными задачами нашей работы стали:
• определение ключевых этапов проектной деятельности выпускника при выполнении выпускной квалификационной работы (ВКР);
• формирование набора индикаторов, характеризующих интегральный показатель «учебно-проектная деятельность педагога профессионального обучения в области дизайна имиджа и стиля»;
• определение их совместимости в рамках применяемой модели измерения по статистическому методу «Критерий Хи-квадрат»;
• измерение латентной переменной на линейной шкале.
Выпускные квалификационные работы (ВКР) студентов наиболее приемлемы для измерения качества учебного проектирования, так как их структура и содержание представляют собой полноценный дизайнерский проект. А требования к выполнению таких ВКР сформулированы на основе логики выполнения этапов универсального дизайнерского проектирования и учета специфики дизайн-продукта.
Методика измерения латентной переменной была разработана нами на основе рекомендаций, составленных А. А. Маслаком и С. А. Поздняковым - специалистами Славянского-на-Кубани государственного педагогического института [3].
Апробация методики проводилась на кафедре дизайна имиджа и стиля Института искусств Российского государственного профессионально-педагогического университета, в ней участвовали студенты, обучающиеся по специализации «Парикмахерское искусство и дизайн прически». Было проанализировано 90 пояснительных записок ВКР, выполненных выпускниками за период с 2010 по 2012 г. (по 30 пояснительных записок каждый учебный год).
Для определения индикаторных переменных, характеризующих качество учебно-проектной деятельности педагога-дизайнера, мы выделили следующие основные этапы проектной деятельности выпускника при ВКР:
• анализ предпроектной ситуации;
• художественное проектирование коллекции причесок;
• технология выполнения коллекции причесок;
• проектирование образовательной среды.
Все наиболее существенные виды работ студентов при реализации этапов ВКР вошли в перечень критериев (индикаторов) качества учебно-проектной деятельности и соотнесены с международными требованиями 1ША (Международного стандарта профессии дизайнер) к выпускникам дизайнерских (инженерных) специальностей [4] (см. табл. 1-3). Исключение составили, разработанные нами, индикаторы деятельности выпускника по проектированию образовательной среды, так как эти индикаторы специфичны и объективно необходимы лишь при оценивании качества выпускных работ студентов профессионально-педагогических специальностей (табл. 4).
Таблица 1
Критерии определения качества работы выпускника по исследованию и анализу предпроектной ситуации
№ Индикаторная переменная Требования 1ГОА к специалисту
1 Определение функционального назначения, ассортиментной группы, типа и стиля коллекции модных образов (причесок, визажа, боди-арта) Анализирует потребности клиента, его цели, жизненные потребности и требования безопасности. Интегрирует полученные данные со специальными знаниями о дизайне. Формулирует предварительные дизайнерские концепции, которые должны быть уместными, функциональными, и эстетичными
2 Выявление антропомофных, антропоскопи-ческих психофизических и других характеристик заказчика, его социального статуса
3 Анализ источника творчества. Обоснование выбора источника творчества
4 Исследование современных направлений моды в прическах, одежде, макияже
5 Обоснование композиционно-художественных средств и приемов коллекции
Таблица 2
Критерии определения качества работы выпускника по художественному проектированию коллекции причесок
№ Индикаторная переменная Требования 1ГОА к специалисту
1 Выполнение коллажа источника творчества Готовит рабочие эскизы и спецификации для достижения оптимальных результатов, соответствующих техническому заданию с учетом экономических, экологических, социальных и других ограничений
2 Выполнение графического поиска формы (эскизы)
3 Выполнение схем формообразования коллекции. Степень учета формообразующих принципов при проектировании моделей коллекции
4 Цветографическая подача эскизного проекта. Выполнение эскизов всех моделей коллекции в различных проекциях в цвете
5 Моделирование и оптимизация всех элементов образа. Портретная фотосъемка моделей коллекции
Таблица 3 Критерии определения качества выполнения технологического раздела ВКР
№ Индикаторная переменная Требования 1ГОА к специалисту
1 Выбор профессиональных средств производства, парикмахерского оборудования и парфюмерно-косметологических материалов Выбирает и использует на основе базовых и специальных знаний необходимое оборудование, инструменты и технологии для ведения комплексной практической деятельности с учетом экономических, экологических, социальных и других ограничений
2 Разработка технологической последовательности выполнения основных элементов создания модных образов
3 Определение практической ценности разработанной коллекции модных образов (применимость, воспроизводимость причесок, постижей, визажа)
4 Оформление технической документации с учетом государственных стандартов
5 Определение уровня практической реализации задач проекта (качество выполнения причесок, постижей, визажа)
Таблица 4
Критерии определения качества деятельности выпускника по проектированию образовательной среды
№ Формулировка критерия (индикаторной переменной)
1 Проектирование и оснащение образовательно-пространственной среды для теоретического и практического обучения рабочих (парикмахеров, визажистов, постижеров, гримеров)
2 Организация творческих (художественно-ориентированных) форм обучения (конкурсы, выставки, дефиле)
3 Применение технологий формирования креативных способностей при подготовке рабочих (специалистов дизайнерской направленности)
4 Проектирование методик и средств контроля, направленных на оценивание сформированности профессиональных компетенций обучающихся по профессиям парикмахер, визажист, постижер, гример
5 Конструирование содержания учебного материала по общепрофессиональной и специальной подготовке рабочих (специалистов) дизайнерской направленности
Группа критериев измерения качества деятельности выпускника по проектированию образовательной среды отражает наличие у него навыков по управлению творческим и креативным воспитанием будущих парикмахеров, визажистов, постижеров, гримеров. Мы попытались оценить уровень владения педагогом-дизайнером методами постановки и решения педагогических задач, в том числе по конструированию содержания учебного материала, а так же проектированию методик и средств обучения при помощи набора представленных критериев.
Всего для определения качества учебно-проектной деятельности будущих педагогов профессионального обучения было отобрано 20 критериев, составивших набор индикаторных переменных, отражающих уровень проработки разделов ВКР.
Следующим этапом формирования интегрального показателя «учебно-проектная деятельность педагога профессионального обучения в области дизайна имиджа» явилась работа экспертной комиссии. Ее членами стали специалисты в области дизайна имиджа, моды и стиля. Каждый представитель комиссии выстав-
лял оценки индикаторных переменных в специально предназначенных для этого бланках. Оценивание велось по пятибалльной шкале:
• «слабый» - 1 балл;
• «скорее слабый, чем сильный» - 2 балла;
• «скорее сильный, чем слабый» - 3 балла;
• «сильный» - 4 балла;
• «очень сильный» - 5 баллов.
Затем полученные результаты обрабатывались с помощью программы RUMM2030 с применением инструментов математической статистики на основе модели Раша. Одно из достоинств этой модели состоит в том, что она переводит измерения, сделанные в дихитомических и порядковых шкалах, в линейные.
В программе RUMM2030 измерения латентных переменных производятся в логитах. Логит представляет собой единицу измерения уровней подготовленности участников тестирования и трудностей тестовых заданий в рамках логистических моделей тестирования. Если разность между упомянутыми двумя понятиями составляет 1 логит, то вероятность верного выполнения испытуемым задания равна 0,73 [5]. Результатами расчета явились
• значения индекса сепарабельности, свидетельствующее о высокой или низкой степени дифференциации студентов по качеству учебного проектирования;
• значения критерия Хи-квадрат;
• графики для каждой индикаторной переменной, свидетельствующие о соответствии набора оценок ВКР ожидаемым по статистическому методу «Критерий Хи-квадрат».
Критическим значением уровня соответствия индикаторной переменной измеряемой латентной переменной (уровня значимости статистики Хи-квадрат) является 0,05. При меньшем уровне соответствия индикаторную переменную рекомендуется исключить из набора. На основе индекса сепарабельности и соотношения исключенных и неисключенных (Хи-квадрат > 0,05) индика-
торных переменных можно сделать вывод о соответствии всего набора индикаторов методике измерения.
Анализ результатов оценок показал, что отобранные переменные обладают хорошей дифференцирующей способностью (индекс сепарабельности равен 0,944) и в целом их можно считать соответствующими методике измерения (19 из 20 переменных имеют уровень значимости критерия Хи-квадрат > 0,05).
На кривой, отражающей характеристику индикаторных переменных (рис. 1), видно, что набор оценок ВКР переменной ¿з (обоснование выбора источника творчества) не соответствует ожидаемым значениям по статистическому методу «Критерий Хи-квад-рат» (отклонения от кривой контрольных показателей) и имеет уровень значимости статистики Хи-квадрат меньший, чем 0,05, а значит, исключается из набора индикаторных переменных.
Рис. 1. Кривая индикаторной переменной Ь
Остальные индикаторные переменные являются совместимыми и их совокупность можно рассматривать как измерительный инструмент.
В качестве примера приведем результаты измерения переменной (¿) «Цветографическая подача эскизного проекта».
На характеристической кривой, представленной на рис. 2, видно, что контрольные значения совпадают с ожидаемыми результатами, и это свидетельствует о том, что эмпирические значения обладают хорошей дифференцирующей способностью и удовлетворяют условию нахождения уровня значимости статистки Хи-квадрат > 0,05.
Рис. 2. Кривая индикаторной переменной i9
Адекватность индикаторных переменных определялась следующим образом. Оценки качества учебно-проектной деятельности ранжировались, затем ВКР по полученным оценкам делились на три примерно равные по объему группы. Для каждой группы вычислялось среднее значение индикаторной переменной, и на основе критерия Хи-квадрат определялась степень близости трех экспериментальных точек характеристической кривой, построенной на основе модели Раша.
Полученное статистическое значение ChiSq [Рг] = 0,31 > 0,05 свидетельствует о том, что по критерию Хи-квадрат экспериментальные точки, соответствующие средним значениям трех групп, близки характеристической кривой.
В целом можно констатировать, что при оценке качества учебно-проектной деятельности наиболее низкие значения получены по индикаторной переменной «Уровень практической реализации задач проектирования ВКР (качество практического выполнения причесок, постижей, визажа)», а наибольшие - «Применение технологий формирования креативных способностей при подготовке рабочих (специалистов дизайнерской направленности)».
Соответствие набора индикаторных переменных уровню учебно-проектной деятельности студентов, обнаруженному в ходе выполнения ВКР, отражено на рис. 3.
20 -г
О
ю
О!
О- ю
5 -■
Но. Неап 5В Т(*.а1 [1501 1,538 1,884
0)
-I-1-1-1-1-1-1"
-10 -9 -8 -7 -6 -5 -4-3-2-10123
.0 X X
0 5
0) о. 0) 1=
-тжт
ИТГ
13,3%
10,0%
3,3%
5 6 7 ЛОГИТЫ
П—итг
Г 0,0
Рис. 3. Соотношение между качеством учебно-проектной деятельности студентов и уровнем сложности индикаторных
переменных
Представленная на гистограмме информация показывает: • диапазон варьирования оценок качества выпускных квалификационных работ достаточно большой - 9 логит (от -2 до +7 логит), что говорит о том, что выпускные квалификационные
работы в части учебно-проектной деятельности различны по качеству, а выбранный набор индикаторных переменных хорошо дифференцирует выпускные квалификационные работы. Это подтверждается значением индекса сепарабельности 0,944 (приводится в суммарной статистике результатов анализа в программе RUMM 2030);
• оценки учебно-проектной деятельности делятся на три группы (примерно четверть работ ниже среднего качества и располагается в диапазоне от -2 до -0,5 логит, половина работ среднего качества сконцентрировалась в диапазоне от 0 до +4 логит и четверть работ выше среднего качества от +4 до +9 логит), что также свидетельствует о хорошей дифференцирующей способности выбранных индикаторных переменных.
Итогом приведенной нами работы стали следующие выводы:
• учебно-проектная деятельность будущего педагога-дизайнера является интегральным показателем, который позволяет оценить качество подготовки специалиста в целом;
• качество учебного проектирования педагога-дизайнера можно измерить при оценивании выпускных квалификационных работ студентов, структура и содержание которых представляют собой полноценный дизайнерский проект, а требования к выполнению разделов ВКР сформулированы на основе логики выполнения этапов универсального дизайнерского и педагогического проектирования;
• использование разработанного и проверенного набора индикаторных переменных в качестве измерительного инструмента позволяет в комплексе оценить качество учебно-проектной (дизайнерской и педагогической) деятельности выпускников профессионально-педагогического университета профиля «Дизайн имиджа и стиля»;
• критерии качества ВКР, предложенные как индикаторы латентной переменной «учебно-проектная деятельность педагога профессионального обучения в области дизайна имиджа и стиля» совместимы в рамках применяемой модели, и в целом их можно считать адекватными и соответствующими методике измерения;
• набор индикаторных переменных, определяющий качество деятельности выпускника по проектированию и оснащению образовательного процесса для теоретического и практического обучения рабочих (парикмахеров, визажистов, постижеров, гримеров), позволяет оценить качество подготовки выпускников, представляя ее в описательных формах.
Литература
1. Аванесов В. С. Вопросы методологии педагогических измерений / / Педагогические измерения. № 1, 2005. С. 3-27.
2. Маслак А. А. Измерение латентных переменных в социально-экономических системах: теория и практика: моногр. Сла-вянск-на-Кубани: СГПИ, 2007. 424 с.
3. Маслак А. А., Поздняков С. А. Измерение качества выпускных квалификационных работ: методические рекомендации. Сла-вянск-на-Кубани: СГПИ, 2009. 44 с.
4. Международный стандарт профессии дизайнер интерьера [Электрон. ресурс]. International Interior Design Association (IIDA). Режим доступа: http: //www.iida.org.
5. Отраслевой терминологический стандарт. Термины и определения. Стандарты организаций - отраслевые стандарты (ОСТ) [Электрон. ресурс]. Режим доступа: ru.wikipedia. org/wiki/Стандарт.
6. Федоров В. А. Профессионально-педагогическое образование в изменяющихся социально-экономических условиях: научное обеспечение развития // Образование и наука. Изв. УрО РАО. 2008. № 9. С. 127-134.
7. Федоров В. А. Качество профессионально-педагогического образования / / Образование и наука. Изв. УрО РАО. 1999. № 2. С. 189-198.
8. Федоров В. А., Фалько В. П. Структура и содержание формирования художественно-проектных компетенций педагога профессионального обучения в области дизайна / / Вестник Челябинского государственного педагогического университета. 2008. № 12. С. 152-162.
