CC BY
154
ВЕСТН. МОСК. УН-ТА. СЕР. 20. ПЕДАГОГИЧЕСКОЕ ОБРАЗОВАНИЕ. 2015. № 2
РАЗРАБОТКА КРИТЕРИЕВ ЭФФЕКТИВНОСТИ
ПРОГРАММ ДОПОЛНИТЕЛЬНОГО
ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
В ВУЗАХ РОССИИ
М.В. Юрасова
(социологический факультет МГУ имени М.В. Ломоносова;
e-mail: [email protected])
В статье рассматриваются различные подходы российских вузов к оценке качества дополнительного профессионального образования, в том числе для педагогических кадров.
Ключевые слова: подходы, показатели качества, мониторинг эффективности, программы дополнительного профессионального образования.
Вопросы качества образования, особенно его показатели и измерения, волнуют многих. Это и руководители образовательных учреждений, для которых важно обеспечивать конкурентное преимущество своего образовательного центра, сравнивать работу с партнерами и конкурентами. Важны показатели для общества. Не секрет, что осознанный выбор любого образовательного учреждения от дошкольного до высшего строится на мнении окружающих по тем критериям, которые наиболее важны с точки зрения потребителя. Например, при выборе начальной школы большую роль играет первая учительница, а не репутация школы. В средней и старшей школе приоритеты меняются. Родители и другие заинтересованные стороны строят свой выбор на своих критериях, которые, по их мнению, важны "здесь и сейчас" для определенного ребенка.
Выбирая свое будущее, мы всегда опираемся на свое прошлое. То есть то, чего нам не хватает сегодня, предположительно нам будет необходимо завтра. Однако завтра нам это может не понадобиться вообще.
Вопрос измерения качества образования поднимался в разных статьях. В частности, в предыдущей работе автора "Оценки систем качества подготовки выпускников в вузах России" были рассмотрены системы оценивания в некоторых вузах России и была рассмотрена модель конкурса "Системы качества подготов-
ки выпускников образовательных учреждений профессионального образования" [1].
Существенного прироста открытых (опубликованных) показателей и измерительного инструмента для оценки качества образования не прибавилось. Вернее, новые исследования проводились, но они либо описывали похожий опыт (сложно для образования подобрать альтернативные показатели тем, что были наработаны ранее), либо содержали описание того, что нужно делать.
Данная статья посвящена подходам к разработке качества курсов повышения квалификации в рамках дополнительного профессионального образования. Интерес к теме усиливает тот факт, что рассматривалась система дополнительного профессионального образования применительно к педагогам, т.е. к тем, кто по роду своей деятельности сам оценивается слушателями (учениками, студентами и др.).
Сегодня актуализируется роль постдипломного педагогического образования (ППО), от которого во многом зависит качество всего дошкольного, начального, общего образования и др. Система ППО начинает ориентироваться на потребности педагогов, при этом предлагает высокий процент малоактуальных, устаревших курсов. Иногда просто отсутствуют какие-либо механизмы выстраивания самой стратегии постдипломного образования специалистов. Одним из действенных средств модернизации ППО является изменение подходов к оценке его качества.
Три базовых вопроса встают при построении системы оценки качества образования: что оценивать? как оценивать? и зачем оценивать? [2].
На сегодняшний день не созданы универсальные показатели (системы показателей) качества для мониторинга и измерения деятельности организаций, реализующих различные программы, в том числе программы дополнительного профессионального об-разрования (ДПО). По крайней мере об этом идут дискуссии на электронных площадках, защищаются диссертации (примечательно, что эта тема рассматривается в разных дисциплинах: психологии, педагогике, экономике, социологии и др.), проводятся конференции и круглые столы, издаются научные и популярные журналы (например, журнал "Аккредитация в образовании"; портал конкурса Рособрнадзора и др.).
Если сравнивать высшее профессиональное образование и дополнительное профессиональное образование (ДПО), то основными стратегическими преимуществами ДПО является более тесная связь с потребителем, возможность реализовывать разнооб-
разные и мобильные программы, технологическая свобода, разнообразие содержания, большая гибкость при организации программ, отсутствие зависимости от стандартов и государственной аккредитации. В то же время в существующей системе ДПО не решен ряд принципиальных вопросов, например таких, как отсутствие системы формирования и реализации программ и модулей, инструментария для оценки и мониторинга и др.
Развитие системы непрерывного повышения квалификации научно-педагогических работников предполагает не только качественные изменения этой системы, но и углубление их уровня специализации, повышение социальной востребованности и конкурентоспособности. Образовательные организации часто задумываются о повышении конкурентоспособности своих программ, стремятся к изучению востребованности предлагаемых курсов, участвуют в разработке и добровольном подтверждении соответствия общественным и общественно-профессиональным стандартам, привлекают профильных экспертов, шире используют разнообразные формы и методы обучения. Предпочтение на рынке ДПО сегодня все чаще отдается дистанционным и смешанным курсам.
Однако встает еще одна проблема — не оценка реализации программ ДПО по формальным показателям, а наработка тех самых качественных и содержательных показателей, по которым можно оценить подготовку слушателя. Примеров, когда вместо зарегистрированного слушателя задания выполняет кто-то другой, множество.
В представленной статье содержится обзор подходов к оцениванию программ ДПО, используемых различными учебными заведениями, их обоснование, а также сведения об интересных нормативных документах, позволяющих сформировать указанные оценки.
К специфическому набору показателей оценки качества образования относят [1]: качество материальных элементов, используемых при оказании услуги (включая оборудование, помещение, рекламные материалы и др.); надежность (например, гарантиро-ванность реализации полной программы на период обучения); своевременность (программа ДПО сочетает в себе как минимум три компонента — выделение средств на обучение; возможности образовательной организации командировать педагога для получения ДПО и организация самой программы); полноту (включая, например, доступ к информационным ресурсам, средствам и методам оценивания и др.); социально-психологический показатель (определяющий вежливость по отношению к клиенту,
его комфортность, гибкость и предусмотрительность сотрудников, увязка с оперативными запросами и пожеланиями клиентов); доступность, безопасность. В программах ДПО актуализируется вопрос последующего сопровождения слушателя. И если по окончании программы контакты продолжаются, в том числе даются рекомендации как обучающемуся, так и педагогу, этот показатель является важнейшим.
При оценке качества обучения по программам ДПО будем опираться на перечисленные показатели, но с учетом того, что они в большей степени относятся к управленческим, а нас будут интересовать не только управленческие, но и показатели, позволяющие оценить выбор программы слушателями, т.е. качество программы, процесса обучения и аттестации, а также непосредственной работы преподавателей.
Рассмотрим отношение к мониторингам востребованности и эффективности программ повышения квалификации и переподготовки педагогических кадров, рекомендуемых нормативными требованиями, содержащимися в международном стандарте ИСО 29990: 2010 "Услуги в области неформального обучения и профессиональной подготовки. Основные требования к поставщикам услуг". Отметим, что данный стандарт является добровольным, т.е. он не ограничивает организации, которые ему не следуют. Стандарт определяет потребности заинтересованных сторон, требования к поставщикам, содержание и процесс обучения, в том числе обеспечение наличия и доступности образовательных ресурсов и др.
Для целей разработки показателей качества программ повышения квалификации и переподготовки педагогических кадров, реализуемых образовательными организациями, важны следующие разделы указанного международного стандарта.
Раздел 3.1.2 этого стандарта определяет потребности заинтересованной стороны. Сегодня очень важно понимать, знать и предвосхищать потребности заинтересованных сторон. В образовании, в частности в ДПО, довольно сложно определить заинтересованные стороны, вернее, потребителя: это учитель, завуч, директор школы или государство? Все эти стороны являются непосредственными и опосредованными получателями образовательной услуги. Однако, согласно тексту стандарта, перед тем как поставить образовательную услугу, образовательное учреждение должно убедиться в том, что, во-первых, имеется квалификационная аналитическая информация о соответствующем образовании уча-
щихся, об их истории профессиональной подготовки и о предыдущем обучении, включая их квалификацию, дипломы и звания, и что эта информация получена и используется законно; во-вторых, конкретные цели, желания, стремления и потребности в предоставлении и в запуске образовательных услуг определены; в-третьих, когда это уместно и выполнимо, учащиеся обеспечиваются необходимой им поддержкой в оценке их собственных потребностей в обучении и их задач; обеспечены равные возможности, в том числе любые потребности, связанные с языком, культурой, грамотностью, или другие специальные потребности; проведены консультации с соответствующими заинтересованными сторонами, чтобы определить, каких они ожидают навыков, умений и знаний, которые будут получены в результате предоставления образовательной услуги, относительно производственных целей и обязанностей учащихся. Еще одно направление связано с тем, что спонсор будет рассматривать в качестве показателей успеха и то, что соглашение было достигнуто и подписано со спонсором о предоставлении образовательных услуг [3]. Примером изучения запроса на программы ДПО является анкетирование, проведенное отделением повышения квалификации факультета педагогического образования МГУ имени М.В.Ломоносова. Результаты исследования, которое отражает мнение более 1000 научно-педагогических работников по вопросам, связанным с запросом на формирование и разработку курсов повышения квалификации сотрудниками МГУ, легли в основу работы со слушателями (данные исследования размещены на сайте отделения).
Стандарт предусматривает ведение мониторинга поставки образовательных услуг, то, что будет запрашиваться у учащихся обратная связь (реакция), о методах и используемых ресурсах, а также об их эффективности в достижении согласованных результатов обучения. А это приведет к сокращению системной ошибки в оценках качества образования. Этот важный аспект встречается в различных организациях под названием "менеджмент заинтересованной стороны".
Раздел 3.5.2 называется "Оценка обучения" и относится к требованиям ПОУ относительно измерения и анализа размера (объема), которого отдельные обучаемые достигают при обучении или который уже достигнут в результате предоставляемых образовательных услуг.
Текст стандарта гласит, что «для заинтересованных сторон гарантируется, что доступ к результатам оценки ПОУ обучаемого
предоставляется только лицам, имеющим юридическое право знакомиться с информацией, и если результаты имеют формат, который облегчает транспортабельность оценки, а также что "отдельные обучаемые, имеющие трудности, и те, которые требуют особой помощи при обучении, чтобы достичь определенных результатов, могут быть направлены к экспертам в соответствующей области"».
Далее, раздел 3.5.3 "Оценка образовательной услуги" относится к измерениям эффективности и качества самой образовательной услуги. "ПОУ должен гарантировать, что определены заинтересованные стороны, которые вовлечены в оценку и для которых имеет значение эта оценка; лица, проводящие оценку, являются компетентными и объективными; отчеты об оценке являются прозрачными и четко описывают образовательную услугу, цели образовательной услуги, полученные данные, а также перспективы, процедуры и обоснования, используемые для интерпретации полученных данных; контекст (например, среда обучения), в котором предоставляются образовательные услуги, достаточно подробно изучен, чтобы определить вероятное влияние на образовательную услугу".
Оценка компетенций ПОУ (раздел 4.6.2), менеджмент производительности и профессиональное развитие представляют требования относительно измерения степени, в которой сотрудники или помощники ПОУ владеют компетенциями, требуемыми, чтобы эффективно выполнять функции, которые они обязаны выполнять, и управления производительностью сотрудников и партнеров ПОУ, должны гарантировать то, что "компетенции каждого сотрудника или помощника, предоставляющего образовательные услуги под их руководством, оценены или проверены на соответствие с их должностной инструкцией, и что эта оценка или отчеты документально оформлены, и что системы разработаны и внедрены для управления, оценки и обеспечения обратной связи по компетентности и эффективности работы персонала; осуществляется обратная связь с сотрудниками и их партнерами по их мотивации и удовлетворенности работой; сотрудники и их партнеры подвергаются постоянному процессу профессионального развития, и влияние этого развития оценивается и документально оформляется; процедуры оценки, которые были выбраны или разработаны и осуществлены, представляют действительную и надежную информацию о компетенциях команды, предоставляющей образовательные услуги; все аспекты этих процессов согласуются с соответствующим законодательством и с основными
принципами справедливости и правами человека, и они регулярно обозреваются".
Таким образом, стандарт ориентирует на несколько необходимых условий, невыполнение которых чревато понижением конкурентоспособности образовательной организации, а именно на формирование обратной связи, непрерывность образования, входное и итоговое тестирование и др.
Стандарт нам еще интересен приложением (дополнением D) (для информации), где приводятся примеры ключевых компетенций для поставщиков образовательных услуг, что нас интересует с точки зрения определения показателей.
Компетенции структурируются вокруг трех основных заголовков, которые перечисляют базовые компетенции под каждым из этих заголовков следующим образом.
Компетенции, относящиеся к поставке образовательных услуг, включают: применение теории обучения; применение методики обучения; выбор и использование учебных поддерживающих материалов; возможность иметь дело со специальными потребностями и многообразием; оценку обучения; возможность быть экспертом по предмету; разработку учебного плана; выявление потребностей в обучении; применение обучающей технологии.
Личные компетенции, которые касаются индивидуальных личных качеств методиста, включают: умение слушать и общаться эффективно; проводить презентации; мотивировать людей; организовывать групповую работу; управлять конфликтами; постоянное профессиональное развитие; эффективное использование информационных технологий; чувствительность к равенству и разнообразию вопросов; соблюдение кодекса поведения и декларацию ценностей; межкультурные компетенции; руководство, консультации, наставничество (mentoring).
Бизнес-компетенции, которые касаются способности методиста соединять обучение с бизнес-целями клиентов, включают в себя: инновации, использование новых технологий; коммерческую хватку (планирование, бюджетирование); менеджмент заинтересованной стороны; разработку и регулирование политики обучения; установление контактов с заинтересованной стороной, т.е. налаживание связей и построение отношений; менеджмент эффективности бизнеса; понимание постоянно меняющегося характера работы, т.е. социального, технологического, промышленного, политического и культурного; применение технологии управления коммуникацией; работу над организационным развитием и эффективностью; управление обучением.
Таким образом, стандарт нацеливает нас на применение и разработку ряда показателей, связанных с управлением процессом предоставления и получения образовательных услуг.
Далее рассмотрим примеры оценки качества образовательных услуг, наиболее интересный открытый измерительный инструмент, а также примеры проведения исследований.
Наиболее часто при оценке качества образовательных программ встречаются такие показатели, как:
• бюджет времени;
• оборудование;
• площади;
• остепененность преподавателей;
• качество продукта;
• качество процесса (программ);
• качество менеджмента;
• достижение планируемых результатов;
• участие слушателей в формировании своей программы обучения;
• использование сетевого взаимодействия между организациями;
• использование современных образовательных технологий;
• обновление содержания программ ДПО в соответствии с потребностями рынка;
• приобретаемые знания, умения, опыт и личностные качества;
• профессиональные + дополнительно специализированные по потребностям рынка.
Часть этих показателей можно объединить. Но для наших целей важно дать именно развернутый список, элементы которого могут играть самостоятельную роль (некое меню) для оценивания той или иной программы обучения.
Отметим, что постепенно приходит понимание того, что слушатель формирует собственную программу обучения. И если раньше за формирование программы обучения отвечала организация-заказчик и выбирала она из предлагаемого списка (меню), то сегодня важной тенденцией становится то, что заказчик переходит к делегированию права выбора сотруднику, более того, дается возможность корректировать программу обучения, формируя так называемый "индивидуальный пакет компетенций".
Рассмотрим еще один пример использования преимуществ формирования образовательного пакета. Сюда вошли такие направления, как комплексное развитие компетенций участников;
приоритет активных методов обучения; вовлечение корпоративных заказчиков на всех этапах реализации программы (разработка и проведение); максимальная адаптация программ под ожидания участников; сокращение сроков обучения; интеграция модульного и межмодульного обучения и развитие дистанционных форм о бучения.
Современные трактовки общей схемы оценки качества демонстрируют преобладание количественных или так называемых численных показателей деятельности педагога и образовательной организации (выполнение плана по часам, количеству обученных, количеству публикаций и т.п.), при этом важно в любом процессе оценивания определение степени соответствия состояния объекта мониторинга и запланированного (определенного в качестве нормы) результата. Так, например, оценка качества образования, построенная на международных стандартах ISO 9000, позволяет проводить целенаправленную корректировку системы управления качеством педагогического образования с целью ее приближения к запланированному результату. Нельзя пренебрегать качественными показателями, беря за основу только количественные. Наиболее нагляден пример с нормативами времени приема у врачей. Определить качество его работы по тому, справился он с нормативом или нет, практически невозможно. Так же и с образованием, только пример не может быть столь же нагляден. При этом сущность и цели организации, процедуры оценки качества педагогического образования отчасти сходны с "технологическим" подходом, который строится на внедрении оперативных и стратегических образовательных технологий, направленных на достижение четко сформулированных целей. И этот показатель отражает "технологическое" обновление содержания обучения.
Самым распространенным и, следовательно, наиболее понятным является аттестационный подход к оценке качества педагогического образования, который основан на системе аттестационных показателей, применяемых при лицензировании и аккредитации образовательных организаций. Получаемые в ходе реализации данного подхода показатели больше ориентированы на оценку имеющегося потенциала образовательной организации, чем на ее использование и совершенствование.
Ряд авторов отмечают существующий и нередко применяемый сегодня квалификационный подход к оценке качества образования, который ориентирован на совокупность характеристик образованности выпускника. Тем же школам его приходится активно реализовывать путем оценки знаний выпускников по ГИА
и ЕГЭ. Реализация данного подхода позволяет оценивать качество образования на уровне отдельного обучающегося, ставя при этом перспективные цели, намечая средства коррекции образовательного процесса, определяя тенденцию развития такого показателя, как образованность выпускников по определенным параметрам. Однако не всегда показатели знаний выпускников — это только показатели образовательной организации. Играют роль многие факторы, включая потенциал среды, репетиторов, общую эрудицию слушателей. Выбор показателей при этом связан с оценкой знаний или компетенций слушателя.
Важность среды при разработке оценки и показателей не требует доказательств. Образовательная практика в контексте понимания образовательной среды как сложной социальной системы означает процесс и результат взаимодействия человека с образовательной средой.
К настоящему времени одним из самых актуальных вопросов образования является описание и оценка компетенций. Каким образом можно оценить (увидеть, услышать) приобретенные компетенции или результаты обучения? В рамках европейского образовательного пространства необходимо более значительное внедрение результатов обучения. Развитие, понимание и практическое применение результатов обучения является обязательным условием для успешного введения ЕСТ8, европейского приложения к дипломам, признания периодов обучения, национальных структур квалификаций и гарантии качества — все это взаимозависимо.
Результаты обучения выступают средством выражения уровня компетенции, являются формулировкой того, что может рассказать, показать, продемонстрировать студент после завершения программы (дисциплины, модуля). Результаты обучения определяются вузом. Компетенции являются целью образовательных программ и самого процесса обучения. Они включают знание, умения, навыки, установки, мотивацию, ценности. А это практически невозможно определить сразу после изучения программы. Компетенции приобретаются слушателями на основе полученных результатов обучения и практического опыта.
Но наиболее важным является нормативный подход, который позволяет оценивать показатели по заданному критерию (нормативу) и проводить сравнительный анализ. Именно сравнительный анализ даст нам выход на показатели эффективности работы образовательной организации в целом.
Таким образом, подходы к формированию оценок весьма широки.
Далее рассмотрим ориентиры для оценки учебного заведения и оценки удовлетворенности обучающихся в образовательном учреждении:
• содержание образовательных программ, методы обучения и организации учебного процесса;
• ресурсы и сервисы для обучающихся (библиотечное, информационное, социальное, организационное и т.д.);
• взаимоотношение преподавателей и сотрудников;
• взаимоотношения в студенческом коллективе;
• взаимоотношения с администрацией;
• информированность о реализуемой политике, стратегии, целях и задачах образовательного учреждения (требования международного стандарта — показатели этой информированности);
• вовлечение в процессы принятия управленческого решения по работе образовательного учреждения;
• достигнутый уровень освоения образовательной программы;
• предоставляемые дополнительные образовательные и другие услуги;
• признание успехов в учебной, научно-исследовательской и внеучебной (спортивной, культурно-массовой) деятельности;
• соответствие реального образовательного процесса ожиданиям на основе сформированного имиджа образовательного учреждения.
Все эти маркетинговые показатели прописаны в 6-м и 8-м критериях Премии Правительства Российской Федерации в области качества, гармонизированной с европейской премией EFQM.
Показатели восприятия потребителями организации, качества ее продукции и услуг (6А) отражают "прямой голос" потребителей, определяемый с помощью социологических и маркетинговых исследований, например, на основе различных видов опросов, построения рейтингов, полученных благодарностей и жалоб. В зависимости от сферы деятельности организации данная информация может содержать показатели восприятия, характеризующие: общий имидж организации, включая доступность, наличие каналов связи, прозрачность, гибкость, активность поведения, отзывчивость; ее (продукции) услуги, включающие качество, цену, надежность, новизну конструкции (дизайна), доставку, влияние на окружающую среду. Сюда относят показатели, характеризующие профессиональные навыки и поведение персонала, советы и помощь, наличие литературы для потребителей и технической документа-
ции, реагирование на жалобы, обучение, связанное с продукцией, время реагирования на обращения, техническую помощь и др.
Важной является сформированная лояльность потребителей, включающая намерение купить продукцию и услуги организации повторно, желание покупать другую продукцию и услуги организации, рекомендовать организацию другим потребителям.
Показатели восприятия обществом деятельности организации (8А) определяются на основе обследований, независимых отзывов, публичных мероприятий, мнения органов власти. В зависимости от сферы деятельности организации данная информация может содержать показатели восприятия, характеризующие: ее деятельность как члена общества, включая информационную открытость по отношению к обществу, предоставление равных возможностей при взаимодействии с организацией, воздействие на местную и национальную экономику, взаимоотношения с органами власти, этическое поведение, репутацию как работодателя. Это дополняется показателями участия в жизни общества: участием в системе образования и обучения, взаимодействием с местными органами власти по соответствующим видам деятельности, поддержкой спорта и организацией досуга, участием в благотворительности и общественных работах. Оценивается получение наград от органов власти и общественных организаций, снижение и предотвращение вредного воздействия ее работы или продукции в течение всего жизненного цикла, включая снижение случаев заболеваний и травматизма среди населения, повышение безопасности, оценку экологической чистоты работы, отчетность о деятельности по сохранению ресурсов и экономии.
Следующая рассматриваемая система показателей основывается на наличии взаимосвязи между системой процессов и стратегическими программами и позволяет судить о результативности и степени зрелости СК ОУ в целом и ее элементов, включая рассматриваемый элемент под названием "самообследование образовательной программы". Здесь используются такие направления работы, как обеспечение признания программы соответствующей высокому уровню качества и многосторонним профессиональным требованиям, подтвержденное независимым экспертным сообществом; выявление направлений совершенствования программы для более полного соответствия ожиданиям рынка труда; успешное ее позиционирование в рейтинге конкурентных программ других образовательных организаций. Важной задачей является обеспечение программой максимально возможного охвата целевой
аудитории потенциальных слушателей за счет позиционирования программы как имеющей аккредитационное подтверждение качества. Как следствие — максимальное получение прибыли от реализации программы.
В качестве основных требований могут выступать показатели существующего и прогнозируемого охвата целевой группы слушателей, наличие подтвержденного запроса, осуществленного на основе анализа рынка, писем заказчиков и иных способов, оценка методического и кадрового потенциала программы, наличие команды образовательного проекта, продолжительность процесса обучения.
По большинству направлений Болонского процесса Россия еще только приступает к работе, а Европа уже поставила новые задачи [4], включающие равноправный доступ к образованию (Social dimension); возможность продолжения образования (LLL); трудоустраиваемость выпускников (Employability); студентоцент-рированное обучение (Student — centred leaning). Студентоцентри-рованное обучение — это формирование программ и технологий обучения не так, как может и хочет преподаватель и кафедра, а так, как этого требует будущая профессия и возможности студента, а также связь обучения с наукой и инновациями; международная открытость (International openness); мобильность; сбор данных; многомерная прозрачность результатов (Multidimensional transparency tools); финансирование (привлечение всех возможных источников) [5].
Результаты обучения должны использоваться во внутривузов-ских процедурах и внешних процедурах оценки качества. Европейский консорциум по аккредитации (ECA) определил основные принципы использования результатов обучения во внутривузов-ских системах гарантии качества [1].
1. Сопоставимость и согласованность, что подразумевает, что стратегии и процедуры оценки ориентируются на результаты обучения, а не на условия; стратегии оценки применяются одинаково в рамках всего вуза и дают возможность для сравнения; стратегии оценки применяются систематически и по различным дисциплинам.
2. Отчетность. Все преподаватели и комиссии, участвующие в оценке, осведомлены о своих конкретных, четко определенных обязанностях и действуют в соответствии с ними.
3. Прозрачность. Стратегия оценки, применяющаяся для программы, четко сформулирована и доступна всем преподавателям и студентам; студенты информированы о формах и объемах оце-
нивания, которое им предстоит пройти, а также о том, что от них ожидается; используемые критерии оценки соответствуют предполагаемым результатам обучения и доступны всем преподавателям и студентам.
4. Вовлеченность всех заинтересованных сторон. То есть все сотрудники, участвующие в реализации программы или ее компонентов, вовлечены в разработку и реализацию целостной оценочной стратегии; студенты имеют возможность выразить свое мнение о количестве и типе оцениваний, которые они проходят, а также о том, рассматривают ли они эти процедуры как "справедливые", "эффективные" измерения результатов своей учебной деятельности и способностей [6].
Любопытно и измерение дистанционных образовательных программ. Критерии оценки эффективности электронных курсов существуют в Калифорнийском государственном университете Чико (США) и представлены на портале Smart Education. Там предполагается оценка по шести категориям: поддержка учащихся и ресурсы; организация и дизайн электронного курса; педагогический дизайн и поставка; оценка эффективности обучения студентов; инновационные технологии в обучении и преподавании; использование обратной связи, получаемой от студентов. Каждая из этих категорий содержит базовый, эффективный и образцовый уровни. С ноября 2009 г. стартовала независимая программа исследований рынка технологий дистанционного обучения (e-learning) в СНГ. Программа исследований инициирована тем же порталом Smart education.
Цель исследования — упрощение доступа к информации о существующих e-learning решениях в СНГ. Создаваемая в ходе исследования система обзоров призвана облегчить процессы поиска необходимой информации, подготовки и принятия решения о внедрении технологий дистанционного обучения.
В рамках исследования выпускаются следующие обзоры:
• Компетенции специалиста отдела дистанционного обучения;
• Каталог разработчиков и поставщиков систем дистанционного обучения;
• Каталог LMS/LCMS решений;
• Каталог решений для организации и проведения вебинаров;
• Каталог средств разработки электронных курсов;
• Перечень критериев для выбора СДО, LMS, LCMS (чек-лист);
• Перечень критериев для выбора инструмента разработки учебного контента (чек-лист);
• Перечень критериев для выбора инструмента/сервиса для организации и проведения вебинаров (чек-лист);
• Критерии оценки эффективности электронного курса.
Для электронного обучения важно соблюдать два принципа — интегрированность и непрерывность. Интегрированность в процессы работодателя обеспечивает актуализацию необходимых знаний со стороны образовательной организации, а также стабильность процессов на стороне работодателя. Непрерывность образования обеспечивает инновационность процессов на стороне работодателя. В свою очередь это непременное требование к образованию как к инерционному процессу.
Еще один интересный пример — это Азиатско-Тихоокеанская сеть агентств гарантии качества — одна из специализированных международных организаций, созданных в регионе, который включает в себя 52 государства с невероятно разнообразными культурами, экономиками и политическими системами. Задачи APQN — преодолевать эти различия и объединять страны для достижения общей цели — развития потенциала региона. Анализируя методику оценивания, применяемую рядом вузов Китая, Индонезии, Малайзии и Таиланда, авторы выделяют критические замечания по поводу недостатков при проведении оценки качества образования [7], например: роль правительства в оценивании выше, чем роль общественности; вузы рассматриваются как объект оценивания, их субъективное мнение сведено до минимума; контроль результатов преобладает над оценкой процесса обучения; более низкий уровень заинтересованности общества и вузов в оценивании или даже полное отсутствие такой заинтересованности. Авторы видят еще одну проблему — принуждение со стороны субъекта оценивания. Правительство совмещает роли администратора и инспектора в сфере образования; оно является одновременно и "игроком" и "судьей", что легко приводит к смешению функций правительства в оценочной деятельности. Так, чиновник от образования при установлении критериев оценки принимает во внимание прежде всего собственные положение и выгоду. Это может снизить объективность и справедливость оценивания. Акцент делается на унификации, достигаемой посредством унифицированных оценочных критериев. Требование к единой системе критериев, естественно, приведет к унификации вузов и в итоге к "одной модели для тысячи вузов".
Важнейшим фактором совершенствования системы гарантии качества, по мнению авторов, является введение кооперативного
принципа оценивания, при котором многие стороны работают как единый слаженный механизм.
Важнейшей и пока не решаемой проблемой является внесение изменения в работу образовательной организации на основе проведенных исследований качества преподавания. Исследования подтверждают то, что лишь небольшая часть преподавателей внесла изменения в свою деятельность под влиянием данных оценивания.
В качестве причин называют недонесение результатов анкетирования до преподавателей и ошибки при анкетировании, вызванные субъективным фактором. Зависимости оценки по ДПО могут существенно варьироваться в зависимости от условий обучения.
Что касается руководства, то чаще результаты исследования направлены на увольнение (в критической ситуации) или изменение нагрузки низко оцениваемого преподавателя. Иногда основное внимание администрации направляется на оценивание, а не на совершенствование педагогической практики. Кроме того, серьезному отношению к оцениванию препятствуют и некоторые убеждения, бытующие среди преподавателей. Например, некоторые из них считают, что затраты на проведение оценивания слишком высоки по сравнению с его пользой; другие полагают, что оценивание преподавателей студентами послужило причиной инфляции оценок; для третьих преподавателей это оценивание лишь инструмент, являющийся частью университетских систем ранжирования; по мнению четвертых, оценивание может стимулировать уход преподавателей из вуза и т.д. Анализ анкет слушателей показывает: они не всегда однозначно понимают заданные вопросы, что наблюдается в замечаниях и предложениях, высказанных в анкетах.
Как пишут упоминаемые авторы, «исследования, проведенные на примере отдельных университетов Бельгии и Австралии, показали, что введение оценивания преподавателей студентами или изменение инструментов такого оценивания может быть нарушено чрезмерно "заадминистрированным" подходом к внедрению подобных инноваций. Если большая часть полномочий по принятию решений находится в руках небольших групп, которые уже не принадлежат профессорско-преподавательскому составу вузов, т.е. происходит на уровне высшего руководства, работа по совершенствованию оценивания преподавателей студентами может закончиться неудачей. И напротив, благодаря привлечению к этой работе максимально большого числа преподавателей, у них не возникнет ощущения того, что нововведение было навязано сверху» [7].
Многие преподаватели сознают, что не готовы к кардинальному изменению своей роли — от трансляции готовых знаний к организации самостоятельной и совместной познавательной деятельности обучающихся, созданию условий для развития внутренней мотивации обучающихся к непрерывному образованию.
Наиболее серьезным конкурентным преимуществом программ ДПО являются устойчивые связи с бизнесом, сотрудничество с реальным сектором экономики. Наличие высококвалифицированных преподавателей с опытом практической работы является одним из важнейших требований, которое способствует разработке новых, современных программ и их адаптации к потребностям заказчика.
Характерной чертой рынка ДПО является гибкость по отношению к потребителям, частое обновление пакета программ. За последние три года пересмотрено содержание более половины программ, причем довольно часто инициаторами этого были потребители образовательных услуг: в каждом пятом случае — слушатели, на треть — заказчики обучения [8].
В качестве задач ДПО рассматривается активное участие в региональных конкурсах программ повышения квалификации и развертывание спектра образовательных услуг по объявленным приоритетным направлениям государственной политики в сфере образования; формирование опыта реализации модульно-накопи-тельных и персонифицированных программ повышения квалификации научно-педагогических и педагогических кадров системы образования; развитие системы проведения профильной стажировки для педагогических и научно-педагогических работников.
Теперь рассмотрим, как это реализуется на примере Челябинского государственного педагогического университета [9].
На первом уровне, получившем название стартовой актуализации, преподаватель в качестве слушателя увеличивает объем знаний, осваивает опыт проектирования образовательной деятельности, осуществляет профессиональное самоустройство педагога высшей школы, апробирует технологии в учебном процессе, продолжает формировать свое методическое портфолио. На этапе инновационного включения преподавателей в систему повышения квалификации педагог становится активным участником внутривузовских курсов повышения квалификации, стажируясь в качестве андрагога. И наконец, на третьей ступени — стадии программно-целевого фасилитационного управления повышением квалификации — преподаватель становится организатором автор -
ских (проблемных) курсов, проходя стажировку в ИДПО в качестве координатора образовательных программ.
В рамках каждого из направлений была создана инновационная инфраструктура. Так, для подсистемы ДПО новыми элементами стали: в структуре программ — модульно-накопительная система обучения, рейтинговая система контроля и оценки учебных достижений обучающихся в системе переподготовки и повышения квалификации, электронные учебно-методические комплексы; в содержании — применение компетентностного подхода в образовательном процессе как основы формирования знаний профессионально-педагогических кадров; в образовательном процессе — применение различных по своему характеру и назначению инновационных технологий — дистанционных, активных методов обучения (кейс-технологии, видеотренинги, мастер-классы, интеллект-карты и метод проектов, тренинги, видеоконференции и др.) и интерактивных (мозговая атака, коммуникативные игры); в организации — тьюторское сопровождение.
Таким образом, был проведен обзор доступных источников, согласно которым оцениваются программы обучения. Умышленно в этот перечень были включены не только программы ДПО, но и программы подготовки обучающихся по программам профессионального обучения.
Поскольку такое понятие, как эффективность, является сравнительной характеристикой, то для ее определения необходимо выявить исходные (базовые) показатели. Итогом проведенного исследования является подборка максимального количества показателей, используемых при оценке качества ДПО (программ, процесса, результата). Приведем их по шести основаниям. Отметим, что список намеренно сделан избыточным, оставлена возможность группировать некоторые показатели.
Основание — управленческие процессы в организации
Менеджмент заинтересованных сторон; согласованность процедур; ясность и прозрачность отчетов; связь со средой; разработанность и внедренность процедур; непрерывность; надежность; своевременность; студентоцентрированность; полнота; социально -психологический показатель; коммуникабельность; безопасность; взаимоувязка потребностей; преодоление трудностей (доступность); наличие обратной связи с обучающимися и преподавателями; результативность обучения; наличие и качество экспертизы; совершенствование практики на основе опроса.
Содержание образовательных программ, методы обучения и организация учебного процесса.
Обслуживание обучающихся (библиотечное, информационное, социальное, организационное и т.д.).
Отношение со стороны преподавателей и сотрудников.
Отношения в студенческом коллективе.
Взаимоотношения с администрацией.
Информированность о реализуемой политике, стратегии, целях и задачах образовательного учреждения.
Вовлечение в процессы образовательного учреждения и их обсуждение.
Достигнутый уровень освоения образовательной программы.
Предоставляемые дополнительные образовательные и другие услуги.
Признание успехов в учебной, научно-исследовательской и внеучебной (межкультурно-массовой и др.) деятельности.
Соответствие реального образовательного процесса ожиданиям на основе рекламы образовательного учреждения.
Основание — программа обучения
Мобильность; гибкость; технологическая свобода; разнообразные формы обучения; содержание; наполняемость; система оценивания знаний; бюджет времени; обновление; формирование индивидуального пакета компетенций; организация и дизайн курса; модульно-накопительная система; персонификация.
Основание — кадры (преподаватели)
Социально-психологический показатель; определение ожиданий заинтересованных сторон; непрерывное развитие; профессиональное развитие; мотивация; презентация; использование ИКТ; чувствительность к вопросам; соблюдение кодекса корпоративного поведения; межкультурные компетенции; наставничество; педагогический дизайн; лояльность при аттестации.
Преподаватель устанавливает хороший контакт с аудиторией; доброжелательно, уважительно относится к студентам; требователен, для сдачи экзамена (зачета) необходимо основательно поработать.
Его лекции: содержательны; актуальны и ориентированы на практическую деятельность; логичны, последовательны; читает лекции интересно, живо, выразительно. Семинары: позволяют глуб-
же освоить лекционный курс; обсуждается дополнительный материал, актуальные современные проблемы; атмосфера на занятиях дает возможность дискутировать, отстаивать свое мнение.
Основание — обучающиеся (заинтересованные стороны)
Доступность; бюджет времени; содержание; начальные знания (стартовые возможности); цели обучения; желание обучаться; сформированная потребность в обучении; системность знаний; объем получаемых знаний; преодоление трудностей; поддержка обучающихся; количество человек в группе.
Основание — ресурсы (технология, оснащение)
Оборудование; инфраструктура (площади, помещение, сбережение энерго-, водо-, тепло- и других ресурсов); электронные средства обучения; библиотека (доступность ресурсов); форма обучения; использование ученической поддержки мероприятий.
Основание — среда
Востребованность; конкурентоспособность; учет общеобразовательных и профессиональных стандартов; снижение государственного регулирования; инновации; трудоустройство выпускников (увеличение интереса к преподавателю); связь с наукой и образованием; профессиональная мобильность; прозрачность результатов; источник финансирования.
Список литературы
1. Юрасова М.В. Оценки систем качества подготовки выпускников в вузах России // Вестн. Моск. ун-та. Сер. 20. Педагогическое образование. 2013. № 1. С. 55—66.
2. Матюшкина М.Д. Проспективная оценка качества постдипломного педагогического образования // The Emissia.Offline Letters. Электронное научное издание (научно-педагогический интернет-журнал). 2013. Июнь. (URL: http://www.emissia.org/offline/2013/2016.htm 20.11.2014).
3. ИСО 29990: 2010 "Услуги в области неформального обучения и профессиональной подготовки. Основные требования к поставщикам услуг".
4. Мотова Г.Н. Результаты обучения и оценка качества результата — по-европейски // Аккредитация в образовании. (URL: http://www.ak-vobr.ru/ocenka_kachestva_rezultata_po_evropeiski.html 20.11.2014).
5. Sixth ENQA General Assembly, 28—29 September 2009, Barcelona, Spain. (URL: http://enqa.eu/eventitem.lasso?id=245&cont=pasteventDetail 20.11.2014).
6. Официальный сайт Европейского аккредитационного консорциума ECA. (URL: http://www.ecaconsortium.net/index.php 20.11.2014).
7. Наводнов В.Г., Мотова Г.Н. APQN. Глобализация систем гарантии качества // Аккредитация в образовании. (URL: http://www.ak-vobr.ru/apqn_globalizacia_sistem_garantii_kachestva.html 20.11.2014).
8. Статистический бюллетень Федеральной службы государственной статистики "Дополнительное профессиональное образование работников в организациях в 2010 году, мониторинга экономики образования — опроса работодателей и руководителей учреждений ДПО".
9. Дудина Л.И., Возгова З.В. Приоритетные направления развития ДПО педагогического вуза //Аккредитация в образовании. (URL: http:// www.akvobr.ru/prioritetnye_napravlenia_dpo.html 20.11.2014).
DEVELOPMENT OF INDICATORS
FOR THE EFFECTIVENESS OF PROGRAMS
OF ADDITIONAL PROFESSIONAL EDUCATION
IN RUSSIAN UNIVERSITIES
M.V. Yurasova
This paper discusses the various approaches and attempts to assess the quality of Russian universities additional professional education, including teachers.
Key words: approaches, indicators of quality, monitoring of effectiveness, programs of additional professional education.
Сведения об авторе
Юрасова Мария Владимировна — кандидат социологических наук, доцент кафедры социологии организаций и менеджмента социологического факультета МГУ имени М.В. Ломоносова. Тел.: 8 (495) 932-88-71; e-mail: [email protected]
