CC BY
48
г
ПРАКТИКА МОДЕРНИЗАЦИИ ОБРАЗОВАНИЯ
j
ОПЫТ РАЗРАБОТКИ ПРОЦЕДУР ПРОФЕССИОНАЛЬНООБЩЕСТВЕННОЙ АККРЕДИТАЦИИ ДЛЯ СОЦИАЛЬНОГУМАНИТАРНОЙ СФЕРЫ РОССИЙСКОГО ОБРАЗОВАНИЯ
ДОЛГОРУКОВ Александр Михайлович - канд. филос. наук, ведущий науч. сотрудник НИЛ информационно-образовательных технологий социологического факультета МГУ им. М.В. Ломоносова. E-mail: dolgorukov.am@gman.com
ЗЫРЯНОВ Владимир Викторович - канд. экон. наук, доцент, зам. декана социологического факультета МГУ им. М.В. Ломоносова. E-mail: vvzyryanov@gmail.com МАЛАХОВ Филипп Владимирович - канд. социол. наук, ст. науч. сотрудник НИЛ информационно-образовательных технологий социологического факультета МГУ им. М.В. Ломоносова. E-mail: 5048320@gmail.com
ТЕМНОВА Лариса Витальевна - д-р психол. наук, профессор, заведующий НИЛ информационно-образовательных технологий социологического факультета МГУ им. М.В. Ломоносова. E-mail: Temnova.larisa@yandex.ru
Аннотация. В статье рассматриваются вопросы повышения продуктивности процедур профессионально-общественной аккредитации (ПОА) программ высшего образования в социально-гуманитарной сфере. В основе предложений и выводов лежит опыт участия авторов в ПОА и в выполнении проекта по апробации модели ПОА. Представлены и раскрыты принципы, лежащие в основе данной разработки. Выделены важнейшие характеристики процесса образования, которые должны учитываться при оценке образовательных программ. Процедуры разработаны с учетом международного опыта ПОА. Показаны некоторые подходы к совершенствованию технологии аккредитации, способные повысить объективность проводимых процедур, сократить затраты времени на проведение ПОА.
Ключевые слова: качество образования; профессионально-общественная аккредитация; стандарты, критерии и показатели аккредитации; образовательная программа; экспертная оценка, образовательные стандарты; профессиональные стандарты
С конца 1990-х годов в Европе резко возрос интерес к аккредитации как инструменту оценки качества деятельности вузов и академических программ. Системы аккредитации были созданы в Германии, Австрии, Швейцарии, Нидерландах, Бельгии (Фландрии), Норвегии и Испании [1, с. 285]. Эти же процессы актуализировались в начале XXI в. и в России. Так, наряду с государственной аккредитацией, начинает культивироваться профессионально-общественная аккредитация (ПОА) образовательных программ высшего и среднего образования. Последняя еще не стала массовым явлением, однако явно наметилась тенденция к расширению её использования в
российской образовательной среде как в связи с необходимостью решения внутри-российскихпроблем развития системы образования, так и в связи с включенностью страны в международное образовательное пространство.
Одни из первых отечественных разработок в этой области были осуществлены Национальным центром общественно-профессиональной аккредитации в Йошкар-Оле (http://ncpa.ru/), Агентством по контролю качества образования и развитию карьеры в Москве (http://www.akkork.ru/), Аккредитационным центром Ассоциации инженерного образования России в Томске (http://www.ac-raee.ru/), Ассоциацией
6
Высшее образование в России • № 10, 2015
классических университетов России (http:/ /www.acur.msu.ru/), Ассоциацией юристов России (http://alrf.ru/proekty/). АЦ АИОР стала инициатором процесса интернационализации процедур аккредитации и независимой оценки качества программ подготовки специалистов инженерного профиля. Благодаря многолетним усилиям в 2006 г. она вошла в члены Европейской сети по аккредитации в области инженерного образования (ENAEE), а в 2012 г. стала полным членом Вашингтонского соглашения (Washington Accord) [2].
В 2012 г. процедура профессиональнообщественной аккредитации была законодательно закреплена в Федеральном законе РФ «Об образовании в Российской Федерации» от 29 декабря 2012 г. N 273-ФЗ. Аналогичные действия в числе мероприятий по развитию российского образования были сформулированы в ряде программных документов 1 2, в частности в Указе Президента Российской Федерации от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки», в котором было дано поручение Правительству РФ совместно с общероссийскими объединениями работодателей и ведущими университетами с привлечением ученых РАН и международных экспертов представить к декабрю 2014 г. предложения по проведению профессионально-общественной аккредитации. При этом область гуманитарного образования была названа в качестве приоритетной для внедрения указанных процедур.
В целях выполнения этого поручения МГУ им. М.В.Ломоносова во второй половине 2013 г. провёл работу в рамкахпроек-та «Апробация модели общественно-про-
фессиональной аккредитации программ высшего профессионального образования по укрупненным группам специальностей и направлениям 040100 “Социология” »2.
Предложенная к апробации модель предполагала два объекта аккредитации:
1) качество результатов обучения и 2) эффективность и достаточность условий реализации образовательной программы. Разделением на два объекта разработчики модели пытались устранить серьезный недостаток ПОА (в трактовке 273-ФЗ), который состоит в том, что учет профессиональных стандартов, имеющих целью подтвердить профессионально установленный уровень компетенции, не связан напрямую с организацией образовательного процесса. В свою очередь, ФГОС, которые также определяют качество образования, не входят в сферу характеристик профессиональных стандартов. Таким образом, качество результатов обучения ориентируется на профессиональные стандарты или запросы работодателя, а эффективность и достаточность условий реализации образовательной программы - на ФГОС.
В составе модели были выделены следующие блоки:
1) система критериев и показателей;
2) технологии профессионально-общественной аккредитации;
3) регламенты и стандарты проведения аккредитации;
4) методика отбора, обучения и мотивации экспертов;
5) описание механизмов представления результатов.
Авторы статьи опирались на выводы и рекомендации, полученные в результате выполнения указанного Государственного
1 Концепция долгосрочного социально-экономического развития Российской Федерации до 2020 г. (утверждена распоряжением Правительства РФ от 17.11.2008 г. № 1663-р); Федеральная целевая программа развития образования на 2011-2015 годы (утверждена постановлением Правительства РФ от 07.02.2011 № 61); Государственная программа Российской Федерации «Развитие образования» на 2013-2020 годы (утверждена распоряжением Правительства РФ от 22 ноября 2012 г. № 2148-р) и др.
2 Государственный контракт № 05.101.12.0021 от 2 августа 2013 г.
Практика модернизации образования
7
контракта относительно 1-3 блоков модели, в частности, на одно из основных предложений по организации процедуры ПОА образовательной программы - «включение следующих основных этапов проведения оценки образовательной программы:
• самообследование образовательных программ самой образовательной организацией на основе заявленных аккредитационным агентством критериев;
• анализ аккредитующим органом результатов самообследования;
• посещение образовательной организации экспертами для анализа состояния организации работ на месте;
• составление экспертами заключения об оценке образовательных программ на основе заявленных критериев;
• составление единого отчета о результатах работы экспертов и согласование его с образовательным учреждением;
• утверждение отчета советом аккредитующей организации;
• принятие решения об аккредитационном статусе;
• реализация установленного механизма учета результатов аккредитации ».
Помимо этого, мы исходили из того, что «перед современными системами обеспечения качества и аккредитации стоит трудная задача разработать соответствующие процедуры и системы, которые распространялись бы на иностранных поставщиков и программы (наряду с национальными поставщиками и программами) в целях извлечения максимальной пользы и ограничения потенциальных недостатков интернационализации высшего образования. В то же время в результате роста трансграничной мобильности студентов, преподавателей, исследователей и специалистов тема
признания учебных и профессиональных квалификаций становится одной из приоритетных в повестке дня международного сотрудничества» [3, с. 8-9]. Одним из руководящих принципов ПОА для учреждений обеспечения качества и аккредитации признана необходимость «предоставлять точную и легкодоступную информацию о стандартах и процедурах оценки...» [3, с. 20]. Именно разработке стандартов, критериев и процедур оценки и посвящена предлагаемая статья.
Некоммерческим партнёрством «Общество социальных наук» (НП «ОСН») 3 перед нами была поставлена задача обобщения российского и зарубежного опыта разработки стандартов и критериев, а также процедуры профессионально-общественной аккредитации программ высшего образования в социально-гуманитарной сфере. В процессе работы мы использовали подход, который принято называть «исследование действием» (action research), что позволило изменять ход исследовательского процесса по достижении отдельных результатов и подключать к разработке новых участников и организации, вовлеченные в апробацию промежуточных и окончательных положений и процедур. Благодаря такому подходу мы получили доступ как к «объективной » (документальной и фактологической) информации, так и к «субъективным» (экспертным) оценкам участников исследовательской ситуации. При этом было важно оценить, как групповые или социетальные нормы работают в реальной практике аккредитации, и уже в ходе исследования получить обратную связь в качестве еще одного источника актуальных идей. Таким образом, все участники проекта (заказчик,исследовательская команда,
3 Учреждено в 2012 г. В числе учредителей - Московский, Санкт-Петербургский, Пермский, Саратовский, Волгоградский университеты, МГИМО, ИСПИ РАН, Институт психологии РАН, Институт экономики РАН, Институт социально-экономических проблем народонаселения РАН, ЦЭМИ РАН, РЖД, Федерация независимых профсоюзов России, Ассоциация региональных банков России. Председатель Правления - академик РАН Г.В. Осипов. В Уставе НП «ОСН» обозначено проведение ПОА.
8
Высшее образование в России • № 10, 2015
работодатели, образовательные организации) были включены в процесс анализа и разработки конкурентоспособной модели ПОА.
В основание исследования процедур и способов оценки аккредитуемых программ были заложены три положения, которые кратко раскрыты ниже. Они не противоречат сложившейся практике реализации ПОА [4, с. 66-69].
1. Открытость технологии аккредитации. Для реального обеспечения этого требования мы сформулировали ряд принципов осуществления аккредитации.
- Открытость информации о процедурах и критериях профессионально-общественной аккредитации. Этот принцип предполагает размещение соответствующей информации в свободном доступе, в том числе на официальном сайте аккредитующей организации в сети Интернет. Аккредитующая организация должна обеспечить возможность обсуждения опубликованных правил и критериев и их корректировки с учетом мнения общественности в связи с изменением обстановки на рынке труда, а также при появлении новых и модернизации прежних профессиональных стандартов.
- Приоритет интересов работодателей и профессиональных сообществ. ПОА направлена на удовлетворение потребности рынка труда в квалифицированных специалистах и выражает интересы профессионального сообщества, закрепленные в профессиональных стандартах и иных документах, содержащих квалификационные требования. Поэтому аккредитующая организация создает условия и организовывает специальные события, где представители работодателей, их объединений и профессиональных сообществ участвуют в разработке и утверждении методик проведения ПОА и привлекаются в качестве экспертов в данных процедурах.
- Открытость для субъектов ПОА. Система должна быть открыта для всех
образовательных организаций, являющихся субъектами ПОА.
- Полнота и достоверность используемой экспертами информации. Заключения о результатах ПОА формируются на основании информации, предоставляемой заказчиком. Ответственность за полноту информации несет заказчик, за достоверность - аккредитованные для работы в системе эксперты.
- Добровольность участия в профессионально-общественной аккредитации. Ни одна образовательная организация не может быть принуждена к прохождению данных процедур.
2. Способность технологий аккредитации к устойчивому саморазвитию.
Данное требование обеспечивается следующими принципами.
♦ Готовность аккредитующей организации к совершенствованию принципов, технологий и процедур аккредитации на основе научной рефлексии на всех этапах осуществления ПОА. Для обеспечения данного принципа аккредитующая организация должна организовать постоянно действующий научно-методический семинар, на котором будет регулярно анализироваться практика осуществления ПОА. Результаты семинара должны публиковаться и служить основой для разработки программ подготовки экспертов и совершенствования технологии ПОА в целом.
♦ Деятельность по проведению ПОА должна включать отслеживание качества подготовки работников и вести к адаптации аккредитуемых программ к реальным потребностям экономики на локальном, региональном и национальном уровнях.
3. Выстраиваемая система ПОА должна обладать всеми основными качествами института образования. Институциональный статус ПОА обеспечивают следующие принципы:
♦ законность ПОА. Это означает, что данная деятельность должна быть основа-
Практика модернизации образования
9
на на строгом следовании положениям законодательства РФ и не противоречить им. Все процедуры и критерии должны быть утверждены аккредитующей организацией и быть доступны для ознакомления всеми участвующими сторонами;
♦ защита прав участников ПОА. Процедуры ПОА должны полностью исключать возможность несанкционированного использования персональных данных экспертов, преподавателей, администрации, студентов и препятствовать ущемлению интересов всех заинтересованных сторон иным образом;
♦ единство методики проведения ПОА. Процедура проведения ПОА должна осуществляться в установленном порядке. Используемые методики ПОА, критерии, показатели и пороговые значения соответствия должны обеспечивать надежность и достоверность результатов. Аккредитующая организация должна обеспечить единство применяемых методик при аккредитации образовательных программ, реализуемых в рамках одного направления подготовки или специальности. Кроме того, должны быть установлены общие требования к экспертам при проведении данных процедур;
♦ платный характер ПОА. Предполагается, что заинтересованная в проведении аккредитации образовательная организация, реализующая образовательные программы на своей базе, заказывает данную услугу у уполномоченной аккредитующей организации. Стоимость аккредитации для организаций разных форм собственности, осуществляющих образовательную деятельность, различаться не должна. С согласия образовательной организации данные услуги может выполнить также другая организация, например заинтересованный работодатель или объединение работодателей. При этом государственные организации по закону не могут осуществлять ПОА на коммерческой основе.
Наряду с вышеприведенными принци-
пами, которые обеспечивают институциональный статус ПОА, важное значение имеет состав стандартов, по которым будут оцениваться программы высшего образования. Эти стандарты и критерии, по нашему мнению, должны не только отражать формальные требования образовательных и профессиональных стандартов, но также быть «чувствительны» к динамике и специфике реальных образовательных практик. Их разработка должна основываться на явном различении «фактов» и «оценок».
Анализ опыта коллег [5, с. 70-75; 6, с. 29; 7, с. 33-35] позволил сформировать перечень, состоящий из 10 стандартов: цели образовательной программы, система управления качеством обучения, содержание образовательной программы, методическое обеспечение образовательной программы, кадры, обеспечивающие реализацию образовательной программы, студенты, ресурсы программы, социокультурная среда, обеспечивающая становление и развитие личности, реализация научной работы в учебном процессе, выпускники и их трудоустройство.
Для получения минимальной сравнительной информации представим ниже сопоставление стандартов (в первой модели они называются критериями): а) в модели, предложенной в 2013 г. для апробации, б) в модели, полученной (адаптированной)в результате апробации (2014 г.), в) в модели, подготовленной в 2015 г. в НК «ОСН» (табл. 1).
Не вдаваясь в детальный анализ, отметим только, что в модели 2015 г. продолжены усилия по: а) устранению дублирования одной и той же информации в нескольких стандартах, б) агрегированию однотипной информации в отдельные стандарты, в) приближению терминологии, применяемой в документах ПОА, к формулировкам, привычным для администрации, ППС и студентов.
Аккредитация образовательных программ предполагает проведение ряда про-
10
Высшее образование в России • № 10, 2015
Таблица 1
Критерии модели ПОА, представленной на апробацию (2013) Стандарты адаптированной модели ПОА (2014) Стандарты модели Общества социальных наук (2015)
A. Критерии и показатели, определяющие качество образования 1. Востребованность выпускников программы на федеральном и региональном рынках труда 2. Уровень сформированности итоговых компетенций выпускника 3. Уровень удовлетворенности результатами обучения Б. Критерии и показатели, опреде ляющие эффективность условий реализации программы. 1. Программа (стратегия, цели, содержание, структура, менеджмент) 2. Учебно-методические материалы 3. Технологии и методики образовательной деятельности 4. ППС 5 Материально-технические ресурсы 6. Финансовые ресурсы программы 7. Информационные ресурсы программы B. Дополнительные критерии 1. Миссия учреждения. 2. Цели образовательной программы 3. Планирование, формирование и оценка образовательной программы 4. Содержание образовательной программы 5. Методическое обеспечение образовательной программы 6. Управление учебным процессом 7. Кадры 8. Студенты 9. Ресурсы программы 10. Социокультурная среда, обеспечивающая становление и развитие личности 11. Реализация научной работы в учебном процессе 12. Система обеспечения культуры качества 13. Выпускники и трудоустройство 14. Информационное продвижение образовательной программы 1. Цели образовательной программы 2. Система управления качеством обучения (планирование, формирование и оценка образовательной программы) 3. Содержание образовательной программы 4. Методическое обеспечение образовательной программы 5. Кадры 6. Студенты 7. Ресурсы программы 8. Социокультурная среда, обеспечивающая становление и развитие личности 9. Реализация научной работы в учебном процессе 10 Выпускники и трудоустройство
цедур, которые позволяют выявить соответствие уровня подготовки по образовательной программе требованиям, предъявляемым аккредитующей организацией. Для обеспечения технологичности проверки образовательной программы аккредитующая организация вырабатывает критерии, по которым необходимо проверить программу, чтобы определить её состояние. В нашей модели каждый из десяти названных стандартов состоит из частных критериев, раскрывающих его содержание. Только определив эти критерии, можно выходить на полевой этап проведения экспертизы образовательной программы. Однако основной вопрос заключается в том, каким образом учитывать восприятие критериев оценки экспертами, чтобы понять, достойна ли образовательная программа быть аккредитованной.
Существующий спектр аккредитационных технологий довольно широк: от нестан-
дартизированных субъективно оцениваемых процедур описательного характера до полностью формализованных. Зачастую встречаются процедуры оценки, которые подразумевают совмещение различных подходов. Нестандартизированные методы сбора информации о реализации образовательной программы не дают достаточных оснований для сравнения программ между собой и не обеспечивают возможности количественной оценки того, насколько программа соответствует или не соответствует требованиям ПОА.
Немаловажной проблемой является то, что различные аспекты аккредитации оцениваются по разным шкалам, то есть разработчики заранее предполагают, что каждый критерий оценки программы имеет свой заранее определенный вес важности для аккредитации, и потому разные критерии могут получить разное значение. Например, «работа образовательного учреж-
Практика модернизации образования
11
дения с работодателями » может получить от 0 до 5 баллов, а «участие сотрудников в конференциях и подготовка докладов » -от 0 до 3 баллов. При такой системе эксперты вынуждены постоянно переключаться от одной шкалы к другой. В итоге они не всегда осознают «разновесность » шкал, не всегда понимают, что шкала оценки конкретного критерия поменялась.
Встречаются также модели, в которых шкала может быть «перевернутой » и оценки могут измеряться от -5 до -1. При этом такие шкалы часто встречаются в одной модели аккредитации одновременно с традиционными. Опыт показывает, что зачастую эксперты не могут поставить ту оценку, которую хотели бы отнести к определенному изучаемому параметру. К примеру, критерий предполагает оценки от 0 до 1 баллов, где 0 - “критерий не реализуется”, 1 - “критерий реализуется”. Такой двоичный подход уместен, когда мы говорим о наличии или отсутствии какого-либо явления при реализации конкретной программы (скажем, конкретного лицензионного программного обеспечения). Однако в процедуре аккредитации должны применяться критерии не только такого рода (мы их называем «критерии-факты»), но также критерии, актуализирующие и характер, и качество реализации определенных аспектов образовательной программы. А они требуют наличия иных шкал оценки.
Таким образом, можно говорить как минимум о трех важных проблемах, выявленных в процедурах аккредитации.
Первая - неоднозначность восприятия экспертами критериев оценки. Критерии не всегда однозначно интерпретируются экспертами при наблюдении за их состоянием и в ходе выставления оценок.
Вторая - неформализованные способы оценки критериев. Факторы, имеющие сугубо описательный характер, не позволяют получить количественные оценки измеряемых критериев.
Третья - использование разнопорядко-
вых шкал оценки. Различия между ними, не всегда понятные экспертам, вносят неопределенность в работу.
Первую из обозначенных проблем полностью разрешить невозможно, так как каждый эксперт будет по-своему интерпретировать название и содержание критериев. Однако возможно ослабить влияние данного фактора. Чтобы избежать двоякого толкования критериев, мы предлагаем проводить предварительные экспертные оценки критериев и обсуждение того, как именно эксперты будут оценивать данные критерии и какой смысл они будут вкладывать в свои оценки. Кроме того, подключение к процедуре аккредитации не одного, а группы экспертов позволит снизить уровень субъективности, а в случае высокого уровня дисперсии в оценках возможен пересмотр названия и описания самого критерия или пересмотр результатов экспертных оценок. Для реализации плюрализма взглядов на разные стороны образовательной программы желательно, чтобы эксперты были представителями различных научных школ и различных сфер профессиональной деятельности, поэтомугруппа экспертов должна включать представителей сферы образования, сферы науки и работодателя.
Для решения второй проблемы мы считаем необходимым, чтобы процедура аккредитации была максимально стандартизированной и опиралась на единый подход к критериям оценки, который не должен зависеть от специфики содержания образовательной программы. Мы считаем нецелесообразным полностью отказываться от описательной части процедуры экспертизы, так как образовательная программа не является физическим объектом, ее невозможно «измерить линейкой ». Следовательно, надо быть готовым к тому, что разные эксперты могут давать по одному и тому же критерию сильно отличающиеся оценки, и именно в этом случае целесообразно, чтобы эксперты давали комментарии опи-
12
Высшее образование в России • № 10, 2015
сательного характера. Такие комментарии будут особенно полезны при вынесении аккредитационной комиссией окончательного вердикта и при подготовке рекомендаций образовательному учреждению.
Таким образом, процедура оценки образовательной программы должна быть максимально прозрачной, воспроизводимой и валидной. Числовые оценки позволяют при достижении определенных значений интегральных показателей аккредитовать образовательную программу, а также сравнивать образовательные программы между собой.
В ходе обследования обычно используется несколько источников получения информации [5, с. 70-75; 8, с. 5-16]:
1) самообследование, которое выполняется представителями учебного учреждения, реализующего образовательную программу;
2) метод наблюдения на занятиях для оценки конкретной реализации программы в ходе образовательного процесса;
3) метод опроса как по формализованным анкетам, так и в ходе неформализованных глубинных интервью;
4) метод экспертных оценок полученных результатов.
Для решения третьей проблемы мы предлагаем использовать следующий подход. Стандарты и критерии оценки программы имеют разную значимость, зафиксиро-
ванную в системе баллов, что дает возможность получить наиболее объективное числовое выражение состояния образовательной программы. Все критерии и стандарты имеют веса, которые приписываются им в результате экспертных оценок их важности в общей модели, каждый критерий получает свой вес, исходя из его важности для стандарта. При таком подходе интегральная оценка отражает, насколько реализация образовательной программы отличается от эталонной (идеальной) образовательной программы, причем фактический разрыв измеряется в процентах: чем выше процент реализации обследуемой программы, тем выше уровень ее соответствия эталонной.
Для того чтобы описать нашу модель аккредитации, дадим определения терминов. Модель аккредитации - это совокупность всех элементов и операций, из которых состоит процедура аккредитации. Критерии - наблюдаемые аспекты реализации образовательной программы, которым можно дать мотивированные оценки их состояния или простого наличия (присутствия). Стандарты - группа критериев оценки, которая отражает определенную сторону реализации образовательной программы.
Схематически связь между описываемыми элементами изображена на рисунке 1. Критерии процедуры оценки программы условно разделены на три типа:
Практика модернизации образования
13
• критерии-факты (Ф). Проверяется фактическое наличие или отсутствие наблюдаемого критерия (например, наличие основной образовательной программы на сайте);
• критерии-оценки (О). Для выявления состояния данного типа критерия проводятся исследовательские работы либо применяется экспертное заключение. В рамках предлагаемой методики разрабатываются конкретные методы оценки, которые можно алгоритмизировать. Критерийоценка также может быть и интегральным показателем, складывающимся из результатов разных исследований;
• смешанный тип (С). Разные аспекты критерия измеряются с использованием и критериев-фактов, и критериев-оценок.
Необходимо отметить, что процедура оценки образовательной программы содержит значительно больше критериев типа «О», и они имеют большую значимость по сравнению с критериями типа «Ф ».
В ходе проведения процедуры оценки эксперты анализируют результаты самообследования, заполненные приложения, результаты опросов лиц, участвующих в реализации образовательной программы, оценивают состояние каждого из критериев, которые, в свою очередь, определяют состояние стандарта. Для объективизации данных при проведении процедуры применяется система оценок, выражаемых в баллах. Эксперты, проводящие ПОА, всегда работают в одной шкале оценок (например, от 0 до 5 баллов), что значительно упрощает проведение экспертизы для ее участников. Каждый критерий оценивается по шкале, где: 0 - полное отсутствие изучаемого критерия; 1 - работа или документы, отражающие критерий, реализованы плохо; 5 -реализованы отлично; 2, 3 и 4 балла - промежуточные состояния между плохой и отличной реализацией критерия.
Исходя из полученных в ходе обследования данных эксперты дают оценки толь-
ко критериям. Состояние стандартов является интегральным показателем, формируемым из состояния критериев, входящих в стандарт. Оно подсчитывается в соответствии со специальной процедурой. При умножении усредненных оценок экспертов на вес критерия выявляется вклад каждого критерия в модель обследования образовательной программы.
Для установления значимости критериев и стандартов был использован метод экспертного опроса, в ходе которого привлеченные эксперты определяли вес каждого стандарта и входящих в него критериев.
Процедура определения значимости критериев и стандартов предполагала распределение 100 баллов (100 баллов - максимальная итоговая оценка программы) между десятью указанными выше стандартами. Например, если эксперт считает, что некий стандарт вносит в три раза больший вклад в общую модель, чем другой, то веса этих стандартов будут, скажем, 21 и 7 баллов соответственно. Т аким образом эксперты распределяют баллы между стандартами, и средние значения, округленные до целого числа, становятся весами стандартов и критериев. Вес стандарта является максимальным баллом, который может получить аккредитуемая образовательная программа по данному направлению деятельности (при условии успешной реализации каждого критерия, входящего в стандарт).
Такая же процедура реализуется и внутри каждого стандарта - с критериями, которые образуют стандарт. 100 баллов стандарта распределяются между входящими в него критериями релевантно значимости их вклада. То есть, если бы у нас были только критерии без объединения в стандарты, они представляли бы собой один большой стандарт - «образовательная программа». Таким образом, максимальный балл каждого стандарта, по сути, является процентом (долей) вклада стандарта в общую (интегральную) оценку программы, макси-
14
Высшее образование в России • № 10, 2015
мальный балл критерия - процентом его вклада в стандарт, а взвешенный балл критерия является процентом вклада критерия в интегральную оценку.
Вклад каждого критерия в стандарт и в интегральный показатель варьируется в довольно широких пределах. Значимость стандартов и критериев при определении уровня реализации программы является их весом в общей оценке ООП: от обязательного условия получения аккредитации до желательного и необязательного условия реализации программы. Балл критерия и стандарта отражает их вклад в интегральную оценку аккредитуемой программы: чем выше балл, тем выше значимость данного (обследуемого) критерия или стандарта.
Пример расчета значения критерия и показателя реализации программы.
Пусть конкретный критерий N дает вклад в стандарт 3%, а в интегральную оценку ООП стандарт дает вклад 6%. Тогда взвешенный максимальный бал критерия=3% х 0,06 = 0,18%.
Три эксперта дают следующие оценки состояния критерия N: 4; 3; 4. Тогда состояние критерия = (4+3+4)/ 3 / 5 х 100 = = 73,3% (где 5 - наибольший балл, который могут выставить эксперты). То есть критерий N реализован в программе на 73%. Отсюда вклад критерия в стандарт = 0,73 х 3 = 2,19%, а вклад критерия в общую оценку ООП = 2,19 х 0,06=0,1314%.
Таким образом, выставляя баллы от 0 до 5, каждый эксперт фактически определяет, насколько полно реализован критерий в образовательной программе, а сумма состояний критериев показывает, на сколько процентов реализован стандарт в программе. Сумма стандартов, в свою очередь, указывает на реализацию всей программы в процентном выражении.
Необходимо отметить, что для оценки конкретного критерия при процедуре обследования может быть использован как
один, так и несколько источников информации (самообследование, ответы работодателей, ответы студентов, собеседование с руководством программы, наблюдение на учебном занятии, анализ документов). Данные, полученные из разных источников, сопоставляются экспертами, и каждый из них выставляет оценку общего состояния критерия по своему усмотрению.
Учитывая, что каждый эксперт проводит обследование образовательной программы самостоятельно, не советуясь ни с кем при выставлении баллов по критериям, возможны случаи значительного расхождения оценок у разных экспертов. Оценки экспертов при усреднении также проверяются на вариацию: если дисперсия оценок высока, это означает, что эксперты дают критерию противоположные оценки. В данном случае помогут комментарии экспертов относительно того, почему они поставили те или иные баллы. Если информации в комментариях будет недостаточно и она не позволит разрешить проблему, необходимо проведение коллегиального обсуждения состояния критерия.
Процедура оценки образовательной программы должна постоянно совершенствоваться: стандарты и критерии, а также их значимость со временем могут значительно меняться. Описанный в статье подход позволяет проводить процедуру аккредитации оперативно и понятно для всех её участников, обеспечивая прозрачность проведения процедуры и снижая влияние субъективности оценки каждого отдельного эксперта.
Литература
1. Запрягаев С.А., Караваева Е.В., Карелина
И.Г., Салецкий А.М. Глобализация и системы обеспечения качества высшего образования. М.: Изд-во МГУ, 2007.
2. Наводнов В.Г., Мотова Г.Н. Практика ак-
кредитации в системе высшего образования в России // Высшее образование в России. 2015. № 5. С. 12-20.
Практика модернизации образования
15
3. Руководящие принципы для обеспечения качества в трансграничном высшем образовании,
Париж, 2006. URL: http://unesdoc.unesco.org/images/0014/001433/143349r.pdf
4. Герасимов С.И., Шапошников С.О. Принципы реализации профессионально-обществен-
ной аккредитации образовательных программ // Инженерное образование. 2013. № 12. С. 66-69.
5. Герасимов С.И., Шапошников С.О., Яткина Е.Ю. Типовые вопросы интервью при аккре-
дитации образовательных программ в Ассоциации инженерного образования России // Инженерное образование. 2013. № 12. С. 70-75.
6. Чучалин А.И. Аккредитация и сертификация в инженерном образовании и инженерной
профессии // Инженерное образование. 2014. № 15. С. 26-33.
7. Профессионально-общественная аккредитация: сборник организационно-методических
документов. М.: Перо, 2014. С. 33-35.
8. Чучалин А.И. Цели и результаты освоения профессиональных образовательных программ
// Высшее образование в России. 2014. № 2. С. 5-16.
Статья поступила в редакцию 27.07.15.
EXPERIENCE IN DEVELOPING PROCEDURES FOR PROFESSIONAL AND PUBLIC ACCREDITATION FOR THE SOCIAL AND HUMANITARIAN SPHERE OF RUSSIAN
EDUCATION
DOLGORUKOV Alexander M. - Cand. Sci. (Philosophy), Leading Researcher of the Scientific Survey Laboratory of Information and Educational Technologies, Lomonosov Moscow State University, Moscow, Russia. E-mail: dolgorukov.am@gmail.cоm
ZYRYANOV Vladimir V. - Cand. Sci. (Economics), Assoc. Prof., Vice Dean of Sociology Faculty, Lomonosov Moscow State University, Moscow, Russia. E-mail: vvzyryanov@gmail.com MALAKHOV Philipp V. - Cand. Sci. (Sociology), Senior Researcher of the Scientific Survey Laboratory of Information and Educational Technology of Sociology Faculty, Lomonosov Moscow State University, Moscow, Russia. E-mail: 5048320@gmail.com
TEMNOVA Larisa V. - Dr. Sci. (Psychology), Prof., Head of the Scientific Survey Laboratory of Information and Educational Technology of Sociology Faculty, Lomonosov Moscow State University, Moscow, Russia. E-mail: temnova.larisa@yandex.ru
Abstract. The article presents the experience in development of the professional-public accreditation concept (PPA) of the higher education programs in the social and humanitarian sphere. The principles underlying the basis of this development are revealed.
The paper dwells on the most important characteristics of process of education which have to be considered at an assessment of educational programs. Traditional and latest means of representation which are applied in modern educational process are considered.
The concept and the main documents are developed taking into account the international experience of accreditation. We discuss why the main qualities of the developed technology of accreditation will make it an important element of system of development of Russian education and increase its competitiveness in the international division of labor.
Keywords: professional and public accreditation, bases of the concept of accreditation, basic qualities of development, standards and indicators of accreditation, means of representation in education
References
1. Zapryagaev, S.A., Karavaeva, E.V., Karelin, I.G., Saletsky, A.M. (2007). Globalizatsiya isistemy
obespecheniya kachestva vysshego obrazovaniya [Globalization and the Quality Assurance System of Higher Education]. Moscow: MSU Publ. (In Russ., abstract in Eng.)
2. Navodnov, V.G., Motova, G.N. (2015). [Accreditation Practice in Higher Education in Russia].
16
Высшее образование в России • № 10, 2015
Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 5, pp. 12-20. (In Russ., abstract in Eng.)
3. Rukovodyashchie printsipy dlya obespecheniya kachestva v transgranichnom vysshem obrazovanii
[Guidelines for Quality Assurance in Cross-Border Higher Education]. 2006. Paris. Available at: http:// unesdoc.unesco.org/images/0014/001433/ 143349r.pdf (In Russ.)
4. Gerasimov, S.I., Shaposhnikov, S.O. (2013). [The Principles of Implementation of Professional and
Public Accreditation of Educational Programs]. Inzhenernoe obrazovanie [Engineering Education]. No. 12, pp. 66-69. (In Russ., abstract in Eng.)
5. Gerasimov, S.I., Shaposhnikov, S.O., Yatkina, E.Yu. (2013). [Typical Interview Questions in the
Accreditation of Educational Programs of the Association for Engineering Education of Russia]. Inzhenernoe obrazovanie [Engineering Education]. No. 12, pp. 70-75. (In Russ., abstract in Eng.)
6. Chuchalin, A.I. (2014). [Accreditation and Certification in Engineering Education and the Engineering Profession]. Inzhenernoe obrazovanie [Engineering Education]. No. 15, pp. 29. (In Russ., abstract in Eng.)
7. Professional’no-obshchestvennaya akkreditatsiya: sbornik organizatsionno-metodicheskikh
dokumentov [Professional and Public Accreditation: A Collection of Organizational and Methodical Documents]. Moscow: 2014, Pero Publ., pp. 33-35. (In Russ.)
8. Chuchalin, АТ. (2014). [The Goals and Results of Development of Vocational Education Programs].
Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 2, pp. 5-16. (In Russ., abstract in Eng.)
The paper was submitted 27.07.15.
ОБ ОЦЕНКЕ ЭФФЕКТИВНОСТИ РАБОТЫ ПРЕПОДАВАТЕЛЕЙ В СВЕТЕ ВВЕДЕНИЯ ЭФФЕКТИВНОГО
КОНТРАКТА
РЫЖОВ Владимир Петрович - д-р физ.-мат. наук, профессор, Южный федеральный университет. E-mail: vpr_trtu@mail.ru
ТЕРЕШКОВ Владимир Васильевич - канд. тех. наук, доцент, Южный федеральный университет. E-mail: tervv@tgn.sfedu.ru
КАШИРИНА Наталья Алексеевна - канд. пед. наук, доцент, Южный федеральный университет. E-mail: n_kashirina@inbox.ru
МАРЬЕВ Александр Александрович - канд. тех. наук, ст. преподаватель, Южный федеральный университет. E-mail: aamarev@sfedu.ru
Аннотация. В статье обсуждаются проблемы оценки эффективности работы профессорско-преподавательского состава (ППС) вузов в свете введения эффективного контракта. Акцент сделан на принципиальных вопросах такой оценки: соотношение (пропорции) между научной и педагогической составляющей работы ППС; роль кафедры и перспективы её изменений после вводимых инноваций; соотношение роли количественных (формализованных) и качественных (неформальных) показателей в оценке эффективности работы ППС; возможные подходы к количественным критериям оценки ППС. На основе проведенного анализа и полученного опыта конкретного вуза сформулированы выводы и рекомендации.
Ключевые слова: высшее образование, инновации в высшей школе, эффективный контракт, профессорско-преподавательский состав, оценка эффективности работы преподавателя, критерии оценки, роль кафедры
Ситуация в высшем образовании Рос- руководство страны, общество и препода-сийской Федерации продолжает тревожить вателей. На 2015-2018 гг. Дорожной кар-
