CC BY
807
r
s
ОБСУЖДАЕМ ПРОБЛЕМУ
М.Г. МИНИН, профессор Е.А. МУРАТОВА, доцент Н. С. МИХАЙЛОВА, профессор Национальный исследовательский Томский политехнический университет
Фонд оценочных средств в структуре образовательных программ
В статье рассмотрены способы и механизмы проектирования фонда оценочных средств для промежуточной и итоговой аттестации в соответствии с требованиями к основным образовательным программам высшего профессионального образования. Выявлены условия разработки эффективной системы оценивания: стандартизация форм и подходов к содержанию контроля, соответствие методов контроля планируемым результатам обучения, экспертиза фонда оценочных средств.
Ключевые слова: педагогическое проектирование, система оценивания, контроль результатов обучения, основные образовательные программы, критерии и индикаторы оценивания.
Актуальность задачи обеспечения качества разрабатываемых основных образовательных программ высшего профессионального образования (ООП ВПО) вызвана не только переходом на новые образовательные стандарты, но и необходимостью интеграции в мировое научно-образовательное пространство. В Томском политехническом университете с 2003 по 2010 гг. более 20 программ подготовки бакалавров, магистров и дипломированных специалистов в области техники и технологий успешно прошли общественно-профессиональную аккредитацию в Ассоциации инженерного образования России (АИОР), в том числе 15 программ - с присвоением европейского знака качества "EUR-ACE" и занесением их в регистр Европейской сети аккредитации инженерного образования (ENAEE) и Европейской федерации инженерных организаций ^ЕАШ). В программе развития национального исследовательского университета предусмотрено, что к 2018 г. не менее 30% реализуемых ООП ВПО будут согласованы с международными образовательными стандартами. У нас разработана и применяется
Стратегия постоянного улучшения качества ООП. Требования к процедурам проектирования и утверждения программ определяются Стандартом и Руководством по обеспечению качества ООП ТПУ [1].
Роль системы оценивания в проектировании ООП
Основная образовательная программа -совокупность учебно-методической документации, регламентирующая цели программы, ее ожидаемые результаты, систему их оценивания, условия реализации образовательного процесса по направлению, уровню и профилю подготовки выпускников с высшим профессиональным образованием.
Технология проектирования ООП основана на уточненной нами двухцикловой модели АВЕТ1, определяющей последовательность этапов проектирования и оценивания ООП, а также устанавливающей взаимосвязь между внутривузовскими процессами гарантий качества подготовки выпускников и внешней средой (рис.). Внешний цикл отражает процессы формирования, оценива-
1 Accreditation Board for Engineering and Technology (Американский совет по технике и технологии) - лидер в области разработки новых критериев, процедур и методов оценки качества в области инженерного образования.
ВНЕШНИЙ ЦИКЛ
ВУЗОВСКИЙ ЦИКЛ
1. Потребности 8. Оценивание 7. Организация 6. Способы и
результатов учебного процесса средства обучения
2. Цели обучения *
1 4. Индикаторы и
3. Результаты
критерии оценки
5. Способы, средства оценивания
Рис. Двухконтурная модель проектирования и оценивания ООП
ния и корректировки целей образовательной программы. Внутренний цикл жизни программы показывает, каким образом в вузе планируются, достигаются и оцениваются результаты обучения. Взаимосвязь контуров демонстрирует, что процедуры оценивания, сформированные в ООП, управляют образовательным процессом, обеспечивая запланированное качество образования. Устанавливаются следующие процессы проектирования ООП:
1) изучение потребностей заинтересованных сторон;
2) формирование целей ООП;
3) планирование результатов обучения для достижения целей ООП;
4) определение критериев и индикаторов оценивания запланированных результатов;
5) определение того, как результаты будут оценены;
6) определение того, как результаты будут получены;
7) организация образовательного процесса;
8) проектирование и использование системы оценивания результатов обучения.
Приведенный перечень процессов не следует переводить буквально в линейную последовательность этапов разработки ООП. Модель отражает взаимосвязи между процессами. Так, система контроля должна разрабатываться параллельно с выявлением и установлением целей ООП и планируемых результатов обучения (процессы 3 и 8). Такой подход обеспечивает, с одной стороны, адекватное и эффективное
управление процессом обучения, с другой - объективное оценивание качества образования. Игнорирование предлагаемой модели проектирования и оценивания ООП приводит к ситуациям, когда часть запла-нированныхрезультатов обучения ООП не оценивается, не конкретизируется, а следовательно, остается нереализованной в ходе обучения. При внутреннем аудите ООП нами установлены случаи несоответствия между результатами обучения и критериями, методами их оценивания, что дезориентирует преподавателей в организации учебного процесса.
Структура и содержание ООП, образовательные технологии, включая планирование и оценку качества подготовки выпускников, должны быть нацелены на достижение заявленного результата образования. При этом акцент образовательного процесса переносится на контрольно-оценочную составляющую, которая позволяет систематически диагностировать и корректировать процесс обучения. Этап планирования системы оценивания в проектировании ООП становится первоочередным, он определяет способы и средства, показывающие достижение целей образовательных программ.
Фонд оценочных средств как система контроля
Необходимость присутствия в ООП и программах рабочих дисциплин инструментов управления образовательной деятельностью путем сопоставления запланиро-ванныхи получаемых результатов вызыва-
ет потребность в планировании фондов оценочных средств (ФОС) [2]. ФОС представляет собой систему, обладающую составом, структурой, свойствами целостности и полноты.
Фонд оценочных средств имеет следующую структуру:
1) индикаторы - перечень конкретизированных результатов обучения (описание того, что студент будет в состоянии сделать или показать в результате обучения);
2) средства - база учебных заданий с критериями оценивания;
3) способы - методики, технологии и руководства для проведения контролирующих мероприятий.
Формирование ФОС при разработке ООП с учетом требований студентоцент-рированного подхода к образовательному процессу должно осуществляться таким образом, чтобы обеспечить переход:
• от пассивной роли обучаемого в процессе контроля к активной позиции (творческие задания, взаимоконтроль, самоконтроль);
• от одномерного измерения кмного-мерному, от оценки отдельных умений к интегрированной (комплексной и междисциплинарной) оценке;
• от оценки того, что должен, к тому, на что способен;
• от единовременной оценки к оценке динамики индивидуальных достижений;
• от оценки исключительно индивидуальных достижений студентов к оценке достижения группы, что позволяет проверить сформированность некоторых коммуникативных компетенций;
• от оценки собственно результатов обучения к выявлению факторов, обусловивших достижение этих результатов.
В Стандарте и Руководстве по обеспечению качества ООП [1] внимание разработчиков ФОС акцентировано на использовании разнообразных форм и методов оценивания (контроль одного результата
обучения проводится не менее чем двумя методами), на необходимости интегрирования контроля и обучения (рефлексия, самооценка), на использовании заданий с определенным контекстом (контекстуализи-рованная задача).
Соответствие критериям качества ФОС осуществляется при экспертизе, основанной на оценке:
■ диагностичности целей контроля, соответствия целям обучения, качества предлагаемых критериев, индикаторов оценивания;
■ полноты и системной организации оценочных материалов;
■ уровней сложности учебных заданий, наличия адаптивных механизмов предъявления заданий, вариативности;
■ междисциплинарности заданий;
■ методов стимулирования познавательной активности (разнообразие форм заданий, контекстные задания, релевантное и многоаспектное оценивание, рефлексия, взаимооценка);
■ способов формирования навыков самооценивания;
■ использования современных принципов и методов контроля;
■ надежности и валидности результатов контроля;
■ содержательной экспертизы, данных апробации, количественных характеристик качества заданий;
■ объема, полноты охвата и оригинальности материалов, в т.ч. результатов собственных научных исследований и т. д.
Современные способы оценивания результатов обучения переносят акценты в контрольно-оценочной деятельности преподавателя с измерительной функции («надзирательная, карающая ») на управленческую (коррекция, проектирование, сотрудничество). При асинхронной системе обучения возникает потребность в независимой оценке результатов обучения, что ведет к разделению функций контроля по разным субъектам образовательного про-
цесса. Коррекция и тактическое управление учебным процессом делегируются преподавателю как «менеджеру» обучающегося, и в таком случае не предполагается стандартизации системы оценивания. Измерительная функция для промежуточной (семестровой) и итоговой аттестации осуществляется третьим лицом, она имеет целью определение успешности или степени достижения запланированных результатов обучения. При подобном разграничении функций необходима разработка ФОС
ООП и ФОС модулей (или дисциплин), что, в свою очередь, требует декомпозиции планируемых результатов обучения по основной образовательной программе (РОП) на конкретизированные результаты обучения по модулю (РОМ); эта процедура должна предшествовать проектированию ФОС.
Проектирование ФОС в зависимости от разрабатываемого содержания включает три этапа. На подготовительном этапе формируются критерии и планы оценочных процедур, рабочая группа ООП (в случае
Таблица 1
Матрица оценивания результатов ООП
Результат обучения Средства/ способ оценивания Время оценивания Процедура оценивания Ожидаемое использование результатов Ответственный
1 2 3 4 5 6
РОП1 • ВКР • УИРС • НИРС • Курсовые работы • Междисциплинарный экзамен • Практика (учебная, производственная) • Профессиональное портфолио • Опрос работодателей • Опрос выпускников
РОП2
Комментарии по графам матрицы:
1. В первую графу заносятся все запланированные РОП.
2. Средства оценивания результатов обучения ООП подразделяются на ненаправленные (фокусируются на действительных результатах, индикаторах в виде конкретизированных результатов обучения) и направленные (оценивают не отдельные достижения, а комплексный РОП). К направленным относятся профессиональное портфолио, опросы работодателей и выпускников, планирование которых обязательно для каждого результата. Для каждого результата используется не менее двух ненаправленных способов оценивания.
3. Для мониторинга формирования компетенций необходимо ввести время оценивания; оно определяет и время сбора данных.
4. Четвертая графа включает краткую характеристику процедур оценивания и перечень материалов, подтверждающих достижение результатов.
5. Описание ожидаемого использования результатов необходимо для совершенствования образовательного процесса, ООП и проектирования корректирующих мероприятий.
6. В шестой графе указываются лица, ответственные за организацию оценивания.
рабочей программы модуля, дисциплины -преподаватели) планирует процедуры оценивания в форме матрицы, представленной в табл. 1, и спецификаций.
Для ФОС модуля (дисциплины) составляется аналогичная матрица, отличающаяся содержанием: в первой графе указываются конкретизированные РОМ в рамках ООП, во второй - способы контроля, определяемые для промежуточной аттестации руководителем ООП или рабочей группой.
Для каждого результата обучения согласно матрице разрабатываются спецификации способов оценивания по форме, представленной в табл. 2. Спецификация необходима для обоснования надежности, валидности результатов контроля. На ее основе можно разрабатывать несколько вариантов систем заданий, устанавливать регламент оценочных мероприятий (время, нормативные сроки, учебно-методические, технические, эргономические условия проведения).
Основной этап проектирования ФОС включает:
1) формирование содержания конкретных оценочных мероприятий.
2) составление контрольных заданий, по результатам выполнения которых можно судить о степени достижения результата обучения.
3) разработку оценочных шкал.
Условия успешного проектирования ФОС
Апробация предложенной концепции и механизмов проектирования ФОС выявила ряд условий, влияющих на эффективность систем оценивания результатов
обучения в целом по ООП и дисциплинам. В рамках статьи ограничимся самыми существенными.
Во-первых, успешность оценивания зависит от дифференциации РОП от РОМ. Первые имеют широкую формулировку, вторые более специфичны, конкретизированы и представляют собой описание того, что студенты будут способны делать; они определяют содержание, способ обучения и оценивания в каждом модуле и в совокупности с другими модулями, формируют РОП. При проектировании ООП необходимо учитывать, что конкретизированные РОМ не только способствуют объективной диагностике, но и а) информируют студентов о том, что от них ожидается; б) ориентируют выбор преподавателя в способе обучения и оценивания и фокусируются на том, что студенты будут способны делать в конце обучения по модулю, дисциплине; в) определяют область и уровень сформированности, который необходимо достичь при обучении и оценивании; г) удов-
летворяют требованиям одного или нескольких РОП.
Во-вторых, возможность оценивания результатов обучения зависит от лингвистической правильности формулировок. (Нами выявлены ошибки в формулировках, препятствующих проектированию релевантных ФОС).
В-третьих, эффективность проектирования ФОС зависит от планируемых способов оценивания. РОП и РОМ представляют собой комплексные результаты, которые объективно могут быть оценены только комплексными методами. Разделение комплексных результатов на простые действия с последующей суммирующей оценкой не
Таблица 2
Спецификация оценивания результатов обучения
РОП1
Способ оценивания Цель и используемый подход Целевая аудитория Метод и форма контроля Критерии оценивания Шкала оценивания
приведет к валидным результатам оценивания.
Компетентностный подход в проектировании ФОС
Междисциплинарная направленность результатов обучения и формируемых компетенций выпускника усиливает значимость коллективной деятельности преподавателей при проектировании ООП, большое значение приобретает междис-циплинарность оценивания. Нами предложена технология, включающая формирование целей модуля, результатов обучения, индикаторов (признаков) уровня сформированности РОМ (минимальный и повышенный) с учетом компетентностно-го подхода.
Например, для условного модуля, формирующего профессиональную компетенцию «Способен критически оценить предлагаемые варианты управленческих решений и разработать и обосновать предложения по их совершенствованию с учетом критериев социально-экономической эффективности, рисков и возможных социально-экономических последствий», - ре-
зультаты обучения могут быть представлены следующим образом (табл. 3).
Описание признаков сформированнос-ти минимального и повышенного уровня заявленной компетенции позволяет отобрать значимое содержание модуля, определиться с предметом контроля и эффективной программой промежуточных и итоговых испытаний.
При компетентностном походе в контроле результатов образования следует отметить возрастающую роль оценочных шкал, которые позволяют оценить комплексный набор действий. Поэтому актуальным становится использование эссе, контрольных работ,исследовательских проектов, защиты рефератов, устных докладов, презентаций, портфолио и др. Оценочная шкала делает процедуру оценивания более объективной, исключает субъективизм преподавателя. Шкала, как правило, не зависит от дисциплины и направлена на оценкурезультата, определенных действий, цели оценивания или творческой составляющей выполняемой работы. Важным достоинством оценочных шкал является обеспечение обратной свя-
Таблица 3
Критерии оценивания запланированных результатов обучения
Результат Минимальный Продвинутый
Знает специальную терминологию Использует базовый вокабуляр по теме Свободно владеет вокабуляром по теме, ведет свободную беседу
Знает основы маркетинговой деятельности и методики управления предприятием в конкурентной среде в условиях рынка Рассчитывает и анализирует систему показателей, характеризующую работу хозяйствующего субъекта на макро- и микроуровне Осуществляет анализ рыночной ситуации, выявляет проблемы маркетингового характера, разрабатывает способы их решения с учетом рисков и возможных социально-экономических последствий
Умеет применять конкретные маркетинговые инструменты, инструменты воздействия на формирование благоприятной маркетинговой среды предприятия в определенных рыночных ситуациях Осуществляет поиск информации, проводит анализ и обработку результатов анализа в соответствии с ранее определенной проблемой для решения поставленных маркетинговых задач Использует полученные сведения для принятия эффективных управленческих решений
Владеет навыками управления маркетинговой деятельностью фирмы в условиях динамичного современного рынка Владеет методологией и методикой маркетинговых исследований Формирует систему маркетинговой информации, использует эффективные инструменты маркетинга
Навык работы в группе, коллективе (ПК-5) Эффективная работа в коллективе и поддержка дискуссии Эффективная работа в коллективе и организация дискуссии
зи: как улучшить действия, чтобы усовершенствовать свои знания, умения, навыки. Оценочные шкалы доводятся до сведения студентов до начала обучения или до выполнения задания.
Очень часто перед преподавателем стоит задача оценить не сам результат, а творческую или авторскую составляющую решения. В данном случае можно порекомендовать аналитические шкалы, которые позволяют оценить отдельные, индивидуальные части изделия(образца, модели) или работы. Когда необходимо оценить весь процесс или изделие (образец, модель), рекомендуется использовать целостные шкалы. Подобные шкалы применяются при оценке заданий части С в ЕГЭ.
Проектирование ФОС занимает одну из ведущих позиций в разработке ООП и рабочих программ модулей, дисциплин. Совместная деятельность двух кафедр ТПУ - инженерной педагогики и педагогических измерений - направлена на решение важной задачи - повышение квалификации преподавателей по проектированию и реализации ООП и рабочих программ модулей нового поколения в логике компетентност-ного подхода. Одно из направлений решения этой проблемы мы видим в специальной подготовке преподавателей, связанной с формированием профессиональной компетенции в области контрольно-оценочной деятельности [3, 4]. Подготовка осуществляется в ТПУ как базовом университете, организующем повышение квалификации
преподавателей ВПО, СПО и НПО. Внутренний аудит ООП, проводимый с позиций системности и комплексности, показал необходимость в постоянно функционирующем консалтинговом Центре оценки качества ФОС.
Литература
1. Стандарты и Руководства по обеспечению
качества основных образовательных программ подготовки бакалавров, магистрантов и специалистов по приоритетным направлениям развития Национального исследовательского Томского политехнического университета: Сборник инструктивно-методических материалов / Под ред. А.И. Чучалина, Е.Г. Язикова. Томск: Изд-во Томского политехнического университета, 2010. 153 с.
2. Методика создания оценочных средств для
итоговой государственной аттестации выпускников вузов на соответствие требованиям государственного образовательного стандарта высшего профессионального образования / Письмо Минобразования России от 16 мая 2002 г. №14-55-353ин/15.
3. Михайлова Н.С, Муратова Е.А, Минин
М.Г. Совершенствование контроля результатов обучения в техническом вузе // Вестник Московского государственного агроинженерного университета имени В.П. Горячкина. 2009. № 37. С. 143-147.
4. Михайлова Н.С, Муратова Е.А, Минин
М.Г. Разработка фонда оценочных средств в проектировании образовательных программ: Учеб. пособие. Томск: Изд-во ТПУ, 2008. 204 с.
MININM, MURATOVA E, MIKHAILOVA N. DEVELOPMENT OF ASSESSMENT TOOLS BANK WITHIN EDUCATION PROGRAM STRUCTURE
The paper describes approaches for development assessment tools bank for interim and final examinations in accordance with the requirements to education programs of higher professional education. The following conditions are defined for development the effective evaluation system: standardization of forms and approaches of diagnostics, correspondence of assessment methods to expected learning outcomes, expertise of evaluation tools bank.
Keywords: pedagogical design, evaluation system, assessment of learning outcomes, educational programs, evaluation criteria and indicators.
