CC BY
67
УДК 378:371.26
Н.С. Михайлова, канд. пед. наук, доцент Е.А. Муратова, канд. техн. наук, доцент М.Г. Минин, доктор пед. наук, профессор ГОУ ВПО «Томский политехнический университет»
СОВЕРШЕНСТВОВАНИЕ КОНТРОЛЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ В ТЕХНИЧЕСКОМ ВУЗЕ
Введение в действие новых стандартов профессионального образования требует опережающей разработки основных образовательных программ (ООП), базирующихся на современном научно-образовательном ресурсе, в том числе достижениях новейших исследований по соответствующим направлениям, инновационных педагогических технологиях и эффективных методах организации учебного процесса. Основная особенность федеральных государственных образовательных стандартов высшего профессионального образования (ФГОС ВПО) третьего поколения — ориентация не на содержание, а на результат образования, выраженный через компетентности специалистов. Структура и содержание ООП, образовательные технологии, включая планирование и оценку качества подготовки специалистов, должны быть нацелены на формирование и достижение заявленного результата образования. Таким образом, акцент образовательного процесса переносится на контрольно-оценочную составляющую, которая позволяет систематически отслеживать, диагностировать, корректировать процесс обучения. Уже на этапе проектирования ООП необходимо планировать, какими способами и средствами будут оцениваться результаты образования, что будет служить доказательством достижения целей образовательных программ.
Использование традиционного контроля в новых условиях не развивает образовательные системы высшего профессионального образования, а зачастую искажает истинную картину уровня подготовленности студентов и не дает сколько-нибудь надежного инструмента для управления качеством образования.
Повышение уровня профессиональных педагогических знаний преподавателей, включая контрольно-оценочную деятельность, в Томском политехническом университете (ТПУ) осуществляется в Институте дополнительного непрерывного образования. С 2002 года на кафедре педагогических измерений ведется подготовка специалистов-тестологов в рамках получения дополнительного образования. Подготовку специалистов в области педагогических измерений такого уровня проводят только три кафедры в России, две из которых
находятся в Москве. Помимо дополнительного образования кафедра проводит многоуровневое повышение квалификации преподавателей ТПУ с использованием дистанционного обучения, а также в форме обучения с последующей консультационной поддержкой. Согласно приказам ФАО кафедра осуществляет повышение квалификации профессорско-преподавательского состава вузов и ссузов России. Под руководством кафедры проводится разнообразная научно-практическая деятельность по совершенствованию процедур контроля в вузе. Накопленный опыт за 7 лет работы кафедры нам хотелось бы обсудить в данной статье.
Перенос акцента на комплексное оценивание результатов образования в условиях перехода на новые ФГОС ВПО позволяет оперативно модернизировать организационно-методические и психологопедагогические условия контроля процесса и результатов образовательной деятельности. Основными недостатками, которые выявили авторы в ходе исследования и неоднократно упоминают педагоги профессионального образования, следует считать необъективность, бессистемность, изолированность, закрытость.
Опыт контрольно-оценочной деятельности преподавателей ТПУ показывает необходимость использования системного подхода. Разумеется, что каждый преподаватель создает свою уникальную систему, которая учитывает особенности вуза, студентов, цели контроля. Но разрабатывая, педагог строит ее из ограниченного набора элементов. Выбор из имеющегося арсенала методов, способов, средств всегда остается за преподавателем. Важно, чтобы в конкретных условиях работы этого педагога, используемая система была эффективна. Для ее оценки Н.Ф. Ефремова предлагает обобщенные критерии [1]: производительность, экономичность, адаптивность, дидактичность, оперативность, надежность. Таким образом, инновационное понятие контроля сводится к рассмотрению его как систематического, целенаправленного процесса осуществления обратной связи «обучаемый-педагог» и способа обучения и оценивания учебных достижений, использующегося для улучшения деятельности каждого субъекта образования.
143
Для повышения качества педагогического менеджмента, стимулирования преподавателей в создании эффективных систем контроля, обобщения и распространения инновационного опыта контроля результатов обучения в ТПУ ежегодно проводится конкурс «Лучшие материалы фонда оценочных средств» [2]. Фонд оценочных средств (ФОС) должен быть неотъемлемой частью рабочих программ дисциплин, содержать цели, критерии, методы, средства, условия оценивания учебных достижений. Это требование обусловлено необходимостью иметь механизмы обеспечения непрерывного контроля выполнения программы образовательной деятельности и обратной связи для ее совершенствования. Авторы рассматривают ФОС как систему в силу того, что он обладает составом, целостностью, структурой, свойствами избыточности и полноты.
Фонд оценочных средств, представляемый на конкурс, должен включать:
1. Структурированный перечень целей обучения, которые для успешного перевода в показатели оценивания должны представляться в диагностируемой форме.
2. Базу контрольных заданий с критериями оценивания, применяемых в различных формах контроля, на всех этапах учебного процесса.
3. Методики и технологии проведения контролирующих мероприятий.
Комплекты материалов, поданные на конкурс «Лучшие материалы ФОС» в 2009 году отличались разнообразием использованных подходов к контролю, формами заданий, способами проведения оценочных процедур. Анализ работ показывает, что преподаватели дисциплин блоков ГСЭ и ЕН все чаще используют тестовые технологии контроля, а педагоги специальных и общепрофессиональных дисциплин ориентированы на контроль с использованием творческих заданий (проекты разного уровня сложности, конструкторские, изобретательские задачи и др.). Очевидно, это связано с тем, что именно данные дисциплины вносят больший вклад в формирование результатов обучения по специальности (ключевые компетентности), а дисциплины блоков ГСЭ и ЕН являются общей базой для формирования компетенций в последующем обучении.
Из всего многообразия представленных на конкурс материалов в целях анализа тенденций развития контрольно-оценочной деятельности авторы выделили тестирование как способ стандартизированного контроля и способы оценивания компетентностей. Выбор обусловлен, с одной стороны, все более широким внедрением выделенных способов в образовательный процесс вузов, а с другой — высоким уровнем методологических и технологических требований в применении.
144
Тестирование в качестве метода контроля обладает свойством высокой технологичности процесса с управляемыми параметрами качества. В образовательной деятельности ТПУ тесты используются на всех этапах обучения. Программная поддержка, разработанная специалистами ТПУ, позволяет проводить пооперационный контроль на лекциях в аудиториях с обратной связью. Преподаватель, применяя задания в тестовой форме при фронтальном опросе, имеет возможность отслеживать ход усвоения теоретических знаний, оперативно корректируя учебный процесс, подбирая оптимальный режим и содержание обучения в зависимости от учебных достижений группы. Одновременно программное средство фиксирует, сохраняет, кумулирует результаты выполнения заданий каждого обучаемого. Студенты по индивидуальным дисплеям получают моментальную обратную информацию о своих успехах. Трудности такого контроля связаны с правильным подбором заданий, содержание которых должно соответствовать этапу усвоения знаний: восприятие, ощущение, осознание, применение.
Проведение предварительного контроля некоторыми преподавателями имеет низкую эффективность из-за неопределенности целей оценивания. Результаты его в форме выявленных пробелов или установленного потенциала будущей деятельности (способность как возможность) не применяются в дальнейшем обучении из-за трудностей внедрения личностно-ориентированного подхода в традиционные формы учебного процесса. Успешнее всего тестирование «на входе» используется авторами для отбора студентов на обучение по программам элитного технического образования. Содержание заданий (в отличие от ЕГЭ) направлено на выявление логического мышления. Также авторы рекомендуют использовать входной контроль на основе индивидуально-ориентированного подхода к интерпретации результатов. Например, для фиксирования исходного уровня обученности. При сравнении с результатами итогового контроля можно получить информацию о приросте «знаний», сформированности умений, анализировать эффект дидактического процесса, что особенно актуально при компетентностном подходе в образовании.
Наиболее полно тестирование отвечает условиям и задачам итогового контроля, когда на первый план выдвигаются требования объективности, оперативности, достигаемые за счет стандартизации, процедур валидизации. Стандартизация в приложении к тестированию — унификация и приведение к единым нормам характеристик тестов, процедур тестирования и разработки теста. Повышение качества тестовых материалов путем стандартизации — одно из направлений научно-методической деятельности кафедры педагогических измерений.
В Томском политехническом университете стандартизированные тесты используются на контрольных срезах, проводимых Центром оценки качества образования, для централизованного Интернет-экзамена, на экзаменах, зачетах, в качестве допуска к экзамену. Наиболее эффективно показал себя диагностический комплекс независимой оценки уровня учебных достижений студентов по предмету «Химия», разработанный учеными ТПУ. Идея проекта заключается в непрерывном мониторинге — 3 рубежных и итоговый контроль, которые осуществляются с использованием квалиметрически выверенных заданий (сертификат соответствия (1) №2 05-0010 центра сертификации тестовых материалов ГНУ «Исследовательский центр проблем качества подготовки специалистов». Условия проведения аттестации: экзамен проходит на всех факультетах единовременно, преподаватели участвуют в роли наблюдателей, результаты обрабатываются в Центре оценки качества и передаются на факультеты в этот же день. Разработанная технология успешно работает с 2004 года, вписывается как в асинхронную, так и традиционную систему обучения студентов. Объективный контроль качества знаний, оперативная обработка результатов испытаний и интерпретация их в удобном для пользователя виде обеспечивает обратную связь в образовательном процессе. По результатам диагностики осуществляются коррекционные мероприятия, совершенствуются содержание, методы и формы организации, руководства и управления учебно-познавательной деятельностью студентов.
Компетентностный подход в контроле результатов образования должен акцентировать внимание на том, что студент знает, понимает и (или) в состоянии продемонстрировать по окончании образовательного процесса: занятия, дисциплины, модули, практика или ООП в целом. Обучение использованию подхода можно рассмотреть на примере организации заданий «за круглым столом» по разработке программы междисциплинарного модуля, проводимого с преподавателями курсов повышения квалификации.
Отрабатывается технология, включающая формирование целей модуля, результатов обучения, индикаторов (признаков) сформированности минимального и повышенного уровня компетенций. Составляется программа промежуточных и итоговых испытаний, разрабатываются оценочные средства. Например, для условного модуля была выбрана профессиональная компетенция «Способен критически оценить предлагаемые варианты управленческих решений, разработать и обосновать предложения по их совершенствованию с учетом критериев социально-экономической эффективности, рисков и возможных социально-экономических последствий (ПК-13)». Данная компетенция для условного
специалиста была представлена следующими результатами образования в соответствии с его будущей профессиональной деятельностью на уровне «знание, умение, владение». Таким образом, студенты должны: знать:
• специальную терминологию;
• основы маркетинговой деятельности и методики управления предприятием в конкурентной среде в условиях рынка;
• уметь:
• применять конкретные маркетинговые инструменты, инструменты воздействия на формирование благоприятной маркетинговой среды предприятия в определенных рыночных ситуациях;
владеть:
• навыками управления маркетинговой деятельностью фирмы в условиях динамичного, склонного к нововведениям современного рынка;
• навыками работы в группе, коллективе. Следующим шагом определялись признаки
сформированности минимального и повышенного уровня заявленной компетенции (табл. 1).
Описание признаков сформированности минимального и повышенного уровня заявленной компетенции позволило преподавателям отобрать значимое содержание курса, определиться с предметом контроля и эффективной программой промежуточных и итоговых испытаний. При компетентност-ном подходе в контроле результатов образования следует отметить возрастающую роль оценочных шкал, которые позволяют определить большой набор действий. Поэтому актуальным становится использование эссе, контрольных работ, исследовательских проектов, защиты рефератов, устных докладов, презентаций, портфолио и др. Оценочная шкала делает процедуру оценивания более объективной, исключает субъективизм преподавателя. Шкала, как правило, не зависит от дисциплины и направлена на оценку результата, определенных действий, цели оценивания или творческую составляющую выполняемой работы. Важным достоинством оценочных шкал является обеспечение обратной связи студентам относительно того, как улучшить их действия, чтобы усовершенствовать свои знания, умения, навыки. Очень часто перед преподавателем стоит задача оценить не сам результат, а творческую или авторскую составляющую решения. В данном случае можно порекомендовать аналитические шкалы, которые позволяют оценить отдельные, индивидуальные части изделия (образца, модели) или работы. Когда необходимо оценить весь процесс или изделие (образец, модель), рекомендуется использовать целостные шкалы. Подобные шкалы используются при оценке заданий части С в ЕГЭ.
145
Критерии оценивания запланированных результатов образования
Таблица 1
Результат Минимальный Продвинутый
1. Знание специальной терминологии Использование базового вокабуляра по теме Свободное владение вокабуляром по теме, ведение свободной беседы
2. Знание основ маркетинговой деятельности и методики управления предприятием в конкурентной среде в условиях рынка Расчет и анализ системы показателей, характеризующих работу хозяйствующего субъекта на макро-и микроуровне Осуществление анализа рыночной ситуации, выявление проблемы маркетингового характера, разработка способов их решения с учетом рисков и возможных социальноэкономических последствий
3. Умение применять конкретные маркетинговые инструменты, инструменты воздействия на формирование благоприятной маркетинговой среды предприятия в определенных рыночных ситуациях Осуществление поиска информации, ее анализ и обработка результатов анализа в соответствии с ранее определенной проблемой для решения поставленных маркетинговых задач Использование полученных сведений для принятия эффективных управленческих решений
4. Владение навыками управления маркетинговой деятельностью фирмы в условиях динамичного, склонного к нововведениям современного рынка Владение методологией и методикой маркетинговых исследований Формирование системы маркетинговой информации, использование эффективных инструментов маркетинга
5. Навык работы в группе, коллективе (ПК-5) Эффективная работа в коллективе и поддержка дискуссии Эффективная работа в коллективе и организация дискуссии
Пример аналитической шкалы оценивания презентации, разработанной совместно с преподавателями на курсах повышения квалификации, приведен в табл. 2.
Использование подобных шкал позволяет оценить вклад в общую отметку как профессиональных компетенций (организация, содержание, знание, ответы на вопросы), так и личностных (представление, грамотность, средства представления), а также избежать «выпрашивания» студентом лучшей оценки. Обучаемому самому предоставляется право выбрать качество своей работы или изделия (образца, модели).
Одно из активно использующихся преподавателями ТПУ средств оценивания на основе компетент-ностного подхода — ситуационные задания, разрабатываемые для итоговой аттестации бакалавров на междисциплинарном экзамене. Задание представлено как единая задача, требующая построения алгоритма решения в виде последовательно описываемых этапов. Каждый из них характеризует технологическую проблему, отвечающую квалификационным требованиям ФГОС ВПО. При этом подготовленность выпускника проверяется интегрированно, а не по отдельным дисциплинам образовательной программы.
Совокупность ситуационных моделей обычно включает проблемные задачи, предлагающие студенту осмыслить реальную производственную ситуацию, описание которой не только отражает какую-либо практическую проблему, но и актуализирует определенный комплекс профессиональ-
146
ных знаний, необходимых для разрешения данной проблемы.
Каждый вариант задания включает текстовую модель процесса или ситуации, требующей элементов проектирования либо исследования. При решении заданий студент должен продемонстрировать не только теоретическую подготовку, но и владение методами расчетов, способами разработки и ведения технической документации, рациональными приемами поиска и использования научно-технической информации. Среди критериев оценивания навыки составления и использования схем и математических моделей.
В современных условиях развития образования у преподавателя имеются большие возможности передать значительный объем информации многочисленной студенческой группе. Но обратная связь содержит мало полезных и нужных данных для управления процессами обучения. Чтобы быть востребованной, любая система контроля должна соответствовать программам и целям образования; обеспечивать оперативность, объективность, надежность оценки; быть экономически выгодной; обеспечивать адаптивность обучения.
Разрабатывая и осуществляя контроль, следует учитывать некоторые рекомендации, которые могут быть полезны в решении проблемы оценивания, основанного на компетентностном подходе:
1. Первым шагом в разработке контроля должен быть этап целеполагания. Формулировку целей образования необходимо проводить в диагно-
Таблица 2
Оценочная шкала: ПРЕЗЕНТАЦИЯ
Минимальный ответ «2» Изложенный, раскрытый ответ «3» Законченный, полный ответ «4» Образцовый ответ «5» Оценка
Организа- ция Аудитория не может понять представление, потому что нет никакой последовательности информации Аудитории трудно следить за презентацией, потому что студент перескакивает с одного на другое Студент представляет информацию в логической последовательности, за которой может следовать аудитория Студент представляет информацию в логической, интересной последовательности, за которой может следовать аудитория
Содер- жание (знание) У студента нет понимания информации; студент не может ответить на вопросы о предмете Студент не владеет информацией и в состоянии ответить только на элементарные вопросы Студент разбирается с содержанием, но не в состоянии уточнить информацию Студент демонстрирует полное знание (более чем необходимое) с объяснениями и разработкой
Средства представ- ления Не использовались Представленная информация слабо связана с темой представлением Представленная информация связана с темой представлением Представленная информация подкрепляет представляемую информацию
Грамот- ность Четыре или больше ошибок в правописания и (или) грамматические ошибки Три ошибки правописания и (или) грамматические ошибки Есть не более двух ошибок в правописании и (или) грамматические ошибки Нет ошибок в правописании и (или) грамматические ошибки
Представ- ление Бормотание, тихая речь Трудность в восприятии информации, тихая речь Изложение информации четкое и ясное Точное и ясное представление информации
Ответы на вопросы Нет ответов на вопросы Только ответы на элементарные вопросы Ответы на вопросы полные и (или) частично полные Ответы на вопросы полные с привидением примеров и (или) пояснений
Итоговая оценка
стируемой форме одновременно с описанием критериев оценивания.
2. В основе нового типа контроля должны лежать цели оценивания индивидуальных достижений студентов по отношению к самому себе, а не к другим студентам. Они должны быть больше направлены на помощь обучаемому, чем на выставление отметок и сравнения с другими.
3. Следующим шагом является структурирование целей образования по этапам контроля: входной, текущий, тематический, итоговый. Следует обратить внимание на обобщенность целей итогового контроля.
4. Далее определяются формы и методы на каждом этапе контроля. Нет универсального метода. Определяя цель каждого контролирующего мероприятия, следует выбирать подходы, которые нужно использовать при интерпретации результатов, а также оптимальные способы проведения, учитывающие конкретные условия обучения. Например, фронтальный опрос целесообразно проводить в ходе пооперационного контроля для закрепления, в том случае, когда выделяется главное, решающее, отметки не выставляются. Индивидуальные письменные контрольные работы лучше использовать для тематического или итогового контроля, выявляя
логические способности, умение обобщать, применять знания в новых ситуациях.
5. После определения арсенала способов контроля создается банк учебных заданий. Чем больше по количеству и разнообразнее по форме задания, тем выше качество контроля. Определенный тип заданий проверяет узкий набор характеристик.
6. Контрольные срезы, проводимые в условиях массовых процедур, должны быть целесообразны и в обязательном порядке средства измерения — иметь высокие качественные характеристики прежде всего валидность, надежность.
7. Организация контроля должна строиться на научно-методологической, а не интуитивной основе. Повышение квалификации преподавателей является одним из главных условий создания эффективной и квалиметрической системы контроля.
Список литературы
1. Ефремова, Н.Ф. Тестовый контроль качества учебных достижений в образовании: дис. ... докт. пед. наук: 13.00.01 / Ефремова Надежда Федоровна. — Ростов-на-Дону, 2004. — 458 с.
2. Тестовая технология контроля знаний студентов по химии / М.Г. Минин [и др.] // Известия Томского политехнического университета. — 2005. — Т. 308. — № 4. — С.231-235.
147
