CC BY
44
W 378.146+ 378.147 Е.Л. Кон, В.И. Фрейман, А .А. Южаков
Проблема оценки качества обучения в вузах с системой подготовки «бакалавр - магистр»
(на примере технических направлений)
В статье рассматриваются подходы к решению актуальных задач, возникших перед высшей школой в результате реализации компетентностного подхода к формированию содержания и структуры высшего профессионального образования. В частности, предлагаются подходы к определению интегро-диф-ференциальных оценок уровня освоения элементов и частей компетенций в тесной увязке с видами занятий и способами проведения и контроля самостоятельной работы студентов. Предлагаемые подходы находятся в процессе апробации при формировании и реализации основных образовательных программ бакалавриата и магистратуры по направлению подготовки 210700 «Инфокоммуникационные технологии и системы связи» в Пермском национальном исследовательском политехническом университете. Ключевые слова: компетентностный подход, критерии оценивания, шкала оценки, виды занятий, тестовые задания.
THE EDUCATION QUALITY EVALUATION PROBLEM IN THE «BACHELOR-MASTER» HIGH SCHOOL SYSTEM (ON THE EXAMPLE OF TECHNICAL PROGRAMS)
This article is defining ways of resolving challenges arising on High School education system as a result of competence approach implementation forming the content and structure of higher professional education. In particular, there are some approaches offered to define integral-differential appraisal of levels of understanding elements and competence parts in the integration with some different forms of class work, students self-work and it's evaluation methods. The suggested approaches are in a probation stage of Bachelors and Masters basic education programs on 210700 «The infocommunication technologies and communication systems» designing and realization process at Perm National Research Polytechnical University. Keywords: competency approach, appraisal criteria, evaluation scale, marking scale, occupations, quizzes (tests, exams).
1. Актуальность проблемы. Постановка задачи
В результате подписания Болон-ского соглашения Россия с 2011 г. окончательно перешла на двухуровневую систему высшего профессионального образования (ВПО) «бакалавр - магистр» по большинству направлений подготовки. Это нашло отражение в новом формате Федеральных государственных образовательных стандартов 111-го поколения (ФГОС-3) в следующих основных составляющих:
- сроки, цели и содержание подготовки для соответствующих уровней;
- универсальная система освоения в виде зачетных единиц трудоемкости (ЗЕТ, кредит);
- мобильность образовательного процесса с возможностью трансферта (перезачета) дисциплин между разными вузами;
- компетентностный подход к формированию структуры и содержания ФГОС-3.
Компетентностный подход является наиболее инновационной составляющей ФГОС, поскольку он декларирует смену так называемой парадигмы образования. Для государственных образовательных стандартов 11-го поколения (ГОС-2) характерной являлась «знаниевая парадигма» - ориентация на получение знаний, подкрепленных умениями и навыками их использования. Это находило отражение, например, в превалирующей доле
лекционных занятий (более 50%) в общей трудоемкости дисциплин, формальной роли практик, недостаточно активном привлечении потенциальных работодателей к формированию национально-региональных компонентов учебных планов и т.п. Поэтому высшее профессиональное образование было несколько изолировано от реальной экономики и производства, что вызывало вполне справедливую критику.
Компетентностный подход направлен на формирование у выпускника набора компетенций -знаний, умений, владений (ЗУВ) и практического опыта использования ЗУВ, которые позволят ему успешно применить накопленный по-
Ефим Львович Кон, к.т.н., профессор, руководитель сектора «Инфокоммуткационные и распределенные информационно-управляющие системы» кафедры автоматики и телемеханики Тел.: 8 (342) 239-18-16 Эл. почта: kel@at.pstu.ru Пермский национальный исследовательский политехнический университет http://at.pstu.ru
Efim L. Kon,
Ph. D., Professor, head of «The infocommunication and distributed information-control systems» sector, the «The Automatic and telemechanics» department Tel.: 8 (342) 239-18-16 E-mail: kel@at.pstu.ru The Perm national research polytechnical
university http://at.pstu.ru
тенциал в профессиональной сфере при добросовестном отношении к процессу обучения. Все элементы ЗУВ имеют практическую направленность, формируют способность, готовность к их применению в выбранной области науки и техники. В содержательной части указанные тенденции обусловлены следующим:
- значительным увеличением количества практических занятий и лабораторных работ при снижении лекционной составляющей аудиторных занятий;
- активным использованием самостоятельной работы (особенно в магистратуре), поскольку именно так у обучающихся должна быть сформирована готовность к будущей профессиональной деятельности;
- повышением роли практик как закрепляющего элемента формирования компетенций;
- введением научно-исследовательской работы (в том числе в бакалавриате), что позволит привить выпускникам навыки самостоятельной работы при поиске и систематизации информации, овладении современным инструментарием, критическом анализе полученных результатов, подготовке отчетной документации и т.д.;
- активным участием потенциальных работодателей в выборе профиля подготовки (магистерской программы), формировании вариативной части учебного плана, проведении практик, совместном проведении учебных занятий, обеспечении научно-исследовательской работы и т.д. [1, 2].
Таким образом, основной характеристикой эффективности учебного процесса и качества подготовки студента является оценка уровня освоения им перечня заявленных компетенций. Поставленная задача количественной оценки компетенций, формируемых различными видами занятий на всех этапах обучения студентов, является многокритериальной, слабо формализуемой задачей большой размерности, общего решения которой пока не существует. Поэтому представляется целесообразным разбить ее на ряд частных задач, решение ко-
торых позволит сформировать и обосновать адекватные критерии оценки качества подготовки выпускника и предложить методику их определения. В частности, предлагается выделить следующие группы задач:
- разработка методики и конструктивной информационной базы тестовых заданий для проверки компетенций ЗУВ (знаний, умений и владений), формируемых всеми видами занятий;
- разработка методики количественной оценки результатов тестирования компетенций и рекомендаций по коррекции учебного процесса.
В настоящей статье приводятся результаты решения ряда частных задач приведенных групп на примере подготовки бакалавров и магистров направления 210700 «Инфокоммуникационные технологии и системы связи», реализуемого в Пермском национальном исследовательском политехническом университете. Апробация полученных решений проводилась при подготовке тестовых заданий и разработке методики оценивания компонентов профессиональных и профильно-специализированных компетенций, формируемых различными видами занятий, предусмотренных учебными планами подготовки бакалавров и магистров указанного выше направления.
2. Применение интегродифференциальных критериев оценки компетенций и их составных элементов
Каждая компетенция как результат обучения может быть оценена с использованием многоуровневых шкал (например, трехуровневой -высокий (продвинутый), средний, низкий (пороговый)). ФГОС-3 и сопутствующие руководящие и методические документы Министерства образования и науки Российской Федерации не регламентируют методики оценки качества подготовки, отдавая указанные вопросы в компетенцию образовательным учреждениям. Поэтому каждый вуз сам устанавливает требования к результатам подготовки. Главным
Владимир Исаакович Фрейман,
к.т.н., доцент, заместитель заведующего кафедрой автоматики и телемеханики Тел.: 8 (342) 239-18-16 Эл. почта: vfrey@mail.ru Пермский национальный исследовательский политехнический университет http://at.pstu.ru
Vladimir I. Freyman,
Ph. D., senior lecturer, deputy head of «The Automatic and telemechanics» department Tel.: 8 (342) 239-18-16 E-mail: vfrey@mail.ru The Perm national research polytechnical
university http://at.pstu.ru
отличием ФГОС-3 от стандартов предыдущего поколения является то, что на основании итоговой государственной аттестации (ИГА) необходимо сформировать результирующий показатель уровня подготовки выпускника (а не просто оценку за междисциплинарный экзамен и защиту выпускной квалификационной работы). Таким образом, учебные дисциплины и разделы призваны сформировать закрепленные за ними компетенции с заданным уровнем освоения, а промежуточные и ИГА - проконтролировать соответствие заданного уровня реальному результату [1].
Контроль представляется многоуровневой многоэтапной процедурой, одной из целей которой является формирование интегральной (комплексной, итоговой) оценки уровня подготовки как студента, так и выпускника. Однако не всегда интегральная оценка полностью обеспечивает все потребности в контроле. Так, например, для промежуточного контроля и управления корректирующими мероприятиями важно получить дифференциальные оценки (например, по конкретному занятию, по видам занятий, по модулю, по дисциплине, по циклу и т.д.). Это отвечает главному принципу образования -не просто проконтролировать, а научить, в том числе устранить выявленные пробелы в образовании, что актуально при значительном объеме самостоятельной работы. Для реализации указанного принципа следует организовать итеративную процедуру контролируемого учебного процесса. Таким образом, промежуточный контроль дает детализированную информацию для проведения корректирующих мероприятий (дополнительных занятий, консультаций, заданий и т.п.), что в результате приводит (или должно приводить) к улучшению результата освоения [2].
Очевидно, что применение и интегральных, и дифференциальных оценок сводится к необходимости введения интегро-дифференци-ального способа оценивания всех элементов структуры компетенций. Также ниже будут определены требования к формированию шкал для
оценки дифференциальных показателей, которые позволят использовать их в интегральной оценке более высокого уровня.
Выбираемый критерий оценки должен удовлетворять следующим основным требованиям:
- возможность реализации суперпозиции (склейки) оценок на разных уровнях иерархии;
- низкая вычислительная сложность алгоритма реализации. Для решения указанного выше
класса задач в научно-практических публикациях обсуждаются различные критерии, в частности, линейный (аддитивный), нелинейный (мультипликативный) и комплексный нелинейный (смешанный) критерии. Последний критерий может быть представлен как сумма произведений либо как произведение сумм дифференциальных оценок. Нелинейный критерий требует обязательного выполнения условия необходимости положительных результатов по всем составляющим, что не всегда бывает приемлемо, особенно для контроля на промежуточных этапах обучения. Смешанный критерий требует выполнения указанного условия по части оценок, что тоже усложняет и затрудняет его реализацию. Поэтому приведенным выше требованиям удовлетворяет линейный критерий. Дополнительным аргументом в пользу такого выбора является существенный недостаток научно-методических работ, посвященных сравнительному анализу линейных и нелинейных критериев, в которых для каждого из них определялись бы области и рекомендации их целесообразного применения. С учетом изложенного, в настоящей статье исследуется линейный (аддитивный) интегро-дифференциальный критерий оценивания всех элементов структуры компетенций.
Промежуточная интегральная (составная) линейная оценка /-го уровня формируется из дифференциальных оценок /-го уровня и может быть представлена в линейной форме (например, вычисление «среднего балла»). Итоговая интегральная оценка студента (выпускника) складывается из диф-
Александр Анатольевич Южаков, д.т.н., профессор, заведующий кафедрой автоматики и телемеханики Тел.: 8 (342) 239-18-16 Эл. почта: uz@at.pstu.ru Пермский национальный исследовательский политехнический университет http://at.pstu.ru
Alexander A. Yuzhakov,
D. Engr., Professor, head of «The Automatic and telemechanics» department Tel.: 8 (342) 239-18-16 E-mail: uz@at.pstu.ru The Perm national research polytechnical
university http://at.pstu.ru
ференциальных оценок (уровней освоения) каждой из заявленных для формирования компетенций с использованием следующей линейной свертки:
Ои = а! • ОК1 + а2 • ОК2 + ... + + а • Ок + ... + аи • ОК„,
где Ои - итоговая оценка уровня подготовки студента;
Ою - оценка освоения ,-й из перечня заявленных компетенций;
п - количество компетенций, заявленных для формирования в компетентностой модели выпускника (КМВ) данного направления и профиля (бакалаврской или магистерской программ) подготовки;
а,- - весовой коэффициент (показатель важности) ,-й компетенции.
Для разработки системы контроля результатов обучения структуру образовательного процесса можно стратифицировать следующим образом (рис. 1):
- компетенции;
- части компетенции, закрепленные за дисциплинами (модулями дисциплин, темами и т.п.) или разделами (практики, научно-исследовательская работа) основной образовательной программы;
- элементы частей компетенций: знания, умения, владения;
- типы занятий, структурированные по видам работы: аудиторная (лекции, практические занятия, лабораторные работы и т.п.) и самостоятельная (курсовое проектирование, комплексные индивидуальные задания, рефераты и т.п.).
Рис. 1. Структура и средства формирования и контроля элементов и частей компетенций в рамках образовательного процесса:
ДЗ - домашние задания; РГР - расчетно-графические работы; КП - курсовое проектирование; ЛР - защита лабораторных работ; НИРС - научно-исследовательская работа студентов
Определим требования к формированию шкал для оценки дифференциальных показателей, которые позволят их использовать в интегральной оценке более высокого уровня. Выделим две основные задачи, решаемые при формировании и применении интегро-диффе-ренциальных оценок:
1. Расчет интегральных оценок соответствующего уровня для проведения промежуточной, рубежной или итоговой аттестации (перевод на следующий курс, назначение на стипендию, присвоение квалификации и т.п.).
2. Управление качеством образовательного процесса в рамках текущего временного интервала (модуля, дисциплины, семестра, цикла дисциплин и т.д.).
Для решения первой задачи шкалы выбираются в соответствии с требованиями законодательных органов, рекомендациями учебно-методических объединений вузов, традициями самого учебного заведения и т.д. На текущий момент, кроме традиционной 4-балльной шкалы, существует достаточно много вариантов, принятых в Северной Америке, Европе и перешедших в некоторые учебные заведения России (с количеством уровней 6, 7, 11, 20 и т.д. [3]). При выборе числа уровней шкалы необходимо решить следующие частные задачи:
а) сформулировать правила соответствия каждого уровня шкалы объему выполненного задания с учетом зависимости показателей важности и значений уровней шкалы;
б) сопоставить этот уровень с соответствующей оценкой, т.е. разработать дескриптор ЗУВ как указатель действий, которые необходимо предпринять педагогу или студенту по известной оценке.
Поставленные частные задачи на сегодняшний момент не имеют общего решения и требуют дальнейшего изучения.
Для решения второй задачи важны не только сами оценки, но и сформированные на их основании рекомендации по коррекции объектов проверки, т.е. определенных пробелов в оцениваемых элементах
компетенций (знаний, умений или владений). На данном этапе разработчиком конкретного компонента образовательной программы (например, учебной дисциплины) могут быть назначены свои собственные шкалы, требования к уровням и весовые коэффициенты важности. Он самостоятельно задает пороговые значения, например, процент выполнения домашних заданий, выполнения лабораторных работ, посещаемости лекций и т.п., чтобы впоследствии по анализу результатов контроля построить график и сформировать содержание корректирующих мероприятий. При этом для выполнения таких задач требуется инструментарий, реализованный с применением современных информационных технологий. На сегодняшний день отсутствует методология разработки подобной среды.
Для формирования интегро-дифференциального критерия оценки необходимо сформулировать определенные требования к шкале:
- размерность шкалы (минимальное и максимальное значения оценок);
- допустимость несовпадения количества уровней шкал для разных дифференциальных оценок в составе одной интегральной;
- минимальное и максимальное количество уровней в шкалах. Для выбранного линейного критерия потребуем одинаковой размерности шкалы для всех оценок. Это требование легко реализуемо за счет выполнения операций масштабирования. Логичным и удобным представляется применение нормализованной шкалы [0, 1]. Оценка по данной шкале может быть обусловлена, например, процентом решенных заданий в контролирующем тесте, долей выполненных домашних заданий, частью защищенных отчетов по лабораторным работам и т.п., что представляется естественным и привычным для учебного процесса.
Применение нормализованных разноуровневых шкал для решения задач управления качеством образовательного процесса допустимо. При этом необходимо четко сфор-
мулировать критерии принадлежности результата контроля к тому или иному уровню шкалы. Это важно, поскольку на основании принятого решения будут предприняты последующие действия либо по аттестации, либо по формированию корректирующих воздействий. Формально нормализованная интегральная оценка всегда может быть вычислена с использованием выбранного линейного критерия.
Для интегральной оценки, в зависимости от конечной цели, возможно применение шкалы с числом уровней, равным наименьшему либо наибольшему числу уровней используемых в шкалах обобщаемых дифференциальных оценок, т.е. входящих в интегральный критерий данного уровня. Например, если дифференциальные оценки имеют 2, 3 и 4 уровней соответственно, то интегральная оценка, используемая для точного оценивания, должна иметь количество уровней не меньше 4, иначе теряется смысл дифференциальной оценки с 4-уровневой шкалой. Следовательно, если задана шкала интегральной оценки, с наибольшим числом уровней, то целесообразно ее применение и для точного дифференцированного оценивания. Но вполне допустимо раздельное использование более грубой интегральной оценки (внешняя шкала с малым числом уровней), а детальный анализ результатов проверки, например элементов и частей компетенций, выполнять по дифференциальным оценкам (внутренние шкалы с большим числом уровней). Вопросы совместного применения разноуровневых шкал, доказательства корректности их применения, а также зависимости количества уровней от важности (веса) самой оценки, требует дополнительного исследования.
Очевидно, минимальное количество уровней шкалы равно 2, и такая оценка традиционно используется в системе «зачет / незачет». Однако низкая иллюстративность данной оценки приводит к тому, что учебные заведения постепенно отказываются от нее в пользу шкал с количеством уровней больше 2. При этом значения шкал,
кроме качественных показателей (например, «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно»), могут иметь и количественные показатели (например, процент решенных тестовых заданий). Тогда разбиение на шкалы производится для решения задач аттестации и эффективного управления, как было показано выше.
Для оценивания результатов контроля за эффективностью формирования составляющих компетенций различными видами занятий нашли практическое применение два подхода [4]. Суть первого (упрощенного) подхода состоит в построении линейной свертки оценок, поэтому при нормированных оценках основная проблема состоит в выборе весовых коэффициентов. Она обычно решается методом экспертной оценки и, при привлечении широкого круга квалифицированных экспертов и правильно построенной процедуре обработки результатов, может обеспечить достаточно высокую точность. Распространяя указанный подход на составляющие компетенций (части, формируемые учебными дисциплинами или разделами), и далее на элементы в составе части (ЗУВ), можно сформулировать единые подходы к оцениванию уровня подготовки на разных этапах обучения (в процессе промежуточного, рубежного или итогового контроля).
Основная идея второго подхода, использующего результаты исследований теории важности критериев (ТВК) [4], заключается в выявлении взаимосвязи не только между весовыми коэффициентами, но и между весовыми коэффициентами и самими критериями (оценками). ТВК обосновывает необходимость учитывать то, как изменяется корректность оценки при переходе от одного уровня шкалы к другому. В результате для получения более точных оценок необходим детальный учет всех зависимостей, что приводит к усложнению процедуры оценивания. Поэтому для снижения вычислительной сложности алгоритма и сохранения точности оценивания необходимо учесть до-
полнительные ограничения, обусловленные характерными особенностями технических направлений подготовки, на примере которых и проводится исследование.
Примем за основу первый подход и покажем корректность сделанного выбора. Для оценки уровней освоения элементов закрепленной за конкретным модулем части компетенции предлагается использовать интегрально-дифференциальный критерий. В качестве дифференциальных оценок выступают оценки по соответствующим видам занятий или заданий, участвующих в формировании данного элемента (например, лекции - знаний, практические занятия, индивидуальные задания - умений, лабораторные занятия, практики -владений и т.д.). Весовые коэффициенты подбираются по значимости (важности) соответствующего вида занятий или заданий с соблюдением условия нормирования:
Оэ(^, ^ = «З! • Оэ! + аз2 • О32 + ... + + аз, • Оз, + ... + aзk • ОзЬ
Оу(н-, у) = аУ! • ОУ! + аУ2 • ОУ2 + ... +
+ аУ, • °У, . + аУт • О3m,
Ов(^, = ав! • Ов! + ав2 • Ов2 + ... + + ав, • Ов, +... + авп • Оз„,
где Оз(, v) (Оу>- Ов^ *)) - оценки элементов (з, У, в) ,-й части у-й компетенции; Оз, (Оу,, Ов,) - оценки элемента по видам занятий, участвующих в его формировании; аз,- (ау, ав,) - весовые коэффициенты. Тогда
О(^ = аз^ • Оз(^, + ау, • Оу(^ + + ав, • Ов(^, Ч где О1^ ^ - оценка ,-й части у-й компетенции,
аз, (аУц, ав,) - весовые коэффициенты и далее
ОМ = а! • О(1, + а2 • О(2, + ... + + аi • О(+ ... + аг • О^ у), где О1» - оценка у-й компетенции; а - весовые коэффициенты; г - количество частей у-й компетенции.
Оценка компетенций производится по шкале, количество и дескрипторы уровней которой определены компетентностной моделью выпускника и приведены в паспорте соответствующей компетенции [5]. Далее производится
оценка результата и формирование выводов.
заметим, что дифференциальные оценки -го уровня, входящие в структуру интегральной оценки -го уровня иерархии, являются, в свою очередь, интегральными оценками для (, + 1)-го уровня (младшего с точки зрения иерархической структуры).
3. Анализ подходов к оцениванию элементов компетенций по участвующим в их формировании видам работы студентов
Рассмотрим подход к оцениванию уровня, на котором студентом освоены элементы частей компетенций по соответствующим им видам работы. в общем случае работа студента состоит из аудиторной и самостоятельной составляющих, заданных в часах в рабочем учебном плане. Оба вида работы подразделяются на соответствующие виды:
- аудиторная работа - лекции, практики, лабораторные и т.п.;
- самостоятельная - рефераты, расчетно-графические работы, домашние задания, курсовые проекты (работы) и т.п. Очевидно, что освоение (выполнение) различных видов работы тоже должно проводиться по-разному. Рассмотрим далее подходы к определению интегро-дифферен-циальных оценок на примере фрагмента учебного процесса - модуля дисциплины.
Эффективность аудиторной работы может быть наиболее просто оценена по посещаемости или, в более усложненной форме, с учетом активности во время занятий. Рассмотрим пока простейший способ оценки аудиторной работы.
введем количественную оценку и потребуем принадлежности ее значений диапазону [0, 1]. Тогда оценка какого-либо из видов аудиторной работы будет представлять собой отношение реально отработанных часов к общему количеству часов аудиторной нагрузки заданного вида. Например, для случая трех видов аудиторных занятий, характерных для технических вузов (лекционные занятия, прак-
тические занятия и лабораторные работы), оценки рассчитываются как Олк = Жлкф / ^лкп, где ^лкф - количество отработанных часов, ЖЛКп - количество часов, предусмотренное учебным планом для данного вида занятий. Для других видов аудиторных занятий оценка, очевидно, выводится аналогично.
Для формирования общей оценки аудиторных занятий ОА можно использовать следующую зависимость:
ОА = аЛК • ОЛК + аПР • ОПР + + алр • ОЛР,
где аЛК, аПР, аЛР - весовые коэффициенты, учитывающие вклад (важность) каждого из указанных видов занятий. Очевидно, что обязательно должно выполняться условие нормирования: аЛК + аПР + аЛР = 1. В простейшем случае при одинаковой важности всех видов занятий весовые коэффициенты одинаковы и равны 1/n, где n - количество оцениваемых видов занятий (в нашем примере 3).
При оценке аудиторной работы по посещаемости необходимо понимать, что это упрощенная модель оценивания, которая показывает лишь дисциплинированность и аккуратность студента. Это может быть учтено низким значением соответствующего весового коэффициента. Однако при правильно организованных видах аудиторной работы, что должно быть обусловлено методически грамотной организацией, педагогическими способностями преподавателя, дополнительной мотивацией студентов и т.п., значение посещаемости и соответствующий весовой коэффициент могут быть повышены.
По аналогичной логике можно вывести соотношения для оценки самостоятельной работы. Примем, что самостоятельная работа оценивается по m заданиям, которые студент должен выполнить. Оценка за задание также должна находиться в диапазоне от 0 до 1, что может быть также интерпретировано как доля выполнения (от 0 до 100%).
Для формирования общей оценки самостоятельной работы ОС можно использовать следующую зависимость:
Ос = аз: • Оэ! + аз2 • О32 + ... +
+ а3т • О3m,
где а3/ - весовые коэффициенты, учитывающие вклад (важность) /-го задания. Очевидно, что обязательно должно выполняться условие нормирования: а31 + а32 + ... + а3т = 1. В простейшем случае при одинаковой важности всех заданий весовые коэффициенты одинаковы и равны 1/т, где т - количество заданий на самостоятельную работу.
Оценив аудиторную и самостоятельную работу, можно вывести общую оценку за элемент (тема, раздел, модуль, дисциплина и т.п., в нашем примере модуль):
ОМ = аА • ОА + аСРС • ОС,
где аА, аС - весовые коэффициенты, учитывающие вклад (важность) соответствующего вида занятий. Очевидно, что обязательно должно выполняться условие нормирования: аА + аС = 1. В простейшем случае при одинаковой важности всех видов занятий весовые коэффициенты одинаковы и равны 0,5. Для современного (компетентностного) подхода к образованию логичным является выполнение условия: аА < аС.
Оценки соответствующих видов работы могут быть интерпретированы и вычислены как оценки элементов частей компетенций, в формировании которых участвует данный компонент учебного процесса. Например, если лабораторная работа участвует в формировании трех элементов «Уметь» и одного элемента «Владеть», то в процессе ее выполнения и защиты все элементы будут оценены и учтены в оценке всего занятия. Правила формирования оценок элементов частей компетенций по соответствующим им компонентам работы студентов раскрываются в специальных документах «Контрольно-измерительные материалы по дисциплине» и «Методические рекомендации преподавателю по организации и оцениванию результатов реализации дисциплины» в составе учебно-методического комплекса дисциплины [5].
Из вышеизложенного следует, что основная задача - это разработка подходов и рекомендаций по правильному выбору весовых
коэффициентов и соблюдению условий нормализации размерности шкал. Ниже приводятся некоторые соображения по решению указанной задачи.
1. Для принятия решения должны быть сформулированы шкалы оценки. В простейшем случае диапазонов может быть два: удовлетворяет результат обучения или не удовлетворяет (требуется коррекция). Следующим вариантом может быть третичная система оценки: результат удовлетворяет, требует уточнения (повторного тестирования) или настолько плох, что требует принятия организационных мер, и т.д. Как уже говорилось выше, разработка и исследование шкал оценки - отдельный вопрос, который зависит от многих факторов (профиль образования, наличие образовательных ресурсов, традиции и т.п.).
2. С учетом рекомендаций теории принятия решений (теории важности критериев) по корректной оценке результатов тестирования, представляется целесообразным исследование зависимостей весовых коэффициентов и шкал оценки критериев, что позволит сформировать конкретные рекомендации по оперативному контролю и оцениванию результатов обучения.
3. Наличие линейной системы формирования оценки позволит проводить «склейку» результатов для вычисления оценки более высокого уровня. С другой стороны, она дает преподавателю инструмент для управления образовательным процессом в рамках своей дисциплины. Действительно, задав эмпирические (экспертные или определенные на основании статистики) значения весовых коэффициентов, а также шкалу оценивания, он может построить несколько моделей (траекторий) обучения, оперативно контролировать учебный процесс и, используя прогнозирование, вовремя корректировать траектории обучаемых.
4. Разработка рекомендаций по формированию заданий для оценивания
В заключение укажем на некоторые подходы к решению задач из первой группы - разработка тес-
товых заданий для формирования оценок. Очевидно, что от качества, уровня проработки, ширины охвата и других показателей зависит и адекватность оценки результатов контроля. Поэтому нужно определиться со спецификацией, содержанием и видами проверок для каждого элемента компетенции (знаний, умений и владений) [2].
в качестве количественной оценки уровня освоения компетенции предлагается использовать результаты тестирования последней, сопоставленные соответствующему уровню многоуровневой шкалы. При указанном подходе проблемой является построение тестов проверки элементов части компетенции (зув), формируемых соответствующими видами занятий. Процедура проверки компетенций и их составных частей может быть реализована для разных целей: уровень заданных компетенций (квалификационные требования стандарта или работодателей), аттестация, самопроверка и т.п.
Для проверки знаний наиболее подходит тестирование. Для качественной оценки «знание-вые» составляющие дисциплины (разделы, темы, параграфы и т.д.) должны быть структурированы на атомарные (неделимые) понятия (аналогичные дидактическим единицам согласно ГОС-2). Это могут быть термины, законы, правила, теоремы, структуры, алгоритмы и т.п. Далее для каждого выделенного понятия формируется база тестовых заданий разных уровней сложности (например, двух или трех). Это позволяет на тестовых заданиях более высокого уровня сложности частично проверить и умения. Однако не стоит забывать о психологической сложности тестирования, связанной с условиями проведения, ограниченностью времени и т.п. Поэтому тестирование в нашем представлении должно быть ориентировано на проверку знаний, хотя при более сложной структуре и содержании тестового задания в нем могут быть проверены и умения, и в какой-то степени владения.
Например, тестовое задание для дисциплины «Общая теория связи», формирующего компонент
«знание» в следующей формулировке: «знает способы задания избыточных циклических кодов», может выглядеть так: «Привести (выбрать правильные) формулировки конструктивных теорем ...», и далее варианты ответов.
Для проверки умений более подходит оценка полноты и правильности выполнения заданий на самостоятельную работу: домашние задания по тематике практических занятий или лабораторных работ, расчетно-графические работы и т.д. Особенностью данного вида контроля является подробное методическое обеспечение (например, в виде методических указаний по выполнению самостоятельной работы), которое позволит студенту самостоятельно выполнить задание.
Например, тестовое задание для дисциплины «Общая теория связи», формирующего компонент «Умение» в следующей формулировке: «Умеет рассчитать вероятностные характеристики системы передачи данных (СПД) с использованием избыточных циклических кодов и технические характеристики аппаратных или аппаратно-программных кодеков», может выглядеть так: «Рассчитать вероятностные и технические характеристики СПД, использующей БЧХ-код с информационной частью длины т = 5 и кратностью исправляемых ошибок 5 = 2», далее даны варианты ответов или необходимо дать свой вариант. При решении тестовых заданий в виде задач указанного типа студенту предоставляется инструментально-методическая среда, содержащая таблицы, программы сложных расчетов и другие вспомогательные материалы.
Самым значимым (с точки зрения компетентностного подхода) и сложным для формализации и реализации элементом контроля является оценка владений, поскольку именно они ориентированы на формирование компетенций как способности к успешной профессиональной деятельности. Контроль владений проводится в результате оценки уровня выполнения научно-исследовательской работы, заданий на практики, курсового проектиро-
вания или комплексных междисциплинарных индивидуальных заданий, защиты лабораторных работ и других видов работ. Желательно, чтобы оценка владений выносилась с учетом мнения потенциальных работодателей [2]. Таким образом, проконтролировать владения можно там, где студент самостоятельно применил полученные знания и умения при решении индивидуального, сложного, нетипового (нестандартного), междисциплинарного задания. Естественно, что самостоятельная работа студента тоже сопровождается инструментально-методическим обеспечением, однако оно имеет, скорее, направляющий характер вследствие индивидуальности заданий, покрытия заданием нескольких профессиональных дисциплин, ожидания от студента самостоятельности в поиске решения поставленной задачи и т.п.
Например, тестовое задание для дисциплины «Общая теория связи», формирующего компонент «владение» в следующей формулировке: «владеет методиками выбора и реализации эффективного способа обеспечения заданной достоверности передачи», может выглядеть так: «Для исходных данных (вероятность правильной передачи Рпр > 0,99999, вероятность появления независимых ошибок на символ Рош = 10-5, длина информационной части т = 24) выбрать способ обеспечения достоверности передачи информации в канале связи, предложить реализацию кодирующих и декодирующих устройств в заданном аппаратно-программном базисе», далее привести варианты расчетов и обосновать выбор.
Следует отметить отсутствие публикаций по общей конструктивной концепции построения корректных тестовых заданий и доказательств полноты проверки элементов и частей компетенций. в то же время во многих вузах имеются частные тесты и тестовые задания для проверки некоторых элементов компетенций (в основном знаний и умений) по отдельным дисциплинам и рекомендации по коррекции знаний по результатам проверки.
Изложенный выше подход к оценке результатов обучения в рамках компетентностного подхода использован авторами при реализации основных образовательных программ подготовки бакалавров и магистров по направлению 210700 «Инфоком-муникационные технологии и системы связи». Рассмотренные принципы были применены для подготовки тестовых заданий и разработки методики оценивания компонентов профессиональных и профильно-специализированных компетенций, закрепленных за дисциплинами профессионально-
го цикла соответствующих рабочих учебных планов [5].
Заключение
В статье приведены результаты решения поставленных частных задач оценки качества обучения, а именно:
1. Сформулированы требования к критерию оценки уровня освоения компетенций студентами технических направлений подготовки.
2. Предложено и обосновано применение линейного интег-ро-дифференциального критерия оценки элементов и частей компетенций для различных уровней их формирования.
3. Показаны особенности вычисления интегральных и дифференциальных оценок для различных уровней и видов занятий, участвующих в формировании компетенций. Приведены примеры соответствующих тестовых заданий.
4. Указаны место и условия апробации полученных результатов.
5. Показаны нерешенные, по мнению авторов, задачи, связанные с реализацией методической базы для формирования контролирующих заданий в рамках компетент-ностного подхода к высшему образованию.
Литература
1. Данилов А.Н., Кон Е.Л., Южаков А.А., Кон Е.М. Модель многоканального управления учебным процессом высшей школы // Открытое образование. - 2012. - № 2. - С. 11-15.
2. К вопросу о подготовке и оценке компетенций выпускников высшей школы с использованием модулей «Вектор развития направления» и «Квалификационные требования работодателей» / Е.Л. Кон и др. // Открытое образование. - 2012. - № 3. - С. 17-29.
3. Система оценивания знаний. Режим доступа: http://ru.wikipedia.org/wiki/Система_оценивания_знаний (дата обращения: 21.10.2012).
4. Подиновский В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. - М.: ФИ3МАТЛИТ, 2007. - 64 с.
5. Фрейман В.И. Разработка компетентностной модели выпускника (бакалавра) по направлению 210700 «Инфокоммуникационные технологии и системы связи» («Телекоммуникации») // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. - 2010. - № 4. - С. 93-98.
