CC BY
52
ОБРАЗОВАТЕЛЬНАЯ СРЕДА
УДК 378.14
ОБРАБОТКА И ДЕШИФРАЦИЯ РЕЗУЛЬТАТОВ КОНТРОЛЯ СОСТАВЛЯЮЩИХ КОМПОНЕНТНОЙ СТРУКТУРЫ
КОМПЕТЕНЦИЙ
Ефим Львович Кон, канд. техн. наук, профессор,
E-mail: kel-40@yandex.ru,
Владимир Исаакович Фрейман, канд. техн. наук, доцент,
E-mail: vfrey@mail.ru,
Александр Анатольевич Южаков, д-р техн. наук, профессор,
E-mail: uz@at.pstu.ru,
Пермский национальный исследовательский политехнический университет,
http://at.pstu.ru
В статье решаются некоторые частные задачи контроля качества обучения по компе-тентностно-ориентированным образовательным программам. Представлены и проанализированы структура, формат и принцип заполнения таблиц диагностирования результатами промежуточного, текущего и рубежного контроля, заданных в компетентностном формате. Предложен общий подход к реализации тестового диагностирования уровня освоения компетенций и их составляющих в рамках учебной дисциплины; раскрыто содержание этапов и условия перехода к следующему этапу. Показаны и проиллюстрированы на примерах способы дешифрации результатов тестового диагностирования уровня освоения элементов компонентной структуры компетенций. Для решения поставленных частных задач используются некоторые положения аппарата и процедуры технической диагностики, применяемые с учетом особенностей объектов контроля в рассматриваемой предметной области. Предлагаемые подходы и алгоритмы позволяют формализовать процедуру обработки и дешифрации результатов текущего, промежуточного и рубежного контроля уровня освоения компетенций и их составляющих. Они могут быть использованы в составе методического, информационного и алгоритмического обеспечения автоматизированной информационной системы сопровождения учебного процесса, которая позволит повысить эффективность управления и контроля качества обучения.
Ключевые слова: тестовое диагностирование, тест, таблица диагностирования, элемент дисциплинарной компетенции, дешифрация.
Введение. Постановка задачи
Компетентностный подход к образованию, реализованный во введенных с 20092010 гг. Федеральных государственных образовательных стандартах третьего поколения (ФГОС ВПО), поставил перед разработчиками образовательных программ (ОП)
много вопросов. Среди основных можно выделить представление целей и результатов обучения в виде набора компетенций, которыми должен овладеть выпускник [1].
Компетенция как способность (готовность) к эффективной профессиональной деятельности представляется сложной иерархической структурой, для формирования и контроля которой обязательна логическая декомпозиция.
Компетенция имеет следующую компонентную структуру:
- части компетенций (дисциплинарные компетенции (ДК), т. е. формируемые учебными дисциплинами и разделами ОП);
- компоненты дисциплинарных компетенций (КДК) -«знания», «умения», «владения» (триада ЗУВ);
- элементы каждого из компонентов дисциплинарных компетенций (ЭДК) - {«знать ...»}, {«уметь ...»}, {«владеть ...»}.
50
Образовательные ресурсы и технологии*2015’1(9)
ОБРАЗОВАТЕЛЬНАЯ СРЕДА
Оценка результатов обучения выполняет контролирующую роль для преподавателя, кафедры и вуза как ответственных за обучение и вспомогательную роль для студента, поскольку помогает ему самостоятельно оценить уровень освоения элемента, определить необходимость его коррекции, выбрать виды аудиторной и самостоятельной работы для дополнительной подготовки.
Если вопросы формирования компетенций и их составляющих достаточно эффективно решаются традиционными, современными и перспективными образовательными технологиями, то проблема контроля результатов обучения, представленных в компетентностном формате, является достаточно новой, малоизученной и поэтому актуальной.
Средства контроля решают важную задачу определения адекватной оценки уровня освоения проблематики конкретной дисциплины (дисциплинарных компетенций и их составляющих), которая будет складываться с другими оценками при вынесении общего решения о результатах обучения студента. Для формирования оценки каждого уровня (элементов, компонентов, дисциплинарных компетенций, компетенций) в работе [2] предлагается использование аддитивного интегро-дифференциального критерия оценки (АИДКО). При этом важной является проблема дешифрации результатов проверки, поскольку от точности определения и адекватности их применения зависит правильность (валидность) оценок всех уровней. В настоящей статье будут предложены подходы к обработке и дешифрации итогов тестового диагностирования уровня освоения результатов обучения, заданных в компетентностном формате.
А.А. Южаков
1 Формализованное представление результатов тестового диагностирования уровня освоения компетенций и их составляющих
В работах [3-7] предлагались подходы к решению проблем выбора эффективных способов формирования и средств контроля уровня освоения ЭДК. Одной из нерешенных задач является количественная оценка результата диагностирования уровня освоения элемента дисциплинарной компетенции. Для ее решения было предложено применение аддитивного интегро-дифференциального критерия оценки (АИДКО) [2], линейный формат которого требует анализа влияния каждой дифференциальной оценки (результата реализации конкретного теста) на интегральную оценку (уровень освоения ЭДК). При этом возникает задача получения, обработки и дешифрации (интерпретации) результатов тестового диагностирования при реализации различных видов контроля в рамках учебного процесса. Подходы к решению поставленных задач в указанной формулировке предлагаются в настоящей статье.
Формирование компетенции как результата обучения в соответствии с положениями ФГОС ВПО осуществляется в процессе изучения нескольких дисциплин (или разделов -практик, научно-исследовательской работы и т. д.) образователной программы. Часть компетенции, которую формирует отдельная дисциплина (дисциплинарная компетенция) имеет компонентную структуру, состоящую из некоторого количества элементов «знать», «уметь», «владеть» (ЗУВ). Элементы дисциплинарной компетенции (ЭДК) являются атомарными объектами формирования и контроля в рамках дисциплины.
Для освоения части компетенции преподавателем, отвечающим за реализацию дисциплины, разрабатывается комплект документов - учебно-методический комплекс дисциплины (УМКД). В его состав входят необходимые для эффективной организации учебного процесса методические документы, ориентированные и на преподавателя, и на студентов. Основным документом УМКД является рабочая программа дисциплины (РПД), которая задает основные свойства и характеристики дисциплины, в том числе:
Образовательные ресурсы и технологии*2015’1(9)
51
ОБРАЗОВАТЕЛЬНАЯ СРЕДА
- результаты освоения дисциплины, заданные в компетентностном формате (карты формируемых дисциплинарных компетенций с перечнем элементов ЗУВ);
- распределение трудоемкости дисциплины по видам аудиторной (АРС) и самостоятельной (СРС) работы студентов;
- закрепление способов формирования (видов АРС и СРС) за элементами ЗУВ;
- выбор средств контроля (тестов) для проверки уровня освоения ЗУВ.
Для применения АИДКО уровня освоения компетенций через их составляющие (элементы дисциплинарных компетенций) необходимо реализовать безусловные или условные процедуры тестового диагностирования [3, 14]. Полученные результаты реализации тестов необходимо сохранить, обработать, дешифрировать и разместить в структуру, удобную для выполнения дальнейших вычислений. Формальное описание закрепления средств контроля за проверяемыми ЭДК предлагается в табличной (матричной) форме представления.
Результаты проверки совокупности элементов {Э,} (/' е [1, h], где h - общее количество ЭДК) совокупностью тестов (ТД (j е [1, H], где H - общее количество тестов), обозначаемый как r,j (реакция i-го объекта контроля Э, на j-ый тест ТД заносятся в таблицу (матрицу) диагностирования. Таблица диагностирования содержит: подмножество проверяемых ЭДК (ЭД подмножество тестов элементов (ТД оценки покрытия элемента тестами V, (ПЭ) и покрытие тестом элементов Wj (ПТ), отражающими их вес (количество непустых ячеек), результат каждого теста элемента Rj (РТ), результаты О(Э,) и оценки уровня освоения 0(Э,) каждого ЭДК [2]. С учетом введенных обозначений ниже приведен общий вид таблицы диагностирования ЭДК (таблица 1.1).
Таблица 1.1
Таблица диагностирования ЭДК
Т1 Т2 Тн О ПЭ
Э1 Гц/Гц r 12/Г12 О(Э1)/0(Э1) V1
Э2 Г2н/?2Н О(Э2)/0(Э2) V2
Эг r,2/f,2 О(Э,)/0(Э,) V,
Эh r hH ГhH О(Э„)/0(Э„) Vh
РТ R: R2 R Rh
ПТ W1 W2 Wh
Примечание. Незаполненная ячейка riJ- показывает, что тест Тj не участвует в контроле элемента Э, (или его участие незначительно и потому игнорируется).
Результат тестирования ЭДК rij предлагается считать величиной, нормализованной (или принудительно нормализуемой) в интервале [0, 1]. Это допустимо, поскольку результат тестирования может быть либо непрерывной величиной, нормированной к указанному диапазону, либо дискретной величиной (например, процент правильно выполненных заданий, доля «правильности» выполненного задания и т. п.). Единая шкала результатов позволит рассматривать оценки в одинаковом масштабе, что упростит расчеты и анализ результатов на всех уровнях (элементов и компонентов дисциплинарных компетенций, дисциплинарных компетенций, компетенций и т. д.).
Оценка rij является квантованной (дискретизированной по уровню) величиной, полученной путем округления результата проверки элемента Э, тестом Ту rij до ближайшего уровня выбранной шкалы по принятому алгоритму округления (квантования).
Приведем примеры применяемых шкал [8]:
- 2 уровня (зачет, незачет);
- 3 уровня (низкий (пороговый), средний, высокий (продвинутый));
- 4 уровня (неудовлетворительно, удовлетворительно, хорошо, отлично);
- 7 уровней (ECTS, Европейская система перевода кредитов);
- 10 уровней (некоторые вузы России и постсоветского пространства);
52
Образовательные ресурсы и технологии*2015’1(9)
________________________ОБРАЗОВАТЕЛЬНАЯ СРЕДА______________________________
- 13 уровней (США) и т. д.
Результат тестирования и оценка могут использоваться для разных целей [9]. Непрерывный вид представления результата необходим для обеспечения точности последующих вычислений (уровня освоения элементов, компонентов, частей и самих компетенций). Также он уменьшает вероятность и, как следствие, негативные последствия явления компенсации [10]. Дискретная форма оценки, привязанная к шкале, необходима для проведения организационных мероприятий, например, в виде аттестаций (промежуточных, рубежных и итоговых), допуска к некоторым видам аудиторной работы (например, к лабораторным работам), самоконтроля студентами и т. д. [11].
2 Разработка общего подхода к реализации тестового диагностирования уровня освоения ЭДК
Общий подход к реализации тестового диагностирования уровня освоения формируемых дисциплиной ЭДК может быть представлен следующими этапами.
1 Ведущим преподавателем задана компонентная структура частей компетенций, формируемых в дисциплине (ЗУВ - ЭДК) [12, 13].
2 Выбраны (с учетом опыта преподавателя, специфики дисциплины и т. п.) эффективные способы формирования (виды АРС и СРС) и средства контроля (тесты) уровня освоения заявленных ЭДК [15, 16].
3 Выполнено закрепление ЭДК и средств контроля, т. е. сформирован общий (исходный) вид таблицы диагностирования [17].
4 Выбраны и реализованы безусловные и/или условные алгоритмы диагностирования [3, 14]; получены, нормализованы и занесены в таблицу диагностирования результаты тестов Т/ (Rj).
5 Проведена дешифрация результатов тестов Rj для определения реакции каждого ЭДК на совокупность контролирующих их тестов (г/Г/), которые занесены в таблицу диагностирования.
6 Для каждого ЭДК Эг- (если он проверяется несколькими тестами) с учетом дешифрированных результатов тестов Г//Г/ (j е [1, H]), а также соответствующих весовых коэффициентов, сформирован и определен АИДКО уровня его освоения [6]. Если ЭДК Эг- контролируется одним тестом Т/, то дешифрированный (если тест контролирует несколько ЭДК) результат теста Г//Г/ и есть результат уровня освоения ЭДК.
7 Для каждой из формируемых дисциплиной ДК построен и определен АИДКО уровня ее освоения [6].
8 При недостаточном уровне освоения ЭДК или ДК анализируются причины, выбираются фрагменты учебного материала, который необходимо дополнительно (повторно) изучить, формируется список корректирующих мероприятий и повторных проверок. Затем повторяются этапы 4-7 предлагаемого общего подхода.
В итоге реализации тестов определяются (и при необходимости нормализуются в заданном диапазоне) их результаты. После чего необходимо провести дешифрацию результатов реализации R/ каждого теста Т/ для определения значений реакций r/ контролируемых им ЭДК Эг- (i е [1, hj], где hj - количество ЭДК, контролируемых тестом Т/).
3 Разработка и анализ способов дешифрации результатов тестового диагностирования уровня освоения ЭДК
Ниже предлагаются способы решения задачи дешифрации (этап 5 общего подхода).
Способ 1. Физическая декомпозиция сложного теста Т/, контролирующего несколько ЭДК, на простые тесты Т/, контролирующие только один ЭДК (i - индекс ЭДК, контролируемого данным простым тестом). После декомпозиции проводится их реализация и получении совокупности непосредственных результатов проверки всех контролируемых тестом Т/ элементов, в частности элемента Эг- (г/ = Rj).
Образовательные ресурсы и технологии*2015’1(9)
53
ОБРАЗОВАТЕЛЬНАЯ СРЕДА
Данный способ упрощается процедуру дешифрации за счет непосредственного определения ггу, но увеличивает размерность средств контроля (тестовых заданий). Он наиболее эффективно применим для проверки знаний, которые контролируются, как правило, «классическими» тестами в виде перечня тестовых вопросов или тестовых заданий (задач) [7]. При этом можно использовать два варианта разбиения множества вопросов полного (сложного) теста на простые: разбиение на непересекающиеся подмножества и разбиение на пересекающиеся подмножества. Первый вариант позволяет получить более точный результат, но второй может быть более адекватен ситуации, когда один вопрос затрагивает более одного ЭДК. С точки зрения алгоритма определения индивидуальных реакций каждого из контролируемых конкретным тестом ЭДК выбор способа разбиения принципиального значения не имеет.
Пример 1. Предположим, что тест Т1 контролирует три элемента З1, З2, З3 типа «знать» и состоит из М1 = 30 вопросов. Путем анализа полное множество вопросов может быть разбито на три непересекающихся подмножества: М11 = 14, М12 = 10, М13 = 6. Это процедура эквивалентна декомпозиции сложного теста Т1 на простые тесты Т11, Т12, Т13, каждый из которых контролирует соответствующий элемент Э1, Э2, Э3.
После реализации всех тестов проводится вычисление результата тестирования соответствующего элемента г^, например, как отношение правильных ответов к общему числу вопросов в подмножестве. Таким образом, для элементов З1, З2, З3, контролируемых тестами Т11, Т12, Т13, формируются значения г11, г21, г31. В результате их сравнения с уровнями выбранной шкалы формируются оценки г11, г21, г31, по анализу которых делается вывод, освоен или не освоен данный элемент на тесте Т1.
Способ 2. Логическая декомпозиция результата теста Rj на элементарные результаты гj по каждому из контролируемых тестом элементов. После реализации проверки анализируется результат Rj теста Тj. Далее проводится логическая декомпозиция результата теста Rj на элементарные результаты гj по каждому из контролируемых тестом элементов, в том числе и для Эг- (например, полное множество тестовых заданий разбивается на подмножества, относящиеся к проверке каждого контролируемого элемента, причем подмножества могут пересекаться). Затем проводится отдельный расчет результата гj и, при необходимости, нормализация его в интервале [0, 1].
Данный подход не увеличивает размерность средств контроля (тестовых заданий), но усложняет процедуру дешифрации результатов, так как требует реализации дополнительной процедуры декомпозиции результатов для некоторых видов тестов (например, защита лабораторной работы, курсового проекта и т. д.).
Указанный подход эффективно использовать, если реализуются функциональные (видовые) тесты, применяемые, как правило, для контроля умений и владений (например, защита лабораторной работы, отчетов по практике и т. д.), когда сложно или невозможно разбить сложный тест на элементарные составляющие (тесты) [7]. В этом случае для определения уровня результата проверки тестом каждого контролируемого ЭДК может быть сформирована только экспертная оценка преподавателя, которая имеет достаточно большую субъективную погрешность. Для упрощения и формализации указанной процедуры реакция каждого ЭДК на сложный тест может быть связана с определенным этапом или результатом проверки (например, для теста в виде защиты лабораторной работы - теория, умение работать с лабораторной установкой, владение инструментарием (средой моделирования), адекватность представленных результатов, качество оформления и т. д.).
Пример 2. Предположим, что тест Т2 контролирует три элемента У1, У2, У3 типа «уметь» и представляет собой защиту лабораторной работы. Для представленного вида теста по высказанным выше соображениям удобна его декомпозиция на следующие составляющие, которые соотносятся с соответствующим ЭДК:
- умение работать с лабораторной установкой (инструментарием проектирования, средой моделирования) (У1);
- умение применить методику выполнения и получить результаты эксперимента (У2);
54
Образовательные ресурсы и технологии*2015’1(9)
__________________________ОБРАЗОВАТЕЛЬНАЯ СРЕДА________________________________
- умение выполнить обработку и представление результатов работы (Уз).
Каждый простой тест (результат декомпозиции) характеризуется результатом ггу, который рассчитывается или определяется экспертом (например, преподаватель, в соответствии с заданными критериями - дескрипторами), а затем оценивается по выбранной шкале. Таким образом формируются значения гц, г21, г31. В результате их сравнения с уровнями выбранной шкалы формируются оценки fn, f21, f31, по анализу которых делается промежуточный вывод, освоен или не освоен данный элемент на данном тесте. После реализации всех тестов и заполнения таблицы 1.1 в соответствии с интегро-дифференциальным критерием [2] производится расчет оценок уровней освоения всех представленных ЭДК и делается либо положительный вывод, либо отрицательный вывод с детализацией неосвоенных элементов, перечнем корректирующих мероприятий и тестов, необходимых для повторной сдачи [3].
Предлагаемые подходы и алгоритмы позволяют формализовать процедуру корректной оценки результатов текущего, промежуточного и рубежного контроля уровня освоения ЭДК и являются необходимым компонентом при разработке методического, информационного и алгоритмического обеспечения автоматизированной информационной системы управления и контроля качества учебного процесса.
Заключение
Основные результаты:
1 Предложен способ формализованного представления результатов тестового диагностирования уровня освоения компетенций их составляющих в виде таблицы диагностирования, проанализированы ее формат и структура.
2 Предложен общий подход к реализации тестового диагностирования качества формируемых дисциплиной ЭДК, раскрывающий этапы получения, дешифрации и оценки результата контроля уровня освоения компетенций и их составляющих, приведены примеры реализации подхода для разных компонентов компетенций.
3 Предложены способы дешифрации результатов тестового диагностирования, которые позволяют учесть различия процедур синтеза тестов и обработки результатов проверки для разных компонентов компетенций, приведены иллюстрирующие примеры.
Предложенный общий подход к формализованному представлению и дешифрации результатов реализации тестового диагностирования уровня освоения ЭДК будет способствовать повышению качества учебного процесса и эффективности текущего, промежуточного и рубежного контроля, а также качества самопроверки студентами результатов обучения, заданных в компетентностном формате.
]
Литература
1. Основные тенденции развития высшего образования: глобальные и Болонские измерения / под науч. ред. д-ра пед. наук, профессора В.И. Байденко. М.: Исследовательский центр проблем качества подготовки специалистов, 2010. 352 с.
2. Кон Е.Л., Фреймам В.И., Южаков А.А. Применение интегро-дифференциального критерия оценки освоения компонентов компетенций // Образование и наука. 2013. № 6. С. 47-63.
3. Кон Е.Л., Фреймам В.И., Южаков А.А. Реализация алгоритмов дешифрации результатов безусловного и условного поиска при проверке уровня освоения элементов дисциплинарных компетенций // Образование и наука. 2013. № 10. С. 17-36.
4. Кон Е.Л., Фреймам В.И., Южаков А.А. Проблема оценки качества обучения в вузах с системой подготовки «бакалавр-магистр» (на примере технических направлений) // Открытое образование. 2013. № 1. С. 23-31.
5. Кон Е.Л., Фреймам В.И., Южаков А.А., Кон Е.М. К вопросу о формировании компетенций при разработке основной образовательной программы // Открытое образование. 2013. № 2. С.4-10.
6. Кон Е.Л., Фрейман В.И., Южаков А.А. К вопросу о контроле элементов дисциплинарных компетенций в рамках основной образовательной программы (на примере технических направлений подготовки) // Открытое образование. 2013. № 3. С. 12-19.
Образовательные ресурсы и технологии*2015’1(9)
55
ОБРАЗОВАТЕЛЬНАЯ СРЕДА
7. Кон Е.Л., Фреймам В.И., Южаков А.А., Кон Е.М. Подход к формированию компонентной структуры компетенций // Высшее образование в России. 2013. № 7. С. 37-41.
8. Гладких Б.А. Опыт реорганизации учебного процесса в соответствии с направлениями Болонской декларации // Проблемы управления в социальных системах. 2009. № 2. Т. 1. С. 75-92.
9. Кон Е.Л., Фрейман В.И., Южаков А.А. Оценка качества формирования компетенций студентов технических вузов при двухуровневой системе обучения // Научные исследования и их практическое применение. Современное состояние и пути развития. 2012: сб. науч. тр. меж-дунар. науч.-практ. конф. 2-12 октября 2012 г. Одесса: КУПРИЕНКО, 2012. Т. 9. С. 39-41.
10. Подиновский В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений: учеб. пособие. М.: Физматлит, 2007. 64 с.
11. К вопросу о подготовке и оценке компетенций выпускников высшей школы с использованием модулей «Вектор развития направления» и «Квалификационные требования работодателей» / А.Н. Данилов и др. // Открытое образование. 2012. № 3. С. 20-32.
12. Кон Е.Л., Фрейман В.И., Южаков А.А. К вопросу о реализации сетевых образовательных программ (на примере технических направлений подготовки) [Электронный ресурс] // Образовательные ресурсы и технологии. 2013. № 2 (3). С. 21-27. Режим доступа:
http://www.muiv.ru/vestnik/pp/chitatelyam/poisk-po-statyam/6947/29535/
13. Кон Е.Л., Фрейман В.И., Южаков А.А. Практический подход к формированию компе-тентностной модели выпускника технического университета // Университетское управление: практика и анализ. 2013. № 2 (84). С. 52-58.
14. Фрейман В.И. Реализация одного алгоритма условного поиска элементов компетенций с недостаточным уровнем освоения // Информационно-управляющие системы. 2014. № 2 (69). С. 93-102.
15. Фрейман В.И. К вопросу о формировании компетентностной модели выпускника // Научные исследования и инновации. 2012. № 1-4. С. 43-55.
16. Фрейман В.И., Кон Е.Л., Южаков А.А. Подход к разработке образовательных программ подготовки магистров [Электронный ресурс] // Образовательные ресурсы и технологии. 2014. № 2 (5). С. 29-34.
17. Фрейман В.И. Разработка учебно-методического комплекса дисциплины в соответствии с ФГОС нового поколения // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2009. № 3. С. 47-50.
Processing and decoding of competence component structure parts control results
Efim Ljvovich Kon, Ph.D., professor, Perm national research polytechnical university.
Vladimir Isaakovich Freyman, Ph.D., senior lecturer, Perm national research polytechnical university. Alexander Anatolyevich Yuzhakov, D.Engr., professor, Perm national research polytechnical university.
In the article some particular problems of quality control studying for competence-oriented education programs are solved. The structure, format, and the principle of filling diagnosis tables by intermediate, current and boundary control results, specified in competency format, are presented and analyzed. The general approach to implement test diagnosing the competencies and their components development level within the academic discipline is proposed; the content of the stages and conditions of transition to the next stage is disclosed. The methods of decoding results by elements level of competences component structure test diagnosing are shown and illustrated by examples. To solve the particular problems used a some technical diagnostic methods and procedures, used in accordance with control objects in the subject area. Proposed approaches and algorithms allow to formalize a procedure for processing and decoding results of current, intermediate and boundary control level of competencies and their components development. They are also may be used in the development of methodical, information and algorithmic provision by automated information systems for support the studying, which will improve the efficiency of management and quality control studying.
Keywords: testing diagnostic, test, diagnose table, element disciplinary competence, decoding.
56
Образовательные ресурсы и технологии*2015’1(9)
