CC BY
22
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК 378.146+378.147
Е. Л. Кон, В. И. Фрейман, А. А. Южаков
РЕАЛИЗАЦИЯ АЛГОРИТМОВ ДЕШИФРАЦИИ РЕЗУЛЬТАТОВ БЕЗУСЛОВНОГО И УСЛОВНОГО ПОИСКА ПРИ ПРОВЕРКЕ УРОВНЯ ОСВОЕНИЯ ЭЛЕМЕНТОВ ДИСЦИПЛИНАРНЫХ КОМПЕТЕНЦИЙ
Аннотация. Статья является продолжением публикации, размещенной в июньском номере журнала текущего года (№ 6 (105), 2013). Авторы развивают актуальную и мало разработанную в российской высшей школе тему измерения качества результатов образования. Анализируются подходы к созданию и выбору способов и средств измерения уровня освоения дисциплинарных компетенций и их элементов (ЭДК). Показана структура матрицы соответствия формируемых ЭДК и средств контроля итогов обучения. Проиллюстрированы алгоритм заполнения матрицы и привязка показателей тестирования и оценок к соответствующим шкалам. Описан алгоритм дешифрации результатов безусловной процедуры тестирования, приведены примеры расчетов и анализа результатов. Рассмотрены некоторые особенности дешифрации результатов тестирования, в том числе их компенсация. Предложены варианты реализации условной процедуры тестирования, проанализированы их достоинства, недостатки и условия применения. Даны рекомендации по применению изложенного материала.
Ключевые слова: элементы дисциплинарных компетенций, процедура поиска, дешифрация результатов, оценка, интегро-дифференциальный критерий.
Abstract. The paper continues the authors' previous publication (№ 6 (105), 2013) addressing the issue of quality assessment of educational outcomes in the Russian higher school. The research analyzes the approaches to creating
and selecting the appropriate ways and means for the level assessment of the acquired disciplinary competences and their components - the disciplinary competence elements (DCEs); and demonstrates the structure of the conformity matrix of DCEs and corresponding educational outcomes. In addition, the algorithm of filling the matrix is illustrated along with the correlation of diagnostic indices and ratings with the assessment scales; the decoding algorithm of the unconditional testing procedure is described including the computation examples and outcome analysis. In conclusion, the authors consider the implementation options of the conditional testing procedure; analyze the related advantages, disadvantages, and proper conditions; and give recommendations for applying the given research materials.
Keywords: discipline competence element, quest procedure, result decoding, rating, integral and differential criteria.
Введение. Постановка задачи
При компетентностном подходе к образовательному процессу один из ключевых моментов оценки результатов обучения - контроль освоения элементов дисциплинарныгх компетенций (ЭДК), т. е. элементов компонентов компетенций, формируемые каждой дисциплиной. Эта задача решается каждым преподавателем-предметником с привлечением коллег, а также специалистов предприятий и организаций, являющихся потенциальными работодателями для выпускников. От качественного подбора видов аудиторной и самостоятельной работы и способов проверки (средств контроля) ЭДК во многом зависит, насколько студенты освоят изучаемый материал, смогут ли они активно использовать его при изучении последующих дисциплин и в будущей профессиональной деятельности.
Контроль уровня сформированности компетенций и их составляющих: дисциплинарные компетенций - (ДК), их компонентов (обобщенные «знаний», «умений», «владений»), элементов компонентов (детализированные «знаний», «умений», «владений») - обязательная процедура учебного процесса, которая может быть представлена как тестирование, а средства контроля - как тестовые задания, проверяющие качество освоения соответствующих ЭДК.
Оценка результатов обучения выполняет контролирующую роль для преподавателя, кафедры и вуза как ответственных за качество образования и совершенствование учебного процесса, а также вспомогательную роль для студента, которому она помогает самостоятельно оценить уровень освоения каждого ЭДК, определить необходимость его коррекции, выбрать виды аудиторной и самостоятельной работы, а также учебно-методический материал для дополнительной подготовки.
Средства контроля решают важную задачу адекватной оценки степени овладения проблематикой конкретной дисциплины, которая будет складываться с другими оценками при вынесении общего решения об итогах подготовки выпускника. Для формирования оценки каждого уровня (элементов, компонентов, дисциплинарных компетенций, компетенций) мы предлагаем использовать интегро-дифференциальный критерий (ИДК), представляющий собой сумму взвешенных оценок составляющих предыдущего уровня [1]. При этом важной становится проблема дешифрации результатов освоения компетенций и их элементов, поскольку от точности и адекватности их определения зависит объективность оценок всех уровней. В данной статье показаны способы решения задач дешифрации результатов тестового диагностирования элементов дисциплинарных компетенций с применением алгоритмов безусловного и условного поиска для локализации тех из них, что усвоены недостаточно.
1. Задание способов формирования и средств контроля уровня освоения ЭДК при разработке рабочей программы дисциплины
Организация контроля и оценка уровня освоения элементов компетенций, формируемых в ходе изучения дисциплины, находится в сфере ответственности преподавателя. Решение этих вопросов должно быть предусмотрено в разрабатываемом учебно-методическом комплексе дисциплины, в частности в его основном документе - рабочей программе.
Преподавателю необходимо выбрать достаточное количество средств контроля для измерения ЭДК, а также эффективную и достоверную методику обработки результатов тестирования обучающихся. Рассмотрим подробнее процедуру такого выбора.
За каждым ЭДК закреплены определенные способы формирования (СФ): виды аудиторной и самостоятельной работы, средства контроля (СК) - тесты знаний, шкалы и показатели оценивания докладов, рефератов, домашних заданий, лабораторных работ, курсовых проектов и т. д. Удобно и наглядно представить закрепление М способами формирования и ^-средствами контроля (М может быть в произвольном соотношении с Щ Ь-элементов дисциплинарных компетенций Эг в виде таблицы (матрицы) соответствия (табл. 1). Ячейки таблицы содержат символы, например «V», показывающие участие данного вида работы (СФ) или теста (СК) в формировании или контроле соответствующего элемента.
Таблица 1
Соответствие СФ, СК и ЭДК
Элементы дисциплинарных компетенций Способы формирования и средства контроля
СФ1 СФм СК1 СКщ
Э1 V V
Э2 V
Эг V
Эп V
Чтобы продемонстрировать, как устанавливается соответствие элементов дисциплинарных компетенций и средств контроля, примем, что для каждого компонента компетенций (знания, умения или владения) будет построена отдельная матрица, т. е. будут существовать независимые средства контроля для каждого компонента. Указанное допущение может привести к избыточному размеру количества проверяющих тестовых заданий, однако для выработки подхода к решению поставленных задач оно не носит принципиального характера. В дальнейшем возможна оптимиза-
ция (минимизация) количества тестовых заданий за счет снятия принятого допущения.
В табл. 2 показан общий вид матрицы соответствия ЭДК и средств контроля. Ее элементами являются значения результатов проверки элемента Эг средством контроля СК, - гу и соотносящиеся с ними нормированные оценки ц. Пустые (незаполненные) значения ячеек означают, что данный элемент не контролируется (либо не принимается во внимание) соответствующим СК.
В общем случае средство контроля имеет полную оценку ^ (например, оценка за тест, защиту отчета по лабораторной работе, выполнение домашнего задания и т. п.), которая заносится в ячейку в строке результата тестирования (РТ). При этом для одних видов средств контроля возможно сразу же на этапе дешифрации выделить из общего СК результаты ц (оценки гу) за каждый из контролируемых СК элементов (если их несколько). Так, например, если речь идет о тесте знаний (закрытого или открытого типа), то можно построить полный тест из групп вопросов по каждому из контролируемых ЭДК. Тогда полная оценка за тест может быть сформирована при помощи интегро-дифференциального критерия (сумма взвешенных оценок за каждый вопрос) [2] следующим образом:
N
Т
Ъ = 1 к • г \ (1)
I=1
где М- количество вопросов в тесте Т,;
к - весовой коэффициент г-го вопроса, учитывающий его важность (значимость контролируемого им содержания) и назначаемый экспертом путем ранжирования (сумма всех весовых коэффициентов равна 1);
г,1 - оценка за г-й вопрос в тесте Т, (например, 0 - неправильный ответ, 1 - правильный ответ).
При равнозначных вопросах все коэффициенты одинаковы 1
и равны ——.
N 1
Для других видов СК результаты (оценки) за каждый из контролируемых ЭДК так же просто не выявить, поэтому составляющие (элементарные тесты), проверяющие данные ЭДК, выявляются на этапе последующей дешифрации.
Рядом с результатом проверки гу в матрицу заносится дискретное (квантованное) значение оценки Гу, которое характеризует результат в диапазоне выбранной шкалы оценивания (табл. 2). Например, для двухуровневой шкалы результат может быть расценен как положительный (обозначим его символом «1») или отрицательный (символ «0»), в зависимости от соотношения с заданным пороговым значением п:
гу < П ^ гу = 0, гу > п ^ гу = 1.
Кроме того, в матрицу (табл. 2) заносятся оценки, которые показывают количество участвующих в контроле каждого элемента тестов (покрытие элемента - ПЭ) и свойство каждого теста, заключающееся в количестве контролируемых им элементов (покрытие теста - ПТ), а также, как упоминалось выше, результат реализации (Щ и оценка каждого теста (Щ) (строка РТ). Характеристика ПЭ нужна для формирования ИДК оценки уровня освоения каждого элемента. Свойство ПТ необходимо для реализации безусловной и условной процедуры поиска элемента с недостаточным уровнем освоения.
Таблица 2
Заполнение таблицы соответствия
Элементы дисциплинарных компетенций Средства контроля
СК1 СКу СКн ПЭ (V)
Э1 Гц/Гц У1
Э2 Г2Н/ Г2Н V2
Э; гц/ГЦ Гу/ Гу V
Эп гпн/Гпн Vп
ПТ (Щ Щ1 Щ Щн Ще №)
РТ Я1/& Ъ/Щу Ян/Ён
Далее перейдем к вопросу реализации алгоритмов дешифрации результатов проверки всех формируемых ЭДК (Н) после оценки результатов предусмотренных рабочей программой дисциплины средств контроля (Н).
2. Алгоритмы дешифрации результатов безусловного поиска
Рассмотрим тестовое диагностирование на примере безусловной процедуры тестирования. Она заключается в проведении всех контролирующих мероприятий (реализации всех предусмотренных средств контроля), получении и дешифрации результатов с целью выявления (локализации) недостаточно усвоенных элементов ДК. При этом средства контроля будут формироваться и ре-ализовываться независимо друг от друга, т. е. результаты каждой проверки не будут влиять на остальные (в технической диагностике указанный подход описан как «безусловный алгоритм поиска неисправностей»).
Возможны варианты реализации алгоритма дешифрации результатов тестирования й в процессе проверки элемента Эг средством контроля Ту (в дальнейшем называемым «тестом») с использованием двухуровневой шкалы оценок Йу: отрицательный результат теста - 0; положительный - 1.
1. В соответствии с выбранной шкалой определяется и квантуется результат теста йу. В зависимости от задачи и подхода к оценке результатов тестирования
1 а) принимается решение о том, что все значения результатов проверки и оценок контролируемых тестом Ту элементов одинаковы и равны, т. е. V г гу = й и гу = Йу. В матрицу (табл. 2) заносится результат гу = й и оценка гу = Й и принимается решение об отрицательном (йу < п ^ Йу = 0) или положительном (йу ^ П ^ Й = 1) результате проверки тестом Ту элемента Эг. В ИДК оценки элемента Эг в позицию результата теста Ту устанавливается значение гу = йу. Отрицательный результат указывает на необходимость проведения
корректирующих мероприятий и пересдачу теста. Данный подход отличается простотой реализации, но низкой точностью из-за намеренного «огрубления» оценок;
1б) для определения оценок элементов, контролируемых тестом Ту, осуществляется требуемая логическая декомпозиция результатов тестирования. Производится процедура анализа теста Ту, сопоставление составляющих его элементарных проверок (например, тестовых вопросов) и контролируемых ЭДК. Далее определяются результаты гу и оценки Гу, которые заносятся в матрицу (табл. 2), и на основе их значений принимается решение о положительном или отрицательном результате проверки тестом Ту контролируемых им элементов, в частности Э;. В ИДК оценки элемента Э; в позицию результата теста Ту устанавливается значение гу. При отрицательном результате проверки проводятся корректирующие мероприятия и пересдача теста (частичная или полная, в зависимости от вида теста и ограничений ресурсного обеспечения учебного процесса).
Ниже будут приведены примеры дешифрации результатов тестирования по обоим предлагаемым вариантам.
2. После реализации тестов, предусмотренных всеми видами аудиторной и самостоятельной работы в рамках дисциплины, формируются ИДК для определения результатов проверки (и при необходимости оценок, привязанных к уровням выбранных шкал) всех ЭДК. Если требуется, аддитивный формат ИДК может быть организационно преобразован в мультипликативный. Ненулевое значение интегрального показателя (например, результата проверки элемента, компонента и т. д.) возможно только при ненулевых (выше заданного порога) значениях всех его дифференциальных составляющих. При несоблюдении этого условия проводятся корректирующие мероприятия, пересдача тестов и новая дешифрация их результатов. Могут быть сформулированы и другие, более мягкие условия.
3. При неполной информации о результатах других тестов (например, если оценочное мероприятие проводится в течение учеб-
ного семестра) ИДК прогнозируется на основе имеющихся результатов. Если при моделировании для заданного уровня ИДК элемента потребуются выходящие за область допустимых значений высокие оценки результатов других проверяющих его тестов, то нужно рассчитать, насколько следует поднять оценку за данный тест, чтобы улучшить результат, продумать, реально ли это, а также какие ресурсы для этого потребуются.
Следует отметить, что существует проблема компенсации при вычислении ИДК значений одних дифференциальных оценок другими (например, положительных отрицательными и наоборот; малых значений большими и т. д.). Решение этой проблемы более подробно будет рассмотрено в наших дальнейших работах.
Чтобы помочь студенту улучшить результаты контроля, для каждого теста рекомендуется заранее составить список возможных последующих корректирующих мероприятий и заданий, которые могут быть выбраны обучающимися самостоятельно, предложены преподавателем или определены сопровождающей учебный процесс автоматизированной системой.
Опишем примеры дешифрации результатов тестирования для заданной таблицы соответствия (табл. 3). Результаты выполнения тестов заносятся в ячейки строки РТ. В примерах излагается безусловная процедура тестирования, которая предполагает дешифрацию результатов после реализации всех средств контроля, предусмотренных рабочей программой дисциплины.
Таблица 3
Пример установления соответствия
Элементы дисциплинарных компетенций Средства контроля элементов и их покрытие
Тх Т2 Т3 ПЭ (V)
Эх Пх/Гхх 12/Й2 П3/П3 3
Э2 г2х/ ^21 Г23/ ^23 2
Эз Г32/ ?32 х
Э4 Г42/ ^42 Г43/Г43 2
ПТ (Щ 2 3 3 8
РТ Ях/£х ^2/^2 ^3/^3
Пример 1. Возьмем следующие исходные данные для дешифрации:
• тест Т2 контролирует элементы Э1, Эз, Э4 и представляет собой проверку знаний;
• тест содержит 30 заданий закрытого типа (выбор одного правильного варианта ответа из нескольких представленных);
• результат теста формируется с помощью интегро-диффе-ренциального критерия:
1 30
я2 = Х К • гТ = — X гт = 0,6,
1=1 30 I=1
где № - количество вопросов в тесте Т2;
/сг - весовой коэффициент ;-го вопроса (сумма всех весовых
коэффициентов равна 1);
гТ2 - оценка за ;-й вопрос в тесте Т2 (0 - неправильный ответ,
1 - правильный ответ).
Будем считать все задания равнозначными, тогда все весовые коэффициенты будут тоже одинаковыми и равняться 1/30. Предположим, что было дано 18 правильных ответов из 30, следовательно:
• К = 18/30 = 0,6;
• значения результатов К и гу е [0^1];
• двухуровневая шкала оценки с пороговым значением П = 0,5:
К (гу) е [0 0,5) ^ Щ (Гу) = 0 (отрицательный результат),
К (гу) е [0,5 1] ^ Щ (Гу) = 1 (положительный результат).
Задача - определить значения дифференциальных оценок, контролируемых заданным тестом ЭДК.
Тест имеет положительный результат (0,6 > п = 0,5). Проведем его дешифрацию с целью определения уровня освоения контролируемых тестом элементов.
При варианте 1а (см. выше) для всех результатов проверки элементов Г12 = Г32 = Г42 = = 0,6. Образец дешифрации размещен в табл. 4.1.
Таблица 4.1
Образец варианта 1а
Элементы дисциплинарных компетенций Средства контроля и их покрытие
Т1 Т2 Т3 ПЭ (V)
Э1 Гц/Гц 0,6/1 Г13/ Й3 3
Э2 Г21/Г21 Г23/ Г23 2
Э3 0,6/1 1
Э4 0,6/1 Г43/ Г43 2
ПТ (Щ 2 3 3 8
РТ 0,6/1 ^3/^3
В варианте 1б нужно провести дополнительный анализ, чтобы разбить множество вопросов теста на подмножества, соответствующие контролируемым элементам дисциплинарной компетенции (в нашем примере Э1, Эз, Э4). Пусть множества непересекающиеся, тогда выделим Т21 - 10 вопросов из 30, Т23 - 15 вопросов из 30, Т24 -5 вопросов из 30. Предположим, что правильные ответы распределились следующим образом: на Т21 - 4 из 18, на Т23 - 10 из 18, на Т24 -4 из 18. Тогда можно определить результаты тестирования отдельных ЭДК, проверяемых тестом Т2: Г12 = 4/10 = 0,4, Г32 = 10/15 = 0,67, Г42 = 4/5 = 0,8. Образец дешифрации показан в табл. 4.2.
Таблица 4.2
Образец варианта 1б
Элементы дисциплинарных компетенций Средства контроля и их покрытие
Т1 Т2 Т3 ПЭ (V)
Э1 Гц/Гц 0,4/0 Г13/ Г13 3
Э2 г21/^21 Г23/ ^23 2
Э3 0,67/1 1
Э4 0,8/1 Г43/ Г43 2
ПТ (Щ) 2 3 3 8
РТ Rl/Rl 0,6/1 Rз/.Rз
После дешифрации и расчета результатов проверки каждого из контролируемых элементов определяется их соответствие уровням выбранной шкалы оценивания и пороговому значению (принятому 0,5). Для рассматриваемого примера результаты освоения элементов Э3 и Э4 положительные, а элемента Эх - отрицательные. Далее для студента формируется список корректирующих мероприятий (например, темы теоретического материала для повторения, список задач и т. д.), и после их реализации проводится повторная пересдача теста): полная (Т2) или частичная (Т2х).
В частном случае при равномерном распределении х) количества вопросов по каждому элементу в полном множестве и 2) количества правильных ответов все результаты для элементов будут одинаковы и равны результату теста, т. е. правомерен вариант дешифрации ха. Но на практике чаше встречается общий подход со случайным и недетерминированным законом распределения.
Пример 2. Возьмем следующие исходные данные для дешифрации:
• тест Т2 контролирует элементы Эх, Э3, Э4;
• тест представляет собой защиту лабораторной работы;
• значения результатов гу е [0 х];
• избрана двухуровневая шкала оценки (Яу (гу) е [0 0,5) - отрицательный результат, Я (гу) е [0,5 х] - положительный результат).
Для данного вида теста по высказанным ранее соображениям удобна декомпозиция следующих его составляющих, которые соотносятся с конкретным элементом и являются для него элементарным, т. е. проверяющим только его, тестом (Ту):
• навыки работы с лабораторной установкой (инструментарием проектирования, средой моделирования) (Т2х);
• умение применить методику выполнения и получить результаты эксперимента (Т23);
• готовность выполнить обработку и представить итоги работы (Т24).
Каждый элементарный тест характеризуется результатом гу, который определяет эксперт (например, преподаватель), а затем
оценивается по выбранной шкале [0, х]. Предположим, что были получены следующие результаты: гх2 = 0,7, Г32 = 0,8, Г42 = 0,3. Из приведения результатов элементарных тестов к двухуровневой шкале видно, что элементы дисциплинарной компетенции Эх и Э3 на тесте Т2 освоены, а элемент Э4 - нет и нуждается в дополнительном изучении.
Результат теста Я2 определяется с помощью интегро-дифференци-ального критерия: например, при равнозначных элементарных тестах как среднее значение результатов (оценка Я2 = (0,7 + 0,8 + 0,3)/3 = 0,6) или с учетом важности каждого элементарного теста через различающиеся весовые коэффициенты (показатели важности). После получения оценок для студента формируется список корректирующих мероприятий (темы теоретического материала для повторения, дополнительное задание и т. д.), а после их выполнения проводится повторная пересдача теста - полная (Т2) или частичная (Т24).
Для более эффективной процедуры тестирования и более точной локализации результатов необходим переход от безусловной процедуры тестирования к условной. В этом случае последовательность подачи тестов зависит от результатов предшествующих проверок.
3. Особенности применения безусловного алгоритма поиска
Основная задача контроля - определить уровень освоения каждого ЭДК, чтобы далее, используя интегро-дифференциальный критерий, выяснить степень овладения каждым компонентом дисциплинарной компетенции («знание», «умение», «владение»), затем - дисциплинарной компетенцией, а после изучения всех дисциплин - всей компетенцией. Для каждой выбранной шкалы задается пороговое значение, при превышении которого элемент считается освоенным. При нормализации оценок внутри диапазона [0, х] оценка должна быть больше заданного порогового значения (0,5 или любого другого). Тогда оценку можно нормализовать, например, так: 2 ^ 0,25, 3 ^ 0,5, 4 ^ 0,75, 5 ^ х. При традицион-
ной четырехуровневой шкале (2, 3, 4, 5) принято полагать, что элемент освоен, если получена оценка 3, 4 или 5 (как это происходит сейчас в российских школах, средних учебных заведениях и в большинстве высших учебных заведений).
В простейшем случае планирование совокупности средств контроля можно осуществить таким образом, чтобы каждый элемент проверялся одним отдельным тестом: проблем с формированием оценки и проверкой уровня его освоения здесь не возникает - она совпадает с оценкой за тест, а результаты проверки данного элемента с помощью других, незапланированных тестов (иных средств контроля) можно игнорировать. Однако если элемент все же контролируется несколькими тестами, то оценка уровня овладения им вычисляется с использованием интегро-диф-ференциального критерия. При этом, как уже говорилось, вероятно возникновение такого явления, как компенсация, которая может быть как положительной, так и отрицательной.
При положительной компенсации решение о том, что элемент освоен, принимается на основании положительных результатов одних проверок при наличии отрицательных результатов одной или нескольких элементарных проверок. Отрицательная компенсация происходит, когда, исходя из отрицательных результатов одних проверок при наличии положительных результатов одной или нескольких элементарных проверок, принимается решение о том, что обучающимся элемент не освоен.
Нужно ли учитывать компенсацию либо ей можно пренебречь, зависит от целей и требований проверки: например, ее обязательно надо брать в расчет при самоконтроле изучения студентами учебного материала, но возможно игнорировать при промежуточной или рубежной аттестации. Для устранения явления компенсации требуется обязательная логическая декомпозиция теста и результатов его выполнения, а также переход к условной процедуре диагностирования и, возможно, мультипликативному критерию оценки.
Критерии принятия решения об усвоении ЭДК или компетенции в целом, а также об уровне этого усвоения могут быть раз-
ные, что связано с разночтениями в требованиях нормативных документов Министерства образования и науки РФ, рекомендаций учебно-методических объединений вузов в соответствующей профессиональной сфере, локальных актов вуза, внутренних положений выпускающей кафедры и т. п.
Например, элемент Эг может считаться освоенным, если:
• все результаты проверки элемента положительные (гу = х
для у е [х, Н]);
• результат расчета оценки О (Эг) с использованием интегро-дифференциального критерия [х] положительный (О (Эг) = х);
• определенный процент оценок за проверяющие элемент тесты положительный (50, 75, 90% и т. п.) и т. д.
4. Подход к реализации условной процедуры тестирования
Безусловный алгоритм поиска представляет собой первую итерацию процедуры обработки результатов и принятия решения об уровне освоения дисциплинарных компетенций и их составляющих (хотя в определенных случаях он может рассматриваться как самостоятельная и законченная процедура). Далее, при необходимости, начинают работать алгоритмы условного поиска неосвоенного элемента. Они позволяют минимизировать объем проверок и увеличить глубину локализации оценивания.
Смысл условной процедуры тестирования - при отрицательных результатах предшествующей безусловной процедуры локализации обеспечить минимальное количество дополнительных проверок для достижения максимальной глубины локализации недостаточно освоенных элементов. Указанные вопросы мало освещены в известных нам публикациях и научно-методических работах и требуют дополнительного исследования.
Условная процедура может быть реализована в двух вариантах.
х. Коррекция результатов при реализации алгоритма безусловного поиска. После проведения всех тестов (контрольных мероприятий - по теме, модулю или всей дисциплине, в зависимости от
покрытия средствами контроля конкретного оцениваемого ЭДК) и дешифрации их результатов:
а) определяются неосвоенные элементы (гу < п или Гу = 0);
б) формируется список дополнительных тестов;
в) выбираются и осуществляются корректирующие мероприятия;
г) организуется дополнительное тестирование;
д) оцениваются его результаты;
е) на основании наличия ресурсов и нормативов (например, количество пересдач) алгоритм при отрицательных результатах возвращается на начальный этап (этап а)).
Данный подход эффективен, когда ЭДК формируются и контролируются тестами в течение сравнительно небольшого интервала времени (например, длительностью изучения модуля дисциплины, равной приблизительно нескольким неделям). В противном случае, при более продолжительном периоде учебного процесса, например на протяжении семестра, реализация дополнительных корректирующих и контролирующих мероприятий будет затруднительна, поскольку неосвоенных элементов может скопиться много и чрезмерная нагрузка на студентов, преподавателей и другие ресурсы вуза непременно скажется на качестве результатов обучения и самого учебного процесса.
2. Самостоятельная условная процедура тестирования. После сдачи каждого очередного теста (или набора тестов) производится обработка результатов, которая определяет выбор следующего теста (или набора тестов). Начать процедуру можно, например, с теста, покрывающего максимальное количество элементов (вес столбца табл. 2), или в хронологическом порядке (в соответствии с графиком учебного процесса по дисциплине).
Обязательным условием в данном варианте является задействование уровневой модели компонентной структуры дисциплинарной компетенции, предложенной нами в предшествующих работах [3, 4]. В данной публикации мы кратко представим лишь один из вариантов фрагмента обобщенной уровневой модели (рисунок).
Если оценка за тест элемента показала недостаточный уровень его освоения, то, пользуясь уровневой моделью, нужно определить, ка-
кими еще способами контролируется этот элемент. Тесты умений, например, используются для проверки способности пользоваться методами и инструментальной средой, тесты владений - проверяют умения применять практические навыки в профессиональной деятельности. Однако, опираясь на уровневую модель или фрагменты тестовых заданий г-1-го уровня, можно при оценке умений частично проконтролировать знания, а при оценке владений - частично умения. Иными словами, выстраивание средств контроля г-го уровня дает возможность упростить и формализовать процедуру построения тестов, а также расширить базу тестовых заданий.
Пример уровневой модели компонентной структуры дисциплинарной компетенции
Например, при оценке элемента З1, кроме теста знаний Т1, контроль может быть осуществлен также с помощью домашнего задания ДЗ1 (см. рис. 1). В соответствии с интегро-дифференци-альным критерием показатель качества усвоения элемента З1 для рассматриваемого примера О (З1) складывается из оценок за тест знаний Т1 и ДЗ1, контролирующий данный элемент З1 (ДЗЗ1):
0(3,) = к1 • ОСГ1) + к2 • ОСДЗЗ1),
где выполняется условие нормирования весовых коэффициентов к1 + к2 = 1.
В общем случае выражение для оценки элемента Эг может быть записано так:
N0CH Nmn
О(Э) = £ к°сн- • О(СК°сн ■) + £ kf0IL • О(СКдоп-), (2)
j=i 1=1
где СК,осн' - основные средства контроля для оценивания уровня освоения проверяемого элемента, характерные для каждого вида компонентов компетенций (знаний, умений, владений)
[4];
СК/оп' - дополнительные средства контроля для оценивания уровня освоения проверяемого элемента в соответствии с уровневой моделью компонентной структуры компетенции; -осн. (--Удоп.) - количество основных (дополнительных) средств контроля для оценивания проверяемого элемента; к - весовые коэффициенты.
Очевидно, что должны соблюдаться следующие условия:
N0CH Naon N0CH Naon
£ j + £ кГ = 1, £ j»£ kf0IL. (3)
j=i 1=1 j=i 1=1
После того как в уровневой модели компонентной структуры будут заданы все дисциплинарные компетенции, формируемые в конкретной дисциплине, преподаватель строит (с помощью автоматизированной системы или вручную) ИДК оценок всех вырабатываемых элементов ДК. Далее определяются (экспертно или путем расчетов) минимальные (пороговые) значения для оценок по основным для каждого ЭДК средствам контроля, фиксирующим требуемый уровень освоения материала. В заключение оцениваются пороговые значения результатов для дополнительных способов контроля по каждому ЭДК.
Достоинством изложенного метода является существенное сокращение дополнительных корректирующих действий и проверяющих качество освоения ЭДК контрольно-измерительных средств. Ресурсы студентов, преподавателей и вуза используются более ра-
ционально и при этом выполняется главная задача - обеспечивается требуемый уровень качества образования. Недостатки, а точнее, особенности такого варианта измерений результатов обучения состоят в разработке детализированной уровневой модели компонентной структуры каждой дисциплинарной компетенции, усложненном варианте формирования ИДК для оценок, расчета весовых коэффициентов, моделирования и прогнозирования оценок. Предлагаемый подход может быть эффективно реализован только с внедрением в учебный процесс и в учебно-методическую деятельность вуза автоматизированных информационных систем.
Литература
1. Кон Е. Л., Фрейман В. И., Южаков А. А. К вопросу о контроле элементов дисциплинарных компетенций в рамках основной образовательной программы (на примере технических направлений подготовки) // Открытое образование. 2013. № 3. С. 12-19.
2. Кон Е. Л., Фрейман В. И., Южаков А. А. Применение ин-тегро-дифференциального критерия оценки освоения компонентов компетенций // Образование и наука. 2013. № 6. С. 47-63.
3. Кон Е. Л. К вопросу о формировании компетенций при разработке основной образовательной программы / Е. Л. Кон [и др.] // Открытое образование. 2013. № 2. С. 4-10.
4. Кон Е. Л. Подход к формированию компонентной структуры компетенций / Е. Л. Кон [и др.] // Высшее образование в России. 2013. № 7. С. 37-41.
References
1. Kon E. L. To the question about the discipline competence elements control at the basic educational program (on the technical programs example) / E. L. Kon, V. I. Freyman, A. A. Yuzhakov. Open education. 2013. № 3. P. 12-19. (In Russian)
2. Kon E. L. Implementing the Integral Differential Estimation Criterion of Competence Acquisition / E. L. Kon, V. I. Freyman, A. A. Yuzhakov. Education and science. 2013. № 6. P. 47-63. (In Russian)
3. Kon E. L. Developing competences at the basic educational program implementation / E. L. Kon [and oth.] / / Open education. 2013. № 2. P. 4-10. (In Russian)
4. Kon E. L. The approach to formation of the competence component structure / E. L. Kon [and oth.]. Higher education in Russia. 2013. № 7. P. 37-41. (In Russian)
