CC BY
57
Ч ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ОБРАЗОВАНИЕ
УДК 004.02:378.146
РЕАЛИЗАЦИЯ ОДНОГО АЛГОРИТМА УСЛОВНОГО ПОИСКА ЭЛЕМЕНТОВ КОМПЕТЕНЦИЙ С НЕДОСТАТОЧНЫМ УРОВНЕМ ОСВОЕНИЯ
В. И. Фреймана, канд. техн. наук, доцент
аПермский национальный исследовательский политехнический университет, Пермь, РФ
Цель: разработка и реализация информационного и методического обеспечения автоматизированной системы сопровождения учебного процесса, в частности одного алгоритма условного поиска недостаточно освоенных элементов компетенций при контроле качества обучения по компетентностно-ориентированным образовательным программам. Методы: использованы некоторые положения аппарата и процедуры технической диагностики, такие как безусловные и условные алгоритмы поиска и обнаружения дефектов, адаптированные к области контроля результатов обучения, заданных в компетентностном формате. Результаты: показаны возможности, условия и ограничения применения безусловных и условных алгоритмов для обнаружения и поиска элементов дисциплинарных компетенций с недостаточным уровнем освоения, которые могут быть использованы преподавателем для текущих и итоговой проверок, а студентом — для самоконтроля. Предложен алгоритм условной процедуры поиска и определения уровня освоения элементов, построенный на основе дихотомии, который позволяет осуществить пошаговый поиск недостаточно освоенных элементов среди полного множества контролируемых элементов. Показано, что при помощи аддитивного интегро-дифференци-ального критерия оценки уровня освоения элементов дисциплинарных компетенций можно организовать условные переходы к следующим шагам диагностирования и, в частном случае, уменьшить размерность необходимой тестовой последовательности, количество шагов и трудоемкость проверки. Предложен и проиллюстрирован на примере способ расчета весовых коэффициентов, который обеспечивает заданную точность (глубину локализации) процедуры поиска. Разработана программа имитационного моделирования в среде Visual Basic for Application, интегрированной в пакет Microsoft Excel, результаты работы которой подтвердили корректность предлагаемого алгоритма. Практическая значимость: результаты работы применяются в составе информационного, алгоритмического и программного обеспечения разрабатываемой автоматизированной системы сопровождения учебного процесса, которая позволит повысить эффективность управления и контроля качества обучения.
Ключевые слова — тесты обнаружения и поиска неисправностей, безусловные и условные процедуры поиска, дихотомия, интегро-дифференциальный критерий оценки, весовые коэффициенты.
Введение
Управление и контроль качества реализации учебного процесса всегда являются актуальными задачами высшего профессионального образования (ВПО). Повышенное внимание указанным проблемам стало уделяться при внедрении ком-петентностно-ориентированных основных образовательных программ подготовки бакалавров, специалистов и магистров. Программы построены в соответствии с требованиями внедренных с 2011 г. федеральных государственных образовательных стандартов высшего профессионального образования третьего поколения. Они формулируют результаты подготовки в виде набора общекультурных и профессиональных компетенций, которыми должен овладеть выпускник для успешной профессиональной деятельности [1].
Анализ научно-методических публикаций, посвященных решению проблем контроля уровня освоения компетенций как основного результата образовательной деятельности вузов (например, работы Пахаренко Н. В., Зольниковой И. Н., Князевой М. Д., Трапезникова С. Н., Трапезникова А. С., Стась Н. Ф., Ширшова Е. В., Ефремовой Н. Г., Попова Г. В., Лыгиной Л. В., Ватутиной М. Н.), показал недостаточность общих подходов и конструктивных решений указанной
комплексной задачи. В частности, на наш взгляд, не хватает конкретных механизмов и методов оценки уровня освоения компетенций и их составляющих — дисциплинарных компетенций — частей компетенции, формируемых учебными дисциплинами или разделами основных образовательных программ (практиками, научно-исследовательскими работами и т. п.). Дисциплинарная компетенция, в свою очередь, состоит из компонентов: «знания», «умения», «владения» — каждая составляющая которых представляет собой элемент дисциплинарной компетенции (ЭДК). По нашему мнению, ЭДК являются элементарными объектами формирования и контроля в соответствии с принятым в федеральных образовательных стандартах компетентностным подходом к образованию [2, 3].
Проблема разработки методик создания контрольно-измерительных материалов для контроля и оценки уровня освоения компетенций и их составляющих является для системы ВПО России недостаточно исследованной и формализованной, а потому актуальной [4]. Привлечение опыта ведущих вузов зарубежных стран, в первую очередь Европы и США, не дает полного решения указанной проблемы вследствие существенных отличий (реальных, а не формальных) у систем образования. К тому же информация, относящаяся
к данной проблематике, а также механизмы реализации методик в рамках учебного процесса не всегда доступны или имеют обобщенный иллюстративный характер. Поэтому поставленные вопросы система ВПО России должна решать самостоятельно. Также важно при решении указанных проблем учитывать заданные квалификационные требования работодателей и вектор развития соответствующего направления науки и техники [2].
Для количественной оценки результатов контроля уровня освоения компонентов и элементов современной системы обучения предлагается применять интегро-дифференциальный критерий (ИДК) оценки [5], который представляет собой многоуровневую систему линейных сверток. По ним определяется количественная оценка, интегрирующая частные количественные оценки предыдущих уровней. В качестве уровней в указанном выше многоуровневом подходе к вычислению ИДК предлагается рассматривать (в порядке уменьшения объекта контроля) компетенции, дисциплинарные компетенции, компоненты дисциплинарных компетенций, элементы компонентов дисциплинарных компетенций, тесты знаний, умений, владений.
На сегодняшний день одним из актуальных вопросов является разработка методологической основы контроля и оценивания результатов освоения ООП с применением системного подхода и соответствующего математического и алгоритмического аппарата. В поиске ответа на него существенную помощь, по нашему мнению, может оказать применение хорошо проработанного и апробированного аппарата технической диагностики [6, 7] с адаптацией его к рассматриваемым объектам исследования (компетенциям и их составляющим) и предметам исследования (алгоритмам контроля, поиска и оценивания).
Проблема оценки результатов обучения в ком-петентностном формате является комплексной. Для ее решения необходимо:
1) построить (синтезировать) проверяющие (обнаружения) либо локализующие (поиска) тесты;
2) разработать алгоритмы поиска ЭДК с недостаточным уровнем освоения;
3) провести диагностический эксперимент (тестирование);
4) получить и представить в заданном формате результаты проверки или поиска;
5) дешифрировать результаты с использованием выбранных критериев и шкал оценивания;
6) определить уровень освоения оцениваемых ЭДК путем сравнения с заданными пороговыми значениями;
7) локализовать с требуемой глубиной и точностью недостаточно освоенные объекты контроля;
8) выработать список корректирующих мероприятий (при необходимости);
9) определить интегральные и дифференциальные оценки каждого уровня для общей оценки уровня подготовки выпускника.
В работах [2-5, 8-11] были предложены конструктивные методы и алгоритмы формирования и контроля уровня освоения элементов дисциплинарных компетенций с использованием предложенного ИДК оценки. В настоящее время разрабатываются и исследуются алгоритмы реализации и дешифрации результатов обнаружения и поиска (безусловные и условные) ЭДК с недостаточным уровнем освоения. Для решения указанной задачи предлагается использовать методы и подходы технической диагностики, в частности тестовое диагностирование, с учетом специфики учебного процесса.
Целью данной статьи является исследование вопросов реализации алгоритма условного поиска недостаточно освоенных ЭДК с использованием аппарата и методов технической диагностики, адаптированных к рассматриваемой предметной области.
Классификация и основные свойства алгоритмов обнаружения и поиска недостаточно освоенных ЭДК
В соответствии с положениями технической диагностики по организации и проведению тестового диагностирования можно ввести понятия «тест обнаружения» и «тест поиска» элементов с дефектом, в данном случае — недостаточно освоенных элементов дисциплинарных компетенций (далее — нЭДК) [6]. Допускается произвольная кратность нЭДК.
Тесты обнаружения дают обобщенные результаты, показывающие наличие хотя бы одного нЭДК, без конкретизации, среди полного множества контролируемых ими ЭДК, т. е. носят индицирующий характер. Поэтому тесты обнаружения эффективны при реализации мероприятий контроля (аттестаций, допуска к определенному виду занятий и т. д.), а также для контроля однотипных ЭДК (например, принадлежащих одному компоненту — «знать», «уметь» или «владеть»).
Тесты поиска позволяют выявить конкретный ЭДК с недостаточным (относительно заданного порогового значения) уровнем освоения из полного множества контролируемых ЭДК. Тесты поиска должны удовлетворять требованиям точности или глубины локализации и предназначены для получения детальной информации относительно подмножества подозреваемых ЭДК.
При реализации тестового диагностирования применяют безусловные или условные алгоритмы обнаружения и поиска [7, 11]. Их названия определяются по наличию или отсутствию зависимости перехода к следующему шагу (этапу)
диагностирования от результатов предшествующего шага (этапа).
При процедуре обнаружения диагностический эксперимент проводится, как правило, до первого отрицательного результата. Общий результат теста не детализируется (дешифрируется) на результаты отдельно по каждому контролируемому ЭДК, т. е. не позволяет выявить отдельный нЭДК, поэтому при отрицательном результате необходима дальнейшая реализация алгоритмов поиска.
При безусловной процедуре поиска проводится детализация (дешифрация) результатов освоения по каждому элементу, что требует соблюдения определенных правил построения сложных (составных) тестов либо сложных алгоритмов дешифрации. Шаг диагностирования определяется временными (например, графиком учебного процесса) и пространственными (количеством и видами средств контроля) характеристиками. Количество шагов может быть переменным и во времени, и в пространстве. На каждом шаге можно рассчитать текущую (промежуточную) оценку уровня освоения ЭДК по оценкам уже выполненных тестовых заданий либо выполнить прогнозирование, задав определенные значения (или интервалы) оценкам еще не выполненных тестов. Это позволяет оценить текущий уровень освоения и в случае необходимости выработать список корректирующих мероприятий, чтобы улучшить результат [8].
Условная процедура поиска подразумевает зависимость количества и подмножества тестов, подаваемых на текущем шаге диагностирования, от результатов тестов предыдущего шага (или шагов) диагностирования. Количество шагов и условия перехода для каждого шага (этапа) диагностирования определяются выбранным алгоритмом поиска.
Для равнозначных (равновероятных с точки зрения сложности и трудоемкости освоения)
ЭДК (Э£) наиболее простым для реализации условным алгоритмом поиска является дихотомия («деления надвое», «метод средней точки»). При этой условной процедуре на очередном шаге проверки подмножество контролируемых каждым тестом ЭДК по возможности разбивается на две примерно одинаковые части. Все тестовые наборы соответствующего шага равнозначны и проверяют примерно одинаковое количество ЭДК (таблица).
Количество шагов тестирования определяется как [1о§2Й] ^ — общее количество контролируемых ЭДК; [ ] — операция округления в большую сторону). На каждом шаге (кроме последнего — для h Ф 2i, где i — целое положительное число) количество диагностических тестов удваивается. На последних шагах подаются тесты, контролирующие только один ЭДК в подозреваемом подмножестве, поскольку проводится локализация недостаточно освоенных ЭДК с заданной точностью. Решение для ЭДК может приниматься по двоичной шкале («освоен/не освоен») или по выбранной й-ичной шкале на основании дешифрации результатов реализации тестов поиска. При этом количество шагов, а также реализуемых на каждом из них диагностических тестов может быть уменьшено за счет применения предлагаемых ниже алгоритмов обработки и дешифрации. Оценка уровня освоения осуществляется в соответствии с предлагаемым ИДК.
Вследствие линейного (аддитивного) формата ИДК возможно возникновение явления компенсации, заключающееся в том, что при суммировании высокие оценки компенсируют низкие и наоборот. Таким образом, можно сделать вывод, что в результате реализации теста фиксируются три события:
— все контролируемые тестом элементы освоены (51);
— ни один из контролируемых тестом элементов не освоен (5°);
■ Распределение тестов по шагам диагностирования
Т° Т1.1 Т1.2 Т2.1 Т2.2 со оа Н Т2.4 Т3.1 Т3.2 Т3.3 Т3.4 Т3.5 Т3.6 Т3.7 Т3.8 Т4.1 Т4.2
Э1 * * * * *
Э2 * * * * *
Эз * * * *
Э4 * * * *
Э5 * * * *
Эб * * * *
Э7 * * * *
Э8 * * * *
Э9 * * * *
Шаг 1 Шаг 2 Шаг 3 Шаг 4
— результат нуждается в уточнении тестами следующих шагов (5*).
Для каждого шага диагностирования результаты всех тестов проверяются на выполнение указанных условий. Если выполнены условия точного принятия решения (51 или 50), то процедура поиска для всех контролируемых тестом элементов прекращается, рассчитывается ИДК и фиксируется уровень освоения по двоичной шкале («освоен/не освоен»). Если результат нуждается в уточнении, то проводятся тесты следующего шага диагностирования для контролируемых тестом элементов. Далее в статье будет приведен алгоритм поиска нЭДК и его реализация в среде имитационного моделирования.
Применение ИДК для оценки результатов условной процедуры поиска нЭДК, построенной на базе дихотомии
В работе [5] были исследованы проблемы составления и применения ИДК оценки уровня освоения компонентов и элементов компетенций. Оценка степени освоения каждого ЭДК (по двухуровневой или многоуровневой шкале) определяется с использованием многоуровневого ИДК. Он вычисляется по результатам тестов, проверяющих в том числе и данный ЭДК на протяжении всех шагов диагностирования:
N
=Х Xх. ■ ^ :у : (1)
1=1 у=1
где Ок — уровень освоения элемента Эъ, нормализованный в диапазоне [0; 1]; N — количество шагов тестирования; Nj — количество тестов на 1-м шаге тестирования; — результат реализации теста Т£ j ( — номер шага тестирования, ] — номер теста на 1-м шаге тестирования); Х£.у — весовой коэффициент результата теста Т£; у^ — коэффициент покрытия, принимающий следующие значения: 1, если элемент Э^ контролируется тестом Т£; 0, если Эъ не контролируется тестом Т£ . Для весовых коэффициентов выполня-. N Ni
ется условие нормирования X ^^^Х.- = 1.
i=1 у=1
Определение для каждого теста проверяемых им элементов осуществляется на этапе проектирования рабочей программы дисциплины и реализуется в таблице соответствия ЭДК и диагностических тестов [5]. В этой же работе [5] предложена методика определения весовых коэффициентов по заданной таблице соответствия, которая составлена из тестов обнаружения (без дешифрации результатов по каждому контролируемому тестом ЭДК, только с анализом общего результата теста).
При определении весовых коэффициентов необходимо учесть тот факт, что результат теста не дешифрируется на составляющие, соответствующие каждому из контролируемых тестом элементов. Поэтому весовые коэффициенты дифференциальных оценок в составе ИДК (результатов тестов обнаружения и/или поиска, контролирующих данный ЭДК) предлагается определять в обратно пропорциональной зависимости от общего количества ЭДК {N1), контролируемых тестом Т-. Это предложение основывается на утверждении, что чем меньше ЭДК контролирует тест, тем больше глубина (точность) локализации, т. е. выше вероятность обнаружения элементов с недостаточным уровнем освоения (доказательство данного утверждения в работе не приводится). Следовательно, максимальный весовой коэффициент имеет тест, контролирующий только один элемент, и при его построении необходимо учитывать ограничения и рекомендации, изложенные в работах [9, 10].
В соответствии с приведенным утверждением предлагается определять весовые коэффициенты результатов тестов при составлении ИДК оценки каждого ЭДК следующим образом:
ХИ N Ni
1
(2)
N4 X X [ ^
1=1 1=1 V
у(к) и]
Пример 1. Построим ИДК для элемента Э2 (см. таблицу). Для этого выпишем значения коэффициентов покрытия с учетом того, что элемент Э2 контролируется тестами поиска Т1л, Т2.1, Т3.1 и
Т42: у(2) = у(2) = у(2) = у(2) =
у1"1 = У2"1 = = уч4"2 = 1- В соответствии
с (1) построим ИДК оценки уровня освоения эле-
мента Э2:
О2 — Хт 1Д 1 + Х21л21 + Х31Д3 1 + Х4
Ч.1Л1.1
2.1Л2.1
3.1^3.1
4.^4.2'
Согласно (2), определим весовые коэффициенты результатов тестов, контролирующих элемент Э2:
Х1.1 — 1/(^л(1/^л + 1/N2.l + 1/Nз.l + 1/N4.2)) — —1/(5(1/5 + 1/3 + 1/2 + 1)) — 0,098;
Х2 1 — 1/^2 l(1/Nl 1 + 1/^ 1 + 1/Nз 1 + 1/N4 2)) —
— 1/(3(1/5 + 1/3 + 1/2 + 1)) — 0,164;
Х3.1 — 1/^3.1(1/^.1 + 1/^.1 + 1/Nз.l + 1/N4.2)) —
— 1/(2(1/5 + 1/3 + 1/2 + 1)) — 0,246;
Х4.2 — 1/(^.2(1/^.1 + 1/N2.l + 1/^.1 + 1/N4.2)) — —1/(1(1/5 + 1/3 + 1/2 + 1)) — 0,492.
Условие нормирования весовых коэффициентов выполняется — сумма равна 1.
Очевидно, что расчет ИДК по общим результатам тестов, а не по результатам дешифрации относительно каждого контролируемого элемента,
приводит к снижению точности вычислений. При использовании двоичной шкалы оценивания и предлагаемого подхода к определению весовых коэффициентов, как будет показано ниже, требуемая точность гарантированно будет обеспечена. Однако при переходе от двухуровневой к многоуровневым шкалам (например, традиционной четырехуровневой «5-4-3-2») вследствие возникновения компенсации заданная точность определения оценки не может быть обеспечена, что потребует применения сложных процедур дешифрации. Далее в настоящей работе ограничимся двухуровневой шкалой оценивания.
Разработка алгоритма условного поиска нЭДК для способа тестирования на основе принципа дихотомии
Перед разработкой алгоритмов поиска нЭДК необходимо отметить следующие условия.
1. Для разработки и реализации алгоритмов диагностирования может потребоваться пересмотр и изменение компонентной структуры дисциплинарных компетенций (увеличение или уменьшение их количества, коррекция формулировок и т. д.). При этом реализуется контролепри-годная структура, которая удобна для диагностирования и при необходимости трансформируется в исходный вариант.
2. Необходимо совместное (взаимоувязанное, итеративное) построение диагностических тестов (выбор формата таблицы соответствия, конструирование составных и смешанных тестов с заданной покрывающей способностью и т. д.) и контро-лепригодного объекта диагностирования с требуемым содержанием и структурой компонентов и ЭДК.
Выполнение вышеуказанных требований позволяет разработать и реализовать процедуры и алгоритмы диагностирования.
В данном разделе предлагается алгоритм условного поиска нЭДК для способа тестирования, построенного по принципу дихотомии (рис. 1). Исходными данными является общее количество равнозначных (равновероятных) ЭДК — h. Для них определяется количество шагов тестирования Ыт = [^2^. Условия, по которым принимается решение о принадлежности результата к одному из вариантов (51, 5° или 5*), в настоящей статье не рассматриваются.
Для каждого шага в соответствии с принципом дихотомии определяется необходимое количество тестов, причем количество тестов увеличивается, а количество контролируемых элементов — уменьшается, примерно в 2 раза.
Реализация тестового диагностирования производится в соответствии с условной процедурой
поиска. Сначала реализуются тесты первого шага. В случае если результат теста принадлежит либо диапазону 5°, либо диапазону 51 (которые определяются для каждого теста, поскольку зависят от количества контролируемых ими элементов), то имеются условия для уверенного принятия решения. Если результат требует уточнения, то реализуются тесты второго шага и т. д. После реализации всех необходимых тестов проводится расчет уровня освоения каждого из h ЭДК и оценивание его по двухуровневой шкале.
Применение предлагаемого алгоритма позволяет сократить количество шагов, а соответственно, и реализуемых тестов поиска. С точки зрения уменьшения реализуемой длины тестовой последовательности эффективность алгоритма может быть оценена коэффициентом эффективности
Кэ = N - ^д)/^д1°° %, (3)
где — количество тестов, реализуемых в случае применения предлагаемого алгоритма; — подготовленное количество тестов при дихотомии. Очевидно, коэффициент эффективности зависит от распределения конкретных значений оценок каждого элемента (чем меньше разброс оценок элементов, тем больше коэффициент) и имеет случайный характер. Максимальное значение коэффициента эффективности соответствует минимальному количеству шагов, равному 1. Такая ситуация возможна в случаях, когда все элементы имеют или почти максимальный уровень (близкий к 1), или почти минимальный уровень (близкий к 0) освоения, и решение принимается без необходимости дальнейшего поиска (на ранних шагах диагностирования).
В общей оценке параметров предлагаемого алгоритма поиска нЭДК разработана программа имитационного моделирования. Она позволяет для случайно заданных исходных данных (уровня освоения каждого ЭДК) промоделировать работу алгоритма дихотомии и определить количество шагов диагностирования, необходимых для реализации тестов поиска, а также коэффициент эффективности.
Исследование свойств предложенного алгоритма условного поиска нЭДК с помощью программы имитационного моделирования
Для исследования возможностей алгоритма эффективно использовать моделирование. Оно позволяет выполнить имитацию исходных данных (например, уровня освоения ЭДК), выполнить расчет по заданному алгоритму и проанализировать полученные результаты. Поэтому была разработана программа имитационного модели-
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ОБРАЗОВАНИЕ
■ Рис. 1. Схема алгоритма поиска
рования в среде Visual Basic for Application, интегрированной в пакет Microsoft Excel. Исходные данные для моделирования:
— заданное общее количество контролируемых элементов h;
— случайно выбранные значения уровня освоения для каждого элемента в диапазоне от 0 до 1;
— линейный формат ИДК;
— глубина локализации диагностирования до каждого ЭДК;
— произвольная кратность (количество) нЭДК;
— пороговое значение для принятия решения о том, освоен элемент или нет.
Применение разработанной программы моделирования условного алгоритма поиска нЭДК с применением аддитивного ИДК оценки уровня освоения позволило решить следующие задачи:
1) построить в соответствии с принципом дихотомии таблицу соответствия ЭДК и контролирующих их тестов Т£.у;
2) рассчитать в соответствии с ИДК значения результатов тестов;
3) реализовать предложенный алгоритм условного поиска — дихотомию;
4) рассчитать весовые коэффициенты дифференциальных оценок (результатов тестов поиска) для определения освоения ЭДК в соответствии с ИДК;
5) определить уровень освоения ЭДК с использованием результатов тестов, без детализации результатов каждого теста по контролируемым им ЭДК.
Результаты работы программы моделирования представлены на рис. 2. Таблица соответствия строится в предположении, что результат теста определяется как линейный ИДК уровней освоения контролируемых им равнозначных (равновероятных) ЭДК, каждый из которых имеет уровень освоения в диапазоне [0; 1]. Значения уровней каждого ЭДК задаются случайным образом (столбец «То» — тест обнаружения, контролирующий все элементы). Далее по принципу дихотомии строятся все тесты поиска Ту. Заданные случайным образом значения уровня освоения каждого элемента переписываются в соответствующие ячейки контролирующих их тестов, но учитываются только при сравнении с рассчитанным по ИДК результатом (столбец «IDC»).
Вычисление результата после выполнения всех шагов тестирования осуществляется с использованием предложенного ИДК [5] — весовой коэффициент теста определяется количеством контролируемых им элементов по вышеизложенной методике. Если на определенном шаге
результаты теста не требуют дальнейшего уточнения, т. е. выполняются условия точного определения (например, результат подачи теста Т2.3, отмеченный символом «0», соответствующий состоянию S0, показывает, что ни один из контролируемых тестом элементов точно не освоен), то далее дихотомия для проверки контролируемых им элементов (Э6, Э7 и Э8) не производится (тесты Т3.5 (контроль Э6 и Э7), Т.3.6 (контроль Э8), Т4.3 (контроль Э6) и Т4.4 (контроль Э7) не подаются). После реализации всех шагов диагностирования по каждому ЭДК определяется уровень освоения по двоичной шкале (0/1, столбец «IDC», дополнительно иллюстрированный цветом: красный — элемент не освоен, зеленый — элемент освоен).
Пример 2. Приведем пример расчета уровня освоения элемента Э2 с использованием весовых коэффициентов, определенных в примере 1, а результаты тестов взяв из строки «Ri.j» в таблице соответствия (см. рис. 2):
О2 = ^1.1^1.1 + ^2.1^2.1 + ^3.1^3.1 + ^4.2^4.2 =
= 0,098 ■ 0,55 + 0,164 ■ 0,63 + 0,246 ■ 0,48 + + 0,492 ■ 0,43 = 0,49.
В исходных данных в столбце «То» случайным образом было задано значение уровня освоения элемента Э2, равное 0,43. В результате расчета ИДК получено значение уровня освоения 0,49. И по заданному, и по полученному результатам можно сделать вывод, что оба они индицируют
□ Microsoft Excel - Тесты (дихотомия).kIs
ча а - I -> - с- ч э & £ -
? ^ (¿^ -й | | Й ^ 1®-^ I ДР Ответить с изменениями...
Файл Правка Вид Вставка Формат Сервис Данные Окно Справка
А1 -г £
Введите вопрос
А В С D Е F G н I J К L м N О Р Q R S т и
1 То Т1.1 Т1.2 Т2.1 Т2.2 Т2.3 Т2.4 Т3.1 Т3.2 ТЗ.З Т3.4 Т3.5 Т3.6 Т3.7 Т3.8 Т4.1 Т4.2 Т4.3 Т4.4 IDC
2 Э1 0,53 0,53 0,53 0,53 0,53 0,54
3 Э2 0,43 0,43 0,43 0,43 0,43 0,49
4 ЭЗ 0,92 0,92 0,92 0,92 0,81
5 Э4 0,85 0,85 0,85 0,85 0,69
6 Э5 0,02 0,02 0,02 0,02 0,21
7 Э6 0,02 0,02 0,02 0,23
8 Э7 0,17 0,17 0,17 0,23
9 Э8 0,23 0,23 0,23 0,23
10 Э9 0,7 0,7 0,7 0,7 0,67
11 Э10 0,78 0,78 0,78 0,78 0,72
12 Ri.j 0.46 0.55 0.38 0.63 0.44 0,14 0,74 0.48 0,92 0,85 0,02 0,7 0,78 0,53 0,43 0,48
13 * * * * * 0 * * 1 1 0 1 1 1 0
14 Шаг 1 Шаг 2 Шаг 3 Шаг 4
15 N Т 19
16 R Т 15
17 К% 21
ном
Готово
|\Д.
инотомия
/ ИДК / Пороги / Дешифрация /
Ы I
NUM
Л
■ Рис. 2. Экранная форма программы моделирования
недостаточный уровень освоения (ниже заданного порогового значения 0,5).
Из сравнительного анализа столбцов «То» (исходные данные) и столбца «IDC» (результаты тестирования) можно сделать вывод, что тесты поиска позволили правильно определить уровень освоения всех элементов. Абсолютные значения результатов вычисления ИДК не анализируются, поскольку решается задача поиска ЭДК с недостаточным уровнем освоения. Для точного вычисления необходима дешифрация результатов тестов по каждому элементу.
В общем случае уровень освоения можно выявить на тестах, контролирующих только один ЭДК. Однако с достаточно большой вероятностью может встретиться такое распределение ЭДК, что количество тестов может быть уменьшено. Например, на рис. 2 из заранее рассчитанных и подготовленных 19 тестов было реализовано 15, что привело к уменьшению фактического количества реализованных тестов в соответствии с формулой (3) на 21 %, а это значит, что уменьшились и ресурсы (временные, технические и т. п.), требуемые для реализации процедуры поиска нЭДК произвольной кратности.
Тест каждого шага позволяет с большей глубиной и уровнем детализации выявить уровень освоения контролируемых им элементов. Естественно, это требует усложнения процедуры формирования тестов, поэтому выявление уровня освоения ЭДК на ранних этапах диагностирования существенно повышает эффективность и снижает ресурсоемкость процедуры контроля.
Необходимо отметить, что предлагаемый алгоритм больше подходит для тестов знаний, поскольку тесты каждого уровня можно формировать из общей структурированной базы данных. Тест обнаружения, который контролирует, например, все ЭДК одного типа, может содержать по несколько вопросов общего характера (определения, терминология и т. п.). По отрицательному результату очевидно, что дальнейшее тестирование не имеет смысла, поскольку проверяемый не знает основ контролируемой тематики. Применение указанного подхода позволяет по-
1. Основные тенденции развития высшего образования: глобальные и Болонские измерения / под науч. ред. д-ра пед. наук, профессора В. И. Байденко. — М.: Исследовательский центр проблем качества подготовки специалистов, 201°. — 352 с.
2. Кон Е. Л. и др. К вопросу о подготовке и оценке компетенций выпускников высшей школы с использованием модулей «Вектор развития направления» и «Квалификационные требования работо-
строить тесты с максимальной эффективностью и экономичностью.
Тесты умений и владений, как правило, являются сложными и требуют детализированной дешифрации результатов по каждому ЭДК в рамках каждого реализованного теста. Поэтому необходимо адаптировать предлагаемые алгоритмы поиска к контролю ЭДК разного вида.
Разработанные процедуры и алгоритмы диагностирования, а также программа имитационного моделирования будут включены в состав методического, информационного, алгоритмического и программного обеспечения автоматизированной информационной системы, которая проектируется в Пермском национальном исследовательском политехническом университете.
Заключение
В настоящей статье представлены следующие основные результаты.
1. Дана классификация и проведен анализ свойств безусловных и условных алгоритмов обнаружения и поиска нЭДК.
2. Предложена методика построения аддитивного ИДК оценки уровня освоения ЭДК с учетом особенностей применяемой условной процедуры поиска.
3. Разработана методика определения весовых коэффициентов дифференциальных оценок (результатов тестов поиска при анализируемой условной процедуре диагностирования) в составе интегральной оценки (уровня освоения ЭДК), приведен пример расчета.
4. Предложен алгоритм реализации условной процедуры поиска и определения уровня освоения ЭДК, построенный на основе дихотомии, который позволяет найти недостаточно освоенные ЭДК среди полного множества контролируемых элементов.
5. Приведены результаты имитационного моделирования предлагаемого алгоритма в среде Visual Basic for Application, интегрированной в пакет Microsoft Excel, что позволило подтвердить правильность работы алгоритма и корректность результатов моделирования.
дателей» // Открытое образование. 2012. № 3. С. 17-29.
3. Кон Е. Л., Фрейман В. И., Южаков А. А., Кон Е. М.
Подход к формированию компонентной структуры компетенций // Высшее образование в России. 2013. № 7. С. 37-41.
4. Кон Е. Л., Фрейман В. И., Южаков А. А. Практический подход к формированию компетентностной модели выпускника технического университета // Университетское управление: практика и анализ. 2013. № 2(84). С. 52-58.
5. Кон Е. Л., Фрейман В. И., Южаков А. А. Применение интегро-дифференциального критерия оценки освоения компонентов компетенций // Образование и наука. 2013. № 6. С. 47-63.
6. Фрейман В. И. Разработка и исследование методов синтеза импульсных тестов для автоматизации проверки КМОП СБИС на этапах изготовления и эксплуатации телекоммуникационного оборудования: дис. ... канд. техн. наук / ПГТУ. — Пермь, 2000. —114 с.
7. Кон Е. Л., Фрейман В. И. Подходы к тестовому диагностированию цифровых устройств // Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. Пермь, 2012. № 4. С. 231-241.
8. Кон Е. Л., Фрейман В. И., Южаков А. А. Оценка качества формирования компетенций студентов технических вузов при двухуровневой системе обучения // Научные исследования и их практическое применение. Современное состояние и пути развития '2012:
сб. науч. тр. Междунар. науч.-практ. конф., Одесса, 2-12 октября 2012 г. Одесса: Куприенко Сергей Васильевич, 2012. Т. 9. С. 39-41.
9. Кон Е. Л., Фрейман В. И., Южаков А. А. К вопросу о контроле элементов дисциплинарных компетенций в рамках основной образовательной программы (на примере технических направлений подготовки) // Открытое образование. 2013. № 3. С. 12-19.
10. Кон Е. Л., Фрейман В. И., Южаков А. А., Кон Е. М.
К вопросу о формировании компетенций при разработке основной образовательной программы // Открытое образование. 2013. № 2. С. 4-10.
11. Кон Е. Л., Фрейман В. И., Южаков А. А. Реализация алгоритмов дешифрации результатов безусловного и условного поиска при проверке уровня освоения элементов дисциплинарных компетенций // Образование и наука. 2013. № 10. С. 17-36.
UDC 004.02:378.146
An Algorithm of Conditional Search of Competence Elements with Insufficient Level of Development
Freyman V. I.a, PhD, Tech., Associate Professor, vfrey@mail.ru
aPerm National Research Technical University, 29, Komsomol'skii St., 614990, Perm, Russian Federation
Purpose: Creation and implementation of an automated system of information and methodical support for the educational process, in particular, an algorithm of conditional search of competence elements with insufficient level of development for quality control of education according to competence-oriented educational programs. Methods: There have been used some machine states and technical diagnostics procedures, namely: unconditional and conditional algorithms of defects search and detection adapted for control of training results set in the competence-based format. Results: There have been shown opportunities, conditions and restrictions of applying unconditional and conditional algorithms for detection and search of disciplinary competences elements with insufficient level of development which can be used by a teacher for current and final assessment and by a student — for self-checking. There has been proposed an algorithm of search and definition of a conditional procedure of elements development level constructed on the basis "dichotomy", it allows to carry out step-by-step search of elements of insufficient development among a full set of controlled elements. It has been shown that by means of additive integral-differential criterion of disciplinary competences elements development level assessment one can organize conditional transitions to the following steps of diagnostics and, in particular, reduce a dimension of the required test sequence, an amount of steps and labor input of the assessment. There has been proposed and demonstrated a method of calculation of weight coefficients which ensures the set accuracy (localization depth) of search procedures. There has been developed the software of imitative modeling in the environment of Visual Basic for Application integrated into a Microsoft Excel package which operational results have confirmed correctness of proposed algorithm. Practical relevance: The research results have been applied as a part of information, algorithmic support and software of the developed automated system of support of the educational process which allows enhancing management efficiency and training quality control.
Keywords — Tests for Fault Search and Detection, Unconditional and Conditional Search Procedures, Dichotomy, IntegralDifferential Assessment Criterion, Weight Coefficients.
References
12. Baidenko V. I. Osnovnye tendentsii razvitiia vysshego obrazovaniia: global'nye i Bolonskie izmereniia [Main Tendencies of Development of the Higher Education: Global and Bologna Measurements]. Moskow, Issledovatel'skii tsentr problem kachestva podgotovki spetsialistov Publ., 2010. 352 p. (In Russian).
13. Danilov A. N., Kon E. L., Yuzhakov A. A., Andrievskaya N. V., Bezukladnikov I. I., Freyman V. I., Kon E. M. On Preparation and Evaluation of Competencies of Graduates of Higher School with Use of Modules «Vector of Direction» and «Qualification Requirements of Employers». Otkrytoe obrazovanie, 2012, no. 3, pp. 17-29 (In Russian).
14. Kon E. L., Freyman V. I., Yuzhakov A. A., Kon E. M. The Approach to Formation of the Competence Component Structure. Vysshee obrazovanie v Rossii, 2013, no. 7, pp. 37-41 (In Russian).
15. Kon E. L., Freyman V. I., Yuzhakov A. A. Practical Approach to Formation the Competence-based Model for a Technical University Graduate. Universitetskoe upravlenie: praktika i analiz, 2013, no. 2(84), pp. 52-58 (In Russian).
16. Kon E. L., Freyman V. I., Yuzhakov A. A. Implementing the Integral Differential Estimation Criterion of Competence Acquisition. Obrazovanie i nauka, 2013, no. 6, pp. 47-63 (In Russian).
17. Freyman V. I. Razrabotka i issledovanie metodov sinteza impul'snykh testov dlia avtomatizatsii proverki KMOP SBIS na etapakh izgotovleniia i ekspluatatsii telekommunikatsionnogo oborudovaniia. Dis. ... kand. tekhn. nauk [Development and Research of Pulse Tests Synthesis Methods for Automation CMOS SLIS Check at Making and Using Stages of the Telecommunication
Equipment. PhD techn. sci. diss.]. Perm, PGTU Publ., 2000. 114 p. (In Russian).
18. Kon E. L., Freyman V. I. Approaches to Test Diagnostic of Digital Devices. Vestnik Permskogo natsional'nogo issledovatel'skogo politekhnicheskogo universiteta. Elektrotekhnika, informatsionnye tekhnologii, sistemy upravleniia. Perm, Permskii nacional'nyi issledovatel'skii politehnicheskii universitet Publ., 2012, no. 4, pp. 231-241 (In Russian).
19. Kon E. L., Freyman V. I., Yuzhakov A. A. The Quality Control of Technical Universities Students Competences Forming with Two-level Education System. Trudy Mezhdunarodnoi nauchno-prakticheskoi konferentsii "Nauchnye issledovaniia i ikh prakticheskoe primenenie. Sovremennoe sostoianie i puti razvitiia' 2012" [Proc. Int. Conf. "Scientific Researches and their Practical
Application. Modern State and Ways of Development 2012"]. Odessa, Kuprienko Sergei Vasil'evich Publ., 2012, vol. 9, pp. 39-41 (In Russian).
20. Kon E. L., Freyman V. I., Yuzhakov A. A. To the Question about the Discipline Competence Elements Control at the Basic Educational Program (on the Technical Programs Example). Otkrytoe obrazovanie, 2013, no. 3, pp. 12-19 (In Russian).
21. Kon E. L., Freyman V. I., Yuzhakov A. A., Kon E. M. Developing Competences at the Basic Educational Program Implementation. Otkrytoe obrazovanie, 2013, no. 2, pp. 4-10 (In Russian).
22. Kon E. L., Freyman V. I., Yuzhakov A. A. The Realization of Conditional and Unconditional Searching Results Decoding Algorithms during the Discipline Competence Elements Level Marking Control. Obrazovanie i nauka, 2013, no. 10, pp. 17-36 (In Russian).
Уважаемые авторы!
При подготовке рукописей статей необходимо руководствоваться следующими рекомендациями.
Статьи должны содержать изложение новых научных результатов. Название статьи должно быть кратким, но информативным. В названии недопустимо использование сокращений, кроме самых общепринятых (РАН, РФ, САПР и т. п.).
Объем статьи (текст, таблицы, иллюстрации и библиография) не должен превышать эквивалента в 20 страниц, напечатанных на бумаге формата A4 на одной стороне через 1,5 интервала Word шрифтом Times New Roman размером 13, поля не менее двух сантиметров.
Обязательными элементами оформления статьи являются: индекс УДК, заглавие, инициалы и фамилия автора (авторов), ученая степень, звание (при отсутствии — должность), полное название организации, аннотация и ключевые слова на русском и английском языках, электронные адреса авторов, которые по требованию ВАК должны быть опубликованы на страницах журнала. При написании аннотации не используйте аббревиатур и не делайте ссылок на источники в списке литературы.
Статьи авторов, не имеющих ученой степени, рекомендуется публиковать в соавторстве с научным руководителем, наличие подписи научного руководителя на рукописи обязательно; в случае самостоятельной публикации обязательно предоставляйте заверенную по месту работы рекомендацию научного руководителя с указанием его фамилии, имени, отчества, места работы, должности, ученого звания, ученой степени — эта информация будет опубликована в ссылке на первой странице.
Формулы набирайте в Word, не используя формульный редактор (Mathtype или Equation), при необходимости можно использовать формульный редактор; для набора одной формулы не используйте два редактора; при наборе формул в формульном редакторе знаки препинания, ограничивающие формулу, набирайте вместе с формулой; для установки размера шрифта никогда не пользуйтесь вкладкой Other..., используйте заводские установки редактора, не подгоняйте размер символов в формулах под размер шрифта в тексте статьи, не растягивайте и не сжимайте мышью формулы, вставленные в текст; в формулах не отделяйте пробелами знаки: + = -.
Для набора формул в Word никогда не используйте Конструктор (на верхней панели: «Работа с формулами» — «Конструктор»), т. к. этот ресурс предназначен только для внутреннего использования в Word и не поддерживается программами, предназначенными для изготовления оригинал-макета журнала.
При наборе символов в тексте помните, что символы, обозначаемые латинскими буквами, набираются светлым курсивом, русскими и греческими — светлым прямым, векторы и матрицы — прямым полужирным шрифтом.
Иллюстрации в текст не заверстываются и предоставляются отдельными исходными файлами, поддающимися редактированию:
— рисунки, графики, диаграммы, блок-схемы предоставляйте в виде отдельных исходных файлов, поддающихся редактированию, используя векторные программы: Visio 4, 5, 2002-2003 (*.vsd); Coreldraw (*.cdr); Excel (*.xls); Word (*.doc); Adobelllustrator (*.ai); AutoCad (*.dxf); Matlab (*.ps, *.pdf или экспорт в формат *.ai);
— если редактор, в котором Вы изготавливаете рисунок, не позволяет сохранить в векторном формате, используйте функцию экспорта (только по отношению к исходному рисунку), например, в формат *.ai, *.esp, *.wmf, *.emf, *.svg;
— фото и растровые — в формате *.tif, *.png с максимальным разрешением (не менее 300 pixels/inch).
Наличие подрисуночных подписей обязательно (желательно не повторяющих дословно комментарии к рисункам в тексте статьи).
В редакцию предоставляются:
— сведения об авторе (фамилия, имя, отчество, место работы, должность, ученое звание, учебное заведение и год его окончания, ученая степень и год защиты диссертации, область научных интересов, количество научных публикаций, домашний и служебный адреса и телефоны, e-mail), фото авторов: анфас, в темной одежде на белом фоне, должны быть видны плечи и грудь, высокая степень четкости изображения без теней и отблесков на лице, фото можно представить в электронном виде в формате *.tif, *.png с максимальным разрешением — не менее 300 pixels/inch при минимальном размере фото 40x55 мм;
— экспертное заключение.
Список литературы составляется по порядку ссылок в тексте и оформляется следующим образом:
— для книг и сборников — фамилия и инициалы авторов, полное название книги (сборника), город, издательство, год, общее количество страниц;
— для журнальных статей — фамилия и инициалы авторов, полное название статьи, название журнала, год издания, номер журнала, номера страниц;
— ссылки на иностранную литературу следует давать на языке оригинала без сокращений;
— при использовании web-материалов указывайте адрес сайта и дату обращения.
Список литературы предоставляйте в двух вариантах: первый на языках оригиналов и второй - перевод (не траслитерация, а перевод) списка на английский язык.
Более подробно правила подготовки текста с образцами изложены на нашем сайте в разделе «Оформление статей».
Контакты
Куда: 190000, Санкт-Петербург, Б. Морская ул., д. 67, ГУАП, РИЦ Кому: Редакция журнала «Информационно-управляющие системы» Тел.: (812) 494-70-02 Эл. почта: ius.spb@gmail.com Сайт: www.i-us.ru
