CC BY
55
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК 378.14
Кон Ефим Львович
кандидат технических наук, профессор, руководитель сектора «Инфокоммуникацион-ные и распределенные информационно-управляющие системы» кафедры «Автоматика и телемеханика» Пермского национального исследовательского политехнического университета, Пермь (РФ). E-mail: kel-40@yandex.ru
Фрейман Владимир Исаакович
кандидат технических наук, доцент, заместитель заведующего кафедрой «Автоматика и телемеханика» Пермского национального исследовательского политехнического университета, Пермь (РФ). E-mail: vfrey@mail.ru
Южаков Александр Анатольевич
доктор технических наук, профессор, заведующий кафедрой «Автоматика и телемеханика» Пермского национального исследовательского политехнического университета, Пермь (РФ). E-mail: uz@at pstu.ru
РАЗРАБОТКА ПОДХОДОВ К ФОРМАЛИЗОВАННОМУ ОПИСАНИЮ КОНТРОЛЕПРИГОДНОЙ КОМПОНЕНТНОЙ СТРУКТУРЫ ДИСЦИПЛИНАРНОЙ КОМПЕТЕНЦИИ
Аннотация. Цель работы - разработка подходов и рекомендаций для выбора количественных и качественных показателей компонентной структуры дисциплинарной компетенции, а также способов ее формализованного описания. Одной из основных задач, которую необходимо решать при создании учебно-методического комплекса дисциплины (ее рабочей программы, фонда оценочных средств и т. д.) и компетентностно-ориентированной образовательной программы, является проектирование компонентной структуры каждой части компетенции (дисциплинарных компетенций). Существенное влияние на данный процесс оказывают не только содержание тематического плана и выбранные виды аудиторной и самостоятельной работы, но и планируемые средства контроля и методы диагностирования результатов обучения, заданных в компетентностном формате.
Методы и результаты работы. Предлагается совместное (контроле-пригодное) проектирование компонентной структуры дисциплинарных компетенций и средств контроля (тестов, контрольно-измерительных материалов), проверяющих уровень освоения их составных элементов, сформулированных в триаде «знать», «уметь», «владеть». Обосновываются требования к основным количественным и качественным показателям компонентной структуры дисциплинарной компетенции. Разработана и проанализирована структура таблицы диагностирования, позволяющая установить соответствие между компонентами дисциплинарных компетенций и контролирующими их тестами, а также зафиксировать результаты текущего контроля уровня освоения. Дана классификация диагностических тестов, показано их влияние на формат и параметры таблицы диагностирования.
Научная новизна. Описан подход к формированию контролепригодной компонентной структуры дисциплинарной компетенции, позволяющий придать объекту контроля свойства, повышающие эффективность процедуры и точность дешифрации диагностирования результатов обучения.
Представлены частные результаты применения некоторых положений аппарата и методов технической диагностики для их использования в области измерения качества результатов обучения в рамках компетентностно-ориен-тированных образовательных программ.
Практическая значимость. Построение контролепригодной компонентной структуры дисциплинарной компетенции дает возможность педагогу более качественно проводить проверку знаний, а студенту - более адекватно оценивать свои достижения, что особенно важно при увеличении объема самостоятельной работы. Рекомендации по выбору формата таблицы диагностирования могут быть использованы при проектировании рабочих программ и фондов оценочных средств по дисциплинам и разделам образовательных программ, в которых результаты обучения представлены в компетентностном формате.
Ключевые слова: дисциплинарная компетенция, компонентная структура, контролепригодность, тест, таблица диагностирования.
Kon Efim L.
Candidate of Technical Sciences, Professor, Head of Info Communication and Distributed Information-control Systems Branch, Department of Automatics and Telemechanics, Perm National Research Polytechnic University, Perm (RF). E-mail: kel-40@yandex.ru
Freyman Vladimir I.
Candidate of Technical Sciences, Associate Professor, Deputy Head of the Department of Automatics and Telemechanics, Perm National Research Polytechnic University, Perm (RF). E-mail: vfrey@mail.ru
Yuzhakov Aleksandr A.
Doctor of Technical Sciences, Professor, Head of the Department of Automatics and Telemechanics», Perm National Research Polytechnic University, Perm (RF). E-mail: uz@ptpstu.ru
APPROACHES DEVELOPMENT TO FORMALIZED DESCRIPTION OF THE DISCIPLINARY COMPETENCE OF TESTABLE COMPONENT STRUCTURE
Abstract. The purpose of this paper is a development of approaches and recommendations on the selection of quantitative and qualitative component structure of disciplinary competencies, as well as ways of its formal description. One of the main problems, which it is necessary to decide while developing a studying and methodical discipline complex (for example, a discipline program, a fund of estimation tools, etc.) of competence-oriented educational program, is designing of a component structure of each part of competence (a disciplinary competence), that is involved in the formation of the discipline. In this case, a significant impact on this process has not only the content of thematic plan and selected kinds of class and self works of students, but proposed control tools and diagnosing methods of learning outcomes specified in the competency format.
Methods. It is proposed to use joint (testable) design component structure of disciplinary competencies and control tools (tests, test materials), check the level of development of their constituent elements described in the triad of «to know», «to be able to», «to master». Requirements to the basic quantitative and qualitative properties of disciplinary competence component structure are formulated and substantiated. A structure of diagnostic table that makes it possible to set a correspondence between disciplinary competence elements and components and their control tests, and also to fix outcomes of current control of development level (test reactions in the binary and not binary alphabets) is proposed and analyzed. A classification of diagnostic tests is given; their impact on format and properties of diagnostic table is shown.
Scientific novelty. The approach to designing of a testable component structure of disciplinary competence is proposed; it allows setting some properties of control object, which can increase procedure effective and decoding precision of diagnosis of learning outcomes specified in the competency format. The sub product of using some methods of technical diagnosis for their application in the learning outcomes quality control on the competence-oriented educational programs is given.
Practical significance. The research implications can be useful while designing of component structure with showing properties, and will allow teachers to make a test procedure more effectively and qualitatively; it is possible for student to estimate more adequately current level of training that is most significantly under a size and role of student self-work increase. The recommendations and guidelines for selection of a diagnostic table format may be used for designing disciplinary programs and estimating of tools funds in educational programs, wherein learning outcomes are specified in the competency format.
Keywords: disciplinary competence, component structure, testability, test, diagnosis table.
Постоянно и нелинейно растущий уровень технологического развития современного общества требует соответствующего качества подготовки специалистов. Требования к ним постоянно повышаются - от накопления определенного «багажа знаний» к способности (готовности) их эффективного практического применения. Поэтому в высшем профессиональном образовании (ВПО) в последние годы осуществляется активный переход от «знаниевой» парадигмы к «компетентностному» подходу [9]. Основное отражение указанных тенденций нашло в разработке и внедрении в систему ВПО России Федеральных государственных образовательных стандартов Высшего профессионального образования третьего поколения (ФГОС ВПО).
В ФГОС ВПО результаты обучения представлены в компетентнос-тном формате, т. е. в виде совокупности компетенций и составляющих их компонентов (знаний, умений, владений - ЗУВ) [4, 5]. Каждый из компонентов декомпозируется на элементы, которые и являются атомарными (неделимыми) объектами формирования и, соответственно, проверки их качества (уровня сформированности, освоения) у выпускника. При этом стандартами, а также нормативными документами Министерства образования и науки Российской Федерации не регламентируются способы формирования и методы диагностирования качества результатов обучения. Это обстоятельство, а также недостаточное число методических работ и публикаций по контролю качества подготовки выпускников, делает решение указанных проблем актуальной задачей высшей школы.
Формирование и измерение уровня освоения компетенций и их составляющих осуществляются в рамках образовательных программ, построенных в соответствии с ФГОС ВПО [7]. Количество компетенций и структура образовательной программы такова, что одна компетенция, как правило, не может быть сформирована в одной дисциплине (разделе). Ее освоение распределяется между несколькими предметами. Часть компетенции, относящуюся к конкретной дисциплине, принято называть дисциплинарной компетенцией (ДК). Объединение ДК (логическое, семантическое, «механическое» и т. п.) должно обеспечить присвоение студентами соответствующей компетенции. Каждая ДК состоит из компонентов ЗУВ (КДК), а они, в свою очередь, из элементов (ЭДК), которые и являются объектами контроля.
Разработку компонентной структуры ДК (определение количества, формулировок и взаимосвязи ЭДК), выбор способов формирования - видов аудиторной (АРС) и самостоятельной (СРС) работы студентов -и средств контроля (контролирующих мероприятий и заданий) производит ведущий педагог, отвечающий за проектирование учебно-методического комплекса дисциплины (УМКД). Недостаточный опыт по созданию УМКД вследствие малого времени апробации ФГОС ВПО, а также практически полное отсутствие нормативно-методической документации и научно-практических публикаций приводят к формальному, поверхностно-
му, произвольному построению компонентной структуры ДК. Неэффективность этого процесса и его результатов связана, в частности, с тем, что не учитываются методы и алгоритмы диагностирования уровня освоения ЭДК; нет общих подходов к комплектованию и анализу методического и алгоритмического обеспечения систем контроля результатов обучения (сложно или невозможно определить уровень освоения ЭДК с заданной точностью, затруднено выявление недостаточно освоенных ЭДК и т. д.). Вместе с тем существует избыточность средств контроля (дублирование проверок, следствием чего становится «перегруз» студента и преподавателя); количество и трудоемкость данных средств распределяются неравномерно (при равнозначных ЭДК) или без учета степени важности (при неравнозначных ЭДК); часто выбираются неэффективные средства контроля для заданных ДК и т. д.
Перечисленное указывает на необходимость контролепригодного проектирования объектов компонентной структуры ДК (ЗУВ) [3]. Термин заимствован из технической диагностики и обозначает синтез моделей диагностирования, облегчающих решение задачи контроля и поиска дефектов в объекте [14]. Анализ отечественных и зарубежных публикаций показал практически полное отсутствие работ по решению указанной проблемы в высшей школе в подобной постановке.
Вопросами контроля качества обучения занимаются многие современные отечественные исследователи (например, Н. Г. Ефремова, Г. В. Попов, Л. В. Лыгина, М. Н. Ватутина, Н. В. Пахаренко, И. Н. Зольникова, М. Д. Князева, С. Н. Трапезников, А. С. Трапезников, Н. Ф. Стась, Е. В. Ширшов и др. [2, 8, 10]). Но в их работах недостаточно подробно и конкретно отражены аспекты взаимоувязанного выбора принципов и методов оценивания, с одной стороны, и способов формирования компетенций и их составляющих - с другой; конкретные механизмы и рекомендации по применению, анализ и пути решения задач контроля с учетом различных ограничений и т. д. К тому же, работы указанных авторов ориентированы на проверку уровня освоения компетенций без декомпозиции на элементы, что, по нашему мнению, затрудняет точность оценивания и снижает эффективность методов диагностирования. Использование же опыта зарубежных ученых представляется достаточно проблематичным, поскольку европейская и отечественная системы высшего образования имеют значительные различия, несмотря на присоединение России к Бо-лонским соглашениям [18-20].
В предыдущих наших публикациях [6, 7, 11-13, 15-17] было показано, как общий процесс разработки методов контроля и оценивания результатов обучения, заданных в компетентностном формате, разбивается на ряд этапов:
• построение компонентной структуры компетенций с учетом используемых средств контроля и методов диагностирования [6, 7, 11, 17];
• синтез проверяющих (тестов обнаружения) либо локализующих тестов (тестов поиска) [15];
• разработка методов, процедур и алгоритмов поиска элементов с недостаточным уровнем освоения [16];
• проведение диагностического эксперимента (тестирования), получение и представление в заданном формате результатов проверки или поиска [17, 18];
• дешифрация результатов с использованием выбранных критериев и шкал оценивания [13];
• построение и расчет интегро-дифференциального критерия оценки (ИДКО) уровня освоения ЭДК [13];
• локализация с требуемой глубиной и точностью недостаточно освоенных объектов контроля и выработка (при необходимости) списка корректирующих мероприятий [12].
Целью настоящей статьи является решение частной задачи выбора способа придания компонентной структуре дисциплинарной компетенции свойства контролепригодности, что позволит повысить качество контроля и положительно отразится на уровне освоения компетенций и их составляющих.
1. Проектирование компонентной структуры дисциплинарной компетенции
Синтез компонентной структуры дисциплинарных компетенций и выбор эффективных способов формирования средств контроля осуществляются при проектировании рабочей программы дисциплины [17]. Преподаватель формулирует результаты изучения дисциплины в компе-тентностном формате: какие принципы, модели, термины, характеристики, информационные процессы студент должен знать, какие методы исследования и проектирования он должен уметь применять, какими современными инструментальными средствами и аппаратом должен владеть для освоения соответствующей совокупности ЭДК [6]. Далее следует выбрать виды аудиторной и самостоятельной работы студентов и средства контроля (тестовые задания, тесты) формируемых ЭДК.
В общем случае, без учета методов диагностирования, количество ЭДК во многом определяет способы их формирования и средства измерения. Поэтому для первой итерации проектирования (результаты которой на следующих этапах будут скорректированы с учетом выбранных методов диагностирования уровня освоения ЭДК и ДК) логично ограничивать число ЭДК, избегая излишнего дробления или объединения. Например, в Пермском национальном исследовательском политехническом университете (ПНИПУ) приняты следующие рекомендации по выбору количества ЭДК в расчете на одну дисциплинарную компетенцию: количество элементов «знать» - 3-4; количество элементов «уметь» - 2-3; количество элементов «владеть» - 1-2. В некоторых дисциплинах компонент «владеть»,
связанный с реальной научной и производственной деятельностью, может вообще не формироваться, а отнесен к таким составляющим учебного процесса, как практики, научно-исследовательская работа и т. п. Количество ДК в одной учебной дисциплине для упрощения разработки УМКД также устанавливается не более 2-3.
Средства контроля и способы их формирования отбираются преподавателем исходя из специфики дисциплины, причем первые зачастую определяются вторыми. Так, например, при наличии в курсе лабораторных работ в качестве средств контроля ЭДК «уметь» и/или «владеть» целесообразны подготовка и защита отчетов, в процессе реализации которых проверяется уровень их освоения студентами.
Покрытие каждого элемента (ПЭ) и покрытие каждого теста (ПТ) должны быть взаимоувязаны. Формулировки ЭДК и средства контроля влияют друг на друга. С одной стороны, по заданным формулировкам подбираются и закрепляются за ЭДК тесты, обеспечивая ПЭ. С другой стороны, выбрав совокупность тестов (например, по заданной тематике теоретического материала, семинаров, лабораторных работ и т. п.), с учетом реализации процедур тестового диагностирования, ориентацией на заданную глубину (точность) поиска и т. д., можно подобрать требуемую компонентную структуру ДК (количество и формулировки ЭДК). Данная задача в технической диагностике решается на основе контролепригодного проектирования, т. е. придания объекту контроля свойств, в дальнейшем облегчающих процедуру и повышающих качество диагностирования его состояния. Для рассматриваемого объекта контроля (ЭДК) контролепригодность компонентной структуры заключается
• в возможности использования выбранных методов диагностирования (процедур поиска ЭДК с недостаточным уровнем освоения - нЭДК);
• подборе средств контроля (тестов) заданного вида;
• удовлетворении требований к точности и простоте алгоритма дешифрации результатов диагностирования;
• снижении сложности расчета интегро-дифференциального критерия оценки уровня освоения ЭДК;
• введении ограничений на количественные показатели компонентной структуры;
• задании пороговых значений диагностирования;
• соответствии содержанию и структуре тематического плана учебной дисциплины;
• соответствии графику учебного процесса дисциплины и т. д.
Для фиксации диагностических данных может использоваться специальная таблица, которая заполняется на этапе разработки рабочей программы дисциплины для установления соответствия покрытия между ЭДК и контролирующими их тестами и на этапе реализации дисциплины для фиксации результатов текущего контроля уровня освоения ЭДК (реакций на тесты в двуз-
начном или многозначном алфавитах). Далее будут рассмотрены варианты покрытия таблицы диагностирования на первой стадии ее заполнения.
Каждый вариант покрытия таблицы диагностирования обладает определенными, сравнимыми друг с другом характеристиками:
• максимальным, средним и минимальным ПЭ, определяющим количество контролирующих тестов и косвенно - трудоемкость оценивания (например, временные, технические, кадровые и другие ресурсы);
• максимальным, средним и минимальным ПТ, влияющим на количество контролируемых элементов и косвенно - на сложность процедуры тестирования и дешифрации результатов;
• особенностями применения процедуры обнаружения и/или процедур безусловного или условного поиска ЭДК с недостаточным уровнем освоения;
• глубиной (точностью) локализации ЭДК с недостаточным уровнем освоения в совокупности с затраченными ресурсами и т. д.
Компонентную структуру формируемых ДК задает ведущий преподаватель, основываясь на содержании и структуре дисциплины, заданной системе ограничений и рекомендаций, методах оценивания и алгоритмах диагностирования уровня освоения ЭДК. Задача проектирования компонентной структуры ДК отнюдь не тривиальная, а способ ее решения - итеративный.
Составление таблицы диагностирования, отражающей соответствие ЭДК и проверяющих их тестов происходит параллельно (совместно) с проектированием рабочей программы дисциплины [12, 17].
Средства контроля позволяют выявить и оценить уровень освоения ЭДК по заданной шкале оценивания с использованием избранного метода диагностирования. В дальнейшем для общности терминов и компактности будем обозначать средства контроля понятием «тест». Применение единой терминологии будет востребовано при разработке методов контроля, основанных на тестовом диагностировании. По принадлежности к контролю определенного компонента ДК примем следующие обозначения: тесты знаний (ТЗ), тесты умений (ТУ), тесты владений (ТВ). В общем случае будем полагать, что каждый компонент контролируется тестами, не участвующими (или игнорируемыми) в проверке других компонентов. Это позволяет говорить о прямых методах измерений, в которых для каждого компонента выбран наиболее целостно и объективно контролирующий его вид тестов. Для снижения избыточности и для повышения точности диагностирования могут быть применены косвенные методы измерений, которые основываются на том, что один компонент ДК может дополнительно контролироваться тестами других компонентов ДК (например, знания проверяются при тестировании умений, умения - тестами владений и т. п.).
Мы выделяем простые, составные и сложные тесты.
Простой тест контролирует один ЭДК, имеет заданную структуру (например, количество тестовых заданий (вопросов) не больше максимально-
го значения) и/или сложность (например, по содержанию вопросов, соотношению тестовых заданий разной сложности, времени на подготовку). Если требования к структуре или сложности не выполняются, то либо декомпозируется ЭДК, либо для его контроля подбирается дополнительный простой тест (или несколько тестов, и тогда этот тест становится составным).
Составной тест состоит из нескольких простых тестов. Возможны два его варианта:
• тест элемента: составляющие его простые тесты контролируют один и тот же ЭДК (его разные составляющие, что требует его логической декомпозиции и последующей сборки);
• тест группы элементов: входящие в него простые тесты измеряют разные ЭДК.
Детализация (дешифрация) результатов осуществляется по каждому из составляющих простых тестов, а общий итог подводится при помощи интегро-дифференциального критерия как линейная свертка с разными или одинаковыми весовыми коэффициентами (показателями важности критериев). Составной тест не требует сложного алгоритма дешифрации, поскольку после тестирования можно явно обозначить полученные данные всех его составляющих (простых тестов) и по ним вычислить результаты проверки для всех контролируемых элементов. Примеры составных тестов - ТЗ, составленный из групп вопросов для проверки каждого из контролируемых ЭДК, индивидуальное задание, в котором каждый раздел проверяет соответствующий ЭДК и т. д.
Сложный тест контролирует несколько ЭДК и представляет собой «монолитную» (не декомпозируемую на простые тесты или тестовые задания) структуру, построенную без интеграции простых тестов. Детализация (дешифрация) результата осуществляется по каждому из контролируемых ЭДК сравнением с заданными дескрипторами уровней освоения.
Сложный тест применяется как цельный инструмент измерения, контролирующий несколько ЭДК. Применение сложного теста требует более сложной процедуры дешифрации результатов для каждого из контролируемых элементов с целью детализации уровня его освоения. Примеры сложных тестов - защита реферата, оценка доклада на семинаре, защита лабораторной работы, курсового проекта, отчета по практике, научно-исследовательской работе.
Для ТЗ больше подходят простые и составные тесты, для ТУ и ТВ -составные и сложные. Как будет показано ниже, вид теста влияет на выбор формата таблицы диагностирования, а также на алгоритмы и методы реализации процедур контроля уровня освоения ЭДК.
2. Анализ вариантов построения таблиц диагностирования элементов дисциплинарных компетенций.
Рассмотрим базовые варианты структуры таблиц диагностирования однотипных элементов ДК количеством h и выбранных для определенной дисциплины средств их контроля общим количеством Н (в соответствии
с общим форматом таблицы диагностирования). В табл. 1, 2, 3 для упрощения восприятия участие теста Ту в проверке элемента Э; обозначено символом «*», подразумевающим в дальнейшем (после реализации теста) размещение в данной ячейке соответствующих результатов тестирования и оценок. Для каждой строки рассчитывается значение ПЭ (V), которое определяется как количество тестов, участвующее в контроле данного ЭДК. Для каждого столбца вычисляется значение ПТ (Щ) - количество элементов, контролируемых данным тестом.
Приведем примеры базовых (граничных) и комбинированного вариантов построения таблиц диагностирования:
• с полным единичным покрытием элементов (еПЭ) и тестов (еПТ): h = Н, каждый тест контролирует свой ЭДК (участие теста в контроле других ЭДК отсутствует либо игнорируется) (табл. 1);
• с единичным покрытием элементов (еПЭ) и неединичным покрытием тестов (неПТ): h > Н, каждый ЭДК контролируется одним тестом, но тест может контролировать несколько ЭДК (табл. 2);
• с неединичным покрытием элементов (неПЭ) и единичным покрытием тестов (еПТ): h < Н, каждый тест контролирует один ЭДК, но ЭДК может контролироваться несколькими тестами (табл. 3).
Таблица 1 еПЭ & еПТ
Таблицы диагностирования
Таблица 2 еПЭ & неПТ
Элементы Т1 Т2 Тз V Эле-менты Т1' Т2' Тз V
Э1 * 1 Э1' * 1
Э2 * 1 Э2' * 1
Эз * 1 Эз * 1
Щ 1 1 1 3 Э4' * 1
Э5' * 1
Щ 2 2 1 5
Таблица 3 неПЭ & еПТ
Эле-менты Т1 Т2'' Тз'' V
Э1 * 1
Э2" * * 2
Щ 1 1 1 з
Вариант 1. Полное единичное покрытие. Предполагается построение таблицы диагностирования с единичным покрытием каждого теста (Щу = 1, у е [1; Н], где Н- количество тестов) и каждого элемента (V; = 1, ; е [1; Ц, где h - количество элементов).
Достоинства:
• каждый тест относится к определенной категории - ТЗ, ТУ или ТВ, поэтому реализуются прямые методы измерений;
• ИДКО уровня освоения каждого ЭДК составляется из результата реализации соответствующего теста, что не требует расчета весовых ко-
эффициентов, исключает явление «компенсации» одних результатов другими (отличие интегральной оценки от одной или нескольких дифференциальных) и таким образом позволяет максимально точно определить оценку [13].
Недостатки:
• для ТУ и ТВ, которые, как правило, являются «видовыми», т. е. привязанными к определенному виду АРС или СРС, сложно выделить только один контролируемый им элемент и игнорировать участие в контроле других элементов;
• однозначная зависимость количества тестов и элементов может привести к необоснованному разрастанию компонентной структуры. Например, если предусмотрено восемь практических занятий с соответствующими индивидуальными заданиями, то необходимо сформулировать восемь ЭДК «уметь» (вместо рекомендованных нормативными документами вуза двух-трех на одну ДК).
Область целесообразного применения:
• количество средств контроля (тестов), совпадающее с количеством ЭДК;
• соответствие каждому ЭДК индивидуального теста (или участие его в проверке других ЭДК игнорируется);
• наличие в составе средств контроля простых тестов;
• использование, как правило, при проверке знаний.
Вариант 2. Единичное покрытие элементов и неединичное покрытие тестов. Таблица диагностирования строится с единичным покрытием каждого элемента (V; = 1, ; е [1; И], где h - количество элементов).
Таблицу диагностирования и соответствующую ей компонентную структуру ДК можно получить, проведя декомпозицию ЭДК и синтез составных тестов из простых. Так, на основе преобразования табл. 1 построена табл. 2: Э1 из табл. 1 декомпозирован на Э1' и Э4' в табл. 2, а Э2 -на Э2' и Э5'. В данном случае усложняется процедура локализации дефекта в каждом из покрываемых тестом элементов, что приводит к необходимости дополнительной дешифрации результатов тестирования. Работа сводится либо к дешифрации результатов тестирования, либо к декомпозиции тестов (в табл. 2 Т1' декомпозируется на Т11, проверяющий Э1', и Т14, проверяющий Э4'; Т2' - на Т22 и Т25). Таким образом, происходит формальное увеличение общего количества тестов (в рассматриваемом примере до значения Н = Н + (Ь. - Н) = 3 + (5 - 3) = 5), что сводит данный вариант к первому, с указанными для него достоинствами и недостатками.
Достоинства:
• позволяет под частично заданные средства контроля выбрать наиболее детализированные и соответствующие формулировки ЭДК;
• первоначальное количество тестов сравнительно небольшое.
Недостатки:
• необходимость реализации процедуры дешифрации общего результата теста на результаты относительно каждого из контролируемых им ЭДК, которые при единичном покрытии элементов и будут ИДКО их уровня освоения;
• тесты должны быть составными или сложными.
Область целесообразного применения:
• достаточно детализированные формулировки ЭДК, что вызывает необходимость контроля составными (сложными) тестами;
• количество тестов, меньшее количества ЭДК (небольшое число средств контроля для расширенной компонентной структуры ДК);
• наличие в составе средств контроля составных и сложных тестов;
• применение, как правило, для проверки умений и владений;
• текущий контроль с помощью условных процедур диагностирования [17].
Вариант 3. Неединичное покрытие элементов и единичное покрытие тестов. Предполагается заполнение таблицы диагностирования с единичным покрытием каждого теста (Щу = 1, у е [1; Н], где Н- количество тестов).
Таблицу диагностирования и соответствующую ей компонентную структуру дисциплинарной компетенции можно получить, проведя объединение ЭДК. Пример преобразования приведен в табл. з, построенной на основе содержания табл. 1. Э2 и Эз из табл. 1 объединены в Э2" в табл. з. Каждый тест покрывает (контролирует) только один элемент, при этом часть элементов проверяется несколькими тестами. При этом очевидно, что тесты контролируют разные составляющие (свойства, части содержания или структуры и т. п.) элемента, следовательно, необходима декомпозиция элемента (для примера в табл. з - Э2" декомпозируется на Э21, проверяемый тестом Т2", и Э22, проверяемый тестом Тз". Таким образом, происходит формальное увеличение общего количества элементов (в рассматриваемом примере до значения Н' = h + (Н - И) = з), что сводит данный вариант к варианту 1, с указанными для него достоинствами и недостатками. Это приводит к искусственному расширению (усложнению) компонентной структуры ДК, что не всегда приемлемо. Если не проводить декомпозицию элементов, то получится, что один элемент контролируется несколькими тестами, что может стать причиной избыточности. Оценка уровня освоения каждого элемента складывается из результатов нескольких контролирующих его тестов с учетом их взаимовлияния (компенсации одних результатов другими).
Достоинства:
• тесты простые;
• дешифрация результатов не требуется из-за свойств простых тестов;
• компактная компонентная структура (небольшое количество ЭДК).
Недостатки:
• для определения уровня освоения ЭДК требуется построение ИДКО вследствие неединичного покрытия элементов;
• возникает задача расчета весовых коэффициентов дифференциальных критериев в составе интегрального (одно из возможных решений данной задачи показано в [18]).
Область целесообразного применения:
• укрупненные формулировки ЭДК, которые требуют контроля несколькими тестами;
• количество тестов, большее количества ЭДК (большое число средств контроля для компактной компонентной структуры ДК);
• наличие в составе средств контроля простых тестов.
• применение, как правило, для проверки знаний;
Вариант 4. Комбинированное покрытие. Для любого соотношения h и Н покрытие может превышать единичное.
Обобщенный случай объединяет все особенности вариантов 1, 2 и 3 и является наиболее часто встречающимся на практике при реализации условных процедур поиска нЭДК с требуемым уровнем локализации. Это объясняется тем, что, как было сказано выше, большая часть проверочных заданий привязана к видам аудиторной и самостоятельной работы и является фиксированной (заданной преподавателем при разработке соответствующего раздела рабочей программы дисциплины). Количество элементов (компонентная структура ДК) при этом определяется содержанием дисциплины и регламентируется ограничениями, принятыми в вузе. Тогда необходимо применить указанные при анализе вариантов 2 и 3 способы декомпозиции элементов или тестов с учетом введенных ограничений и допущений. При этом важно выбрать объект декомпозиции: элементы или тесты с учетом имеющихся ограничений и с анализом последствий возможных изменений.
Применение разных форматов таблиц диагностирования, преобразование этих форматов в сочетании с условными или безусловными алгоритмами поиска [15, 16] связаны с принятыми рекомендациями и ограничениями на компонентную структуру ДК, заданными средствами контроля, а также планируемыми для реализации методами диагностирования уровня освоения ЭДК и, в конечном счете, определяются преподавателем при формировании контролепригодной структуры ДК.
Статья рекомендована к публикации д-ром техн. наук, проф. Ю. Н. Хижняковым
Литература
1. К вопросу о подготовке и оценке компетенций выпускников высшей школы с использованием модулей «Вектор развития направления» и «Квалификационные требования работодателей» / А. Н. Данилов и др. / / Открытое образование. 2012. № 3. С. 20-32.
2. Князева М. Д., Трапезников С. Н. Современные информационные технологии и комплексы организации образовательного процесса / / Научные труды Вольного экономического общества России. 2012. Т. 164. С. 49-57.
3. Кон Е. Л., Фрейман В. И., Южаков А. А. Анализ возможности применения аппарата и методов технической диагностики для контроля и оценки результатов освоения компетентностно-ориентированных образовательных программ // Известия СПбГЭТУ «ЛЭТИ». 2014. Т. 7. С. 66-71.
4. Кон Е. Л., Фрейман В. И., Южаков А. А. К вопросу о контроле элементов дисциплинарных компетенций в рамках основной образовательной программы (на примере технических направлений подготовки) / / Открытое образование. 2013. № 3. С. 12-19.
5. Кон Е. Л., Фрейман В. И., Южаков А. А., Кон Е. М. К вопросу о формировании компетенций при разработке основной образовательной программы // Открытое образование. 2013. № 2. С. 4-10.
6. Кон Е. Л., Фрейман В. И., Южаков А. А., Кон Е. М. Подход к формированию компонентной структуры компетенций // Высшее образование в России. 2013. № 7. С. 37-41.
7. Кон Е. Л., Фрейман В. И., Южаков А. А. Практический подход к формированию компетентностной модели выпускника технического университета // Университетское управление: практика и анализ. № 2 (84). 2013. С. 52-58.
8. Михальчук А. А., Арефьев В. П., Филипенко Н. М. Сравнительный статистический анализ параметрических и не-параметрических методов оценивания знаний в системе заочного обучения // Современные проблемы науки и образования. 2013. № 3. С. 431.
9. Основные тенденции развития высшего образования: глобальные и Болонские измерения / под науч. ред. В. И. Байденко. Москва: Исследовательский центр проблем качества подготовки специалистов, 2010. 352 с.
10. Попов Г. В., Лыгина Л. В., Ватутина М. Н. Применение накопительного метода разработки педагогических измерительных материалов для оценки компетенций в управлении качеством в вузе // Вестник Воронежского государственного университета инженерных технологий. 2012. № 4 (54). С. 47-50.
11. Фрейман В. И. К вопросу о формировании компетентностной модели выпускника // Научные исследования и инновации. 2012. № 1-4. С. 43-55.
12. Кон Е. Л., Фрейман В. И., Южаков А. А. Оценка качества формирования компетенций студентов технических вузов при двухуровневой системе обучения // Научные исследования и их практическое применение. Современное состояние и пути развития '2012: сб. науч. тр. междунар. науч.-практ. конф., 2-12 октября 2012 г. Одесса: КУПРИЕНКО, 2012. Т. 9. С. 39-41.
13. Кон Е. Л., Фрейман В. И., Южаков А. А. Применение интегро-диф-ференциального критерия оценки освоения компонентов компетенций // Образование и наука. 2013. № 6. С. 47-63.
14. Фрейман В. И. Применение методов и процедур технической диагностики для контроля и оценки результатов обучения, заданных в компетен-тностном формате // Известия СПбГЭТУ «ЛЭТИ». 2014. Т. 6. С. 79-85.
15. Кон Е. Л., Фрейман В. И., Южаков А. А. Реализация алгоритмов дешифрации результатов безусловного и условного поиска при проверке уровня
освоения элементов дисциплинарных компетенций / / Образование и наука.
2013. № 10. С. 17-36.
16. Фрейман В. И. Реализация одного алгоритма условного поиска элементов компетенций с недостаточным уровнем освоения / / Информационно-управляющие системы. 2014. № 2 (69). С. 93-102.
17. Фрейман В. И. Разработка учебно-методического комплекса дисциплины в соответствии с ФГОС нового поколения / / Вестник Пермского национального исследовательского политехнического университета. Электротехника, информационные технологии, системы управления. 2009. № 3. С. 47-50.
18. Anderson L. W., Krathwohl D. R. A taxonomy for learning, teaching, and assessing. New York: Longman, 2000. 352 p.
19. Feigenbaum A. V. Total Quality Control. New York: McGraw-Hill, 1983.
P. 267.
20. Patil A., Gray P. Engineering education quality assurance: a global perspective. London: Springer Science+Busines Media LLC, 2009. 316 p.
References
1. Danilov A. N., Kon E. L., Yuzhakov A. A., Andrievskaya N. V., Bezuklad-nikov I. I., Freyman V. I., Kon E. M. K voprosu o podgotovke i ocenke kompetencij vypusknikov vysshej shkoly s ispol'zovaniem modulej «Vektor razvitija naprav-lenija» i «Kvalifikacionnye trebovanija rabotodatelej». [On Preparation and Evaluation of Competencies of Graduates of Higher School with Use of Modules «Vector of Direction» and «Qualification Requirements of Employers»]. Otkrytoe obra-zovanie. [Open Education]. 2012. № 3. Р. 17-29. (In Russian)
2. Knyazeva M. D., Trapeznikov S. N. Sovremennye informacionnye tehnologii i kompleksy organizacii obrazovatel'nogo processa. [Contemporary Information Technologies and Complexes of Educational Process Organization]. Nauchnye trudy Vol'nogo ekonomicheskogo obshchestva Rossii. [Scholarly Works of Russian Free Economic Society]. 2012. № 164. Р. 49-57. (In Russian)
3. Kon E. L., Freyman V. I., Yuzhakov A. A. Analiz vozmozhnosti prime-nenija apparata i metodov tehnicheskoj diagnostiki dlja kontrolja i ocenki rezul'ta-tov osvoenija kompetentnostno-orientirovannyh obrazovatel'nyh program. [Concerning the Possibility of Use the Technical Diagnostics Methods for Control and an Assessment the Basic Educational Programs Development Results]. Izvestiia SPbGETU «LETI». [Bulletin of Saint Petersburg Electrotechnical University "LETI"].
2014. № 7. Р. 66-71. (In Russian)
4. Kon E. L., Freyman V. I., Yuzhakov A. A. K voprosu o kontrole jelementov disciplinarnyh kompetencij v ramkah osnovnoj obrazovatel'noj programmy (na primere tehnicheskih napravlenij podgotovki). [To the Question about the Discipline Competence Elements Control at the Basic Educational Program (on the Technical Programs Example)]. Otkrytoe obrazovanie. [Open Education]. 2013. № 3. Р. 12-19. (In Russian)
5. Kon E. L., Freyman V. I., Yuzhakov A. A., Kon E. M. K voprosu o formiro-vanii kompetencij pri razrabotke osnovnoj obrazovatel'noj programmy. [Developing Competences at the Basic Educational Program Implementation]. Otkrytoe obrazovanie. [Open Education]. 2013. № 2. Р. 4-10. (In Russian)
6. Kon E. L., Freyman V. I., Yuzhakov A. A., Kon E. M. Podhod k formiro-vaniju komponentnoj struktury kompetencij. [The Approach to Formation of the Competence Component Structure]. Vysshee obrazovanie v Rossii. [Higher Education in Russia]. 2013. № 7. P. 37-41. (In Russian)
7. Kon E. L., Freyman V. I., Yuzhakov A. A. Prakticheskij podhod k formiro-vaniju kompetentnostnoj modeli vypusknika tehnicheskogo universiteta. [Practical Approach to Formation the Competence-based Model for a Technical University Graduate]. Universitetskoe upravlenie: praktika i analiz. [University Management: Practice and Analysis]. 2013. № 2 (84). P. 52-58. (In Russian)
8. Mikhalchuk A. A., Arefev V. P., Filipenko N. M. Sravnitel'nyj statis-ticheskij analiz parametricheskih i ne-parametricheskih metodov ocenivanija znanij v sisteme zaochnogo obuchenija. [Comparative Statistical Analysis of Pa-rametrical and Nonparametric Methods of the Estimation of Knowledge in Correspondence Course System]. Sovremennye problemy nauki i obrazovaniia. [Modern Issues of Science and Education]. 2013. № 3. P. 431. (In Russian)
9. Baidenko V. I. Osnovnye tendentsii razvitiia vysshego obrazovaniia: glob-al'nye i Bolonskie izmereniia. [Main Tendencies of Development of the Higher Education: Global and Bologna Measurements]. Moscow, Issledovatel'skii tsentr problem kachestva podgotovki spetsialistov. [The Research Centre of Quality Issues of Experts Preparation]. 2010. 352 p. (In Russian)
10. Popov G. V., Lygina L. V., Vatutina M. N. Primenenie nakopitel'nogo metoda razrabotki pedagogicheskih izmeritel'nyh materialov dlja ocenki kompe-tencij v upravlenii kachestvom v vuze. [The Use of Cumulative Method of Measuring the Development of Educational Materials for the Assessment of Competence in Managing the Quality of the University]. Vestnik Voronezhskogo gosu-darstvennogo universiteta inzhenernykh tekhnologii. [Bulletin of Voronezh State University of Engineering Technologies]. 2012. № 4 (54). P. 47-50. (In Russian)
11. Freyman V. I. K voprosu o formirovanii kompetentnostnoj modeli vypusknika. [To the Question of Formation a Graduate Competency Model]. Nauch-nye issledovaniia i innovatsii. [Scientific Researches and Innovations]. 2012. № 1-4. P. 43-55. (In Russian)
12. Kon E. L., Freyman V. I., Yuzhakov A. A. Ocenka kachestva formiro-vanija kompetencij studentov tehnicheskih vuzov pri dvuhurovnevoj sisteme obuchenija. [The Quality Control of Technical Universities Students Competences Forming with Two-level Education system]. Nauchnye issledovanija i ih prak-ticheskoe primenenie. [Scientific researches and their practical application]. Sovremennoe sostojanie i puti razvitija. [A current state and development ways]. '2012: sb. nauch tr. mezhdunar. nauch.-prakt. konf., 2-12 oktjabrja 2012. [Materials of International Scientific Conference, d.d. 2-12 October, 2012]. Odessa, Publishing House KUPRIENKO, 2012. Vol. 9. P. 39-41. (In Russian)
13. Kon E. L., Freyman V. I., Yuzhakov A. A. Primenenie integro-differencial'nogo kriterija ocenki osvoenija komponentov kompetencij. [Implementing the Integral Differential Estimation Criterion of Competence Acquisition]. Obrazovanie i nauka. Izv. UrO RAO. [Education and science. News of Ural Branch of Russian Academy of Education]. 2013. № 6. P. 47-63. (In Russian)
14. Freyman V. I. Primenenie metodov i procedur tehnicheskoj diagnostiki dlja kontrolja i ocenki rezul'tatov obuchenija, zadannyh v kompetentnostnom
formate. [Application of the Technical Diagnostics Methods and Procedures to Monitor and Assess Studying Results, Specified in the Competency Format]. Iz-vestiia SPbGETU «LETI». [Bulletin of Saint Petersburg Electrotechnical University "LETI"]. 2014. № 6. P. 79-85. (In Russian)
15. Kon E. L., Freyman V. I., Yuzhakov A. A. Realizacija algoritmov deshi-fracii rezul'tatov bezuslovnogo i uslovnogo poiska pri proverke urovnja osvoenija jelementov disciplinarnyh kompetencij. [The Realization of Conditional and Unconditional Searching Results Decoding Algorithms during the Discipline Competence Elements Level Marking Control]. Obrazovanie i nauka. Izv. UrO RAO. [Education and science. News of Ural Branch of Russian Academy of Education]. 2013. № 10. P. 17-36. (In Russian)
16. Freyman V. I. Realizacija odnogo algoritma uslovnogo poiska jelementov kompetencij s nedostatochnym urovnem osvoenija. [An Algorithm of Conditional Search of Competence Elements with Insufficient Level of Development]. Informat-sionno-upravliaiushchie sistemy. [Information-operating systems]. 2014. № 2 (69). P. 93-102. (In Russian)
17. Freyman V. I. Razrabotka uchebno-metodicheskogo kompleksa disci-pliny v sootvetstvii s FGOS novogo pokolenija. [Development Training and Methodology Disciplinary Complex According to FSES of New Generation]. Vestnik Permskogo natsional'nogo issledovatel'skogo politekhnicheskogo universiteta. Elek-trotekhnika, informatsionnye tekhnologii, sistemy upravleniia. [Bulletin of Perm National Research Polytechnic University. Electric Engineering, Information Technologies, Control Systems], 2009. № 3. P. 47-50. (In Russian)
18. Anderson L., Krathwohl D., Airasian P. A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives, Abridged Edition. New York: Longman, 2000. 352 p. (Translated from English)
19. Feigenbaum A. V. Total Quality Control. New York: McGraw-Hill, 1983. P. 267. (Translated from English)
20. Patil A., Gray P. Engineering education quality assurance: a global perspective. London: Springer Science+Busines Media LLC, 2009. 316 p. (Translated from English)
