CC BY
82
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2015 Том 15 № 4 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2015 Vol. 15 No 4 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 378.14:004.02
АНАЛИЗ И КОЛИЧЕСТВЕННАЯ ОЦЕНКА РЕЗУЛЬТАТОВ РЕАЛИЗАЦИИ ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ С ИСПОЛЬЗОВАНИЕМ ДИАГНОСТИЧЕСКИХ ТЕСТОВ Е.Л. Кона, В.И. Фреймана, А.А. Южакова
а Пермский национальный исследовательский политехнический университет, Пермь, 614990, Российская Федерация Адрес для переписки: vfrey@mail.ru Информация о статье
Поступила в редакцию 23.04.15, принята к печати 28.05.15
doi:10.17586/2226-1494-2015-15-4-756-763
Язык статьи - русский
Ссылка для цитирования: Кон Е.Л., Фрейман В.И., Южаков А.А. Анализ и количественная оценка результатов реализации образовательных программ с использованием диагностических тестов // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 4. С. 756-763.
Аннотация
Предмет исследования. Сформулирована и обоснована актуальность проблемы формирования, контроля и оценивания результатов обучения по компетентностно-ориентированным образовательным программам. Определены объекты контроля - элементы и компоненты компетенций, формируемые в модулях, дисциплинах и разделах образовательной программы. Поставлены частные задачи определения уровня освоения компетенций и их составляющих, сформулирована цель работы. Методы исследования. Предложено привлечение к решению задач контроля, дешифрации и оценивания результатов обучения некоторых адаптированных положений аппарата и методов технических наук. Предложен подход к количественной оценке результатов тестирования, основывающийся на использовании аддитивного интегро-дифференциального критерия оценивания. Основные результаты. Сформулированы и доказаны утверждения, определяющие условия уверенного и неуверенного принятия (неопределенности) решения об уровне освоения контролируемых тестом элементов дисциплинарных компетенций по результатам реализации теста. Оценены вероятностные характеристики обоих вариантов принятия решения. Предложены варианты применения математического аппарата детерминированной или нечеткой логики для уменьшения неопределенности при принятии решения; выбрано дальнейшее направление исследований по разработке методики и алгоритмов дешифрации результатов реализации совокупности диагностических тестов. Практическая значимость. Показано, что предлагаемый подход к количественной оценке результатов реализации тестов позволит автоматизировать элементы процедуры формирования и анализа результатов обучения, заданных в компетентностном формате. Ключевые слова
элемент дисциплинарной компетенции, интегро-дифференциальный критерий, оценка, диагностический тест, результат обучения, уровень освоения, принятие решения.
ANALYSIS AND QUANTITATIVE ASSESSMENT FOR RESULTS OF EDUCATIONAL PROGRAMS APPLICATION BY MEANS OF DIAGNOSTIC TESTS
E.L. Kona, V.I Freymana, A.A. Yuzhakova
a Perm National Research Polytechnic University, Perm, 614990, Russian Federation Corresponding author: vfrey@mail.ru Article info
Received 23.04.15, accepted 28.05.15 doi:10.17586/2226-1494-2015-15-4-756-763 Article in Russian
For citation: Kon E.L., Freyman V.I., Yuzhakov A.A. Аnalysis and quantitative assessment for results of educational programs application by means of diagnostic tests. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol.15, no. 4, pp. 756-763.
Abstract
Subject of Research. The problem actuality for creation, control and estimation of results for competence-oriented educational programs is formulated and proved. Competences elements and components, assembled in modules, course units and parts of educational program, are defined as objects of control. Specific tasks of proficiency examination for competences and their components are stated; subject matter of the paper is formulated. Methods of Research. Some adapted statements and methods of technical science are offered to be applied for control tasks solution, decoding and estimation of education results. The approach to quantitative estimation of testing results with the use of additive integrated
differential criterion of estimation is offered. Main Results. Statements, defining conditions of certain and uncertain (indeterminacy) decision-making about proficiency examination for elements of discipline components controlled by test according to test realization results, are formulated and proved. Probabilistic characteristics of both decision-making variants are estimated. Variants of determinate and fuzzy logic mathematic methods application for decreasing decision-making indeterminancy are offered; further research direction is selected for development of methods and algorithms for results decoding of diagnostic tests set realization. Practical Relevance. It is shown, that proposed approach to quantitative estimation of testing results will give the possibility to automate the procedure of formation and analysis for education results, specified in the competence format. Keywords
discipline competence element, integrated differential criterion, estimation, diagnostic test, education result, proficiency examination, decision-making.
Введение
Современные потребности экономики, производства и общества требуют от выпускников высших учебных заведений способности решать профессиональные задачи в выбранной сфере деятельности в сочетании с высокими личностными и коммуникативными качествами [1]. Одним из способов обеспечения указанных потребностей является внедрение компетентностного подхода к построению и реализации образовательных программ [2]. Он нашел отражение в Федеральных государственных образовательных стандартах высшего профессионального образования (ФГОС ВПО и их модернизации - ФГОС ВО). В них продекларировано, что результатом обучения является формирование у выпускника совокупности компетенций на заданном (требуемом вузом или работодателем) уровне освоения [3].
Компетенция как результат формирования и предмет оценивания представляет собой достаточно сложную конструкцию (структурно, логически, семантически и т.д.), как правило, включающую некоторое количество объектов и действий над ними [4]. При этом задача формирования компетенции в большинстве вариантов распределена в пространстве и во времени и решается в нескольких учебных дисциплинах и разделах (практика, научно-исследовательская работа и т.п.) образовательной программы. Каждая дисциплина при этом формирует одну или несколько дисциплинарных частей компетенций (так называемые дисциплинарные компетенции - ДК), которые должны быть соответственно проконтролированы и оценены для их дальнейшей интеграции в оценку всей компетенции. Компетенция является сложным объектом для формирования, контроля и оценивания, поэтому декомпозируется на компоненты «знание», «умение», «владение» («триада» ЗУВ). Каждый из компонентов ЗУВ, формируемых в конкретной дисциплине (разделе) образовательной программы, детализируется до конкретного объекта, который может быть обозначен как элемент компонента дисциплинарной компетенции (ЭДК). Для дисциплины (раздела) ЭДК являются атомарными объектами формирования и контроля с использованием всех видов аудиторной и самостоятельной работы [5].
Анализ международного опыта позволяет выделить основные направления и подходы к решению задач контроля и оценивания результатов обучения [6-13]. Привлечение опыта ведущих вузов зарубежных стран, в первую очередь Европы и США, не дает полного решения указанной проблемы вследствие существенных отличий (реальных, а не формальных) у систем образования. К тому же информация, относящаяся к данной проблематике, а также механизмы реализации методик в рамках учебного процесса, не всегда доступны или имеют обобщенный иллюстративный, а часто и декларативный характер. Исходя из этого, указанные проблемы система ВПО России должна решать самостоятельно.
Ориентирование образовательных программ на формирование и контроль компетенций, их компонентов и элементов требует новых подходов к взаимоувязанным способам формирования и средствам контроля уровня их освоения. Для решения данной большеразмерной и слабоформализуемой задачи предлагается привлечение аппарата и методов технических наук, решающих сходные проблемы для технических объектов, с учетом свойств и особенностей предметной области образования. Так, авторами исследуются и предлагаются подходы к привлечению математического аппарата, методов и алгоритмов технической диагностики, теории автоматического управления, аппарат детерминированной и нечеткой логики, и т.д. [14-17]. Это позволяет найти подходы к автоматизации процедуры обнаружения и поиска элементов компетенций с недостаточным уровнем освоения (нЭДК), что является обязательным этапом оценивания результатов реализации образовательных программ [18].
Одним из основных и важных шагов является дешифрация результатов тестового диагностирования уровней освоения элементов дисциплинарных компетенций в рамках дисциплины (раздела). Сформулируем ряд частных задач определения уровня освоения элементов дисциплинарных компетенций.
1. Количественная оценка результатов реализации диагностического теста.
2. Выбор математического аппарата для формализованного описания и решения задач дешифрации и оценивания результатов тестового диагностирования.
3. Разработка методов дешифрации и анализа результатов реализации диагностического теста.
4. Разработка методов дешифрации и анализа результатов реализации группы диагностических тестов с целью определения уровней освоения всей совокупности формируемых и контролируемых элементов дисциплинарных компетенций.
5. Автоматизация процедур контроля, дешифрации и оценивания результатов тестового диагностирования.
Целью настоящей работы является решение частной задачи разработки подхода к количественной оценке результатов реализации диагностического теста уровня освоения группы элементов дисциплинарных компетенций.
Основные термины и определения предлагаемого подхода
В [14-18] авторами показана возможность применения ряда положений и методов технической диагностики, в частности, алгоритмов безусловного и условного поиска неисправных объектов, применительно к проверке уровня освоения ЭДК. Речь идет о решении комплексной задачи оценки уровня освоения результатов обучения по компетентностно-ориентированным образовательным программам. При этом важным этапом диагностирования является дешифрация результатов тестов с заданной точностью -определение уровня освоения каждого из совокупности контролируемых ЭДК в соответствии с заданной шкалой оценивания.
В данном разделе предложен алгоритм дешифрации результатов тестирования и определения ЭДК с недостаточным уровнем освоения (нЭДК) для одного сложного (контролирующего несколько ЭДК) [5] диагностического теста с использованием двухуровневой шкалы оценивания и аддитивного интегро-дифференциального критерия оценивания (АИДКО) [19, 20]. Введем основные термины и определения:
- h - общее количество проверяемых и оцениваемых сложным тестом ЭДК;
- все ЭДК равнозначны (равновероятны) с точки зрения их важности, сложности изучения, трудоемкости освоения и т.п. Отметим, что для неравнозначных ЭДК необходимо вычисление или экспертная оценка весовых коэффициентов (показателей важности) каждого элемента, что усложняет количественную оценку. При этом общая методика сохраняется неизменной, поэтому далее рассматриваем только равнозначные ЭДК, для которых весовые коэффициенты одинаковы и равны 1/h;
- i - возможное количество недостаточно освоенных ЭДК - нЭДК (i е [0; h]);
- О - результат тестирования (реализации оценочных средств: теста, проверки, мероприятия контроля и т.д.); нормализован в диапазоне [0; 1];
- Опор. - пороговое значение, по которому принимается решение об отрицательном либо положительном результате тестирования (Опор. е [0; 1]; как правило, располагается в окрестности середины указанного диапазона);
- О- - результат теста отрицательный, ЭДК не освоен (О = О): О е [0; 0пор.);
- 0+ - результат теста положительный, ЭДК освоен (О = 0+): О е [0пор.; 1]. Выбор величины порога, а также включение самого значения Опор. в соответствующий диапазон выполняются в соответствии с принятыми в вузе (на кафедре) требованиями или, при отсутствии таковых, преподавателем, проводящим тестирование.
Основной задачей дешифрации является определение количества (i) и перечня нЭДК. Далее предлагается подход к количественной оценке результатов сложного теста, который позволит решить поставленную задачу с заданной точностью (определить для каждого ЭДК уровень освоения в соответствии с заданной шкалой оценивания). Введем граничные значения минимальной и максимальной отрицательной и положительной оценок уровня освоения ЭДК соответственно:
О min 0; О max ~ Опор.
(О-
max Опор. 5); О min Опор.; О max = 1, (1)
где 5 - бесконечно малая величина, которой в дальнейшем можно пренебречь.
В общем случае из множества, содержащего h проверяемых одним тестом ЭДК, i элементов могут быть не освоены, а (h - i) - освоены. В связи с этим оценка за тест О при i неосвоенных ЭДК - O(i), с учетом введенных ограничений и допущений, строится в соответствии с АИДКО при фиксированных значениях h и Опор. следующим образом:
h 1 h 1| i h-i ] О() = I= h I о j = 1.1 X О- О;]. (2)
j=1 h j=1 h V j= j=! J
Оценка O(i) принадлежит диапазону [0(i)min; 0(i)max], где 0(i)min - минимально возможная оценка, 0(i)max - максимально возможная оценка за тест при i нЭДК:
0(i)min = 1/h • (i'0-mm + (h - i)'0+mm) = (1 - ^)'0пор. = Опор. - '''Опор./^ (3)
0(i)max = 1/h ' (i'О max + (h - i)'0+max) = 1 - i/h'(1 - Опор.) = 1 - i'(1 - Опор.)^. (4)
Из (1)-(4) вытекает, что граничные значения оценки при заданном количестве нЭДК (i) определяются общим числом равнозначных ЭДК h и пороговым значением принятия решения 0пор.. Граничные оценки будут использованы для задания логических условий при дешифрации результатов проверки.
Поскольку количество неосвоенных ЭДК может изменяться в пределах от г = 0 (все контролируемые тестом ЭДК освоены) до ' = к (все контролируемые тестом ЭДК не освоены), то для дальнейших расчетов нужно определить соотношения для граничных (минимальных и максимальных) значений оценок при фиксированных к и Опор.:
' = 0: 0(0)т1п = (1 - 0/к)0пор. = Опор.; О(0)тах = 1 - 0/к(1 - Опор.) = 1; О(0) е [Опор.; 1]; (5)
' = к: О(к)т1п = (1 - к/к)-Опор. = 0; О(к)тах = 1 - к/к(1 - Опор.) = Опор. ; О(к) е [0; Опор.) . (6)
Пример 1. Рассчитаем минимальные и максимальные значения оценок для всех возможных вариантов количества нЭДК для теста, контролирующего к = 2 ЭДК, Опор. = 0,5. Поскольку количество нЭДК меняется от 0 до 2, то выполним расчеты в соответствии с (3) и (4) и сведем результаты в табл. 1. О(0)т1п = (1 - 0/2)0,5 = 0,5; О(0)тах = 1 - 0/2(1 - 0,5) = 1;
О(1)т1п = (1 - 1/2)0,5 = 0,25; О(1)тах = 1 - 1/2(1 - 0,5) = 0,75; О(2)т1п = (1 - 2/2)-0,5 = 0; О(2)тах = 1 - 2/2-(1 - 0,5) = 0,5.
Заполним табл. 1 результатами расчетов для некоторых значений к и Опор..
г О(')т1п О(г)тах О(')т1п О(г)тах О(')т1п О(г)тах
Опор. = 0,4 Опор. = 0,5 Опор. = 0,6
к = 2
0 0,4 1 0,5 1 0,6 1
1 0,2 0,7 0,25 0,75 0,3 0,8
2 0 0,4 0 0,5 0 0,6
к = 3
0 0,4 1 0,5 1 0,6 1
1 0,27 0,8 0,33 0,83 0,4 0,87
2 0,13 0,6 0,17 0,67 0,2 0,73
3 0 0,4 0 0,5 0 0,6
Таблица 1. Максимальные и минимальные оценки за тест с заданными параметрами
Значения строк табл. 1 рассчитаны по формулам (5) и (6). Они определяют значения О(/)т1П и О(/')тах, а также ширину диапазона оценки О(г'): (О(/')тах - О(/)т1П) для заданных параметров к и Опор.,. Анализ диапазонов для нормированных оценок результатов проверки (тестирования) уровня освоения ЭДК при различных значениях количества нЭДК (значений г) в дальнейшем позволит сформулировать условия точного принятия решения об уровне освоения каждого из контролируемых тестом ЭДК.
Для упрощения и автоматизации заполнения таблиц вида 1 оценим шаги изменения минимальной и максимальной оценок при переходе от одного количества неосвоенных элементов (г) к следующему (г + 1). С учетом (3) и (4) они определяются как производные соответствующих граничных оценок О(/)т1П и О(/')тах по переменной г':
дО = ао(отш _ а((1 -'/ к) • 0ЛоР.) _ 0ПоР..
тт 1. 1. » ' V '
аг аг к
ДО _ аО(г')тах _ а(1 - г'/ к • (1 - Опор.)) _ 1 - Опор. (8)
тах у. у. 7 * V '
а' а' к
Отрицательный знак и постоянное значение шага изменения оценок означает, что при увеличении количества неосвоенных элементов минимальная и максимальная оценки всегда уменьшаются, каждая с соответствующей постоянной скоростью (на постоянную величину).
Пример 2. В соответствии с (7) и (8) рассчитаем шаги изменения максимальной и минимальной оценок для заданных значений к и Опор. и сведем результаты в табл. 2.
ДОтт ДОтах ДОтт ДОтах ДОтт ДОтах
Опор. = 0,4 Опор. = 0,5 Опор. = 0,6
к = 2
-0,2 -0,3 -0,25 -0,25 -0,3 -0,13
к = 3
-0,13 -0,2 -0,17 -0,17 -0,2 -0,13
Таблица 2. Шаги изменения максимальных и минимальных оценок за тест
Табл. 2, по сути, повторяет в более компактном виде табл. 1. В ней (к+1) строка, содержащая значения От1п и Отах для каждого к, заменяется одной строкой, в которой указываются постоянные шаги изменения ДОт1П и ДОтах. Используя вычисленное значение шага, можно заполнить всю табл. 1, рассчитав максимальные и минимальные значения только для одной строки.
Количественная оценка результатов тестового диагностирования
Проанализируем результаты реализации одного сложного теста, контролирующего несколько (к) ЭДК. При этом можно выделить три состояния (сочетания уровней освоения), контролируемых тестом ЭДК (при произвольных значениях к и Опор).
1. Все контролируемые тестом ЭДК Эк (к е [0; к]) имеют недостаточный уровень освоения (Ок = О-, V к е [0; к]; количество нЭДК г = к).
2. Все контролируемые тестом ЭДК Эк (к е [0; к]) имеют достаточный уровень освоения (Ок = О+, V к е [0; к]; количество нЭДК г = 0).
3. При использовании аддитивного интегро-дифференциального критерия оценивания локализовать нЭДК, в общем случае, невозможно вследствие компенсации одних оценок другими, поэтому необходимо уточнение результата проверки привлечением дополнительных тестов поиска (возможное количество нЭДК г е (0; к)).
Каждому из выявленных состояний соответствует свой диапазон возможных максимальных и минимальных значений, поэтому задача дальнейшего исследования - определить граничные условия для каждого состояния. Это делается с целью последующей реализации процедуры дешифрации результата теста и определения уровня состояния контролируемых им ЭДК. При этом появляется возможность решать следующие частные задачи:
- синтез тестов: для заданной совокупности ЭДК построить тесты поиска нЭДК с заданной глубиной локализации (их количеством и сочетанием);
- анализ тестов: по полученным результатам реализации тестов поиска проверить (рассчитать, промоделировать) глубину локализации и при необходимости (неудовлетворительном значении глубины локализации) ввести новые тесты поиска, изменить покрывающие свойства тестов и т.п.
Для решения обеих задач, которые в классической диагностике формулируются как «обратная» и «прямая» задачи диагноза соответственно, необходимо разработать алгоритмы дешифрации результатов тестирования. Далее сформулируем ряд утверждений для произвольных значений к, Опор. и г (кратности (количества) нЭДК).
Утверждение 1. Если нормированный в диапазоне [0; 1] результат теста, контролирующего к равнозначных элементов, принадлежит диапазону [0; Опор./к), можно утверждать, что все элементы имеют недостаточный уровень освоения (Ок < Опор. для V к е [0, к]), следовательно, количество нЭДК г = к.
Утверждение 2. Если нормированный в диапазоне [0; 1] результат теста, контролирующего к равнозначных элементов, принадлежит диапазону (1 - (1 - Опор.)/к; 1], можно утверждать, что все элементы имеют достаточный уровень освоения (Ок > Опор. для V к е [0, к]), следовательно, количество нЭДК г = 0.
Утверждение 3. Если нормированный в диапазоне [0; 1] результат теста, контролирующего к равнозначных элементов, принадлежит диапазону [Опор./к; 1 - (1 - Опор.)/к], то необходимо продолжить тестирование с целью уточнения результатов освоения каждого элемента (при помощи других тестов), следовательно, количество нЭДК г точно определить невозможно.
Доказательство утверждений 1, 2, 3. Применим индуктивный метод доказательства. Рассмотрим пример для количества контролируемых тестом ЭДК к = 2 и Опор. = 0,5, а далее распространим результаты на произвольное значение к и Опор..
Шаг изменения минимальной (ДОтш) и максимальной (ДОтах) оценок для данного примера в соответствии с (7) и (8) одинаков и равен 0,25.
Для всех вариантов распределения неосвоенных элементов (оба освоены: г = 0; один освоен, другой не освоен: г = 1; оба не освоены: г = 2) в табл. 1 (пример 1) сведены результаты расчетов по формулам (3) и (4) минимальных и максимальных оценок.
Отобразим полученные результаты на графике (рис. 1).
Все ЭДК г = 2 г = 1 г = 0 Все ЭДК
Необходимо уточнение (5")
Рис. 1. Графическая иллюстрация анализа результатов тестирования для Л = 2
В представленном на рис. 1 графике можно выделить три зоны: - зона уверенного принятия решения о недостаточном уровне освоения всех контролируемых тестом ЭДК - (нет пересечений нескольких диапазонов для разных г, только г = 2), результат теста О е [0; 0,25), что соответствует утверждению 1;
- зона уверенного принятия решения о достаточном уровне освоения всех контролируемых тестом ЭДК - 5+, (нет пересечений нескольких диапазонов для разных /, только / = 0) результат теста О е (0,75; 1], что соответствует утверждению 2;
- зона, требующая уточнения 5* (есть пересечения диапазонов {/ = 2, / = 1} и {/ = 1, / = 0}), результат теста О е [0,25; 0,75], что соответствует утверждению 3.
Далее рассмотрим доказательство утверждений 1, 2 и 3 для произвольного значения к и Опор.. Для этого представим таблицу значений для минимально и максимально возможных оценок в общем виде и развернутом виде (табл. 3).
О(/)тт = О(/-1)тт + ДОтт = 0(0)тт + г дои,; (9)
О(/)тах = О(/ 1)тах + ДОтах = О(0)тах + /'ДОтах. (10)
Минимально и максимально возможные оценки в общем виде Минимально и максимально возможные оценки в развернутом виде
/ О(/)тт О(/)тах / О(/)тт О(/)тах
0 О(0)тт О(0)тах 0 Опор. 1
/ О(/)тт О(/)тах / (1 - //к)-Опор.; 1 - //к (1 - Опор.)
к О(к)тт О(к)тах к 0 Опор.
Примечание. Знак у шагов изменения оценки ДО^п (9) и ДОтах (10) отрицательный
Таблица 3. Минимально и максимально возможные оценки
Приведем на рис. 2 графическую иллюстрацию табл. 3. На рис. 2 нанесены значения минимальных и максимальных оценок из табл. 3 для значения нЭДК / е [0; к]. Дугами показаны зоны, соответствующие минимальной и максимальной оценкам для заданного количества нЭДК /.
В представленном на рис. 2 графике можно выделить три зоны:
- зона уверенного принятия решения о недостаточном уровне освоения всех контролируемых ЭДК - 5Г, результат теста О е [0; Опор./к). Характеристики данной зоны соответствуют формулировке утверждения 1;
- зона уверенного принятия решения о достаточном уровне освоения всех контролируемых ЭДК - 5+, результат теста О е (1 - (1 - Опор.)/к; 1]. Характеристики данной зоны соответствуют формулировке утверждения 2;
- зона, требующая уточнения - 5 , результат теста О е [Опор./к; 1 - (1 - Опор.)/к]. Характеристики данной зоны соответствуют формулировке утверждения 3.
Поскольку приведенное доказательство справедливо для произвольного значения к, можно считать сформулированные утверждения доказанными.
Рис. 2. Графическая иллюстрация анализа результатов тестирования для Л и Опор.
Оценим вероятность события «Точное принятия решения об уровне освоения контролируемых тестом ЭДК» - Ртпр, которое имеет место в случае выполнения условий утверждения 1 или утвержде-
ния 2. Из анализа рис. 2 следует, что вероятность Ршр определяется суммой значений ширины зон уверенного принятия решения (б- и 5+):
Рпр = Отш(к-1) - Отш(к) + 0тах(0) - Отах(1) = - ДОтт - ДОтах = 1/к. (11)
Соответственно, вероятность того, что результат теста необходимо будет уточнять Рут., определяется как
Рут. = 1 - Ртпр = 1 - 1/к = (к - 1)/к. (12)
Очевидно, что точное принятие решения (11) и вывод о необходимости уточнения (12) составляют полную группу событий, и сумма их вероятностей равна 1.
Для разрешения неопределенности предлагается применение математического аппарата детерминированной логики. Также данная задача может быть решена с использованием методов нечеткой логики; в этом направлении авторами проводятся исследования и имеются определенные практические результаты.
Апробация предлагаемого подхода к количественной оценке результатов реализации тестов проводится путем его использования в разработанном авторами методе анализа логический условий. Метод построен с применением математического аппарата детерминированной логики и булевой алгебры. Он позволяет:
1. по результату каждого диагностического теста сформулировать описывающее его логическое условие;
2. по результатам реализации полной группы тестов определить общее логическое условие по всем контролируемым элементам дисциплинарных компетенций;
3. по результатам анализа общего логического условия принять решение об уровне освоения каждого элемента дисциплинарной компетенции;
4. для неосвоенных элементов дисциплинарной компетенции определить перечень тестов, необходимых для повторной проверки, а также список корректирующих мероприятий.
Предлагаемый метод и построенный на его основе алгоритм дешифрации реализован в разработанной программной модели, показывающей, что его использование позволит автоматизировать процедуру оценивания результатов обучения, заданных в компетентностном формате. Указанные подходы, методы и алгоритмы планируется применить в разрабатываемой автоматизированной системе сопровождения учебного процесса (управления и контроля качества обучения). Описание разработки и применения предлагаемых метода и алгоритма дешифрации результатов тестового диагностирования приводится в следующих работах авторов.
Заключение
В настоящей работе представлены следующие результаты.
1. Проанализировано состояние решаемой проблемы, выбрано направление исследования, сформулированы частные задачи, поставлена задача данной работы.
2. Предложен подход к количественной оценке результатов реализации теста. Суть его заключается в определении возможных диапазонов оценок уровня освоения элементов дисциплинарных компетенций для заданного их количества и порогового значения. Это позволяет сформулировать условия для принятия решения об освоении элементов дисциплинарной компетенции.
3. Сформулированы и доказаны утверждения по условиям уверенного принятия решения об уровне освоения контролируемых одним диагностическим тестом элементов (по двухуровневой шкале) или о необходимости уточнения результата другими тестами, оценены вероятностные характеристики принятия решения, приведены примеры; задано дальнейшее направление исследований.
Литература
1. Engineering Education Quality Assurance: A Global Perspective / Eds. A. Patil, P. Gray. London: SpringerVerlag, 2009. 316 p. doi: 10.1007/978-1-4419-0555-0
2. Основные тенденции развития высшего образования: глобальные и Болонские измерения / Под ред. В.И. Байденко. М.: Исследовательский центр проблем качества подготовки специалистов, 2010. 352 с.
3. Васильев В.Н., Лисицына Л.С. Планирование и оценивание ожидаемых результатов освоения компетенций ФГОС ВПО // Научно-технический вестник информационных технологий, механики и оптики. 2013. № 2 (84). С. 142-148.
4. Васильев В.Н., Лисицына Л.С., Шехонин А.А. Концептуальная модель для извлечения результатов обучения из избыточного содержания образования // Научно-технический вестник СПбГУ ИТМО. 2010. № 4 (68). С. 104-108.
5. Кон Е.Л., Фрейман В.И., Южаков А.А. Разработка и исследование подходов к управлению, контролю и оцениванию качества реализации компетентностно-ориентированных образовательных программ // Наука и образование: электронное научно-техническое издание. 2015. № 3. С. 356-372.
6. Krathwohl D., Bloom B., Masia B. Taxonomy of Educational Objectives: the Classification of Educational Goals. NY: Longman, 1984. 196 p.
7. A Taxonomy for Learning, Teaching and Assessing: a Revision of Bloom's Taxonomy of Educational Objectives / Eds. L.W. Anderson, D.R. Krathwohl. NY: Longman, 2000. 336 p.
8. Heywood J. Assessment in Higher Education: Student Learning, Peaching, Programmes and Institutions. London: Jessica Kingsley Publishers, 2000. 452 p.
9. Yorke M. Formative assessment in higher education: moves towards theory and the enhancement of pedagogic practice // Higher Education. 2003. V. 45. N 4. P. 477-501. doi: 10.1023/A:1023967026413
10. Gulikers J., Biemans H., Mulder M. Developer, teacher, student and employer evaluations of competence-based assessment quality // Studies in Educational Evaluation. 2009. V. 35. N 2-3. P. 110-119. doi: 10.1016/j.stueduc.2009.05.002
11. Reimann P., Kickmeier-Rust M., Albert D. Problem solving learning environments and assessment: a knowledge space theory approach // Computers and Education. 2013. V. 64. P. 183-193. doi: 10.1016/j.compedu.2012.11.024
12. Wakimoto D., Lewis R. Graduate student perceptions of eportfolios: uses for reflection, development, and assessment // Internet and Higher Education. 2014. V. 21. P. 53-58. doi: 10.1016/j.iheduc.2014.01.002
13. Rodrigues F., Oliveira P. A system for formative assessment and monitoring of students' progress // Computers and Education. 2014. V. 76. P. 30-41. doi: 10.1016/j.compedu.2014.03.001
14. Фрейман В.И. Применение методов и процедур технической диагностики для контроля и оценки результатов обучения, заданных в компетентностном формате // Известия СПбГЭТУ ЛЭТИ. 2014. № 6. С. 79-85.
15. Кон Е.Л., Фрейман В.И., Южаков А.А. Анализ возможности применения аппарата и методов технической диагностики для контроля и оценки результатов освоения компетентностно-ориентированных образовательных программ // Известия СПбГЭТУ ЛЭТИ. 2014. № 7. С. 66-71.
16. Кон Е.Л., Фрейман В.И., Южаков А.А. Применение аппарата нечеткой логики для контроля результатов обучения, заданных в компетентностном формате // Нейрокомпьютеры: разработка, применение. 2014. № 12. С. 20-25.
17. Фрейман В.И. Разработка метода дешифрации результатов диагностирования уровня освоения элементов компетенций с использованием нечеткой логики // Нейрокомпьютеры: разработка, применение. 2014. № 12. С. 26-30.
18. Фрейман В.И. Реализация одного алгоритма условного поиска элементов компетенций с недостаточным уровнем освоения // Информационно-управляющие системы. 2014. № 2 (69). С. 93-102.
19. Adomian G. On integral, differential, and integro-differential equations, perturbation and averaging methods // Kybernetes. 1995. V. 24. N 7. P. 52-60.
20. Кон Е.Л., Фрейман В.И., Южаков А.А. Количественная оценка результатов обучения, представленных в компетентностном формате // Вестник Уфимского государственного авиационного технического университета. 2015. Т. 19. № 1 (67). С. 206-212.
Кон Ефим Львович - кандидат технических наук, профессор, профессор, Пермский
национальный исследовательский политехнический университет, Пермь, 614990, Российская Федерация, kel@at.pstu.ru Фрейман Владимир Исаакович - кандидат технических наук, доцент, доцент, Пермский
национальный исследовательский политехнический университет, Пермь, 614990, Российская Федерация, vfrey@rnail.ru Южаков Александр Анатольевич - доктор технических наук, профессор, профессор, Пермский
национальный исследовательский политехнический университет, Пермь, 614990, Российская Федерация, uz@at.pstu.ru
Efim L. Kon Vladimir I. Freyman
Alexander A. Yuzhakov
PhD, Professor, Professor, Perm National Research Polytechnic University, Perm, 614990, Russian Federation, kel@at.pstu.ru PhD, Associate Professor, Associate Professor, Perm National Research Polytechnic University, Perm, 614990, Russian Federation, vfrey@mail.ru
D.Sc., Professor, Professor, Perm National Research Polytechnic University, Perm, 614990, Russian Federation, uz@at.pstu.ru
