CC BY
15
УДК 378:004
ВЫБОРОЧНЫЕ ПЛАНЫ КОМПЬЮТЕРНОГО КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ
Валентин Викторович Нечаев, профессор кафедры,
e-mail: nechaev@mirea.ru, Александр Петрович Свиридов, профессор кафедры, e-mail: prof_sviridov@mail.ru, Алиса Викторовна Богорадникова, ассистент кафедры, e-mail: bogoradnikova@mirea.ru, Виктор Михайлович Панченко, профессор кафедры, e-mail: pvm36@yandex.ru, Московский технологический университет (МИРЭА), https://www. mirea. ru
В статье рассмотрены одноступенчатые, двухступенчатые и последовательные планы компьютерного контроля качества образования и их основные характеристики, необходимые для решения задач анализа и синтеза планов.
Ключевые слова: педагог; обучаемый; контроль знаний; качество образования; компетенции.
DOI: 10.21777/2312-5500-2017-1-15-22
Введение
Анализ разнообразных отношений в системах «человек - человек» [1-4], в частности педагогических отношений «педагог - обучаемый»; отношений «эксперт - пользователь» поддерживающих систем, систем электронной обработки информации, систем поиска, фильтрации и презентации информации для пользователя; отношений
«эксперт - кандидат» в психологической диагностике, системах профотбора; производственных отношений типа «работодатель - работник» и т. п., позволяет установить их подобие, ибо все они сводятся к определению оценки латентных свойств одного человека другим по одной из шкал измерения (чаще порядковой, реже интервальной). Их основные типы применительно к двум классам (категориям) представлены в таблице 1. Очевидно, что их различие состоит в «пространстве» входных и выходных признаков, а общее свойство - в оценке латентных свойств одного человека другим по одной из шкал измерения. Эта общность дает возможность сформировать и рассмотреть их единое математическое описание на примере отношения «педагог - обучаемый» при контроле знаний или сертификации качества подготовки специалистов.
Под контролем знаний (КЗ) будем понимать:
- контроль знаний, умений и навыков, включая умения учиться, самостоятельно приобретать знания [5];
- контроль сформированности компетенций при компе-тентностном подходе, включая и пять основных ключевых социальных компетенций (здравоохранения, гражданственности, социального взаимодействия с обществом, компетентности в общении, информационно-технологической компетентности)
- контроль интеграции квалификаций и компетентностей
при культуроцентрично ориентированном подходе [7]. -__/
Компетентность определяется как «новое качество субъ- ^^^
екта деятельности, проявляющееся в способности системного а.П. Свиридов применения знаний, умений, ценностных установок и позво-
ляющее успешно разрешать различные противоречия, проблемы, практические задачи в социальном, профессиональном и личностном контексте».
Компетентность связывается с успешным поведением в нестандартных ситуациях неформализованного взаимодействия с партнерами, с обработкой противоречивой информации, решением запутанных и не полностью определенных задач.
Отметим, что любая система образования, усиливая одни стороны развития, ограничивает другие. Так, ориентация на результативность, предприимчивость, социальную мобильность А.В. Богорадникова выпускников, что диктуется рынком, может привести к утрате фундаментальных целей воспитания и обучения, установки на поиск общих способов решения познавательных, эстетических и этических задач.
Таблица 1
Основные типы отношений
Тип отношений Педагогические отношения: «педагог - обучаемый» Производственные отношения
Контроль знаний Адаптация диалога Контроль истинности ответа Работодатель -работник Уровень объединения
Класс 1 Зачтено Тип диалога 1 Ответ правилен Работник успешен Подразделение успешно
Класс 2 Не зачтено Тип диалога 2 Ответ не правилен Работник не успешен Подразделение не успешно
Тип отношений Эксперт - испытуемый: психологическая диагностика Эксперт -кандидат Эксперт -пользователь
Нервная система Тест Айзенка • • • Профотбор Адаптация диалога
Класс 1 Сильная, лабильная Интроверсия, эмоциональная стабильность • • • Пригоден Тип диалога 1
Класс 2 Слабая, инертная Экстраверсия, эмоциональная нестабильность • • • Не пригоден Тип диалога 2
1. Некоторые подходы к формированию моделей
1.1. Статические модели
Статическая модель процесса (статическое уравнение передачи), отражающая зависимость выходной величины (например, педагогических оценок) от всех входных величин (например, результатов выполнения заданий) в стационарном состоянии, в общем случае имеет вид
y = ßx, £), X ER", £ ERp, yERr, f: R"x Rp^ Rr,
где
у - решения (напр., оценки) педагога, R" - n-мерное векторное пространство,
4 - помехи.
1.2. Динамические модели
Однако часто оценки (выходные величины) педагога/эксперта зависят не только
от актуальных, по и от предшествующих результатов компьютерного контроля знаний (ККЗ) или сертификации качества подготовки обучаемого/пользователя. В этих случаях соответствующий процесс должен описываться динамической моделью, которая отражает изменение поведения педагога/эксперта в зависимости от текущих результатов и предыстории обучаемого.
Динамическая модель имеет вид
y(t) = f(x(t), x(t - 1), ..., x(t - m); y(t - 1), ..., y(t - k)),
где
x(t - i) - вектор значений признаков обучаемого/пользователя в момент времени (t - i); y(t - j) - вектор решений педагога в момент времени (t - j);
m и k - динамические порядки отношения «педагог - обучаемый», подлежащего моделированию.
1.3. Модели на основе временной непрерывности: соединения прошлого (предыстории), настоящего и будущего
Оценка педагога определяется не только с учетом прошлого и настоящего (предыстории и текущих результатов), но и будущего обучаемого. Вспомним в этой связи Л. С. Выготского: «Педагогика должна ориентироваться не на вчерашний, а завтрашний день детского развития».
В настоящее время интенсивно разрабатывается междисциплинарное направление современной науки, часто обозначаемое «исследованием будущего».
В силу этого, помимо статистических и динамических моделей, особый интерес представляют модели отношений «педагог - обучаемый» на основе учета прошлого (предыстории), настоящего и будущего или неразрывности трех «темпомиров» в одно системное темпоральное целое, представляющее возможный четвертый сценарий оценки обучаемого педагогом [1].
2. Компьютерный контроль знаний: выборочные планы
Посредством обучающих систем проводится двух-, четырех- и многобалльный контроль. Возможны простые, двойные, многократные и последовательные проверки (single, double, multiple, sequential sampling inspection). Они проводятся с помощью простых (одноступенчатых), двойных (двухступенчатых), многократных (многоступенчатых) и последовательных выборочных планов контроля. Поясним эти планы применительно к двухбалльному контролю знаний (ДКЗ), когда по результатам контроля принимается одна из двух гипотез: Н1 («зачтено», «сдал») или Н2 («не зачтено», «не сдал»).
2.1. Простые (одноступенчатые) планы контроля знаний
Они характеризуется числом n вопросов/задач, предлагаемых обучаемому, и приемочным числом c неправильных ответов (acceptance number) или общим числом ошибок в ответах, которые допустимы для получения оценки «зачет» или «сдал» (гипотеза H1):
m < c —>H1, m > c —H2. (1)
При ДКЗ по альтернативному признаку приемочное число - это максимальное число неправильных ответов или максимальное число ошибок в ответах, при которых обучаемый получает положительную оценку. Для простоты под c можно понимать максимально допустимое число ошибочных ответов. Этот план сокращенно можно обозначить (n, с).
Существенное сокращение времени контроля обеспечивают двойные (двухступенчатые) и последовательные планы.
2.2. Двойные, или двухступенчатые, планы контроля знаний
В соответствии с этим планом контроль знаний проводится следующим образом:
Сначала обучаемому предлагается первая небольшая выборка из n1 вопросов/задач. По ответам на нее получается грубая информация о состоянии знаний обучаемого. Если число неправильных ответов m1 < с1, то он получает оценку «зачтено», или «сдал» (гипотеза H1). В случае m1 > с2 (с2 > с1) обучаемый получает оценку «не зачте-
но», или «не сдал» (гипотеза Н2). Числа с1 и с2 можно назвать приемочными или браковочными числами первой выборки вопросов.
Если число m1 неправильных ответов на вопросы первой выборки заключено между значениями с1 и с2 (с1 < m1 < с2) и полученной информации недостаточно для выставления оценки, то формируется вторая выборка из n2 вопросов/задач, которая и предлагается обучаемому (гипотеза Н12).
Пусть m2 - число неправильных ответов на вопросы второй выборки. Окончательное решение относительно оценки принимается по общему числу m1 + m2 неправильных ответов на вопросы/задачи обеих выборок: в случае m1 + m2 < с3 обучаемый получает оценку «зачтено» («сдал»), в противном случае - оценку «не зачтено» («не сдал»). Число с3 можно назвать приемочным числом обеих выборок вопросов/задач.
При двойном плане контроля знаний предполагается справедливость неравенств 0 < с1 < с2 < с3 < n + n2. Обычно полагается с2 = с3. Двойные (двухступенчатые) планы характеризуются числами n1, n2, с1, c2, поэтому они обозначаются так: (n1, n2, с1, c2) [1].
2.3. Последовательные планы контроля знаний
Их отличительная особенность: после ответа на каждый вопрос или в общем случае после очередного измерения контролируемого признака принимается решение о прекращении процесса контроля и принятии гипотезы Н1 («зачтено», «сдал») или Н2 («не зачтено», «не сдал») либо о продолжении контроля путем задания очередного вопроса или измерения очередного признака. Последовательные планы контроля знаний отличаются случайным числом вопросов, задаваемых обучаемому для определения оценки.
Таким образом, ККЗ можно проводить по различным планам. Для сравнения выборочных планов, используемых педагогами и реализуемых интеллектуальными обучающими и поддерживающими системами, введем ряд характеристик.
3. Основные характеристики планов компьютерного контроля знаний
Для сравнения простых (одноступенчатых) планов ККЗ, используемых в современных интеллектуальных обучающих и поддерживающих системах, и предложенных двойных (двухступенчатых) и многоступенчатых, а также последовательных планов можно использовать следующие характеристики:
1. оперативные характеристики (operating characteristics), отображающие зависимость вероятностей выставления различных оценок от состояния знаний обучаемого,
2. риски недооценки и переоценки,
3. математическое ожидание оценки (или реализация психометрической функции педагога (учителя)) посредством интеллектуальной обучающей или поддерживающей системы,
4. математическое ожидание числа вопросов/задач, которые необходимо задать до выставления оценки и прекращения контроля,
5. математическое ожидание числа оставшихся (пропущенных) неусвоенных вопросов.
6. При выставлении положительной оценки и прекращении контроля остаются вопросы/задачи, которые не были заданы обучаемому и ответы на которые не известны. Математическое ожидание доли неусвоенных среди них вопросов может быть использовано при анализе, синтезе и сравнении планов контроля знаний.
3.1. Оперативные характеристики
Под оперативными характеристиками (ОХ) выборочного плана контроля знаний будем понимать зависимость вероятности принятия соответствующей гипотезы относительно оценки от состояния знаний обучаемого/пользователя/работника. В случае ДКЗ имеются две гипотезы Н1 и Н2 и соответственно две ОХ. Если контроль знаний завершается выставлением одной оценки из двух, то имеет место
P(H1/P) + P(H2/P) = 1, (2)
где Р(Н/Р), i = l, 2, - условная вероятность принятия гипотезы Et при условии, что степень неподготовленности обучаемою равна Р.
В силу (2) при ДКЗ можно рассматривать лишь одну ОХ, а именно зависимость вероятности получения положительной оценки от доли неправильных ответов: L(P) = Р(Н1/Р). Сказанное справедливо и при моделировании других применений адаптивных обучающих и поддерживающих систем [9, 10].
Следует отметить, что помимо гипотез H1 и Н2 возможна и гипотеза Н12. Она состоит в отказе от выставления оценки по ответам на вопросы/задачи одной выборки. Аналогично и в случае М-балльного контроля знаний, когда возможны М - 1 решений подобного рода. При этом оценка может быть выставлена после ответов на вопросы/задачи дополнительной выборки (или дополнительных выборок). Для анализа и синтеза планов контроля знаний с такими отказами от выставления оценки применимы все методы, рассматриваемые ниже.
3.2. Риски недооценки и переоценки знаний
Контроль знаний на основе некоторого выборочного плана связан со следующими ошибками при определении оценок. Ошибка первого рода (error the first kind или a-ошибка) состоит в том, что в действительности подготовленный обучаемый при контроле по выборочному плану оценивается как неподготовленный. Максимальная вероятность этой ошибки - риск недооценки:
а = тахР(Н2/Н1,Р), (3)
реп1
где Q1 = [0, Р1] - интервал значений Р, в котором должна приниматься гипотеза Н1.
Ошибка второго рода (error the second kind или Р-ошибка), наоборот, состоит в том, что в действительности неподготовленный обучаемый при контроле по выборочному плану оценивается как подготовленный. Максимальная вероятность этой ошибки - риск переоценки:
в = тах P(H2/HX,P), (4)
рЕП2
где = [P2, l] - интервал значений Р, в котором должна приниматься гипотеза Н2.
3.3. Психометрическая функция педагога и ее реализация с помощью адаптивной обучающей или поддерживающей системы
Критерии или правила, которые используются педагогами при контроле знаний, являются их латентными (скрытыми) характеристиками. Для сравнения планов контроля знаний педагогов и/или интеллектуальных обучающих и поддерживающих систем целесообразно использовать зависимость математического ожидания оценки y от состояния знаний обучаемого и других характеристик его и педагога. Состояние знаний обучаемого может быть отображено комплексным показателем (в простейшем случае долей ошибок Р). Среди других характеристик обучаемого и педагога, влияющих на выставление оценки, в первую очередь назовем следующие:
1) репутация обучаемого (обучаемый, хорошо учившийся до момента текущего контроля, получает хорошую оценку легче по сравнению с обучаемым, который учился не настолько хорошо);
2) уровень подготовки в группе (в хорошо подготовленной группе обучаемый может получить меньшую оценку вероятнее по сравнению с плохо подготовленной группой);
3) фактор неуверенности педагога (он в первую очередь свойствен молодым педагогам, которые выставляют отрицательные оценки реже).
Функция, описывающая зависимость ответов (реакции) от стимула, называется психометрической. Соответственно, зависимость математического ожидания оценки от
состояния знаний обучаемого и других характеристик обучаемого и педагога будем называть психометрической функцией педагога и обозначать M(y/z)p, где у - оценка педагога, a z - вектор значений признаков, в зависимости от которого определяется психометрическая функция.
Мы ограничимся одномерным случаем, когда психометрическая функция педагога М(у/Р)р зависит только от одной переменной, а именно от доли ошибок Р обучаемого. Психометрическая функция педагога отражает его требования при контроле знаний. При использовании интеллектуальной обучающей или поддерживающей системы можно говорить о реализации психометрической функции с помощью этой системы.
Пусть М*(у/Р) и М(у/Р) - реализации психометрической функции педагога с помощью обучающей системы при отсутствии или наличии ошибок в распознавании истинности ответов, а F(P) - априорное распределение вероятностей P. Звездочка здесь и во всех соотношениях ниже используется для обозначения случая, когда значения признаков или истинности ответов определяются безошибочно. Если же их определение сопряжено с ошибками, то звездочка опускается. Математические ожидания оценки в рамках ККЗ при отсутствии и наличии ошибок в распознавании истинности ответов на вопросы/задачи можно определить так:
М*(у) =/>* (у/Р) dF(P), М (у) = /> (у/Р) dF(P).
Таким образом, определены психометрическая функция М(у/Р)р и ее реализация М*(у/Р) и М(у/Р) адаптивной обучающей системой. При этом можно определить качество аппроксимации:
J*(T) = max |М(у/Р)р -М*(у/Р)|,
0<Р<1
J(T) = max |М(у/Р)р — М(у/Р)|,
0<Р<1
где T - план ККЗ.
3.4. Среднее число пропущенных неусвоенных вопросов/задач. Безошибочное распознавание истинности ответов
Пусть Р* - доля пропущенных ошибок после проведения контроля знаний, тогда в случае простого плана контроля имеем
р* _гР для т<с, Ш для т> с.
Математическое ожидание М*(Р*/Р), или средняя вероятность, пропущенных (незамеченных) неправильных ответов после проведения контроля равно
М*(Р*/Р) = D*(P) = PL*(P) + 0[1 — L*(P)] =PL*(P), (5)
где L*(P) - ОХ плана контроля знаний. Величина М*(Р*/Р) - это средняя вероятность пропуска неусвоенных вопросов/задач (AOQ = average outgoing quality), которые остаются незамеченными при ККЗ.
Важной характеристикой плана является максимум величины М*(Р*/Р) (AOQL* = average outgoing quality limit):
D*(P) = max M*(P*/P) = max PL*(P) = PmL(Pm), (6)
0<P<1 0<P<1
где Pm - значение P, при котором достигается максимум.
В случае L*(P) =L*nc(P) средняя вероятность пропущенных неусвоенных вопросов является дифференцируемой функцией по Р со значениями:
!0 при Р = 0, >0 при 0 <Р <1, 0 при Р = 1.
Функция PL*n,c(P) имеет по крайней мере один максимум в интервале [0; 1].
3.5. Эквивалентные и г-эквивалентные планы (алгоритмы) (компьютерного) контроля знаний (или сертификации качества подготовки)
Алгоритмы контроля или сертификации качества подготовки педагогами и/или интеллектуальными обучающими или поддерживающими системами будем называть эквивалентными или ^эквивалентными по некоторому критерию, если значения этого критерия для алгоритмов (планов) контроля совпадают или их отличие не превышает некоторое небольшое значение с. В качестве критериев для сравнения могут использоваться:
- психометрические функции педагогов или их реализации посредством интеллектуальных обучающих и поддерживающих систем,
- риски недооценки и переоценки знаний и др.
Следует отметить, что реализации психометрической функции зависят от распределения контролируемого признака. Пусть, например, Т1 и Т2 - два алгоритма (плана) контроля знаний или сертификации качества подготовки (например, двумя педагогами, двумя интеллектуальными обучающими или поддерживающими системами или одним педагогом и одной интеллектуальной обучающей или поддерживающей системой), a M(y/P)j, i = 1, 2, - психометрическая функция (или ее реализация) /-го контролера (педагога или адаптивной обучающей или поддерживающей системы). Алгоритмы Т1 и Т2 е-эквивалентны по психометрическим функциям, если качество аппроксимации удовлетворяет условию
J(T1,T2) = max |М(у/Р)! - М(у/Р)2| <8,
0<Р<1
где е > 0 - небольшая величина.
Заключение
В статье рассмотрены эквивалентные и е-эквивалентные выборочные планы ККЗ или сертификации качества подготовки по рискам недооценки и переоценки знаний. Среди двух е-эквивалентных алгоритмов (планов) контроля Т1 и Т2 назовем тот алгоритм (план) предпочтительным (более эффективным), для которого средний объем инспекции (ASN = average sample number) меньше. Под ASN будем понимать математическое ожидание числа вопросов/задач, которые должен выполнить обучаемый.
Взаимодействие педагога и обучаемого в рамках отношения «педагог - обучаемый» при контроле знаний - это один из примеров отношений «человек - человек», при которых один человек оценивает латентные (скрытые) свойства другого. Предложенная методика определения психометрической функции педагога и ее реализации обучающей системой применима и при рефлексии других типов отношения «человек-человек» и их реализации посредством адаптивных обучающих и поддерживающих систем [1, 6].
Литература
1. Свиридов А. П. Статистическая теория обучения. - М.: РГСУ, 2009. 570 с.
2. Свиридов А. П. Rechnergestützte Kenntnis-PrüfUng: zur Modellierung der Mensch-MenschBeziehungen (Компьютерный контроль знаний: к моделированию отношений человек - человек). - Duesseldorf: Superbrain-Verlag, 2006. 434 с.
3. Свиридов А. П. Стандартизированные методы на примере контроля и диагностирования знаний: монография. - М.: РГСУ, 2011. 294 с.
4. Сигов А. С., Коршунов С. В., Нечаев В. В., Свиридов А. П. Единая система кадрового обеспечения сферы информатизации России (концептуальные основы) // «Э» и «М» Еврообра-
зование: Международный научный журнал для европейской интеллектуальной элиты. - София, 2008. № 2. С. 16-25.
5. Григорьев С. И. К вопросу о базовых критериях качества образования и ключевых социальных компетенциях в современной России // Вестник Учебно-методического объединения вузов России по образованию в области социальной работы. 2006. № 2. С. 19-28.
6. Зимняя И. А. (ред.). Становление ключевых социальных компетентностей на разных уровнях образовательной системы (дискутивная характеристика как база оценивания). - М.: Исследовательский центр проблем качества подготовки специалистов. 2006. 82 с.
7. Талызина Н. Ф. Управление процессом усвоения знаний (психологические основы). 2-е изд. - М.: МГУ, 1984. 344 с.
Selective plans of computer monitoring of quality of education
Valentin Viktorovich Nechaev, professor of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Alexandr Petrovich Sviridov, professor of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Alisa Viktorovna Bogoradnikova, teaching assistant of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Viktor Mihaylovich Panchenko, professor of the Departmen, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
The paper presents single-stage, two-stage and sequential plans of computer monitoring of educational quality and their main characteristics which are necessary for solving analysis tasks and plans synthesis.
Key words: teacher, trainee, knowledge control, quality of education, competence.
УДК 378:004
ОДНОСТУПЕНЧАТЫЕ ПЛАНЫ ДВУХБАЛЛЬНОГО КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ ПО АЛЬТЕРНАТИВНОМУ ПРИЗНАКУ: АНАЛИЗ И СИНТЕЗ
Валентин Викторович Нечаев, профессор кафедры,
e-mail: nechaev@mirea.ru, Александр Петрович Свиридов, профессор кафедры, e-mail: prof_sviridov@mail.ru, Алиса Викторовна Богорадникова, ассистент кафедры, e-mail: bogoradnikova@mirea.ru, Борис Борисович Чумак, доцент кафедры, e-mail: chumak@mirea.ru Московский технологический университет (МИРЭА), https://www.mirea.ru
В статье рассмотрены способы анализа и синтеза одноступенчатых планов компьютерного контроля знаний, наиболее широко представленных в системах электронного и дистанционного образования.
Ключевые слова: обучаемый; педагог; контроль знаний; оценка ответов; оперативная характеристика.
Задача двухбалльного контроля знаний (ДКЗ) при использовании одноступенчатого плана состоит в принятии решения о том, достаточна или нет подготовка обучаемого или достигнута или нет цель обучения.
