CC BY
43
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT
УДК 517.977:62
DOI 10.12737/12596
Исследование эффективности парадигмы факторной оценки знаний на примере
*
тестирования студентов по теории автоматического управления
Р. А. Нейдорф1, Е. Н. Обухова2**
1,2 Донской государственный технический университет, г. Ростов-на-Дону, Российская Федерация
Research of the factorial knowledge assessment paradigm efficiency illustrated by an example of testing students in the automatic control theory***
R. A. Neydorf 1, E. N. Obukhova2**
1,2 Don State Technical University, Rostov-on-Don, Russian Federation
Ö О T3
M
"с
-M
M
(U
Ü £ Л
Разработаны актуальный алгоритм построения тестовых материалов и методика оценивания результатов тестирования, позволяющие сочетать высокую оценочную способность и объективность тестов. Тестовую систему в таком случае можно рассматривать как аппарат оценивания уровня знаний при изучении соответствующих модулей. Для систематизации знаний производится декомпозиция знаний на множество разделов. При этом каждому разделу сопоставляется множество подразделов, которое, в свою очередь, состоит из подмножества вопросов, ответы на которые раскрывают уровень знаний каждого раздела. Задание теста формулируется таким образом, что при ответе на него должен быть дан набор ответов, раскрывающих уровень знания определенного подраздела. Поскольку процесс разработки тестового вопроса рассматривается как построение многофакторной зависимости, то предлагается к его построению подойти с позиции планирования многофакторных экспериментов. В этом случае множество ответов представляется как набор факторов, принимающих определенные значения. При их варьировании на двух уровнях, задача сводится к построению эксперимента, реализующего все возможные сочетания факторов, т.е. к полному факторному эксперименту. Предложена методика применения технологии планирования двухуровневых многофакторных экспериментов, позволяющих
формализовать оценку частично неполных знаний и реализацию формирования многофакторных тестов различной сложности. Для иллюстрации данной методики рассмотрены примеры построения тестов для дисциплины «Теория автоматического управления», оценивающих степень сформированности уровня знаний. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия к этим знаниям.
Ключевые слова: тестирование, фактор знания, тестовый вопрос, оценка ответа, вариативность ответа, неравномерность знаний.
An algorithm for constructing test materials and the test results evaluation techniques that allow combining high estimate rate and test objectivity are developed. The test system in this case can be considered as an assessment tool for the knowledge level under investigating the appropriate modules. The decomposition of knowledge into lots of sections is conducted for the knowledge systematization. At that, each section is associated to a set of sub-sections which, in turn, consists of a subset of questions, the answers to which reveal the level of knowledge of each section. The test assignment is formulated in such a way that upon answer, a set of responses revealing the knowledge level of a certain subsection is to be given. Since the test development process is considered as a construction of multivariable dependence, it is proposed to approach the problem from the perspective of planning multifactor experiments. In this case, a set of answers is presented as a set of factors taking on certain values. With their varying on two levels, the problem is reduced to the construction of the experiment that implements all possible combinations of factors, i.e. to a complete factorial experiment. The technique of applying the technology of two-level multifactor experiment planning that allows formalizing the evaluation of partially incomplete knowledge, and implementing the formation of the multifactor tests of different kinds of complexity is offered. To illustrate this technique, the examples of the construction of tests for the discipline "Automatic control theory" assessing the degree of the knowledge level formation are considered. The statistical analysis of the test results has shown the knowledge level of the testees, as well as the credibility of this knowledge.
Keywords: testing, knowledge factor, test question, mark, answer variability, knowledge irregularity.
* Работа выполнена в рамках инициативной НИР.
** E-mail: ran_pro@mail.ru, elena21@spark-mail.ru
*** The research is done within the frame of the independent R&D.
Введение. Проблема оценки и аттестации знаний студентов в условиях введения новых федеральных государственных образовательных стандартов является актуальной для всех российских ВУЗов. Особое внимание уделяется подходам и методам, позволяющим повысить эффективность использования имеющихся средств контроля знаний в условиях ограниченности материальных ресурсов [1-4].
Удобным и эффективным средством контроля знаний является тестирование [1, 2]. Несмотря на то, что тестовый контроль является одним из перспективных методов оценки знаний и определения уровня подготовки обучаемых, существует множество проблем, с которыми сталкивается преподаватель при внедрении его в учебный процесс. Эти проблемы связаны как с подготовкой тестов, так и с оценкой результатов тестирования [5, 6].
Одна из проблем связана со сложностью задачи составления тестов и создания достаточно развитых баз тестовых заданий по учебным дисциплинам. Это, конечно же, требует не только больших трудозатрат преподавателей, но и, в первую очередь, конкретной, доступной, и, желательно, универсальной методики построения тестов. Кроме того, желательно, чтобы эта методика была поддержана необходимым алгоритмическим и программным обеспечением с развитым, удобным и легко расширяемым интерфейсом [7-10].
Кроме этого, проблемой внедрения тестирования является ограниченность возможностей существующих тестовых технологий. Это относится и к целенаправленному формированию функционала и структуры тестов, и к оценке качественной составляющей знаний студентов, а также к процессу проверки и обработки результатов тестирования [11, 12].
Под качественной составляющей тестового задания здесь понимается возможность оценить степень усвоения учебного материала через выставляемую в виде балла оценку.
В частности, возможности теста расширяются, если используется несколько допустимых ответов с разной степенью достоверности ответа. Тогда, даже в случае дозволенности одного ответа на вопрос, тестируемый будет иметь оценку, выраженной долей полного знания [13]. Недостатком такого подхода является то, что он не защищен от угадывания правильного ответа. Тестируемый в этом случае, имея даже приблизительные знания о вопросе, с большой вероятностью имеет шанс угадать ответ с достаточно высокой оценкой. При этом невозможна оценка достоверности результата тестирования.
Эту проблему частично решают системы тестирования, допускающие выбор нескольких ответов, кажущихся тестируемому наиболее близкими к истине. Тогда возникает возможность оценить и уровень знаний, и степень их «размытости».
Общая характеристика проблемы. В работах авторов [14, 15] предложен и в значительной степени развит подход к описанной проблеме, а также даны различные частные примеры ее решения. В данном подходе авторы исходят из того, что основным постулатом тестирования является наличие вычлененного из изучаемого материала множества
е = {д.|/ = г^} (1) ®
вопросов ч,, отражающих в совокупности его знание. Степень знания обучающимся вопроса ч, считается в процессе ^
тестирования «фактором знания» (ФЗ) и обозначается х,-. Таким образом, тестирование превращается в факторный и
эксперимент, задача которого дать общую оценку совокупности знаний обучающимся изучаемого материала. ^
Факт знания тестируемого учебного материала отображается отношением
5\5Хдка'к е^ ={'к\к = ГШ}, (2) §
Где А — множество правильных ответов а'к на вопросы чк е е в (1). К
Естественно, факт незнания некоторых элементов изучаемого материала отображается отношением н
к
8:8(дга{ е АА = У \1 = 1,..л}, (3) |
л
Где А{ — множество неправильных ответов а{ на вопросы ч1 е е в (1). <Р
Вполне очевидно, что формулировки как правильного, так и неправильного ответа можно сформулировать ч
различным образом. Это зависит от особенностей языковой среды, используемых для раскрытия знания исходных Я
материалов (монографий, учебников), особенностей терминологии их авторов, субъективных особенностей препода- 2
вателя, разрабатывающего текст, и многого другого. Однако будем считать, что в конкретной образовательной среде ^
сформированы свои конкретные Чк , Ч1, а'к и а{ . Тогда ответ на вопрос по ФЗ можно считать абсолютной оценкой
ей
этого элемента знания. ^
Следовательно, мы имеем факт двоичной оценки ФЗ: «знает — не знает». Такой структуре теста соответству- ^
ет двухбалльная оценка знаний: «0 - 1». Однако степень подготовленности тестируемого определяется совокупным ^ множеством ответов на множество вопросов, оформленных на основе выделенных ФЗ изученного материала. Таким образом, степень знания одного вопроса тоже может быть разной и оценивать общую картину знания обучаемого сле-
дует по доле правильных ответов в полном множестве (1). Но тест, оформленный как последовательный процесс ответов по всем ФЗ даже небольшого раздела дисциплины получается слишком громоздким и утомительным.
В тестах, учитывающих этот фактор, множество Q целесообразно разбивать на подмножества Qi, причем
П0 = Q,, (4)
где каждое подмножество Qi представляет собой отдельный тестовый вопрос (ТВ), содержащий некоторое количество ФЗ, объединенное общей смысловой направленностью [16, 17].
Для выявления уровня знания каждого вопроса Qi ему сопоставляется подмножество ответов А,, причем
А, = А |П Аг] = (А<,А[)}, (5)
т.е. в множестве А, ответов, предлагаемых на вопрос Qi должны обязательно содержаться ответы содержащие все правильные (2) и все неправильные (3) ответы по ФЗ. В противном случае тест приобретает характер либо провокации, либо подсказки.
Остальные варианты ответов А^ в (5) могут содержать некоторую долю неправильных ответов а^ согласно
(3). Если условная доля содержания правильной информации в таком ответе определена, то таким ответам можно сопоставить различные баллы, по которым можно оценивать степень знания вопроса. Комбинируя множества таких ответов можно составлять тесты, которыми можно оценивать «палитру» знаний [16, 17]. Условие (4) при этом обеспечивает совокупную оценку всего знания представленного множеством Q в (1).
Однако необходимо учесть еще один недостаток, свойственный традиционной структуре процесса тестирования. Выбор единственного ответа на тестовый вопрос значительно снижает эффективность даже предложенного выше усовершенствованного подхода к тестированию, т.к. при неполном знании возникает возможность проявления стойких эффектов, как угадывания, так и невезения. В работах [13-17] авторами предложен кардинально отличный подход — дать испытуемому возможность выбора нескольких вариантов ответов, которые на его взгляд кажутся наиболее близкими к правильным, не исключая права тестируемого выбрать один вариант ответа. Последнее характеризует уверенность его знания и соответствует выбору одного и того же ответа несколько раз.
Пример решения задачи тестирования знаний на основе парадигмы их факторной оценки. В работах [13-19] проанализированы возможности изложенного выше подхода и проверен ряд его положений. Практика использования факторных тестов показала, что наиболее эффективны для оценки знаний 3-факторные тесты, описанные и проиллюстрированные примерами в работах [18, 19]. В связи с этим в настоящей статье подробно рассматривается процесс составления, использования и последующей обработки именно 3 -факторных тестов.
На основе методики составления многофакторных двухуровневых тестов были сконструированы тестовые задания и проведено тестирование для выявления знаний обучающихся, изучающих дисциплину «Теория автоматического управления». Каждому испытуемому было предоставлено девять различных трехфакторных ТВ Qi , отражающих знание подраздела «Линейные непрерывные модели и характеристики систем управления». На каждый из этих ТВ по теории двухуровневого трехфакторного эксперимента можно составить комбинаторно различное множество А, из восьми комплексных ответов А^ . В данном примере испытуемым предлагалось множество А, из четырех вариантов комплексных ответов А^ , включающих различные совокупности ответов а, и ау . Такие тесты названы авторами усеченными трехфакторными (УШФ-тесты).
Тесты построены на основе сформулированных ФЗ, позволяющих, по мнению разработчиков, по факту понимания их сущности оценить уровень подготовки тестируемых по данной теме. В соответствии с изложенной в [18, 19] 2 методикой каждое усеченное задание сформулировано как тестовый вопрос (ТВ), на который предлагалось четыре
"й варианта ответов, выбранных случайным образом из полного трехфакторного тестового задания, содержащего 8 вари-й
о антов ответов.
^ Содержание этих усеченных трехфакторных ТВ приведены в таблице 1. В этой таблице использованы следу-
£ ющие обозначения: ПФ — передаточная функция; ДЗ — динамическое звено; ДУ — дифференциальное уравнение;
и
ЛАЧХ — логарифмическая амплитудная частотная характеристика; ФЗ — фактор знания; АФЧХ — амплитудная фазовая частотная характеристика; АЧХ — амплитудная частотная характеристика; ФЧХ — фазовая частотная характеристика; ВЧХ и МЧХ — вещественная и мнимая частотные характеристики; ММ — математическая модель; ХП — характеристический полином.
Предложенные рассматриваемыми в таблице 1 вариантами ТВ правильные и неправильные ответы, относящиеся к включенным в него ФЗ, сведены в таблицу 2.
а £ -й
Таблица 1
Примеры усеченных трехфакторных тестовых вопросов
№ ТВ (ТВ1)
№ ФЗ в ТВ1
Формулировка фактора знания
Формулировка тестового вопроса
ТВ!
связь структуры ПФ со структурой линейного ДУ ДЗ
смысл понятия нуля ПФ
d у Су
По заданному ДУ следующего вида:
Сх
Сг 2
+ 6 — + 5у = 2--+ 12 х, описывающему, ДЗ найти пере-
Лг
Лг
смысл понятия полюса ПФ
даточную функцию и определить ее нули и полюса.
ТВ2
тип ДЗ
ПФ ДЗ
наклон ЛАЧХ ДЗ
По виду асимптотической ЛАЧХ ДЗ Ь(м>), проходящей через точки 20 дБ и +1, выявить суть ФЗ.
ТВ3
ПФ в общем виде
значение коэффициента усиления
значение постоянной времени
По виду асимптотической ЛАЧХ ДЗ определить ПФ в общем виде, коэффициент усиления и значение постоянной времени.
ТВ4
представление ПФ ДЗ в частотной форме - АФЧХ
получение АЧХ по ПФ
получение ФЧХ по ПФ
По передаточной функции ДЗ W( р) = — определить ча-
4 р
стотные характеристики: АФЧХ, АЧХ и ФЧХ.
ТВ5
получение ВЧХ по ПФ
получение МЧХ по ПФ
Представление ПФ ДЗ в показательной форме
По передаточной функции ДЗ W( р) = 50 р, найти частотные характеристики: ВЧХ и МЧХ и представить ПФ в показательной форме.
ТВб
получение коэффициента усиления по ПФ
По ПФ w (р) =
знание условия реализуемости ПФ
120 р +12 р3 +10 р2 +100 р
определить коэффициент
оценка астатизма по ПФ
усиления к, оценить условие физической реализуемости и наличие или отсутствие астатизма.
ТВ7
нахождение системной матрицы А
нахождение матрицы управления В
нахождение матрицы выходов С
Х1 — Х1 + Х2,
: -5х1 + Хз,
х — -3х1 - 2х2-х3 + 4м,
У = х1-
По ДУ в переменных состояния, получить ММ объекта в матрично-векторной форме
ТВ
нахождение ПФ в общем виде
определение типа корней
нахождение постоянных времени
По расположению корней ХП ПФ на комплексной плоскости определить ПФ в общем виде, тип корней и значение постоянных времени.
х
х
2
х
з
х
х
2
х
3
х
х
2
х
3
х
х
2
х
3
х
х
2
х
3
х
х
2
х
3
х
2
х
2
3
х
3
х
х
2
х
3
№ ТВ (ТВ1)
№ ФЗ в ТВ1
Формулировка фактора знания
Формулировка тестового вопроса
ТВ9
определение по ЛАЧХ ПФ в общем виде
определение по ЛАЧХ наличие астатизма
нахождение сопрягающей частоты
По виду ЛАЧХ ДЗ определить ПФ в общем виде, наличие астатизма и сопрягающую частоту.
Таблица 2
Правильные и неправильные ответы по факторам ТВ таблицы 1
Характеристика ответов Тестовые вопросы Ответы по факторам знания
х! Х2 Хз
Правильные ТВ! .... . 2р + !2 Ш (Р)= 2 й < р + 6 р + 5 Нуль: р = -6 Полюсы: р = -1; р = -5
ТВ2 Интегрирующее звено ! 0,! ■ р - 20 дб\дек
ТВ3 W (р) = к ■ (Тр + !) к = !0 Т = 0,!
ТВ4 W( = -0,25 ]мТ1 А(м>) = 0,25^- ф(™о=
Правильные ТВ5 Яе( м>) = 0 1т( м>) = 50jw .Л W (jw) = 50^ ■ е 2
ТВб к = 0,12 ПФ — физически реализуемая астатическая
ТВ7 А = ! ! 0 - 5 0 3 - 3 - 2 -! В = 0 0 4 С =! 0 0
ТВ8 к W (р) =- (Т! р +!) ■ (Т 2 р +!) вещественные полюса Т! = 2 , Т 2 = !0
ТВ9 к W(p)=—л- (Т2 р2 + 2Тр +!) объект статический щ — сопрягающая частота
Неправильные ТВ! " ( р) = р2р 6р2+ 5 Нули: р = -!; р = -5 Полюс: р = -6
ТВ2 Дифференцирующее звено 20 ■ р +20 дб\дек
х
х
2
х
<и
3 «
о
Е-
О
<и Н
Ответы по факторам знания
в о т е в т о
3
и т
о
и р
е
а
аар
X
ТВ3
W(p) =
k
Т+1)
k = 20
Т = 10
ТВ4
W(jw) = -0,25 jw
А= -0,25 jw
ф^) = +т2
ТВ5
Re(w) = 50
1т( w) = jw
W( jw) = -50w • e
ТВб
к = 0,1
ПФ — физически не реализуемая
статическая
ТВ7
А =
1 1 0
- 5 3 0
- 3 - 2 -1
В =
С = |1 0 0|
ТВ»
W(p) = k •(T1 p +1)-(Т2 р +1)
мнимые нули
ТВ9
W(p) = k • (Т2 p2 + 2Т +1)
объект астатический
сопрягающая ча-
стота
По вопросам таблицы 1 была проведена аттестация группы студентов. На каждый вопрос предлагалось по четыре варианта ответа, составленных из правильных и неправильных ответов по ФЗ вопроса из таблицы 2. При этом выполнялось условие (5). Общее количество тестируемых составило 10 человек. Оценки ответов и результаты их обработки сведены в таблицу 3.
В таблице 3 цветом выделены вопросы, в которых тестируемые выбрали две строки ответов.
Расчет тестовых оценок начинается с получения оценки ответа j -го тестируемого на i -й тестовый вопрос
eij . Это оценка рассчитывается как среднее значение оценок строк тестового вопроса, которых выбрал тестируемый:
к
1 ъ< k 1=1
ну
(6)
где k — количество выбранных строк ответов в у -м тестовом задании (к < 2).
Допущенная вариативность ответа позволяет ввести меру неравномерности знаний испытуемым всех ФЗ i -го ТВ Сту . Она рассчитывается по формуле:
^-Ъ - еч У-
(7)
Усредненное знание у -м испытуемым всех ФЗ из п вопросов теста естественно оценить показателем еу рассчитываемым по формуле:
еу =
1 п
п Ъу
(8)
i=l
и
к
X <и
4 м ей Л
С
^
<й И
к
X X <и н
5
X Л
ч и
Ё
4 о
к
X
3 и
<Й и к
Й Л
о X
5
X
X
X
2
3
Т1 = 0,5 Т1 = 0,1
w
2
а
Таблица 3
Ответы по факторам ТВ таблицы 1 и данные их обработки
№ теста (1) Номер тестируемого 0)
1 2 3 4 5
Ыь// у/(е2)ь (?Ъу/ ть/ /(е2\ (е-2 ть / уть ту^ ть У уть (е4) ь /°Юь4 тьУ /ть (е"5 ) ь
1 0,67 0,67 0,67 0,67 1 1 0 0,165 0,67 0,67
0,67 0 0,67 0 1 0 0,33 0,054 0,67 0
2 0,67 0,67 1 1 1 1 1 0,835 0,67 0,67
0,67 0 1 0 1 0 0,67 0,054 0,67 0
3 0 0 1 1 1 1 0,33 0,5 1 1
0 0 1 0 1 0 0,67 0,057 1 0
4 0,67 0,67 0 0 0 0 1 1 1 1
0,67 0 0 0 0 0 1 0 1 0
5 1 0,665 0,33 0,33 1 1 1 1 0,33 0,33
0,33 0,224 0,33 0 1 0 1 0 0,33 0
6 0 0 0 0 1 1 1 1 1 0,835
0 0 0 0 1 0 1 0 0,67 0,054
7 1 0,835 0,33 0,33 0,67 0,67 1 1 1 0,835
0,67 0,054 0,33 0 0,67 0 1 0 0,67 0,054
8 1 1 1 1 1 1 1 1 1 1
1 0 1 0 1 0 1 0 1 0
9 0,33 0,33 1 1 1 1 1 1 0,67 0,67
0,33 0 1 0 1 0 1 0 0,67 0
е у 0,537 0,592 0,852 0,833 0,779
0,176 0 0 0,136 0,11
№ теста (1) 6 7 8 9 10
{егЪу/ ту/ / ть ту/ т1у/ /ть (е%)ьу/ ть / у/т, тьу/ Юр тьу/ /ть (е^ьу/
1 6 0 0,165 0,67 0,67 1 1 0,67 0,67
0,33 0,33 0,33 0,054 0,67 0 1 0 0,67 0
2 0,33 0 1 0,665 1 1 1 1 1 1
1 1 0,33 0,224 1 0 1 0 1 0
3 1 0 1 0,665 0,67 0,67 1 1 1 1
0,33 0,33 0,33 0,224 0,67 0 1 0 1 0
4 0,33 0 0 0,165 1 1 0 0,67 0,67
0,67 0,67 0,33 0,054 1 0 0 0,67 0
5 0,67 0 0,33 0,33 1 1 1 1 0,67 0,67
0,33 0,33 0,33 0 1 0 1 0 0,67 0
6 0,67 0,67 0 0 1 1 1 1 0,67 0,67
0,67 0 0 0 1 0 1 0 0,67 0
7 0,67 0,67 0,67 0,67 1 1 1 1 0,67 0,67
0,67 0 0,67 0 1 0 1 0 0,67 0
8 0,67 0 1 1 1 1 1 1 1 1
0,33 0,33 1 0 1 0 1 0 1 0
9 0,33 0 1 1 1 1 1 1 0,33 0,33
0,33 0,33 1 0 1 0 1 0 0,33 0
е у 0,518 0,517 0,926 0,889 0,742
0 0,249 0 0 0
Тогда неравномерности знания испытуемым всего материала, охватываемого тестом, оцениваются усредненным значением аj■ всех СКО j -го тестируемого, рассчитанных для него по всему тесту (всем ТВ):
" V =
1 п
1 V1 2
(9)
I=1
Таким образом, полученные после статистической обработки факторного теста данные достаточно разносто-ронни и представительны, т. к. поддержаны всеми ФЗ, входящими во все ТВ теста (в рассматриваемом случае -
3х9=27). Наряду с традиционной для процедуры тестирования общей оценкой доли усвоенного материала — , а также дифференцированной оценкой хорошо и плохо усвоенных его элементов — вц , факторная структура теста позволяет оценить дополнительные характеристики знания. К таким характеристикам относится возможность более дифференцированной общей оценки каждого ТВ, а также неравномерности знания ФЗ в нем — "у . Также, более
дифференцированно оценивается общее знание раздела, т.к. в1 характеризуется большей дискретизацией. Кроме того, возникает возможность общей оценки неравномерности этого знания оц .
На рис. 1 приведены гистограмма оценки результатов тестирования группы из десяти фигурантов, проходивших тестирование по материалу из таблиц 1, 2, ответы которых приведены в таблице 3. Там же приведены результаты обработки полученных оценок по формулам (6)-(9).
Столбчатые гистограммы построены по полученным усредненным оценкам тестируемых по всему тесту от наилучших результатов к наихудшему.
Столбцы гистограммы № 8, № 9, № 3, № 10, № 2, № 6 построены по оценкам испытуемых, выбравших в качестве ответов по одной строке в каждом тестовом задании. Столбцы гистограммы № 4, № 5, № 1, № 7 характеризуют испытуемых, проявивших неуверенность своих знаний при ответе на определенные тестовые задания и указавших две строки ответов. У этих испытуемых верхушку столбца средней оценки, полученной за тест, «размывает» значение СКО, указывающее на неуверенность знаний тестируемых студентов. Это уменьшает фактическую оценку.
л I
5
я о к
и Л О
Тестируемые
Рис. 1. Гистограмма оценки результатов тестирования
и К X <и
4 м ей Л
С
^
<й И
к
X X <и н
5
X Л
ч и
Ё
4 о
к
X
3 и
<Й и к
Й Л
о X
5
61
Выводы. Рассмотренные примеры тестовых вопросов демонстрируют хороший уровень формализации и удобство составления тестов на основе методики многофакторного планирования двухуровневых экспериментов. Кроме того, хорошо формализуется оценка результатов теста, что повышает его объективность. Важным нововведением является допущение своеобразной «нечеткости» ответа на вопрос теста, и порождаемая этим двухпараметрическая оценка результата теста: оценка неполного знания и степени уверенности этого знания. Результаты тестирований с использованием двухфакторных и трехфакторных тестовых заданий установили роль «факторности» теста, влияющую на ранжирование испытуемых с неуверенными знаниями. Таким образом, предложенная модель оценки результатов факторного тестирования вполне логична, проста и достаточно адекватно отражает состояние знания тестируемого. Она дает дополнительные возможности, как преподавателю для оценки не только среднего знания, но и степени уверенности испытуемого, так и самому тестируемому, давая ему шанс в виде ответов с частичными знаниями. Эти свойства факторного подхода к тестированию подтверждены многократным тестированием студентов кафедры «Автоматизация производственных процессов», изучающих дисциплину «Теория автоматического управления».
Библиографический список
1. Ефремова, Н. Ф. Проблемы формирования фондов оценочных средств ВУЗов / Н. Ф. Ефремова // Высшее образование сегодня. — 2011. — № 3. — С. 17-21.
2. Ефремова, Н. Ф. Системность и преемственность в формировании фонда оценочных средств технического ВУЗа / Н. Ф. Ефремова, Б. Ч. Месхи // Совет ректоров. — 2011. — № 5. — С. 33-40.
3. Вешнева И. В. Разработка базы моделей интеллектуальной системы мониторинга процесса формирования профессиональных и общекультурных компетенций студентов вузов. Вестник Саратовского гос. техн. ун-та. — 2012. — Т.1, № 2(64). — С. 348-355.
4. Васин, А. Н. Информационная образовательная среда — путь к повышению эффективности образовательного процесса / А. Н. Васин // Вестник Саратовского гос. техн. ун-та. — 2010. — № 1(44). — С. 121-126.
5. Ефремова, Н. Ф. Подходы к оцениванию компетенций студентов первого курса, приступающих к освоению основных образовательных программ / Н. Ф. Ефремова // Вестник Дон. гос. техн. ун-та. — 2010. — № 5. — С. 774782.
6. Ефремова, Н. Ф. Особенности построения региональной системы оценки качества образования / Н. Ф. Ефремова // Вестник Донского гос. техн. ун-та. — 2009. — № 1. — С. 762-772.
7. Большаков, А. А. Контроль знаний в интеллектуальной обучающей системе по курсу «Надежность систем автоматизации» / А. А. Большаков, А. Ю. Маркелов // Вестник Саратовского гос. техн. ун-та. — 2010. — № 4(50). — С. 153-156.
8. Большаков, А. А. Оценка результативности функционирования автоматизированной обучающей экспертной системы / А. А. Большаков, В. В. Шатохин // Вестник Саратовского гос. техн. ун-та. — 2010. — № 4(50). — С. 149-153.
9. Большакова, М. А. Создание автоматизированной обучающей системы для изучения иностранного языка в неязыковых вузах / М. А. Большакова // Вестник Саратовского гос. техн. ун-та. — 2010. — № 4(50). — С. 161-164.
10. Большаков, А. А. Управление образовательным процессом на основе автоматизированных комбинированных обучающих систем / А. А. Большаков, О. Н. Долинина, В. В. Шатохин // Вестник Саратовского гос. техн. ун-та. — 2008. — № 3(35). — С. 54-62.
11. Черткова, Е. А. Автоматизация анализа и проектирования компьютерных обучающих систем / Е. А. Черткова // Вестник Саратовского гос. техн. ун-та. — 2006. — № 1(11). — С. 97-103.
2 12. Кузнецов, А. В. Оценивание параметров тестов / А. В. Кузнецов // Вестник Саратовского гос. техн. ун-та.
3 — 2006. — № 2(13). — С. 9-13.
й 13. Нейдорф, Р. А. Методология организации тестирования на основе алгоритмов планирования и обработки
"О двухуровневых многофакторных экспериментов / Р. А. Нейдорф, Е. Н. Обухова // Вестник Дон. гос. техн. ун-та. — ^ 2014. — Т. 14, № 2 (77). — С. 110-120.
и 14. Нейдорф, Р. А. Методология построения тестов на основе алгоритма планирования двухуровневых
многофакторных экспериментов / Р. А. Нейдорф, Е. Н. Обухова // Информационные технологии в управлении (ИТУ-а 2012) : материалы 5-й Рос. мультиконф. по проблемам управления. — Санкт-Петербург, 2012. — С. 861-870. -й 15. Нейдорф, Р. А. Алгоритм расчета и оценки результатов факторно-тестовой оценки / Р. А. Нейдорф,
Е. Н. Обухова // Научное обозрение. — 2015. — № 2. — С. 41-56.
16. Нейдорф, Р. А. Методика составления тестовых заданий на основе алгоритма планирования 62 двухуровневых многофакторных экспериментов и анализ их использования в образовательном процессе /
Р. А. Нейдорф, Е. Н. Обухова // Методики и технологии обеспечения и оценки качества образования сб. материалов междунар. науч. конф. — Киев, 2013. — С. 23-28.
17. Обухова, Е. Н. Особенности формирования оценок в строках ответов в двухфакторном тестовом задании / Е. Н. Обухова // Аспирант. — 2014. — № 4. — С. 65-67.
18. Нейдорф, Р. А. Анализ применения трехфакторных дробных тестов в учебном процессе / Р. А. Нейдорф,
Е. Н. Обухова // Математические методы в технике и технологиях : сб. тр. XXVI междунар. науч. конф. — Н. Новгород, 2013. — С. 320-323.
19. Обухова, Е. Н. Построение и исследование тестовых заданий при разбиении их на дробные реплики // Инновация, экология и ресурсосберегающие технологии : тр. X междунар. науч.-техн. форума. — Ростов-на-Дону, 2012. — С. 363-367.
20. Афанасьев, В. В. Теория вероятностей в вопросах и задачах / В. В. Афанасьев. — Ярославль : изд-во Яросл. гос. пед. ун-т им. К. Д. Ушинского, 2004. — 249 с.
References
1. Yefremova, N.F. Problemy formirovaniya fondov otsenochnykh sredstv VUZov. [Generation problems of university assessment resources funds.] Higher Education Today, 2011, no. 3, pp. 17-21 (in Russian).
2. Yefremova, N.F., Meskhi, B.C. Sistemnost' i preemstvennost' v formirovanii fonda otsenochnykh sredstv tekhnicheskogo VUZa. [Systemacity and consistency in the assessment tools fund formation at the technical university.] Sovet rektorov, 2011, no. 5, pp. 33-40 (in Russian).
3. Veshneva, I.V. Razrabotka bazy modeley intellektual'noy sistemy monitoringa protsessa formirovaniya professional'nykh i obshchekul'turnykh kompetentsiy studentov vuzov. [The development of the model of intellectual system of the formation of professional and transcultural competences of universities students monitoring process.] Vestnik Saratov State Technical University, 2012, vol.1, no. 2(64), pp. 348-355(in Russian).
4. Vasin, A.N. Informatsionnaya obrazovatel'naya sreda — put' k povysheniyu effektivnosti obrazovatel'nogo protsessa. [Information educational environment - the way to educational process efficiency increase.] Vestnik Saratov State Technical University, 2010, no. 1(44), pp. 121-126 (in Russian).
5. Yefremova, N.F. Podkhody k otsenivaniyu kompetentsiy studentov pervogo kursa, pristupayushchikh k osvoeniyu osnovnykh obrazovatel'nykh program. [Approaches to the competencies assessment of the first-year students starting main educational programs.] Vestnik of DSTU, 2010, no. 5, pp. 774-782 (in Russian).
6. Yefremova, N.F. Osobennosti postroeniya regional'noy sistemy otsenki kachestva obrazovaniya. [Peculiarities of formation of a regional system of educational quality control.] Vestnik of DSTU, 2009, no. 1, pp. 762-772 (in Russian). &
7. Bolshakov, A.A., Markelov, A.Yu. Kontrol' znaniy v intellektual'noy obuchayushchey sisteme po kursu e
«Nadezhnost' sistem avtomatizatsii». [Control of knowledge in intellectual training system at the rate "reliability of systems of g
automation".] Vestnik Saratov State Technical University, 2010, no. 4(50), pp. 153-156 (in Russian). ^
E
Bolshakov, А.А., Shatohin, V.V Otsenka rezul'tativnosti funktsionirovaniya avtomatizirovannoy obuchayushchey
ekspertnoy sistemy. [Estimation of productivity of functioning of the automated training expert system.] Vestnik Saratov State s
Technical University, 2010 no. 4(50), pp. 149-153 (in Russian). f
s
9. Bolshakova, M.A. Sozdanie avtomatizirovannoy obuchayushchey sistemy dlya izucheniya inostrannogo yazyka v £ neyazykovykh vuzakh. [Creation of the automated learning system for learning of foreign language in not language high schools.] Vestnik Saratov State Technical University, 2010, no. 4(50), pp. 161-164 (in Russian). jj§
10. Bolshakov, А.А., Dolinina, O.N., Shatokhin, V.V. Upravlenie obrazovatel'nym protsessom na osnove д avtomatizirovannykh kombinirovannykh obuchayushchikh sistem. [Computerized teaching systems in management of education.] Vestnik Saratov State Technical University, 2008, no. 3(35), pp. 54-62 (in Russian). ¡5
11. Chertkova, Е.А. Avtomatizatsiya analiza i proektirovaniya komp'yuternykh obuchayushchikh system. [Analysis § automation and computer teaching systems design.] Vestnik Saratov State Technical University, 2006 no. 1(11), pp. 97-103 (in ^ Russian).
12. Kuznetsov, A.V. Оценивание параметров тестов [Test parameters estimation.] Vestnik Saratov State Technical g University, 2006, no. 2(13), pp. 9-13 (in Russian). jg
13. Neydorf, R.A., Obukhova, E.N. Metodologiya organizatsii testirovaniya na osnove algoritmov planirovaniya i ¡^ obrabotki dvukhurovnevykh mnogofaktornykh eksperimentov. [Testing design methodology based on two-level multifactor ^ experiment planning and data processing.] Vestnik of DSTU, 2014, vol. 14, no. 2 (77), pp. 110-120 (in Russian). ^
14. Neydorf, R.A., Obukhova, E.N. Metodologiya postroeniya testov na osnove algoritma planirovaniya dvukhurovnevykh mnogofaktornykh eksperimentov. [Methodology of tests construction based on scheduling algorithm for two-level multifactorial experiments.] Informatsionnye tekhnologii v upravlenii (ITU-2012): materialy 5-y Ros. mul'tikonf. po 63
problemam upravleniya. [Information technologies in management (ITU-2012): Proc. 5th RF Multi-conf. on management problems.] St. Petersburg, 2012, pp. 861-870 (in Russian).
15. Neydorf, R.A., Obukhova, E.N. Algoritm rascheta i otsenki rezul'tatov faktorno-testovoy otsenki. [Algorithm for calculating and evaluating the factor-test assessment.] Nauchnoe obozrenie, 2015, no. 2, pp. 41-56 (in Russian).
16. Neydorf, R.A., Obukhova, E.N. Metodika sostavleniya testovykh zadaniy na osnove algoritma planirovaniya dvukhurovnevykh mnogofaktornykh eksperimentov i analiz ikh ispol'zovaniya v obrazovatel'nom protsesse. [Test task design methodology based on two-level multifactor experiment planning algorithm and analysis of its application in the educational process.] Metodiki i tekhnologii obespecheniya i otsenki kachestva obrazovaniya sb. materialov mezhdunar. nauch. konf. [Techniques and technologies to ensure and assess the quality of education: Proc. Int. Sci. Conf.] Kiev, 2013, pp. 23-28 (in Russian).
17. Obukhova, E.N. Osobennosti formirovaniya otsenok v strokakh otvetov v dvukhfaktornom testovom zadanii. [Specific features of assessment generation in the response lines in two-factor test task.] Aspirant, 2014, no. 4, pp. 65-67 (in Russian).
18. Neydorf, R.A., Obukhova, E.N. Analiz primeneniya trekhfaktornykh drobnykh testov v uchebnom protsesse. [Analysis of the application of fractional three-factor test in the educational process.] Matematicheskie metody v tekhnike i tekhnologiyakh: sb. tr. XXVI mezhdunar. nauch. konf. [Mathematical methods in engineering and technologies: Proc. XXVI Int. Sci. Conf.] N. Novgorod, 2013, pp. 320-323 (in Russian).
19. Obukhova, E.N. Postroenie i issledovanie testovykh zadaniy pri razbienii ikh na drobnye repliki. [Construction and investigation of test tasks when partitioning them into fractional replicates.] Innovatsiya, ekologiya i resursosberegayushchie tekhnologii : tr. X mezhdunar. nauch.-tekhn. foruma. [Innovation, ecology and resource-saving technologies: Proc. X Int. Sci.-Eng. Forum.] Rostov-on-Don, 2012, pp. 363-367 (in Russian).
20. Afanasyev, V.V. Teoriya veroyatnostey v voprosakh i zadachakh. [Probability theory in questions and problems.] Yaroslavl' : izd-vo Yarosl. gos. ped. un-ta im. K. D. Ushinskogo, 2004, 249 p. (in Russian).
Поступила в редакцию 19.05.2015 Сдана в редакцию 19.05.2015 Запланирована в номер 30.06.2015
й о тз
'й
и
(U >
Л £ -Й
