CC BY
7УДК 5]
Rudolf A. Neydorf, Elena N. Obukhova
TECHNOLOGY OF TEST FORMING FOR KNOWLEDGE MONITORING ON THE BASIS OF FACTOR TESTING PARADIGM
Don State Technical University, 1 Gagarin Sq., Rostov-on-Don, 344010, Russia e-mail: ran_pro@mail.ru
A new technology for making tests based on the use of a special algorithm of a factor system of knowledge estimation is suggested. Constructed bifactor questions on the basis of evolved microknowledge which reflect the foundation of understanding and elementary knowledge of one of the topics of automatic management are presented. They are appropriate for intermediate knowledge control. The new technology for making tests is supported by the new technology of their processing. Their advantages are illustrated by the example of statistical processing. Column diagrams of averaged answer estimation and also confidential deviations are formed. They show the level of knowledge throughout the test and the degree of confidence in this knowledge.
Key words: testing, microknowledge, knowledge factors, subject factors, test factors, test question, test answer, variation, statistics of knowledge level, statistics of knowledge irregularity.
.977:62
Р.А. Нейдорф1, Е.Н. Обухова2
ТЕХНОЛОГИЯ ФОРМИРОВАНИЯ ТЕСТОВ ТЕКУЩЕГО КОНТРОЛЯ ЗНАНИЙ НА ОСНОВЕ ПАРАДИГМЫ ФАКТОРНОГО ТЕСТИРОВАНИЯ
Донской государственный технический университет, пл. Гагарина 1, Ростов-на-Дону, 344010, Россия e-mail: ran_pro@mail.ru
Предлагается новая технология составления тестов с применением специального алгоритма факторной системы оценки знаний. Приводятся сконструированные двухфак-торные тестовые вопросы на основе выделенных микрознаний, отражающие основы понимания и элементарные знания по одной из тем теории автоматического управления. Они предназначены для промежуточной проверки знаний. Новая технология составления тестов поддерживается новой технологией их обработки. Их преимущества иллюстрируются примером статистической обработки. Построены столбчатые гистограммы, как усредненных оценок ответов, так и их доверительных отклонений. Они показывают, как уровень знаний по всему тесту, так и степень уверенности этих знаний.
Ключевые слова: тестирование, микрознания, факторы знаний, предметные факторы, тестовые факторы, тестовый вопрос, тестовый ответ, вариативность, статистики уровня знаний, статистики неравномерности знаний.
Введение
Утверждение новых образовательных программ по ФГОС в высших учебных заведениях, требует создания оценочных средств как для проведения входного и текущего оценивания, так и для итоговой аттестации по результатам освоения дисциплин на всех ступенях высшего образования, в т.ч. в аспирантуре. Например, в Донском государственном техническом университете (ДГТУ) разработаны программы подготовки научно-педагогических кадров в аспирантуре, одним из компонентов которых являются учебно-методический комплекс дисциплин, включающий оценочные средства контроля успеваемости [1].
Эффективным инструментом оценки освоения промежуточных тем дисциплины является проведение текущего контроля. Причем наиболее информативной и не требующей относительно больших временных затрат формой контроля является тестирование. Однако, несмотря на определенные достижения в развитии методов и форм тестирования, существует ряд широко обсуждаемых в научно-педагогических кругах проблем, связанных как с технологией их разработки, так и с формированием оценочных средств в ВУЗах [2-9]. Одной из таких проблем является создание достаточно развитых баз тестовых заданий по учебным дисциплинам. Также немаловажно обеспечение тестовой базы необходимым алгоритмиче-
ским и программным обеспечением с развитым, удобным и легко расширяемым интерфейсом [10-14].
Это требует больших трудозатрат преподавателей, а также, в первую очередь, конкретной, доступной, и, желательно, универсальной методики построения тестов. При этом весьма актуальной является задача формализации построения тестовых заданий по промежуточным темам дисциплины (текущий контроль), позволяющих оценить степень освоения пройденного обучающимися учебного материала. По мнению авторов, именно, текущий контроль является лучшей средой для внедрения тестовой формы оценки знаний, т.к. итоговый затрагивает слишком обширный материал для лаконичной оценки знаний.
Постановка задачи
Необходимо сформулировать и проиллюстрировать эффективную технологию формирования тестовых заданий по выбранной тематике дисциплины. Для этого необходимо определить некоторое множество микрознаний [15-18], составляющих основу понимания изучаемого материала. Предполагается использовать для этого предложенный авторами алгоритм конструирования факторно-структурированных тестов (ФСТ) на основе факторной системы оценки знаний, подробно рассмотренный в работах [15-17].
1 Нейдорф Рудольф Анатолььевич, д-р техн.наук, профессор, каф. программное обеспечение вычислительной техники и автоматизированных систем, e-mail: ran_pro@mail.ru
Rudolf A. Neydorf, Dr Sci. (Eng.), Professor, Department of Computer Software and Automated Systems
1 Обухова Елена Николаевна, аспирант, каф. программное обеспечение вычислительной техники и автоматизированных систем, e-mail: elena21@ spark-mail.ru
Elena N. Obukhova, Postgraduate Student Department of Computer Software and Automated Systems Дата поступления - 20 февраля 2016 года
В настоящеой статье предполагается ограничиться формированием двухфакторных тестовых вопросов, состоящих из двух микрознаний, отражающих базовые знания по теме дисциплины «Теория автоматического управления». Двухфакторная структура, по опыту авторов, вполне достаточна для промежуточной оценки знаний небольших разделов дисциплин. При этом разработанная и освоенная методика относительно просто обобщается на более многофакторные варианты тестов.
Технология построения факторных тестовых вопросов
Понятие факторов знания и их выбор. Согласно указанному в постановке задачи алгоритму каждому микрознанию сопоставляется правильный и неправильный ответы. Варьирование комбинаций ответов на микрознания позволяет получить совокупность комбинированных ответов на вопрос теста, содержащую все их возможные сочетания. В этом свойстве просматривается аналогия со структурой полного факторного эксперимента. Тогда формирование набора вариантов ответов на тестовый вопрос становится аналогичным построению матрицы планирования многофакторного двухуровневого эксперимента. Таким образом, от числа выбранных микрознаний зависит общее количество строк-ответов в тестовом вопросе.
Для наглядного пояснения сущности факторного подхода к формированию тестовых вопросов рассматривается решение задачи их составления для промежуточной проверки усвоения студентами темы «Математическое описание элементов и схем электро-автоматики». Полное усвоение материала этой темы предполагает следующие знания:
• общие виды математических моделей (ММ) элементов электро-автоматики рассмотренных в лекциях и на практических занятиях;
• конкретные входные и выходные переменные этих элементов по сути их функционирования в схеме;
• физическая сущность взаимодействия переменных или элементов в элементарных схемах;
• виды, структуры и функции пассивных электрических цепей, рассмотренных в лекциях и на практических занятиях;
Перечисленные факторы знания выбранной темы в применяемом здесь факторном подходе к тестированию названы авторами предметными факторами знания (ПФЗ).
Формирование простейших тестовых факторов знания из ПФЗ. В качестве простейших предметных знаний в первом стартовом тесте, который должен подготовить студента к решению более сложных задач по математическому описанию элементов и схем автоматики, целесообразно выбрать наименее сложные факторы описания элементов:
• знание общего вида ММ линейных элементов электрических цепей (обозначим его /1);
• знание их входных и выходных переменных в привязке к схеме (обозначим его /2).
При построении теста они будут выступать в роли тестовых факторов знания (ТФЗ).
Тестовый фактор знания /1 подразумевает знание общего вида ММ электрического сопротивления, индуктивности и электрической ёмкости. Они имеют достаточно простую запись уравнений, связывающих токи и напряжения в различных узлах и участках электрических цепей.
Тестовый фактор знания /2 подразумевает знание взаимовлияния тока /(Г) и напряжения (разности потенциалов Ди(Г) в узлах схемы) в описываемом элементе схемы, предложенной в качестве тестового вопроса. Для этого нужно понимать причинно-следственную связь электрических переменных (вход, выход), а также учитывать положение элемента в схеме.
Факторы знания ММ элементов электрических схем. Общая схема включения элемента N между условными клеммами с потенциалами Unp(t) и Uout(t) в цепи приведена на рисунке 1. Индексы "inp" и "out" определяются по условно выбранному при построении ММ направлению тока.
Рисунок 1. Общая схема включения элемента в электрической цепи
В таблице 1 приведены математические модели электрических элементов в виде уравнений, составленных на основе закона Ома для электрических элементов.
Таблица1. Математические модели простейших электрических элементов
Тип элемента Математическая модель элемента
Сопротивление m=AU(tVR
Индуктивность
Емкость т-с^Ш
Построение двухфакторных тестовых вопросов для оценки знания Г-образных фильтров. Чтобы сформировать факторные вопросы на основе выявленных выше ТФЗ можно взять за основу, изображенную на рисунке 2 схему Г-образного фильтра, состоящую из двух условных элементов N1 и N2, которые могут варьироваться и быть представленными различными элементами электрических цепей.
Рисунок 2. Обобщенная схема Г-образного фильтра
При этом делается допущение, что источник "Source" входного напряжения U1(t) имеет бесконечно малое сопротивление выхода, поэтому ток I(t), отбираемый схемой, не влияет на U1(t). Измеритель же "Meter" выходного напряжения U2(t) имеет, по предположению, бесконечное входное сопротивление, а это значит, что при измерении напряжения на элементе N2 через элемент N1 не протекает дополнительный ток, искажающий работу цепи. В зависимости от расположения в цепи элемента, обобщенная схема которого представлена на рисунке 1, напряжение на нем будет равно Ui(t) - U2(t). либо U2(t).
Чтобы получить различные сочетания ТФЗ о построении ММ вариантов выбранного простейшего типа фильтра, условные элементы в схеме на рисунке 2 необходимо варьировать. При этом можно получить шесть различных схем Г-образного фильтра, с различным включением элементов в схему. Ниже в таблице 2 приводятся схемы этих комбинаций, которые и позволяют составить различные тестовые вопросы.
Таблица 2. Условные' комбинации элементов электрических цепей в Г-образном фильтре
И л I,
и, и, -рС и2 и, ^С и,
RL- цепь. RС- цепь. LС- цепь.
I, С С
^ и. и, рй и2 1 ц Еь и.
LR- цепь. СR- цепь. цепь.
' Имеется ввиду, что фильтр не обязательно может иметь практическое применение, но его ММ все равно может быть получена.
Для электрических схем Г-образного фильтра, представленных в таблице 1, сформулированные выше ТФЗ Ь. и f2, позволяют при их конкретизации сформировать двухфакторные тестовые вопросы на уровне каждого из трех используемых элементов, и каждой переменной в качестве входа или выхода в зависимости от положения в схеме. Назовем их микрофакторами знаний (МФЗ). В рассматриваемом случае это будут следующие МФЗ:
- знание математической модели элемента схемы N1;
- знание математической модели элемента схемы N2
- умение определить входное воздействие на элемент N1, для его расположения в схеме;
- умение определить выходную величину элемента N1, для его расположения в схеме;
- умение определить входное воздействие на элемент N2, для его расположения в схеме;
- умение определить выходную величину элемента N2, для его расположения в схеме.
Часть вариантов вопросов, построенных на знании ММ как ФЗ с правильными и неправильными ответами по каждому МФЗ приведены в таблице 3. Из комбинаций шести МФЗ составлено 30 двухфакторных ТВ. Один из примеров получаемого из таблицы 3 двухфакторного тестового вопроса, и обоснованного выбора вариантов ответов на него представлен ниже.
Таблица 3. Примеры двухфакторных тестовых вопросов по теме «Знание математического описания элементов автоматики»
Элементы - носители факторов знания на рисунке 1 - N1, N2, Тестовый вопрос Варианты ответов на ТВ
Правильные Неправильные
По заданной схеме электрической цепи Г-образного фильтра выбрать правильные ответы на тестовые вопросы, как характеристику фактора знания ее элемента:
Варианты комбинаций ТВ как факторов знаний ТВ1 - математическая модель N1; ТВ2 - математическая модель N2.
R, L ТВ1 II
ТВ2
Элементы - носители факторов знания на рисунке 1 - N1, N2, Тестовый вопрос Варианты ответов на ТВ
Правильные Неправильные
По заданной схеме электрической цепи Г-образного фильтра выбрать правильные ответы на тестовые вопросы, как характеристику фактора знания ее элемента:
С, L ТВ1 т.с«штЧ
ТВ2 Ш.ЧЛ^М
Варианты комбинаций ТВ как факторов знаний ТВ1 - математическая модель N1; ТВ2 - входная переменная N2.
R, L ТВ1
ТВ2 и2{1) Щ
С, L ТВ1
ТВ2 и-М) ЩО-им
Варианты комбинаций ТВ как факторов знаний ТВ1 - математическая модель N1; ТВ2 - выходная переменная N2.
R, L ТВ1
ТВ2 и-М) иЛО-и2(0
С, L ТВ1
ТВ2 т
Варианты комбинаций ТВ как факторов знаний ТВ1 - математическая модель N1. ТВ2 - входная переменная N2;
R, L ТВ1 иЛо-и2и)
ТВ2 г-г
С, L ТВ1 и, (О
ТВ2
Элементы - носители факторов знания на рисунке 1 - N1, N2, Тестовый вопрос Варианты ответов на ТВ
Правильные Неправильные
По заданной схеме электрической цепи Г-образного фильтра выбрать правильные ответы на тестовые вопросы, как характеристику фактора знания ее элемента:
Варианты комбинаций ТВ как факторов знаний ТВ1 - математическая модель . ТВ2 - выходная переменная;
R, L ТВ1 /0)
ТВ2 Й2 __им
С^ ТВ1 Щ) и,(0-ил»
ТВ2
Пример рассмотрения двухфакторного тестового вопроса по таблице 3
Рассмотрим в качестве примера составления тестового вопроса первую схему RL электрической цепи Г-образного фильтра. Согласно таблице 3 формулировка вопроса будет следующая: «По заданной схеме электрической цепи (рисунок 3), записать математические модели (ММ) элементов R и Ь>.
Рисунок 3. RL цепь Г-образного фильтра Для правильного определения первого МФЗ -ММ сопротивления R необходимо правильно определить входное воздействие - разность потенциалов Ul(t) - ЩО и выходную величину - ток, протекающий в цепи /(О, а затем представить во вход-выходной форме уравнение, связывающее на основе закона Ома выходную величину с входным воздействием:
Аналогично для определения второго МФЗ - ММ индуктивности L: определяются ее входное воздействие - и2(0 и выходная величина /(0. Тогда ММ элемента примет вид:
(2)
Это и будут правильные ответы, помещенные в третьей колонке первого блока таблицы 3
Неправильные ответы формируются с учетом характерных ошибок, допускаемых студентами по заданному материалу, чаще ошибающиеся не в структуре ММ, а в физической сути входов и выходов. Комбинируя факторы знания - правильные и неправильные ответы, можно составить все возможные строки ответов тестового задания.
Пример двухфакторного тестирования студентов на знание Г-образных фильтров. Для упрощения процедуры составления тестовых вопросов и исключения ошибок при комбинации факторов знаний в тестовых вопросах разработано программное средство «testConstruct» [18]. Целью его создания является составление многофакторных тестов, а функционал их построения основывается на технологии планирования факторных экспериментов. Для проведения текущего контроля по теме «Математическое описание элементов и схем автоматики» преподавателем в диалоговом режиме составлено 30 тестовых вопросов. На рисунке 4 представлен рассмотренный выше подробно тестовый вопрос, составленный с использованием программного средства «testConstшct».
В третьей строке содержится абсолютно правильный ответ на вопрос, содержащий два верных ответа по факторам знаний. Первая строка является абсолютно неправильным ответом и содержит два неверных ответа по факторам знаний. Вторая и четвертая строки относятся к полуправильным ответам и содержат один верный и один неверный ответы по факторам знаний.
Рисунок 4. Интерфейсное окно построения тестовых вопросов по теме «Математическое описание элементов и схем автоматики»
По сформированным двухфакторным тестовым вопросам проведено тестирование группы численностью 14 студентов. В тестировании использовалось тридцать двухфакторных тестовых вопросов, каждому испытуемому предлагалось выбрать правильную на его вгляд строку ответов. Кроме того, разрешалось выбрать вторую кажущуюся ему близкой к правильной строку ответа в шести тестовых вопросах, сформированных на основе таблицы 3 в программном средстве «testConstruct». В таблице 4 представлены результаты проведенного тестирования, где у - обозначены оценки выбранных тестируемым строк тестовых вопросов; z¡¡ - средняя оценка выбранных срок ответов в каждом тестовом вопросе /-ым тестируемым; а/ - среднеквадратическое отклонение от средней оценки, характеризующее неуверенность знаний /-ого испытуемого; Z¡ - средняя оценка по пройдённому тесту; а; - сред-неквадратическое отклонение от средней оценки по тесту.
Статистическая обработка тестовой выборки производилась в соответствии с известным, математическим аппаратом, используемом для обработки результатов экспериментов, подробно рассмотренном в ранее публиковавшихся работах авторов [19, 20].
Расчет тестовых оценок начинается с получения оценки ответа ] -го тестируемого на I -й тестовый вопрос z¡¡. Это оценка рассчитывается, как среднее значение оценок строк тестового вопроса, которых выбрал тестируемый:
1 ^
к- /=I
(3)
где к - количество выбранных строк ответов в ]-м
тестовом задании (к < 2).
Допущенная вариативность ответа позволяет ввести меру неравномерности знаний испытуемым всех ФЗ I -го ТВ ст,у. Она рассчитывается по формуле:
Тогда неравномерности знания испытуемым всего материала, охватываемого тестом, оценивается усредненным значением ст, всех СКО/-го тестируемого, рассчитанных для него по всему тесту (всем ТВ)
(4)
Усредненное знание j -м испытуемым всех Ф3^[з п вопросов теста естественно оценить показателем <?,, рассчитываемым по формуле:
а,=
1
п ~
(6)
'О"
(5)
На рисунке 5 приведена гистограмма оценки результатов тестирования группы из 14 студентов, ответы которых приведены в таблице 4.
Столбчатые гистограммы построены по полученным усредненным оценкам тестируемых по пройденному тесту.
Рисунок 5. Гистограмма результатов тестирования по двухфакторному тестированию
Столбцы гистограммы № 1, № 3, № 14, № 4, № 11, № 12, № 6, № 9 построены по оценкам испытуемых, выбравших в качестве ответов по одной строке в каждом тестовом задании, так что в степени уверенности их знания или незнания нет оснований сомневаться. Столбцы гистограммы № 13, № 7, № 10, № 5, № 8, № 2 характери-
зуют испытуемых, проявивших неуверенность знаний при ответе на определенные тестовые задания и указавших две строки ответов. У этих испытуемых верхушку столбца средней оценки, полученной за тест, «размывает» значение СКО, указывающее на неуверенность знаний тестируемых студентов. Это уменьшает фактическую оценку.
Таблица 4. Результаты тестирования по двухфакторному тесту
№ТВ0) Номер Тестируемого У)
1 2 3 4 5 6 7 8 9 10 11 12 13 14
1 У11 1 0 1 1 0,5 1 1 0 0,5 0,5 0,5 0,5 0 1
У12 1 0 1 1 0,5 1 0,5 0,5 0,5 0,5 0,5 0,5 0 1
гц 1 0 1 1 0,5 1 0,75 0,25 0,5 0,5 0,5 0,5 0 1
Сц 0 0 0 0 0 0 0,35 0,35 0 0 0 0 0 0
2 У 21 1 0,5 1 0,5 0 1 0,5 0 0,5 0,5 1 0,5 0,5 1
У 22 1 0,5 1 0,5 1 1 0,5 0 0,5 0,5 1 0,5 0,5 1
1 0,5 1 0,5 0,5 1 0,5 0 0,5 0,5 1 0,5 0,5 1
0 0 0 0 0,7 0 0 0 0 0 0 0 0 0
3 У31 1 0,5 1 1 0,5 0,5 0,5 0,5 0,5 1 0,5 1 1 1
У32 1 0,5 1 1 0,5 0,5 0,5 0,5 0,5 0,5 0,5 1 1 1
^31 1 0,5 1 1 0,5 0,5 0,5 0,5 0,5 0,75 0,5 1 1 1
0 0 0 0 0 0 0 0 0 0,35 0 0 0 0
4 У41 1 0 1 0,5 0,5 0,5 1 1 0,5 0,5 1 1 1 0,5
У42 1 0,5 1 0,5 0,5 0,5 0,5 1 0,5 0,5 1 1 1 0,5
04, 1 0,25 1 0,5 0,5 0,5 0,75 1 0,5 0,5 1 1 1 0,5
С4/ 0 0,35 0 0 0 0 0,35 0 0 0 0 0 0 0
5 У51 1 1 1 1 0 0,5 0,5 0,5 0,5 0 0,5 0,5 0,5 1
У52 1 0,5 1 1 0 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5 1
05, 1 0,75 1 1 0 0,5 0,5 0,5 0,5 0,25 0,5 0,5 0,5 1
0 0,35 0 0 0 0 0 0 0 0,35 0 0 0 0
6 У61 1 0,5 1 1 1 0,5 0,5 0,5 0,5 0,5 1 1 1 1
У 62 1 0,5 1 1 1 0,5 0,5 0,5 0,5 0,5 1 1 0,5 1
06, 1 0,5 1 1 1 0,5 0,5 0,5 0,5 0,5 1 1 0,75 1
С61 0 0 0 0 0 0 0 0 0 0 0 0 0,35 0
2 1 0,41 1 0,83 0,5 0,66 0,58 0,458 0,5 0,5 0,75 0,75 0,625 0,91
0 0,2 0 0 0,28 0 0,2 0,142 0 0,2 0 0 0,14 0
Выводы
Предложенный алгоритм составления факторно-структурированных тестов на основе факторной системы оценки знаний вполне логичен, прост и достаточно адекватно отражает состояние знания тестируемого. Он обеспечивает дополнительные возможности, как преподавателю для оценки не только среднего знания, но и степени уверенности испытуемого, так и самому тестируемому, давая ему шанс в виде ответов с частичными знаниями. Эти свойства факторного подхода к тестированию подтверждены многократным тестированием студентов кафедры «Автоматизация производственных процессов», изучающих дисциплину «Теория автоматического управления».
Литература
1. Учебный процесс по ФГОС http://static.donstu. ru/uch_process_fgos.shtml (дата обращения 15.01.16).
2. Musaev A.A., Gazul S.M., Anantchenko I.V. The information infrastructure design of an educational organization using virtualization technologies // Известия СПбГТИ(ТУ). 2014. № 27(53). С. 71-76.
3. Ефремова Н.Ф. К вопросу о создании и функционировании фондов оценочных средств в ВУЗе // Высшее образование в России. 2015. № 7. С. 63-67.
4. Ефремова Н.Ф. Гарантия качества компетент-ностного обучения в надежности оценки достижений обучающихся // Фундаментальные исследования. 2014. № 11-5. С. 1161-1166.
5. ПероваЛ.Г. Разработка алгоритма решения задачи управления формированием компетенций студентов с применением продукционной модели представления знаний // Вестник СГТУ. 2012. № 2(64). С. 295-301.
6. Перова, Л.Г., Большаков А.А. Разработка алгоритма оценки результативности освоения основной образовательной программы студентами / // Математические методы в технике и технологиях - ММТТ-28: сб. тр. XXVIII междунар. науч. конф. СГТУ. Саратов, 2015. № 3(73). С. 61-64.
7. Вешнева И.В., Большаков А.А., МельниковЛ.А. Комплексные функции принадлежности для оценки предметных компетенций студентов ВУЗА // Вестник СГТУ. 2011. Т. 4. № 4(62). С. 200-207.
8. Кузнецов А.В. Оценивание параметров тестов / Вестник Саратовского гос. тех. ун-та. 2006. - No2(13). -С. 9-13.
9. Быданов В.Е., Чибиряк П.В. К вопросу создания фонда оценочных средств учебных достижений
студентов уровневой системы образования // Известия СПбГТИ(ТУ). 2012. № 16 (42). С. 57-64.
10. Большаков А.А. Маркелов А.Ю. Контроль знаний в интеллектуальной обучающей системе по курсу «Надежность систем автоматизации» // Вестник СГТУ. 2010. № 4(50). С. 153-156.
11. Большаков А.А., Шатохин В.В. Оценка результативности функционирования автоматизированной обучающей экспертной системы // Вестник СГТУ. 2010. № 4(50). С. 149-153.
12. Большакова М.А. Создание автоматизированной обучающей системы для изучения иностранного языка в неязыковых вузах // Вестник СГТУ. 2010. № 4(50). С. 161-164.
13. Большаков А.А., Долинина О.Н., Шатохин
B.В. Управление образовательным процессом на основе автоматизированных комбинированных обучающих систем // Вестник СГТУ. 2008. № 3(35). С. 54-62.
14. Черткова Е.А. Автоматизация анализа и проектирования компьютерных обучающих систем // Вестник СГТУ. 2006. № 1(11). С. 97-103.
15. Нейдорф Р.А., Обухова Е.Н. Методология организации тестирования на основе алгоритмов планирования и обработки двухуровневых многофакторных экспериментов // Вестник Донского гос. тех. ун-та. 2014. Т. 14. № 2 (77). С. 110-120.
16. Нейдорф Р.А., Обухова Е.Н. Алгоритм расчета и оценки результатов факторно-тестовой оценки // Научное обозрение. 2015. №2 С. 41-56.
17. Нейдорф Р.А., Обухова Е.Н. Исследование эффективности парадигмы факторной оценки знаний на примере тестирования студентов по теории автоматического управления // Вестник Донского гос. тех. ун-та. 2015. Т. 15. № 3 (82). С. 54-64.
18. Нейдорф Р.А., Обухова Е.Н., Федоров Н.М. Программное средство конструирования тестов с использованием технологии планирования факторных экспериментов: свидетельство Роспатента об офиц. регистр. программы для ЭВМ № 2014610878. 2014
19. Обухова Е.Н. Расчет оценок факторно-тестовой выборки знаний студентов // Математические методы в технике и технологиях - ММТТ-28: сб. тр. XXVIII междунар. науч. конф. СГТУ. Саратов, 2015. Т. 3.
C. 80-82.
20. Обухова Е.Н. Статистическая обработка двухфакторных тестовых заданий и анализ степени доверия знаний по результатам тестирования // Аспирант. 2015. № 1(6). С. 36-39.
