CC BY
45
УДК 007.681.136
КОНТРОЛЬ ЗНАНИЙ В АВТОМАТИЗИРОВАННОЙ ОБУЧАЮЩЕЙ СИСТЕМЕ
Н.А. Шустова, к.т.н., ст. научный сотрудник (Санкт-Петербургский филиал НИИ «Центрпрограммсистем», Октябрьская наб., 6б, г. Санкт-Петербург, 193091, Россия, komandor.99@mail.ru)
Для более удобной работы преподавателя при создании и отладке тестовых заданий в автоматизированной системе обучения (АСО) предлагается модернизировать интерфейс контролирующей части. Приведены алгоритм получения оценки для теста, содержащего однотипные вопросы, и унифицированная таблица для тестовых вопросов, которая может использоваться программистами и преподавателями при подготовке теста. Преподаватель может вводить данные в контролирующую часть АСО с помощью копирования своей заранее подготовленной таблицы в таблицу БД контролирующей части АСО.
Для корректировки тестового задания используются результаты уже собранных данных. Предлагается собирать эти данные в отдельную таблицу, в которой должны сохраняться ответы обучающихся, прошедших контроль.
Ключевые слова: автоматизированная обучающая система, контролирующая часть, тестовое задание, автоматизированный тест, БД, таблица.
ACADEMIC PERFORMANCE RATING IN THE AUTOMATIC TRAINING SYSTEM Shustova N.A., Ph.D., senior researcher (St. Petersburg Branch of the R&D Institute «Centrprogrammsystem», Quay Oktyabrskaya, 6b, St. Petersburg, 193091, Russia, komandor.99@mail.ru)
Abstract. The article suggests to upgrade the interface of controlling part for the comfort of the instructor when creating and debugging tests in an automatic training system (ATS). In order to justify this suggestion there is an algorithm of obtaining the estimates for the test containing similar questions. It allows offering a unified table for test questions which can be used by programmers and teachers while preparing tests. A teacher also can enter data into the controlling part of ATS by copying their prearranged table in the controlling ATS database table.
In order to correct the test it is proposed to use the results of the already collected data. This data are collected in a separate table which saves answers of the students who passed inspection.
Keywords: automatic training system (ATS), controlling part, automated test, database, table.
При разработке автоматизированных систем обучения (АСО) особое внимание уделяется системе контроля знаний. Это и неудивительно, поскольку данная система должна позволять, с одной стороны, обучающемуся определять уровень своих знаний и пробелы в них (если они есть) по конкретным темам, с другой - преподавателю определять уровень знаний обучающегося, пробелы в обучении, работоспособность (достоверность, ва-лидность, надежность) составленного теста.
С помощью системы управления БД тестирования, входящей в контролирующую часть АСО, преподаватель также может провести корректуру тестовых заданий.
Для выполнения этих функций контролирующая система должна обеспечивать
- возможность простого и понятного создания теста в компьютерном варианте, то есть автоматизированного по способу подачи информации и перехода с одного вопроса на другой;
- возможность оценивать работу обучаемого и в некоторых режимах комментировать и направлять ее;
- сбор и анализ данных;
- доступ к настройкам теста, в том числе и к его графическому представлению - кадру;
- возможность корректировать вопросы и ответы на них.
Создаваемый интерфейс, с которым работают преподаватель и обучающиеся, должен быть понятным и простым в использовании. Интерфейс, представленный в АСО, выпускаемых НИИ «Центрпрограммсистем» (г. Тверь) и другими фирмами, по мнению автора, для обучающегося сделан очень хорошо, а для преподавателя при создании автоматизированного тестового задания и его адаптации он не очень удобен, а потому хотелось бы внести некоторые предложения.
В АСО оценка знаний, как правило, осуществляется на основании отношения количества правильных ответов на вопросы к общему числу вопросов тестового задания. Правильность ответа определяется путем сравнения ответов обучающегося на задаваемые вопросы с эталонными ответами преподавателя.
Для контроля могут использоваться вопросы в форме, требующей от обучающегося
- утверждения или отрицания (типа «Да» или «Нет»);
- сложного высказывания;
- завершения высказывания (предложения);
- выбора полного и правильного ответа из серии предложенных;
- вычисления;
- задания расстановки указанных элементов в правильной последовательности.
Таблица 1
Вопрос Ответ
Текст, № Весовой коэффициент 1 2 n
Вариант Весовой коэффициент Выбор Вариант Весовой коэффициент Выбор Вариант Весовой коэффициент Выбор
Вопрос 1 ai Ответ11 bu Выб от11 Ответ12 b 12 Выб от12 Ответ1п b1n Выб от1п
Вопрос 2 a2 Ответ21 b21 Выб от21 Ответ22 b22 Выб от22 Ответ2п b2n Выб от2п
Вопрос m am Ответ,,,! bm1 Выб от,1 Ответ„,2 bm2 Вы6_от„2 Ответ™ bmn Выб от„п
Примечание: т - количество вопросов в тесте; Ответ« - вариант ответа _/ на г-й вопрос теста; Выб от« -
п - максимальное количество вариантов ответа на один вопрос теста; выбор _/-го ответа на г-й вопрос теста.
Создание обучающей и контролирующей частей АСО идет покадрово. Прежде всего преподаватель определяется с БД, где будет сохранен тест. В ней создается группа таблиц для обработки теста. Графическое представление таблицы, в которой находятся вопросы и ответы, весовые коэффициенты ответов и самого вопроса, выводится на экран в виде кадра вопроса. Чтобы внести данные в вопросную таблицу, преподаватель каждый вопрос и варианты ответов на него прописывает вручную в этом кадре, переходя от первого до последнего вопроса своего тестового задания. Как правило, при подготовке к созданию контрольного блока материал, отобранный преподавателем для теста, помещается в отдельной таблице. Но загрузить эти данные в тестовую таблицу АСО преподаватель не может, так как это не предусмотрено программой и, вероятно, вызвано тем, что в БД контролирующей части АСО таблица с вопросами имеет строго определенную структуру. Чтобы вносить данные в такую таблицу с помощью импортирования или копирования, необходимо знать ее структуру. Преподаватель, как правило, этого не знает и составляет свою таблицу так, как удобно ему. Неизвестно, предлагали ли разработчики преподавателям использовать для переброски данных таблицы с заданной структурой, но хотелось бы предложить вид этой таблицы и объяснить, почему именно такой. Хотя, несомненно, разработчики контролирующей части АСО пользуются таблицами с аналогичной структурой.
Рассмотрим решение этой проблемы на примере тестового задания, состоящего из однотипных вопросов.
Пусть тест будет содержать m вопросов, максимальное количество ответов на один вопрос - п. Каждый вопрос имеет свой весовой коэффициент ai, i=1, ..., m. В свою очередь каждый ответ имеет свой весовой коэффициент bij, j=1, ..., п, причем, если правильных ответов несколько, нужно указать все и определить их весовые коэффициенты при условии, что
n
X bij=1. (1)
j=i
Тогда, если правильный ответ один, то только один из bj равен 1, остальные равны 0. Обучающийся может выбрать любой из ответов и зафик-
сировать свой выбор нажатием кнопки, щелчком мыши или вводом данных с клавиатуры. При этом в таблице теста в ячейке Выб_от« будет произведена запись, что это выбор /-го ответа г-го вопроса теста, который может принимать значение 1. В ячейках выбора тех ответов, которые не были отмечены обучающимся, будут 0, так как по умолчанию в начале тестирования Выб_от« для всех значений г и / равен 0.
Все эти данные можно свести в таблицу тестовой методики с т вопросами и п ответами на каждый вопрос (см. табл. 1).
Таблицу с ответами на тест можно представить в виде матрицы т*п:
(
Съъ С 21
Ci,
\
(2)
V Сщ\ "' "' С п где Су = ь ц' Выб_от^. (3)
Тогда таблица из БД с баллами за каждый ответ на вопросы теста будет иметь вид, представленный в таблице 2.
Таблица 2
Вопрос Балл за ответ
№ Весовой коэффициент 1 2 n
1 a1 Сц С12 С\п
2 a2 С21 С22 С2п
m am cm1 cm2 cmn
Каждая из ее строк соответствует одному вопросу, следовательно, количество баллов, которое можно набрать за ответ на каждый вопрос, будет определяться следующим выражением:
( п \ С1 у
i =1 n
a 2 X c 2 j
i =1
itX, Cm i=1
и Л
(4)
Если какое-либо из й« будет равно 0, значит обучающийся не выбрал ни одного правильного ответа на этот вопрос, то есть он не набрал ни од-
ного балла, следовательно, дал неверный ответ; если diJ>0, ответ на вопрос был выбран правильно полностью или частично, то есть из предлагаемого перечня были выбраны не все правильные ответы, а только часть. Тогда таблица с подсчитанными баллами по вопросам теста будет иметь вид, представленный в таблице 3.
Таблица 3
№ вопроса Баллы, полученные за ответ на вопрос
1 d1
2 (2
т dm
Набранное количество баллов по данному тесту равно
т т п
X ^ =Х СЧ , (5)
1=1 1=1 у=1
а максимальное, или эталонное, количество баллов
т п п
равно XX а а, так как шах(^ Су) = 1.
,=1 у=1 у=1
В итоговую таблицу по тесту пойдет общий
т
полученный балл, равный X <Л!, а итоговое соот-
;=1
ношение выполненных заданий теста можно подсчитать по формуле
Т тест
(6)
XX а а
¡=1 у=1
Для определения зависимости оценки от соотношения правильно выполненных заданий теста воспользуемся таблицей 4.
Таблица 4
Отношение показанных знаний, % Оценка, выдаваемая на монитор обучающегося Оценка, идущая в БД
0,91-1 Отлично Отлично
0,9-0,84 Очень хорошо Хорошо
0,83-0,75 Хорошо
0,74-0,68 Удовлетворительно Удовлетворительно
0,67-0,63 Посредственно
<0,63 Неудовлетворительно Неудовлетворительно
Данный вид оценки хорошо использовать, если оценка ставится на основании тестового набора, задания которого имеют однотипную структуру.
В случае, если тестовое задание состоит из вопросов с различной формой представления, для подсчета оценки их можно сгруппировать в отдельные подтесты с однотипными вопросами и к каждому подтесту применить эти процедуры. Сначала подсчитать оценки по каждому подтесту, а потом вывести итоговую оценку за контроль.
Тогда общую оценку по всем подтестам можно подсчитать аналогично подсчету рейтинговой
оценки, которая сейчас широко используется в вузах РФ:
Т общ
X Т>Ь! ¡=1_
к
(7)
а=1
где Тобщ - итоговая оценка по всем тестовым наборам; Тг - оценка за г-й тест; Li - количество вопросов в г-м тесте (тестовом наборе); К - количество тестов, на основании которых выводится оценка обучаемому.
Подробное описание получения оценки за тест понадобилось для того, чтобы показать, какой, на взгляд автора, должна быть таблица для вопросов теста (табл. 1).
Любая СУБД позволяет создавать таблицы и задавать их структуру. Используя такой шаблон при разработке автоматизированного тестового задания, преподаватель сможет сам создать нужную ему таблицу для ввода тестового материала. Сначала он задает количество столбцов, типы данных, которые будут в них, и количество строк. Типы данных и способ их использования в АСО, разработанных «Центрпрограммсистем», рассмотрены очень хорошо и доступно. На основании этого в автоматическом режиме по запросу преподавателя создается таблица, содержащая т вопросов с п ответами на каждый вопрос и весовыми коэффициентами (см. табл. 5)
Она имеет такую же структуру, как таблица 1, но столбцы с выборами ответов сгруппированы в правой части. При создании по умолчанию все Выб_оту=0 для г=1, ..., т,]=1, ..., п. Такая таблица будет иметь всего к столбцов: к=1+1+1+п+п+п= =3*(п+1), где первая единица - столбец с номером вопроса; вторая единица - столбец с текстом вопроса; третья единица - столбец с весовым коэффициентом вопроса; первая п - п столбцов с вариантами ответов; вторая п - п столбцов с весовыми коэффициентами этих вариантов ответов; третья п - п столбцов с вариантами выбора этих ответов.
Левая часть таблицы 5, содержащая текст вопроса, весовой коэффициент вопроса, возможные ответы и их весовые коэффициенты, должна быть заполнена преподавателем. Он может сделать это вручную или с помощью копирования данных из своей таблицы, но для этого ее нужно создать определенным образом и заполнить (см. табл. 6).
При подготовке автоматизированного теста, состоящего из т вопросов и п ответов на каждый вопрос, преподаватель должен создать таблицу размерностью т*(3+2п).
Таким образом, получается, что разработчикам контролирующей части АСО необходимо дополнить свой программный продукт командами на создание таблицы для вопросов по определенным параметрам, которые вводятся преподавателем: количество строк т и количество ответов п на во-
¡=1
Таблица 5
Вопрос Ответ
№ Текст Весовой коэффициент 1 2 n 1 2 n
Вариант Весовой коэффициент Вариант Весовой коэффициент Вариант Весовой коэффициент Выбор Выбор Выбор
1 Выб_отп Выб_от12 Выб_от1п
2 Выб_от21 Выб_от22 Выб_от2п
т Выб_отт 1 Выб_отт 2 Выб_оТти
Таблица 6
Вопрос Ответ
1 2 n
№ Текст Весовой коэффициент Вариант Весовой коэффициент Вариант Весовой коэффициент Вариант Весовой коэффициент
1 Вопрос 1 a1 Ответ11 bii Ответ12 bl2 Ответу bin
2 Вопрос 2 a 2 Ответ21 Ь21 Ответ22 b22 Ответу Ь2и
т Вопрос т a т Ответт1 Ьт1 Ответт2 Ьт2 Ответ,™ Ьти
Таблица 7
№ вопроса Обучаемый Выбор ответа 1 Выбор ответа 2 Выбор ответа n
1 Идентифицирующие данные Выб_от11 Выб_от12 Выб_от1п
2 Идентифицирующие данные Выб_от21 Выб_от22 Выб_от2п
т Идентифицирующие данные Выб_отт1 Выб_отт2 Выб_оттп
прос тестового задания. На основании этих данных будет создана таблица с размерностью mx3(n+1) (табл. 5).
Тогда при создании автоматизированного теста у преподавателя будет возможность выбора способа ввода данных для вопросов - в табличной форме или последовательно в кадре создания вопроса. Если он выбирает табличную форму ввода данных, то должен следовать переход на кадр для ввода количества строк и количества вариантов ответов, далее на кадр для задания типов данных столбцов, затем на кадр с готовой пустой таблицей (табл. 6), в которую можно вставить данные, используя буфер обмена, и на кадр для просмотра и редактирования каждого вопроса.
После ввода данных и в процессе отладки автоматизированного теста преподавателю приходится прибегать к процедуре корректуры теста. Часто для этого ему необходимо анализировать работу теста.
БД контролирующей части АСО устроена таким образом, что после тестирования в БД контроля сохраняются оценки каждого обучаемого, про-
шедшего контроль с помощью тестирования, за каждое тестовое задание или одна итоговая. На их основании можно сделать вывод только об успеваемости, а не о соответствии созданного преподавателем теста диагностическим задачам. Для этого нужны дополнительные данные об ответах обучаемых на каждый вопрос. Это позволило бы выявить вопросы, вызвавшие наибольшее или наименьшее затруднение, время, которое следует отводить на тот или иной вопрос, наиболее трудные для изучения темы.
Поэтому для анализа усвоения материала необходимо сохранять ответы обучающихся. В таблице 7 показано, как можно сохранить ответы одного обучающегося.
Сохраняя в такой таблице ответы всех прошедших тестирование, можно собрать достаточный материал для анализа. Впоследствии эти данные необходимо экспортировать, например, в Excel или в другие статистические программы, с помощью которых преподаватель сможет провести анализ результатов, что поможет в корректуре тестовых заданий.
Возможно, внесение небольших изменений в таблицы БД и интерфейс контролирующей части АСО поможет облегчить создание тестовых заданий для контроля действий и знаний обучающихся. Тогда преподаватели больше будут пользоваться автоматизированным тестированием, особенно на этапах входного и текущего контроля. Эти же изменения помогут преподавателям и при корректуре тестовых заданий.
Литература
1. Захарова И.Г. Информационные технологии в образовании. М.: ACADEMIA, 2003. С. 132-153.
2. Долгов А.И., Мартыненко А.Ф., Преснухин В.В. Обработка показателей в компьютерных методиках оценки образовательного процесса // Программные продукты и системы. 2012. № 1 (97). С. 107-111.
3. Положение о проведении текущего контроля и промежуточной аттестации слушателей (курсантов) ВУНЦ ВМФ «ВМА». СПб: ВУНЦ ВМФ «ВМА», 2010.
4. MyTest X. URL: mytest.klyaksa.net (дата обращения: 25.03.2013).
References
1. Zakharova I.G., Inform. tekhnologii v obrazovanii [IT in education], Moscow, ACADEMIA, 2003, pp. 132-153.
2. Dolgov A.I., Martynenko A.F., Presnukhin V.V., Programmnye produkty i sistemy [Software and Systems], no. 1 (97), 2012, pp. 107-111.
3. Polozhenie o provedenii tekushchego kontrolya i prome-zhutochnoy attestatsii slushateley (kursantov) VUNTs VMF «VMA» [Regulation on realization of ongoing monitoring and interim attestation of students (cadets) of the Navy Military Training and Sci. Centre «Navy Academy»]. St. Petersburg, 2010.
4. MyTest X, Available at: mytest.klyaksa.net (accessed 25 March 2013).
УДК 007.681.136
АВТОМАТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ ОБУЧАЮЩИХСЯ НА ТАКТИЧЕСКИХ ТРЕНАЖЕРАХ
В.Н. Довженко, к.в.н, профессор; С.Ю. Реньш, к.в.н., доцент (Военный институт дополнительного профессионального образования ВУНЦ ВМФ «Военно-морская академия», Малоохтинский пр., 80/2, г. Санкт-Петербург, 195196, Россия); Н.А. Шустова, к.т.н., с.н.с. (Санкт-Петербургский филиал НИИ «Центрпрограммсистем», 193091, г. Санкт-Петербург, Октябрьская наб., 6б, komandor.99@mail.ru)
В статье показана важность использования тактических тренажеров для подготовки офицерского состава ВМФ. Рассматривается вопрос оценки действий обучающихся на тактических тренажерах и предлагается подход к созданию такой суммарно-параметрической оценки. Каждая задача на тренажере может быть разбита на элементарные действия, направленные на достижение промежуточного результата. Все оценочные параметры подготовленности обучающихся на тренажере предлагается разделить на два вида: критичные оценки, определяющие успех или неуспех решения поставленной перед обучающимся задачи, и оценки, определяющие величину отклонения от норматива или от правил. Получение интегральной оценки по этим параметрам представлено в модели выработки итоговой оценки на тренажере на основе графоаналитического метода.
Ключевые слова: тактический тренажер, контроль, суммарно-параметрическая оценка, модель оценки, графоаналитический метод.
ON THE QUESTION OF AUTOMATION OF THE APPRAISAL PROCESS OF STUDENTS TRAINED
ON TACTICAL SIMULATORS Dovzhenko V.N., Ph.D., professor; Rensh S.Yu., Ph.D., associate professor (Military Educational-Scientific Center of Air Forces «Military-Air Academy», Malookhtinskiy lane, 80/2, St. Petersburg, 195196, Russia);
Shustova N.A., Ph.D., senior researcher (St. Petersburg Branch of the R&D Institute «Centrprogrammsystem», Quay Oktyabrskaya, 6b, St. Petersburg, 193091, Russia, komandor.99@mail.ru) Abstract. The article shows the importance of tactical simulators for of Navy officers training. It emphasizes the issue of actions appraisal of the students trained on tactical simulators. It also suggests the approach to the creation of such a total-parametric estimator. Each simulator task can be split into elementary steps to achieve an output. All performance parameters of preparedness of the students training on simulator are divided into two types. The first type is critical evaluation determining the success or failure of the problem solution by students. The second type includes appraisal determining the overrange from norms or rules. Obtaining an integral estimation with these parameters is presented in the model of final appraisal generation on the simulator based on the graph-analytical method.
Keywords: tactical simulator, control, total-parametric estimator, assessment model, graphic-analytical method.
В системе дополнительного образования офицеров ВМФ все большее применение находят тренажеры, например, тактико-специальный трена-
жерный комплекс (ТСТК) «Командор». Опыт его использования в образовательном процессе показывает, что проведение части мероприятий такти-
