CC BY
18
УДК 681.518.52:37(075)
АППАРАТНО-ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ДИХОТОМИЧЕСКОГО КРИТЕРИЯ В СИСТЕМАХ МНОЖЕСТВЕННОГО ВЫБОРА
М.Ю. Шевелев, Ю.П. Шевелев
Изложен способ программного представления (кодирования) булевых функций, моделирующих сложные критерии дихотомической оценки ответов в системах автоматизированного обучения. Показаны возможности использования остаточных булевых функций при подготовке тестов, основанных на выборочном принципе. Реализация сложных критериев осуществляется при помощи программно-аппаратного устройства «Символ-КОМ», входящего в техническое обеспечение информационно-дидактической системы «Символ».
Введение
В современных учебных заведениях значительное внимание уделяется вопросам качества обучения. Так как традиционные (бескомпьютерные) системы обучения давно исчерпали свои возможности и практически перестали совершенствоваться, то дальнейшее повышение качества обучения возможно лишь с применением компьютеров, при помощи которых строят
автоматизированные обучающие системы (АОС).
В проблеме создания АОС четко различаются два аспекта: предъявление информации, которую учащийся должен изучить, и контроль ее усвоения. Хотя проблема предъявления информации никогда особой остротой не отличалась, все же разработчики компьютерных учебников ей уделяют наибольшее внимание. Это можно объяснить тем, что именно к подобным задачам современный компьютер является наиболее приспособленным, и полнее использовать все его возможности - естественное стремление разработчиков АОС. Следует отметить, что здесь благодаря средствам мультимедиа получены неплохие результаты. Создано немало электронных учебников, в которых краткость и доступность изложения материала в сочетании с яркими иллюстрациями и звуковым сопровождением обеспечивают гораздо больший психологический комфорт по сравнению с традиционными учебными пособиями. Однако даже самое популярное изложение материала не гарантирует его глубокое усвоение. Настоящая учеба начинается лишь тогда, когда учащийся переходит от созерцания к действиям, то есть приступает к упражнениям (вопросам, задачам). Он что-то пишет, отвечает на вопросы, решает задачи, доказывает теоремы, объясняет принцип работы того или иного прибора, рисует схемы и т.д. При этом кто-то должен смотреть, что он написал (нарисовал), выслушивать его рассуждения и все это оценивать и сообщать ему, правильно он действовал или неправильно и почему. Спрашивается, кто это должен делать? Учитель? Нет, у нас массовое обучение, и учитель каждому учащемуся может уделить незначительное количество времени. Вот где необходим компьютер! Но, к величайшему сожалению, именно здесь компьютер оказывается поразительно беспомощным. Если бы даже компьютер был способен выслушивать учащегося и видеть, что он написал или нарисовал, дело нисколько не продвинулось бы вперед, так как чтобы оценить полученную информацию, ее необходимо осмыслить, а компьютеру это недоступно, и мы не можем его научить, поскольку сами совершенно не представляем, как мы это делаем,
Возможно, что, если не в обозримом будущем, то в отдаленном, будет смоделировано хотя бы какое-то подобие того, как оценивает учитель, например, сочинение учащегося или его рассказ о том, как работает электрический трансформатор, в чем смысл второй производной от функции и т.д. Вот тогда и появятся основания считать, что «золотая мечта образования» - дать каждому учащемуся «электронного Аристотеля» - может обрести практическую основу [1]. А пока будем реалистами и признаем, что возможности современного компьютера в решении проблемы контроля знаний являются более чем скромными, и наша задача - сделать все, чтобы эффект от этих скромных возможностей был максимальным.
Тесты на основе множественного выбора
Человек и компьютер оценивают ответы по-разному: человек - на основе смысла, а компьютер - на основе формы. Это значит, что далеко не все вопросы, имеющиеся в традиционных сборниках задач и упражнений, могут быть непосредственно использованы в компьютерных контролирующих системах.
На практике наибольшее распространение получил альтернативно-выборочный способ представления тестов (вопросов, задач, упражнений), называемый также множественным выбором, предполагающий выбор точно одного ответа из нескольких, образующих приложение к вопросу, среди которых правильным является лишь один ответ. Действия учащегося в этом случае оцениваются по дихотомическому принципу. (Дихотомия, от греч. dicha и tome - рассечение на две части, - деление объема понятия на две взаимоисключающие части, полностью исчерпывающие объем делимого понятия [2].) Согласно дихотомическому принципу всякий ответ учащегося оценивается в системе «Правильно - неправильно».
Со времен Скиннера и Краудера принцип выбора единственного ответа из нескольких составляет основу программированных учебников. Его издавна применяли в обучающих и контролирующих машинах, особенно в электромеханических контролирующих устройствах и обучающих машинах 50-х и 60-х годов прошлого столетия. Он является базовым и в современных компьютерных учебниках. На его основе строят универсальные системы обучения. Примером могут служить разработки типа ToolBook Assistant [3]. Множественный выбор широко используют при разработке тестов для проведения централизованного тестирования и ЕГЭ. И вообще, альтернативно-выборочный принцип и построенные на его основе тесты в настоящее время получили повсеместное распространение как за рубежом, так и в России.
Множественный выбор представляет собой искусственный прием, крайне редко применяющийся в естественных (бескомпьютерных) системах обучения. У него много недостатков, и если он получил широкое распространение, то не в силу своих достоинств, а лишь благодаря простоте программной реализации.
Иногда применяется выборочный критерий, особенность которого в том, что на число правильных альтернатив в приложениях к тесту ограничений нет. Критерий оценки ответа при этом является более сложным, так как в компьютерную память необходимо вводить не только набор номеров, обозначающих правильные альтернативы, но и все логические условия, при выполнении которых ответ должен быть признан правильным. Это загромождает программное обеспечение АОС и затрудняет разработку тестов, поскольку у каждого теста должен быть свой набор условий, определяющих критерий правильности ответа. Кроме того, все варианты ответа необходимо закодировать так, чтобы исключить возможность несанкционированного доступа к
ним, что сопряжено с дополнительными трудностями Поэтому разработчики ДОС ограничиваются только простейшими тестами множественного выбора, а если применяют выборочные тесты, то лишь с наиболее простым критерием: ответ признается верным, если учащийся найдет
все правильные альтернативы.
Таким образом, чтобы расширить возможности выборочного принципа и повысить устойчивость системы защиты эталонных ответов относительно «взлома», необходимо решить две задачи: разработать общий способ представления тестов с любыми (простыми и сложными) критериями дихотомической оценки ответов и усилить систему защиты эталонов. Этим задачам посвящено все дальнейшее содержание данной статьи.
Программно-аппаратное устройство «Символ-КОМ»
В информационно-дидактической системе (ИДС) «Символ» правильность ответов определяется при помощи программно-аппаратного устройства «Символ-КОМ», представляющего собой микропроцессорный контроллер, подключаемый к параллельному порту компьютера [5, с. 26]. В его ПЗУ находятся алгоритмы обработки всей поступающей с компьютерной клавиатуры информации. Необходимость применения контроллера обусловлена тремя причинами: исключить возможность пиратского копирования программного продукта; обеспечить устойчивость против попыток получить положительную оценку иным путем, кроме правильного выполнения задания; устранить всякую возможность вмешательства в работу программы, что особенно важно, так как главным в ИДС «Символ» является требование неизменности алгоритмов, оценивающих ответы.
Учащийся, выполнивший какое-либо задание (снабженное кодом системы «Символ»), при самоконтроле всегда работает по одной и той же инструкции: сначала на компьютерной клавиатуре набирает код задания, после чего вводит ответ, набирая его на той же клавиатуре. Если введенный ответ соответствует коду задания, то он признается правильным.
В общем случае ответом в ИДС «Символ» может быть любая упорядоченная последовательность знаков, имеющихся на компьютерной клавиатуре. Но часть режимов работы устройства «Символ-КОМ» имеет некоторые особенности. Один из них, названный «Импликанта», характеризуется тем, что символы, образующие ответ, могут вводиться в любом порядке и каждый знак учитывается только один раз. Благодаря этим особенностям обеспечивается возможность распознавания правильности ответов во всех случаях, когда задание представлено в системе множественного выбора с дихотомическими критериями, отличающимися сложными логическими условиями оценки ответов. Словесное их описание является слишком громоздким, но в таком описании и нет необходимости, так как в подобных случаях обычно применяется алгебра логики. Примером может служить [6], где булева алгебра применена для описания сложных логических отношений, существующих между кодами заданий и соответствующими им группами синонимичных сообщений (в системе «Символ»), Подобным образом воспользуемся булевой алгеброй и в данном случае.
Булево моделирование критерия дихотомической оценки ответов
Обозначим буквами А,, А, .... А„ альтернативы, образующие список вариантов ответов
(и - число всех альтернатив в списке). Этот список условимся называть приложением к формулировке теста. Те же буквы будем использовать для обозначения логических аргументов со
следующей интерпретацией: если учащийся выбрал альтернативу Д, то аргумент Д принял единичное значение - Д = 1 ; если не выбрал, то Д. = 0, где / = 1,2,...,и . Аргументы Д , Д , Ап могут быть связаны логическими операциями, тогда получится формула. Обозначим ее буквой £ которую будем называть функцией, зависящей от аргументов Д , А2, ..., Д,.
Условимся считать, что если /(Д .А2,...ч А„) = 1. то ответ правильный, если
/(Д,^2,..., Д,) = 0- неправильный.
Простейшим является критерий оценки ответа, основанный на множественном выборе. Описывающие критерии булевы функции представляют собой минтермы (конституенты единицы) п аргументов, но не любые, а только те, в которых содержится точно один аргумент без знака инверсии, а все остальные являются инверсными (согласно М. Фистеру «минтермом п переменных называется такое булево произведение их, в которое каждая переменная входит один раз в прямой или инверсной форме» [7, с. 49]):
/; = ДДД...Д;
/2 = ДДД.Д; и = ДДДД...Д;
./; = ддд...д_,д.
Первая из этих функций описывает следующий критерий: ответ признается правильным, если учащийся выберет первую альтернативу из п заданных. Если же учащийся выберет какую-либо другую альтернативу, то ответ признается неправильным. Аналогично формулируются критерии, описываемые всеми остальными функциями.
В случае выборочных тестов эталон состоит из нескольких альтернатив. В качестве примера приведем тест по физике (7-й класс):
«(А93) Укажите все свойства, принадлежащие жидкостям.
1. Имеют определенный объем.
2. Занимают объем всего сосуда.
3. Принимают форму сосуда.
4. Мало сжимаются.
5. Легко поддаются сжатию» [4, с. 12].
Здесь пять альтернатив, из которых три являются правильными: 1, 3, 4. Эти три числа образуют эталон к данному тесту. Ответ признается правильным, если учащийся найдет их все и из неправильных альтернатив не укажет ни одной. Этот критерий представлен кодом А93, записанным перед условием задачи. Моделирующая его булева функция имеет вид:
/=ддддд.
Кодирование выборочных (и альтернативно-выборочных) тестов возможно не только в режиме «Импликанта», но и в любом другом из алгоритмического фонда устройства «Символ-
КОМ», при этом для обозначения альтернатив допускаются любые знаки и их сочетания, а не только порядковые номера.
Пример теста со сложным критерием оценки ответа
В общем случае булева функция, моделирующая дихотомический критерий оценки ответа, имеет вид
/ = Фо>. • (1)
где ф - булева функция, зависящая только от тех аргументов, которые соответствуют правильным альтернативам;
со - булева функция, представляющая собой конъюнкцию всех остальных аргументов (им
соответствуют неправильные альтернативы), где каждый из них является инверсным.
Выражение со = 1 имеет место лишь тогда, когда все аргументы функции со равны нулю, а это значит, что ответ может быть признан правильным только в том случае, если учащийся не выберет ни одной из неправильных альтернатив. Функция ф обычно является более сложной. Проиллюстрируем это на примере следующего теста:
«(77С) Укажите хвойные деревья в заданном списке:
1) пальма; 4) осина; 7) лиственница; 10) кипарис;
2) береза; 5) рябина; 8) дуб; 11) ольха;
3) тополь; 6) сосна; 9) туя; 12) черемуха».
В каком случае ответ к этому тесту должен быть признан правильным? Можно считать, что требуется найти все хвойные деревья. Один из кодов такого критерия имеет вид «77С». Он указан перед условием теста. Для учащегося это наиболее трудный тест, так как ему не известно, сколько в списке правильных альтернатив, и отыскать их все непросто. Если учащийся пропустит хотя бы одно хвойное дерево, то ответ будет признан неправильным. Булевы функции <р и
со. описывающие данный критерий, имеют вид:
(р = А6А7А9А10; со = ЛД4ДДДДД2.
Требования к критерию можно изменить (ослабить) и сформулировать их следующим образом: «Ответ признать правильным, если учащийся найдет в списке хотя бы три хвойных дерева. При выборе любой из неправильных альтернатив ответ признать неправильным». Булева функция, моделирующая такой критерий, имеет вид (1), где выражение со совпадает с (2), а ф
представляет собой симметрическую функцию ф = 53,4(4>4Л>А>) ■ принимающую единичное значение в двух случаях: когда все аргументы примут единичное значение и когда единице будут равны любые три аргумента. СДНФ (совершенная дизъюнктивная нормальная форма)
этой функции содержит пять минтермов: ф = А6А7А9А10 + А6А7А9А]0 + А6А7А)А10 + А6А7АдА10 + +А6А7А9Аю , откуда следует, что всего существует пять вариантов логических условий, при выполнении которых ответ признается правильным. Как кодировать булевы функции, показано в следующем параграфе. Здесь же рассмотрим один из конечных результатов кодирования: «(;Я0.4А) Укажите хвойные деревья в следующем списке: 127) пальма; 457) осина; 145) лиственница; 356) кипарис;
278) береза; 567) рябина; 849) дуб; 159) ольха;
392) тополь; 123) сосна; 246) туя; 128) черемуха».
В отличие от предыдущего теста здесь каждой альтернативе поставлен в соответствие не порядковый номер, а трехзначное число, то есть все альтернативы закодированы. Чтобы правильно ответить на данный тест, необходимо найти не менее трех хвойных деревьев и на компьютерной клавиатуре набрать их коды, причем в любом порядке. Один из возможных вариантов ответа (для случая, когда пропущен код слова «лиственница») имеет вид: «;Я0.4А123246356», где «;Я0.4А» - код задания (здесь точка с запятой - тоже знак, он переводит устройство «Символ-КОМ» в режим «Импликанта»); 123 - код слова «сосна»; 246 - код слова «туя», 356 - код слова «кипарис».
В том же задании можно закодировать и такой критерий, когда ответ признается правильным при выборе хотя бы одного хвойного дерева (тест с предельно ослабленными требованиями к критерию оценки ответа):
«(;6М.ЧА) Укажите хвойные деревья в следующем списке:
225) пальма; 424) осина; 353) лиственница; 355) кипарис;
336) береза; 252) рябина; 362) дуб; 244) ольха;
442) тополь; 335) сосна; 533) туя; 623) черемуха».
Булева функция, моделирующая этот критерий, в минимальной форме имеет вид
/=(А6 + А7 + л) + до) АЛДДДДДД2.
Если ее представить в С-ДНФ, то получим 15 минтермов. Столько же существует и различных логических условий, определяющих сложность критерия оценки ответа.
Таким образом, сложные критерии можно задавать путем кодирования и альтернатив, и
всего задания (теста).
Кодирование сложных логических условий оценки ответа
Во всех случаях, когда критерий оценки ответа известен, моделирующую его булеву функцию найти нетрудно. Но ее необходимо закодировать, а это значительно сложнее. Поэтому рассмотрим метод, при помощи которого всякую булеву функцию, полученную на основе словесного описания критерия правильности ответа, можно закодировать сравнительно просто. При этом ограничимся только монотонными булевыми функциями (то есть теми, минимальные ДНФ которых не содержат инверсных аргументов), поскольку в большинстве случаев функции, полученные на основе словесного описания критерия, являются монотонными.
Так как функция со всегда представляет собой конъюнкцию инверсных аргументов, соответствующих неправильным альтернативам, то нахождение ее никаких трудностей не составляет. В связи с этим будем рассматривать только функцию ср, описывающую логику заданного
критерия.
Суть метода состоит в следующем. Запишем заданную функцию в виде минимальной КНФ (конъюнктивной нормальной формы). Пронумеруем скобочные выражения. Получим множество д номеров. Находим дизъюнкции, в которые входит первый аргумент. Конкатенацию номеров этих дизъюнкций можно использовать в качестве кода соответствующей альтернативы. Точно также находим код второй альтернативы и т.д. Проиллюстрируем метод на примере следующей булевой функции:
ф = 44 + 44 + 44 + А2А4 + А3А4. (3)
Представим ее в минимальной КНФ:
ф = (Д + 4)(4 +А2+ А3)(А2 + А3 + А4): «4)
Пронумеруем скобочные выражения слева направо. Тогда б = {1,2,3}. Переменная А, входит в две первые дизъюнкции, следовательно, ей ставим в соответствие код 12. Переменная А2 входит во второе и третье скобочные выражения, следовательно, ее код 23. Аналогично находим код 23 для переменней А3> и код 13 для аргумента Л4. Коды переменных А2 и 4 совпали. В принципе, их можно оставить и одинаковыми, но лучше повтор устранить. Для этого достаточно поменять местами цифры в коде, например, для переменной А3. Таким образом, правильные альтернативы получают коды:
4-12; Д-23; А3-32; Л4-13. (5)
Все остальные альтернативы можно кодировать любыми числами. Необходимо следить лишь за тем, чтобы в каждом коде была хотя бы одна цифра, не входящая в множество £ •
О неоднозначности кодирования альтернатив
Коды (5) найдены в предположении, что все варианты правильных ответов располагаются в начале всего списка альтернатив. Это не единственный способ их размещения. Правильные альтернативы могут занимать любые места в списке возможных ответов. Но при всяких перемещениях вместе с ними должны перемещаться и соответствующие коды. Это позволяет многократно использовать одну и ту же булеву функцию при кодировании различных тестов с одинаковыми критериями правильности ответов. Чтобы найти код всего теста (то есть код задания), достаточно перевести устройство «Символ-КОМ» в режим «Импликанта» и набрать все элементы множества <2 в качестве кодируемого ответа. В данном случае код задания имеет вид
(;ЗУ.4А).
Множество £ может быть любым. Это обеспечивает возможность кодирования одних и тех же логических условий правильности ответов для различных тестов, но без применения метода кодирования булевых функций. Например, если критерий некоторого теста представлен булевой функцией (3), то правильные альтернативы можно закодировать различными способами путем смены номеров скобочных выражений в КНФ (4). Допустим, что первому скобочному выражению в (4) поставлено в соответствие число 5, второму - 31, третьему - 17. Тогда для кодирования правильных альтернатив достаточно в (5) вместо цифры 1 подставить число 5, вместо цифры 2 - 31, вместо цифры 3 - 17. В результате правильные альтернативы получат коды:
4-531; 4-3117; 4-1731; 4-517. <6>
Множество £ изменится. Теперь оно состоит из цифр, входящих в каждый из четырех кодов (6): б = {13,5,7} ■ На их основе находим код задания: (;14.ЧА). Не меняя этого кода, можно
получить большое число других способов кодирования тех же альтернатив за счет:
а) перестановок цифр в кодах;
б) удаления повторов цифр;
в) введения повторов цифр.
Например, в (6) альтернативам можно поставить в соответствие следующие коды:
4-135; 4-317; 4-731; 4-517557;
4-1153; 4-17731; 4-173; 4-715;
4-315; 4-713; 4-11173; 4-157 и т.д.
Благодаря неоднозначности кодирования альтернатив одно и то же задание может быть представлено большим числом различных вариантов. Это особенно важно в тех случаях, когда многим учащимся требуется одновременно выдать дидактически эквивалентные тесты, например, для проверки усвоения пройденной темы, входного контроля перед изучением новой темы и др.
Базовое множество остаточных функций
Пусть булева функция некоторого теста представлена кодом задания и кодами альтернатив. Выделим какую-либо правильную альтернативу А и удалим ее из приложения к тесту. Это эквивалентно присвоению нулевого значения переменной А в аналитической записи булевой функции.
При А = 0 получится остаточная функция, описывающая новый критерий правильности ответа. Если нулю приравнять другой неинверсный аргумент заданной функции, то получим еще одну остаточную функцию. Нулю приравнять можно несколько аргументов, в том числе и все (тогда получится критерий, для которого не существует правильных ответов, и компьютер на любой введенный учащимся ответ будет реагировать всегда одинаково, выдавая сообщение «Неправильно»).
Если приложение к тесту содержит т альтернатив, то всего возможно 2"' -1 остаточных функций. Для удобства в использовании их следует упорядочить, для чего достаточно все функции пронумеровать. Выберем следующий способ нумерации. Расположим логические аргументы в порядке возрастания их индексов слева направо и каждому аргументу поставим в соответствие двоичный разряд. Тогда нули в т -разрядных двоичных числах покажут, какие аргументы должны принять нулевое значение. В пронумерованном списке остаточных функций могут быть выражения, тождественно равные нулю. Удалим их из списка вместе с порядковыми номерами. Оставшиеся функции образуют множество, которое условимся называть базовым. Нахождение базового множества поясним на примере функции (3):
0011 - /з = 44; 1011 - /и = 44 + 4Л + 44 ;
ою1-/5 = 44; 1Ю0- /¡3 = 44; 0111 - /7 ^ 44 + 44: 1101 - /13 = 44 + ЛЛ + А?Л; 1001 - /9 = 44; 111 о - /¡4 = 44 + А-А-1010-/10 = 44;
Первое выражение в этом списке представлено двоичным кодом 0011, что обозначает: 4 = 0; 4 = 0 . Эти значения подставлены в выражение (3), в результате чего получилась оста-
точная функция /3 = А3А4. Аналогично получены все остальные остаточные функции. Код 1111 в списке отсутствует, так как ему соответствует исходная функция, которую не будем считать остаточной.
Базовое множество выражения (3) состоит из 9 остаточных функций. Все их можно использовать для кодирования тестов со сложной логикой распознавания правильности ответов.
Однако среди них функции, образующие класс Т. = {/3,/5,/9,/ю>/п} > моделируют один и тот
же критерий вида: в приложении содержится две правильные альтернативы, и если учащийся выберет только их, то ответ будет признан правильным. Такие функции условимся называть неразличимыми. Они связаны одна с другой подстановкой переменных, то есть переходят одна в другую путем замены одних аргументов другими. Точно так же неразличимыми являются и выражения /7 и /]4, образующие другой класс Т2 = {/7,/14} • Третий класс составляют две функции /п и /¡з: Т3 ={/п,/]3}. Таким образом, хотя функция (3) содержит 9 тождественно не
равных нулю остаточных функций, различными из них являются только три. Именно они дают разнообразие функций, моделирующих критерии правильности ответов. Такое базовое множество, в котором нет ни одной пары функций, связанных подстановкой переменных, будем называть минимальным базовым множеством. Рассмотрим пример. Пусть требуется составить тест
со следующим условием:
«Укажите слова, в которых ударение падает на второй слог: диалог, каталог, ворота, облегчить, красивее, алфавит, километр, документ, начерпать, положить».
Здесь три слова, в которых ударение падает на второй слог. Однако критерий сформулируем в виде требования найти хотя бы два из них. Обозначим буквами А], Л2, А3 правильные альтернативы, тогда булева функция, описывающая критерий, примет вид: Ф = АхА2 + АХА3 + А2А3.
В принципе, ее можно закодировать выше'рассмотренным методом, но в этом нет необходимости. Если в ней заменить А2 на А4, то получим функцию /и класса Т3. Воспользовавшись кодами, приведенными в (5), получаем один из возможных вариантов кодирования правильных альтернатив: начерпать - 12; ворота - 32; красивее - 13.
Поставим в соответствие эти коды правильным альтернативам в приложении к тесту и найдем код задания, тогда полностью закодированный тест примет вид:
«(;ЦД.4А) Укажите коды слов, в которых ударение падает на второй слог: 25) диалог; 52) каталог; 32) ворота; 16) облегчить; 13) красивее; 36) алфавит; 56) километр; 38) документ; 12) начерпать; 29) положить».
Изменим критерий: пусть ответ считается правильным, если учащийся выберет слово «ворота» и либо «начерпать» или «красивее» (или все три слова). Булева функция имеет вид:
Ф = А](А2+А3) = А1А2+А1А3, где А1 - «ворота»; А2 - «начерпать»; А3 - «красивее». Она
записана в двух формах. Первая получена по формулировке теста, поэтому записана в КНФ, вторая представлена в ДНФ. Эту функцию также нет необходимости кодировать, так как она
входит в класс Т2 и совпадает с функцией /14. Коды альтернатив приведены в (5), код задания
находим на основе множества £> = {12,3} - ПРИ этом Для разнообразия добавим в код балластную цифру 2. Полностью закодированный тест имеет вид:
«(;ДМ2.4А) Укажите коды слов, в которых ударение падает на второй слог:
25) диалог; 52) каталог; 12) ворота, 16) облегчить, 32) красивее; 36) алфавит;
56) километр: 38) документ: 23) начерпать; 29) положить».
Таким образом, при кодировании тестов со сложными критериями правильности ответов можно пользоваться вышеприведенным методом кодирования булевых функций. При этом всякий раз целесообразно записывать и хранить тождественно не равные нулю остаточные функции в виде минимального базового множества, что позволит за их счет значительно упростить разработку тестов со сложными критериями оценки ответов.
Заключение
Во втором параграфе данной статьи сказано, что для повышения эффективности множественного выбора необходимо решить две задачи: обеспечить «невскрываемость» системы защиты эталонных ответов и найти общий способ кодирования тестов с простыми и сложными критериями дихотомической оценки ответов. Традиционный подход к решению первой задачи предполагает хранение тестов и эталонных ответов в памяти одного и того же компьютера. Этим обусловлена принципиальная возможность «взлома» системы защиты эталонной информации. ИДС «Символ» построена иначе. В ней все алгоритмы, при помощи которых определяется правильность ответов, реализованы аппаратно. Доступа к ним нет. Этим обеспечивается высокая устойчивость против любых попыток найти ответы к тестам иным путем, кроме правильного выполнения тестового задания.
Решение второй задачи также отличается от традиционного, согласно которому все варианты ответа, прилагаемые к тесту, либо нумеруются, либо обозначаются буквами русского или латинского алфавитов. И цифры и буквы используются для того, чтобы упростить программное обеспечение АОС и до предела сократить затраты времени на ввод ответов. В ИДС «Символ» альтернативам можно ставить в соответствие не только отдельные буквы или цифры, но и многозначные их последовательности — коды альтернатив. В частности, это могут быть многоразрядные числа. Во всех этих кодах содержится полная информация о том, какие альтернативы считать правильными и какие неправильными, а также о критерии оценки ответа. Так как все коды входят в текст, при помощи которого представлено тестовое задание, то записывать куда-либо эталоны ответов нет необходимости. Таким образом, если в традиционных компьютерных системах контроля знаний хорошо различимыми являются два массива информации - формулировки тестов и эталонные ответы к ним, то в ИДС «Символ» имеется только один массив, так как эталонные ответы рассредоточены по формулировкам тестов и отдельного массива не образуют.
Благодаря кодированию альтернатив обеспечивается единообразие представления тестов как простейших альтернативно-выборочных, так и более сложных, отличающихся неоднозначностью критериев оценки ответов. Сложные критерии наиболее естественно моделировать булевыми функциями. В данной работе приведен способ их кодирования и показана возможность применения остаточных функций для нахождения кодов альтернатив в тестах с другими критериями. При этом возникает ряд вопросов.
1. Существует ли монотонная булева функция, множество остаточных функций (минимальное базовое множество) которой содержит все функции заданного числа аргументов, каждая из которых может быть моделью какого-либо критерия дихотомической оценки ответа? Если такая функция существует, то является ли она единственной и как ее найти? Если не существует, то как найти минимальный набор функций с теми же свойствами и как доказать, что этот набор является минимальным? Единственно ли решение в виде минимального набора функций,
и если да, то как его найти?
2. Кодирование альтернатив, осуществляемое вышерассмотренным методом, является
неоднозначным. При этом коды могут быть различной длины. Требуется выяснить, возможен ли такой метод их кодирования, применение которого всегда обеспечивало бы наименьшую длину каждого кода при условии, что в коды могут входить не только цифры, но и любые буквы.
3. В статье рассмотрены только такие критерии оценки ответов, согласно которым неправильным признается всякий ответ, включающий в себя хотя бы одну неправильную альтернативу. На практике же нередки случаи, когда ответ требуется оценить, например, в зависимости от процентного содержания неправильных альтернатив среди всех, выбранных учащимся, либо согласно списку возможных сочетаний правильных и неправильных альтернатив в ответе и др. Во всех подобных случаях булевы функции, моделирующие критерии оценки ответов, могут содержать произвольные сочетания инверсных и неинверсных аргументов. Требуется выяснить, возможно ли кодирование этих функций в рамках средств вышеописанного режима «Импликан-та». Если нет, то каковы границы этого режима? Что требуется для расширения границ?
Эти вопросы имеют не только теоретическое значение, но и практическое. Пока на них нет ответов. Однако работы по совершенствованию системы «Символ» продолжаются во всех направлениях, в том числе и в области тестов с выборочными ответами, поэтому рано или поздно будут решены все поставленные вопросы и сформулированы новые.
ЛИТЕРАТУРА
1. Брусенцов Н.П., Маслов С.П., Рамиль Альварес X. Микрокомпьютерная система обучения «Наставник». - М.: Наука, 1990. - 224 с.
2. Горский Д.П. и др. Краткий словарь по логике. - М.: Просвещение, 1991.-208 с.
3. Чердынцев Е.С. Опыт выбора программных средств для системы дистанционного обучения II Дистанционное образование. Состояние, проблемы, перспективы: Тез. докл. науч,-метод. конф., Томск, 19 ноября 1997 г. - Томск: ТУСУР, 1997. - С. 62-63.
4. Постников A.B. Проверка знаний учащихся по физике: 6-7 кл. Дидакт. материал. - М.:
Просвещение, 1986. - 208 с.
5. Шевелев М.Ю. Аппаратно-программное устройство для контроля и защиты ответов в
системах автоматизированного обучения: Дис. ...канд. техн. наук. - Томск, ТУСУР, 2001. - 130 с.
6. Шевелев Ю.П, Шевелев М.Ю. Унификация представления контрольных вопросов в компьютерных учебниках II Доклады Томского государственного ун-та систем управления и радиоэлектроники. Том 6. Автоматизированные системы обработки информации, управления и проектирования. - Томск: Том. гос. ун-т систем управления и радиоэлектроники, 2001 - С. 39 - 44.
7. Фистер М. Логическое проектирование цифровых вычислительных машин. - Киев: Техника, 1964.-382 с.
