CC BY
68
Технологии инженерного образования
УДК 681.518.52:37(075)
О НЕАНТРОПОМОРФНОМ ПОДХОДЕ К РАЗРАБОТКЕ СРЕДСТВ КОНТРОЛЯ ЗНАНИЙ ДЛЯ СИСТЕМ АВТОМАТИЗИРОВАННОГО ОБУЧЕНИЯ
М.Ю. Шевелев, Н.С. Мусев, А.А. Романюк
Томский государственный университет систем управления и радиоэлектроники E-mail: simvol-ids@mail.ru
В современных автоматизированных системах обучения контроль усвоения информации основан на копировании традиционных «ручных» контролирующих систем и реализуется путем сравнения ответов учащегося с эталонами, хранящимися в компьютерной памяти (антропоморфный принцип). Рассматриваются возможности нетрадиционного подхода, когда компьютер не «знает» правильных ответов ни к одному вопросу, но способен отличать правильные ответы от неправильных. Такой подход авторами назван неантропоморфным. Его применение позволяет решить ряд актуальных задач из области автоматизации обучения, которые являются проблематичными для антропоморфного подхода.
В любой системе обучения четко различаются две составляющие: предъявление учебной информации и контроль ее усвоения. Первая составляющая особых трудностей никогда не вызывала. Она всегда обеспечивалась учебниками, учебными пособиями, лекциями, а с появлением кино, телевидения и компьютеров - фильмами и электронными учебниками. Вторая же составляющая - контроль знаний - до сих пор представляет собой актуальную, крайне трудную и неразработанную проблему. Актуальность ее обусловлена тем, что существенно повысить качество обучения только за счет первой составляющей невозможно, как бы ярко и привлекательно она ни была представлена. Настоящая учеба начинается лишь тогда, когда учащийся переходит от пассивного созерцания к активным действиям: отвечает на вопросы, доказывает теоремы, рисует графики, схемы, эскизы, объясняет принцип работы какого-либо устройства и т. д. Контролировать подобные действия может только преподаватель. Но у нас массовое обучение, поэтому повседневная индивидуальная работа с каждым учащимся невозможна. Преподавателю необходим помощник. В пятидесятых годах прошлого столетия роль таких помощников выполняли разнообразные электромеханические контролирующие устройства, осуществлявшие
контроль на основе искусственного приема, известного в настоящее время под названиями альтернативно-выборочного принципа и множественного выбора. Этот принцип получил широчайшее распространение и в современных компьютерных системах контроля [1].
Главная особенность всех подобных систем состоит в том, что они строятся на принципе антропоморфизма (подобно человеку). Например, если на вопрос «Чему равна площадь прямоугольного треугольника, один из катетов которого равен 4, а гипотенуза равна 5?» ученик даст ответ «6», то учитель скажет «Правильно», но только в том случае, если ему известен алгоритм решения подобных задач. Компьютер действует точно так же. Если в его память заранее ввести эталон правильного ответа (или алгоритм решения задач данного класса), то на ответ «6» он также выведет на экран сообщение «Правильно». Таким образом, суть антропоморфных систем контроля состоит в том, что в компьютерной памяти кроме массива вопросов всегда содержится и массив эталонов, являющихся правильными ответами к соответствующим вопросам.
Компьютер на основе эталонов оценивает правильность введенных ответов и сообщает учащемуся правильный ответ (при необходимости).
Антропоморфная организация контроля, когда компьютер «знает» правильный ответ, основана на копировании традиционных «ручных» контролирующих систем, поэтому представляется вполне естественной. Однако она не лишена очень существенных недостатков, из которых главными являются следующие:
1) так как в компьютерной памяти находятся правильные ответы, то к ним всегда имеется возможность несанкционированного доступа. При самоконтроле (например, во время самоподготовки) это не имеет никакого значения. Но в случаях внешнего контроля «взлом» защиты эталонов сведет информативность контроля до нуля;
2) автоматизированный контроль на основе естественных ответов является крайне проблематичным из-за их неоднозначности (т. е. многовариантности представления), поэтому основу компьютерных контролирующих систем обычно составляет альтернативно-выборочный принцип;
3) традиционные (бумажные) и компьютерные учебники, в сущности, являются своеобразными антиподами, поэтому их интеграция практически невозможна;
4) специализированные контролирующие устройства, построенные на антропоморфном принципе, неудобны в эксплуатации, так как в их память необходимо записывать эталонные ответы заранее, до того, как учащийся приступит к проверке своих ответов. Кроме того, если устройство запрограммировано на какую-либо тему, то контроль по другим темам без перепрограммирования невозможен. В этом одна из главных причин того, что все ранее созданные (в прошлом веке) устройства не получили массового распространения, хотя и выпускались нашей промышленностью в больших количествах;
5) в антропоморфных контролирующих системах нет никакого объединяющего начала, поэтому все они представляют собой уникальные разработки (подобно произведениям искусства), не сопрягающиеся между собой ни по каким параметрам. Исследования показали, что для устранения
всех этих недостатков необходимо выйти за рамки антропоморфизма. В данном случае это значит сохранить контролирующие свойства системы, но пожертвовать ее возможностью сообщать правильные ответы. Такой подход к созданию контролирующих систем будем называть неантропоморфным, чтобы отличать его от традиционного антропоморфного.
Суть неантропоморфного подхода состоит в следующем. Пусть дано множество Р всех возможных знаков, при помощи которых записываются и вводятся в компьютер ответы. Рассмотрим и-ю степень этого множества. Ее элементами являются упорядоченные последовательности (кортежи) длины и. Например, в случае квадрата множества Р кортежи представляют собой двухсимвольные по-
следовательности, в случае куба - трехсимвольные и т. д. Обозначим буквой 2 множество всех возможных кортежей, длина которых не превышает и. Всякий ответ к той или иной задаче, который может быть набран на компьютерной клавиатуре, является элементом множества 2-
Представим множество 2 в виде:
е=^ и ^ и ^ и -и ^^ П ^ =
I Ф _/; I,] = 1,2,3,...т.
Тогда множество всех возможных ответов окажется разбитым на т непересекающихся подмножеств. Пронумеруем эти подмножества. Полученные номера условимся называть кодами заданий (КЗ).
В общем случае всякое контрольное задание, выдаваемое учащемуся, может содержать несколько задач (вопросов, упражнений). Ответы к ним обозначим буквами а1,аг,а3,...,а„ где / - число отдельных задач в задании. Если ответы а1,а2,а3,...,а( являются одновариантными (например, ответ -целое число, слово), то их упорядоченная последовательность также будет однозначной. Следовательно, она является элементом некоторого подмножества из ^ДД,...,^. Номер этого подмножества записываем перед условием всего задания в качестве его КЗ. Процедуру нахождения КЗ условимся называть кодированием заданий.
Допустим, что учащийся выполнил закодированное задание. Чтобы проверить, правильными ли получились у него ответы, он должен ввести в компьютер КЗ, а затем набрать все найденные ответы. Компьютер определит номер подмножества, элементом которого является введенная учащимся последовательность знаков, и если она совпадает с КЗ, то выведет на экран сообщение «Правильно».
Главная особенность рассмотренного способа контроля состоит в том, что распознавание правильности ответов всегда осуществляется по одному и тому же алгоритму независимо от семантического содержания вводимых ответов. Это обеспечивает возможность реализации контроля не только программно с применением компьютера, но и при помощи специализированного устройства. Кроме того, обеспечивается устойчивость против попыток получить от компьютера правильный ответ, не выполняя задания. Хотя в КЗ и содержится информация о правильном ответе, но она является неполной, так как всякому КЗ соответствует множество с неограниченным числом различных последовательностей, являющихся правильными ответами для данного кода задания, но какая из этих последовательностей является правильным ответом к данному заданию, установить невозможно. Таким образом, информации в КЗ хватает только на то, чтобы определить правильность ответа, но недостаточно для того чтобы сформулировать точный ответ, поэтому компьютер выдать его не может. В этом и состоит суть неантропоморфного
подхода, когда компьютер «не знает» правильных ответов ни к одному вопросу, но способен отличать правильные ответы от неправильных и соответственно их оценивать.
Очевидно, что не всякое разбиение множества 2 на непересекающиеся подмножества может быть использовано для практической реализации контролирующей системы. Эта ограниченность обусловлена информационным шумом (когда неправильный ответ компьютер признает правильным), который в принципе может проявиться при вводе различных ответов при одном и том же КЗ. Проиллюстрируем это примером. Пусть дано задание: «Вставьте пропущенное число: 72 км/ч=... м/с». Допустим, что КЗ правильного ответа имеет вид 320. Если в компьютер ввести этот код, а затем набрать ответ 20, то на экране появится сообщение «Правильно». Но это же сообщение появится и в том случае, если вместо ответа 20 набрать «^т», либо «блюминг», либо не имеющее смысла слово «ьоью-ък» и др. Очевидно, что проявление такого шума в реальных условиях практически невозможно, поскольку смысловым содержанием вопроса учащийся ориентирован на очень узкий круг возможных ответов. Так в случае рассмотренного примера полностью исключен нечисловой ответ. Однако с определенной вероятностью шум может проявиться и в пределах реально возможных ошибочных ответов. Если эта вероятность является недостаточно низкой, то снизить ее можно увеличением числа подмножеств при разбиении множества 2.
В случае многовариантных ответов кодировать необходимо их все. Например, пусть дана задача: «Монету подбрасывают 10 раз. Найти вероятность того, что в двух последних бросках она упадет гербом вверх». Ответ может быть представлен в двух
вариантах: 4 и 0,25. Если в условии не указывать, в
какой форме вводить ответ, то кодировать необходимо оба числа. Соответственно усложнится и алгоритм оценки ответов: введенный ответ должен быть проверен относительно каждого КЗ.
На основе рассмотренного неантропоморфного подхода разработано несколько алгоритмов разбиения множества 2. Все они реализованы программно при помощи компьютера и в виде специализированных устройств. Их новизна подтверждена патентом [2].
Из всех разработок наиболее совершенным является специализированное устройство, названное «Символ-Тест». Компьютерная его реализация представлена программно-аппаратным способом в виде электронного ключа «Символ-КОМ», содержащего алгоритмы кодирования и распознавания правильности ответов [3].
Система контроля, построенная на основе неантропоморфного подхода, лишена способности сообщать правильные ответы, что можно считать ее недостатком. Однако этот недостаток с избытком компенсируется положительными ее свойствами. Пере-
числим их, ориентируясь на вышеприведенный список недостатков антропоморфного подхода:
1. Так как в компьютерной памяти нет эталонных ответов, то несанкционированный доступ к ним исключен, благодаря чему обеспечивается высокая информативность внешнего контроля.
2. Кодировать можно не только однозначные ответы выборочных систем, но и естественные, без перечисления альтернатив. При этом в зависимости от выбора подмножеств 31,32^3,...,3т множества 2, кодированию поддается большой класс многовариантных ответов. Например, при помощи устройства «Символ-Тест» во многих случаях возможно кодирование естественных ответов, насчитывающих сотни и тысячи вариантов их представления.
3. Обеспечивается простота реализации принципа интеграции электронных и традиционных учебников. Суть его в том, что кодирование задач и вопросов осуществляется по одним и тем же алгоритмам в обоих видах учебников, благодаря чему работать над ними можно в режиме самоконтроля, используя для проверки правильности ответов как специализированные устройства «Символ-Тест», так и компьютеры, оснащенные электронным ключом «Символ-КОМ».
4. Контроль и самоконтроль - это массовые операции в системах обучения. Например, за 10 лет школьного обучения с необходимостью проверки правильности ответов каждый учащийся встречается десятки тысяч раз. В этих условиях можно применять компьютер, но гораздо удобнее пользоваться специализированным устройством, своеобразным дидактическим калькулятором, каким является устройство «Символ-Тест». По цене оно доступно всем слоям населения, благодаря чему обеспечивается перспектива массового распространения автоматизированного самоконтроля (и внешнего контроля).
5. Неантропоморфный подход позволяет создавать электронные учебники на основе объединяющего начала в виде единообразного способа кодирования заданий, предназначенных для внешнего контроля и самоконтроля.
Еще раз отметим, что выход за рамки традиционного антропоморфного подхода приводит к потере способности компьютера сообщать правильные ответы на контрольные вопросы. В определенной мере это недостаток. Но приобретается за его счет гораздо больше. В сущности, практически все основные вопросы, трудноразрешимые в рамках антропоморфизма, при неантропоморфном подходе становятся вполне разрешимыми.
Таким образом, разработка неантропоморфных систем контроля является перспективным направлением в компьютеризации обучения, так как обеспечивает возможность успешного решения многих актуальных задач, связанных с повышением качества российского образования.
СПИСОК ЛИТЕРАТУРЫ
1. Брусенцов Н.П., Маслов С.П., Альварес Х.Р. Микрокомпьютерная система обучения «Наставник». - М.: Наука, 1990. -224 с. - ВВМ 5-02-014380-4.
2. Пат. 2260853 РФ. МПК7 G09B 7/02. Устройство для контроля и самоконтроля знаний обучаемых / М.Ю. Шевелев, Ю.П. Шевелев, О.Е. Пермяков, Л.П. Донских. Бюл. изобр. 2005. № 26.
3. Шевелев М.Ю., Шевелев Ю.П. Технические средства контроля знаний для систем автоматизированного обучения. - Томск: Изд-во ИОА СО РАН, 2006. - 234 с. - ВВМ 5-94458-075-5.
УДК 378.016
МОДЕЛИ И АЛГОРИТМЫ КОМПЬЮТЕРНЫХ САМОСТОЯТЕЛЬНЫХ РАБОТ НА ОСНОВЕ ГЕНЕРАЦИИ ТЕСТОВЫХ ЗАДАНИЙ
В.В. Кручинин, Л.И. Магазинчиков, Ю.В. Морозова
Томский университет систем управления и радиоэлектроники E-mail: kru@ie.tusur.ru
Рассматриваются модели и алгоритмы компьютерных самостоятельных работ, основанных на применении генераторов тестовых заданий. Показана структура такой программы и предложен обобщенный алгоритм работы. Описана технология обучения с использованием компьютерной самостоятельной работы.
В Томском университете систем управления и радиоэлектроники (ТУСУР) разработана оригинальная технология создания и сопровождения генераторов тестовых вопросов и задач. В настоящее время внедрено большое количество генераторов по гуманитарным и техническим дисциплинам. Однако в процессе практического применения этих генераторов были обнаружены новые возможности их исполнения, в частности, создания программ для самостоятельной подготовки студентов. Поскольку генератор получает огромное число тестовых вопросов и заданий, то стало возможным предъявлять не только индивидуальные задания, но и сопровождать их обучающими функциями посредством соответствующих указаний, помогающих студенту наметить план решения и осуществить его. Возможна выдача полного решения данной конкретной задачи с последующей заменой на другую.
Ниже предлагаются модели и алгоритмы самостоятельных работ на основе исполнения таких генераторов. Эта идея была реализована в курсе «Высшая математика» для студентов ТУСУРа, обучающихся по дистанционной технологии.
Комплексный подход к организации преподавания математики в технических вузах предполагает большое разнообразие программно-методического материала. В настоящее время в учебно-программный комплекс входят следующие составляющие: а) учебные пособия на бумажных носителях,
б) практикумы по решению задач, в) набор контрольных и самостоятельных работ, г) компьютерная программа «генератор», позволяющая тиражировать практически неограниченное число индивидуальных заданий различного назначения, д) набор базовых задач - «шаблонов» входного материала для работы программы «генератор», е) матери-
алы для проведения компьютерных экзаменов,
ж) методические материалы для подготовки к выполнению контрольных работ и сдачи экзаменов,
з) мультимедийные учебные пособия [1]. Остановимся более подробно на каждой из этих составляющих. Наиболее трудозатратным оказалось написание учебных пособий, пригодных для создания автоматизированных обучающих систем. Применяя системный подход, был проведен анализ понятийного аппарата, что позволило превратить курс высшей математики в единую дисциплину, не распадающуюся на отдельные слабо связанные между собой разделы [2].
На основании этого анализа проведена тщательная структуризация учебной информации с разбивкой ее на блоки, содержащие небольшое число новых элементов знаний. Написано пять учебных пособий, в которых теоретический материал дополнен достаточно большим числом примеров, поясняющих основные понятия. Кроме этого отдельно написано четыре практикума, для обучения студентов навыкам решения задач, включающих в себя как задачи с подробным решением, так и задачи для самостоятельной работы с указанием ответов. Для любой формы обучения, а особенно для дистанционной, важной является система контрольных и самостоятельных работ, индивидуальных заданий. Обычная практика, когда к пособию прилагается несколько вариантов контрольных работ, оказалась малоэффективной. Часть студентов пользовалась готовыми решениями, имеющимися у репетиторов, а также помещенных в Интернете. Компьютерный экзамен при малом объеме банка экзаменационных заданий также часто не даёт объективной оценки знаний студентов, так как ответы на все вопросы быстро становились извест-
