CC BY
73
дизъюнкт, т. е. пособие состоит из модулей m2, m4, m1, m14. Это оптимальное решение выделено на рис. 3 утолщенными линиями.
Заключение. Очевидно, что адаптационные свойства ТРЕК тем шире, чем более объемной и содержательной является база модулей. Эта база постоянно пополняется и со временем как ручная навигация по семантической сети, так и неформализованный выбор решения в U становятся затруднительными. Вместо получения множества U приходится оперировать некоторым его подмножеством приемлемой мощности, т. е. некоторой популяцией решений. В этих условиях для построения оптимальных траектории и ЭУП нужно вместе с изложенным подходом использовать генетические алгоритмы.
Работа выполнена при финансовой поддержке РФФИ (код проекта 10-07-00401-а)
Литература
1. Вуль В. А. Электронные издания. - СПб.: Петербургский институт печати, 2001. - 308 с.
2. Башмаков А. И., Башмаков И. А. Разработка компьютерных учебников и обучающих систем. -М.: Филинъ, 2003. - 616 с.
3. Информатизация образования: направления, средства, технологии / Под ред. С. И. Маслова. -М.: МЭИ, 2004. - 868 с.
4. Норенков И. П., Зимин А. М. Информационные технологии в образовании. - М.: МГТУ им. Н. Э. Баумана, 2004. - 352 с.
5. Соловов А. В. Электронное обучение: проблематика, дидактика, технология. - Самара: Новая техника, 2006. - 464 с.
6. Шереметов Л. Б., Усков В. Л. Виртуальные образовательные среды // Информационные технологии (приложение), 2002. № 5. - 24 с.
7. Open Сошье Ware [Электронный ресурс]. - Режим доступа: http://www.ocwconsortium.org.
8. Open Educational Resources Commons [Электронный ресурс]. - Режим доступа: http://www.oercommons.org.
9. Российское образование. Федеральный портал [Электронный ресурс]. - Режим доступа: http://www.edu.ru/db/portal/sites/portal_page.htm.
10. Савельев А. Я. Автоматизированные обучающие системы на базе ЭВМ. - М.: Знание, 1977. - 36 с.
11. Норенков Ю. И., Усков В. Л. Консультационно-обучающие системы // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение, 1993. Вып. 3.
12. Норенков И. П. Концепция модульного учебника // Информационные технологии, 1996. № 2. С. 22-24.
13. SCORM. Shareable Content Object Reference Model. 2d ed. - Advanced Distributed Learning, 2004.
14. Норенков И. П. Технологии разделяемых единиц контента для создания и сопровождения информационно-образовательных сред // Информационные технологии, 2003. № 8. С. 34-39.
15. Норенков И. П., Уваров М. Ю. База и генератор образовательных ресурсов // Информационные технологии, 2005. № 9. С. 60-65.
16. База и генератор образовательных ресурсов [Электронный ресурс]. - Режим доступа: http://bigor.bmstu.ru.
УДК 378.146:004
МОДЕЛИ И АЛГОРИТМЫ ДЛЯ КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ
А. А. Мицель, д. т. н., профессор Тел.: (3822) 701-536, e-mail: maa@asu.tusur.ru
Томский государственный университет систем управления и радиоэлектроники
http://www.tusur.ru
А. А. Погуда, аспирант кафедры «Автоматизированные системы управления» Тел.: (3822) 529-535, e-mail:alexsmail@sibmail.com Томский государственный университет http://www.tsu.ru
Mathematical models and algorithms intended for the automated control of knowledge are considered and analyzed. The most valid algorithms and methods for creation of electronic test systems possessing high dialectics are selected.
Рассматриваются и анализируются математические модели и алгоритмы, предназначенные для автоматизированного контроля знаний. Определяются наиболее валидные алгоритмы и методы для создания электронных систем тестирования, обладающих высокой диалектичностью.
Ключевые слова: контроль знаний, модели и алгоритмы, компьютерные системы контроля знаний. Keywords: knowledge control, models and algorithms, computer systems.
Введение
В современных вузах невозможно обеспечить учебный процесс без использования информационных технологий. В процессе обучения студентов различных направлений - как технических, так и экономических и гуманитарных - важной проблемой является проверка остаточных знаний студентов. Причем проверка остаточных знаний актуальна не только для очного образования, но также для заочного и дистанционного [1]. Задача проверки знаний всегда являлась важной целью в системе образования. Известно, что еще в XIX веке Исаак Питман (Isaac Pitman) посредством почтовых отправлений начал обучать стенографии студентов в Объединенном Королевстве, став, таким образом, родоначальником первого дистанционного образовательного курса.
Чаще всего автоматизация принятия решений в области оценки знаний обеспечивается средствами тестирования, и наибольшее распространение получило компьютерное тестирование. Актуальность разработки средств проверки знаний обуславливается также недавним введением единого государственного экзамена. Для технических специальностей существует множество алгоритмов проверки знаний студентов, которые рассматриваются в работах [2-4], т. к. здесь решение сводится к конкретному уравнению или определению. Для гуманитарных же дисциплин проблема тестирования стоит особо остро, т. к. ответить на тот или иной вопрос, можно совершенно по-разному. Поэтому ответы в таких дисциплинах должны сводиться к неким эталонным, где существуют основные ключевые слова, которые и являются «ключом» к тому или иному вопросу.
Фундаментом для исследования в области автоматизации проверки знаний студентов послужила работа [5]. Здесь авторы предлагают использовать в качестве основы систему искусственного интеллекта, что дает качественно иной подход к решению этой проблемы.
Однако разработка тестов и их использование сталкивается с рядом проблем, которые будут рассмотрены в данной работе.
Анализ проблемы
Традиционные способы контроля и оценивания знаний обучаемых путем тестирования сводятся к предъявлению им фиксированного числа заданий и различных вариантов ответов на каждое из них. Тестируемому остается только выбрать один или несколько истинных, по его мнению, ответов. Основу этого способа составляет оценивание истинности ответов с позиции классической двоичной логики в категориях «правильно - неправильно». От организаторов тестирования требуется только признать или опровергнуть истинность одного или нескольких вариантов ответов.
При использовании данного метода выявляются главные недостатки в виде невозможности учитывать при тестировании неполные или не совсем точные ответы обучаемого, принимаемые во внимание преподавателем при «живом» общении. Эта проблема наблюдается при попытке организовать автоматизированное тестирование по гуманитарным дисциплинам, таким как история, философия и т. п. Для таких дисциплин невозможно сформулировать единственный абсолютно правильный ответ, а их контроль не может сводиться к тому, насколько хорошо экзаменуемый помнит то или иное событие или определение. Ответ на вопрос по гуманитарному предмету часто дается на естественном языке в устном или письменном виде. Причем один и тот же ответ может быть высказан разными способами и фразами. При устном или письменном ответе возможны опечатки или ошибки.
В итоге при разработке тестов и их использовании можно столкнуться с рядом проблем, к которым можно отнести следующие:
• отсутствие единого формального подхода при реализации тестов и обработки их результатов вследствие большого числа областей применения, целей тестирования, форм его проведения, механизмов обработки результатов;
• модификация теста, необходимость в которой может появиться при возникновении новых ситуаций, получении дополнительной информации и т. д.;
• надежность;
• точность.
Под надежностью теста понимается относительное постоянство, устойчивость, согласованность результатов при его первичном и повторных применениях на одних и тех же объектах [6]. Точность отражает способность методики тонко реагировать на малейшие изменения оцениваемого свойства, происходящие в ходе эксперимента тестирования. Чем точнее методика тестирования, тем тоньше с ее помощью можно оценивать градации и выявлять оттенки измеряемого качества, хотя на практике не всегда нужна очень высокая степень точности оценок.
Истинность ответов является субъективным фактором, поскольку любой преподаватель способен оценивать правильность каждого ответа только исходя из того объема знаний, который он имеет на момент проверки знаний. Для дисциплин физико-математического цикла эта проблема не является особо острой т. к. ответы на точные вопросы могут быть выражены в од-ной-единственной форме, будь то формула или четко поставленная задача. Например, на вопрос «Чему равняется число п?» ответ очевиден для любого преподавателя и тестируемого: 3.14. Диалектический характер вопросов в гуманитарных дисциплинах в большинстве случаев не позволяет предложить на них абсолютно истинные ответы. Как говорится в работе [7], исключением могут служить только примитивные вопросы, например «В каком году произошло событие X?» или «Кто был автором произведения Y?».
Примером традиционного вида тестирования может служить хорошо известный в России единый государственный экзамен, где тестируемым выдаются бланки с тестами, в которых нужно выбрать правильный ответ (блок A). Там же присутствуют и ответы с открытыми вопросами (блок B), но даже если блок A проверяет компьютер, то в блоке B без человеческого фактора не обойтись. Данный вид тестирования используется в большинстве электронных систем тестирования, таких как E-test, тестирование ТМЦДО и др.
Многоуровневые тесты
В работе [8] автор предлагает использовать многоуровневые тесты, которые позволяют исключить элемент угадывания верного ответа тестируемым и генерировать дополнительные вопросы преподавателем. Вся «изюминка» заключается в том, что каждый последующий уровень вопросов «уточняет» ответ, данный на предыдущем уровне. Если на втором уровне испытуемый не отвечает правильно на вопрос, то это означает, что при ответе на первом уровне он, возможно, угадал правильный ответ. После прохождения тестирования его участник может либо набрать дополнительные балы, если он действительно знает материал, либо набранные случайно балы на первом уровне потеряют свой вес в процессе прохождения других уровней. Реализован этот способ тестирования в программной среде программирования Delphi 7.0 и в среде дистанционного обучения Moodle.
Недостатком данного способа, по мнению авторов, является полное участие преподавателя в формировании вопросов т. к. он должен правильно сформулировать вопрос и отнести его к определенной группе вопросов, которые, по его мнению, будут выступать в качестве первого, второго или третьего уровня.
Гш
Е=
ш
t: I
Щпр-Гё~П
|1оо]| о' ГТП-
JLL
гзЬ
ГвП
: вП
-ТТЛ (мГг
е;
. BJ
[Гао| [~о ¡ [1оо][~о~~| —Gp [Зр—
-ГТН fiooT-
Е J
щ
щ.
в;
ai
дщ
-L-p
да
□р-□Tj
-ащ
[ТП
Пй> ГЕЗ~1
ffl пш
игь ЁШ
ш
an
-Ш
шз
М[Т ! [юо'и~о] [Гос]["=?"~; |1001! "": [юс"] Гшо | [ О") ГЩ]| о ] ркШа;;: ] Рис. 1. Схема раздела многоуровневого теста, где В1, В2, ВЗ - вопросы первого, второго и
третьего уровня соответственно [8]
Алгоритм принятия решений
В работе [9] для наилучшего анализа ответов предлагается использовать алгоритм принятия решения в условиях неопределенности, основанный на использовании метода анализа альтернатив (принятие решений в условиях неопределенности) предложенный А. Борисовым и М. Крумбергом [10]. Метод может использоваться в том случае, когда оценки ответов задаются как степени соответствия альтернативам, определяемые критериями, в роли которых могут вы-
ступать тестовые вопросы, предполагающие различные варианты ответов. Суть метода заключается в следующем.
Пусть имеется множество из m альтернатив A = {a1, a2,..., am}, тогда для критерия C может быть рассмотрено нечеткое множество
где лС(й) - функция принадлежности альтернативы ai C = { / / /} (i = 1,..., m) по критерию C, она характеризует степень
c = {/c(ai) / ai, uc(a2) / a2,., uc(am) / am}, соответствия альтернативы понятию, определяемому
критерием C.
Если имеется п критериев С1, С2, С3,..., Сп, то лучшей считается альтернатива, удовлетворяющая каждому из них. Тогда правило для выбора наилучшей альтернативы может быть записано в виде пересечения соответствующих нечетких множеств
D = С1ПС2П...ПСП.
Операции пересечения нечетких множеств соответствует операция минимума, выполняемая над их функциями принадлежности
UD(aj) = min uci(aj), j = 1, .*., m; i = 1, n.
В качестве лучшей выбирается альтернатива a , имеющая наибольшее значение функции принадлежности
U D(a*) = max /лd (aj), j = 1, m.
Для реализации вышеперечисленного алгоритма на первом этапе требуется каким-либо образом задать значение функции принадлежности. В работе [10] из множества способов задания функций принадлежности был выбран метод построения функций принадлежности на основе интегральных оценок.
Описанный выше метод принятия решений, основанный на нечеткой математике, позволяет удобно и достаточно объективно производить оценку альтернатив. В отличие от других методов, добавление новых альтернатив не изменяет порядка ранее ранжированных наборов. Представленная методика могла бы с успехом использоваться как в различных электронных системах тестирования, так и в кредитных отделах банков для оценки инвестиционных проектов и последующего анализа эффективности управления инвестиционным портфелем.
Анализ естественно-языковых текстов
Анализ естественно-языковых текстов, особенно в последнее время, представляет собой очень актуальную проблему ввиду большого роста объемов текстовой информации и сложной структурированности естественно-языковых текстов. Существует множество статических и нестатических подходов к поиску текстовой информации. Статические подходы в основном используются для оценки и вычисления релевантности документа запросу в современных поисковых системах, что не совсем подходит для решения задачи тестирования. Что касается нестатических подходов, то здесь ситуация несколько другая. Нестатические подходы могут быть применены в диалоговых системах при построении ответов на естественно-языковой вопрос, в системах машинного перевода и других видах анализа информации. В работе [11] автор предлагает следующую классификацию сложности решений:
• оригинальные решения, класс A;
• красивые решения, класс B;
• сложные решения, класс c.
К классу A относятся решения, в основу которых положен автоматизированный анализ естественно-языковых текстов. Здесь способ получения данных возлагается на вычислительные мощности ЭВМ.
К классу B относится создание словарей и фундаментальных работ, которые и легли в основу современной прикладной лингвистики. Решения этого класса подразумевают долгий и трудоемкий ручной процесс, требующий немалых временных затрат, но результат будет универсальным для широкого спектра входных данных.
К классу c относятся более сложные решения, в которых число операций для реализации поставленной задачи существенно превышает число слов в языке. Здесь больше задействован ручной труд, нежели производительные мощности ЭВМ. К этому классу относится целый ряд методов анализа.
Задача лексического анализа состоит: в разделении текста на слова, разделители; в выделении устойчивых оборотов, не имеющих словоизменительных вариантов; выделении фамилии, имени, отчества; числовых и иных знаковых комплексов, предложений, абзацев и др. Данный анализ вырабатывает информацию, которая передается на последующие этапы обработки, т. е. морфологическому и синтаксическому анализаторам.
Задача морфологического анализа состоит в однозначном определении леммы (начальной формы слова) и парадигмы (всех грамматических словоформ для леммы) для каждого из слов в анализируемом предложении.
Задача синтаксического анализа состоит в выделении в предложении синтаксических единств (фрагментов), больших или равных словосочетанию (синтаксической группе), и в установлении иерархии этих единств без использования семантической информации и информации о модели управления. Иерархия здесь отражает синтаксическую зависимость отдельных фрагментов в предложении.
Рис. 2. Способ компьютерного представления связи простых предложений [11]
Решение проблемы
Как уже говорилось ранее, существует множество алгоритмов для решения задачи автоматизированного контроля проверки знаний. Предлагаемый метод подразумевает комбинированное использование лексического, морфологического и синтаксического анализа. Пусть «Где находится мавзолей Ленина?» будет нашим вопросом, на который отвечает тестируемый, а «Мавзолей, в котором находится Ленин, в Москве» будет нашим полным ответом. Возьмем слова в нашем вопросе и ответе за переменные, где слова во всех падежах и временах представляются в виде определенного набора букв: а = «где», Ь = «находится», с = «мавзолей», й = «Ленин» и е = «Москва». В нашем случае ключевым ответом на вопрос будет обязательное наличие переменной е в ответе. Предполагается, что используется база данных, в которой содержатся все возможные слова, применяемые в ответе, в разных падежах и временах, а также, возможно, и их синонимы. К примеру, для переменных Ь и а будут верными такие наборы слов: Ь = (находится, находятся, находился), а = (Ленин, Ленина, ленинский). Тогда формула нашего вопроса будет выглядеть так:
Е = а + Ь + с + й, где Е- вопрос, а, Ь, с, й - наши переменные.
Ответами в нашем случае будет множество 01, 02, 03,..., 0п, где полным ответом будет считаться 01:
01 = с + а + Ь + й + е.
В остальных же случаях верными, но неполными ответами будут являться
02 = с + Ь + е, 03 = с + е,
0п = е.
Итак, если тестируемый ответит на вопрос правильно и полным ответом, система засчитает ответ как правильный и дополнительно выставит оценку полноты ответа в процентах -100%. Если ответ будет верным, но неполным, например «Мавзолей находится в Москве» (вариант ответа 02), он будет оценен в 90%. Ответ «Мавзолей в Москве» будет оценен в 80% и т. д. до порога в 50%. Если же ответ дан неверно, то система его не засчитает, но если в ответе встречаются ключевые слова, то оценка ответа в процентном отношении будет соответствовать числу встречающихся ключевых слов, но без повторений.
Таким образом, возможен еще один метод тестирования, при котором преподаватель не только сможет следить за успеваемостью, но и видеть, по какой именно теме у обучающихся имеются «пробелы».
Заключение
В данной статье рассмотрены алгоритмы и методы, которые, по мнению авторов, представляют особый интерес. Рассмотренные алгоритмы и методы позволяют понять, насколько остро стоит проблема с электронным тестированием по дисциплинам, в которых ответы на вопросы требуют высокой диалектичности. Существует множество подобных алгоритмов и моделей тестирования, таких как модель Раша и Бирнбаума, тест Айзенка, информационно-генетические алгоритмы, метод определения количества образовательной информации и др. Особое внимание следует уделить модели нечеткого оценивания [7] с использованием нейрон-
ных сетей [12], т. к. использование нейронных сетей дает принципиально новый подход к решению задач тестирования и контроля знаний. Использование нейронных сетей, кстати, подходит для анализа текстов на естественном языке. Это может максимально приблизить оценивание знаний компьютером к выводам, которые делает преподаватель при проверке устного или письменного задания.
Литература
1. Мицель А. А., Молнина Е. В. Дистанционное образование как составляющая процесса формирования единого образовательного пространства // Открытое образование, 2006. № 2. С. 59-65.
2. Мицель А. А., Клыков В. В. Интерактивные компьютерные тренажеры по математическим дисциплинам / Открытое образование, 2005. № 2. С. 22-28.
3. Мицель А. А., Ельцов А. А., Романенко В. В., Романенко А. В., Шатлов К. Г. Мультимедийный электронный обучающий курс «Высшая математика. Интегральное исчисление и дифференциальные уравнения» // Открытое образование, 2007. № 2. С. 13-16.
4. Мицель А. А., Коваленко Н. Д., Лычковская Л. Е., Линейцева Н. И., Менгардт Е. Р., Романенко В. В., Романенко А. В., Шатлов К. Г. Мультимедийный электронный обучающий курс «Английский язык для студентов технического университета» // Открытое образование, 2008. № 2. С. 18-23.
5. Мицель А. А., Молнина Е. В. Применение систем искусственного интеллекта при решении проблем автоматизации обучения и контроля знаний дистанционных студентов // Известия Орловского государственного технического университета, 2006. № 1 (3). С. 81-85.
6. Райгородский Д. Я. Практическая психодиагностика. Методики и тесты: Учебное пособие. - Самара: БАХРАХ, 2006. Т. 1. - 672 с.
7. Рудинский И. Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования // Информационные технологии, 2003. № 9. С. 46-51.
8. Молнина Е. В. Примеры реализации многоуровневого способа тестирования // Модернизация инженерного и общего образования: проблемы и перспективы: Труды VII Всероссийской научно-практической конференции. - Юрга: ТПУ, 2009. С. 39-42.
9. Марухина О. В. Алгоритмы обработки информации в задачах оценивания качества обучения студентов вуза на основе экспертно-статистических методов. Кандидатская диссертация. - Томск: ТПУ, 2003. - 158 с.
10. Борисов А., Крумберг И., Федоров И. Принятие решений на основе нечетких моделей. - Рига: Знание, 1990. - 352 с.
11. Толпегин П. В. Информационные технологии анализа русских естественно-языковых текстов // Информационные технологии, 2006. № 8. С. 41-50.
12. Вербицкий А. А., Гридин В. Н., Солодовников В. И., Солодовников И. В. Использование нейронных сетей в задаче тестирования // Информационные технологии, 2007. № 9. С. 21-26.
ДИДАКТИЧЕСКАЯ ФОРМАЛИЗАЦИЯ СОВРЕМЕННЫХ ОБУЧАЮЩИХ СИСТЕМ: ОСОБЕННОСТИ И МОДЕЛИ
В. В. Нечаев, академик РАЕН, заведующий кафедрой «Интеллектуальные
технологии и системы» Тел.: (495) 434-74-47, e-mail: nechaev@mirea.ru В. М. Панченко, к. т. н., профессор кафедры ИТС Тел.: (495) 434-91-54, e-mail:pvm36@yandex.ru А. И. Комаров, аспирант кафедры ИТС Тел.: (903) 747-53-58, e-mail: komarov-aig@yandex.ru Московский государственный институт радиотехники электроники и автоматики
(технический университет) www.mirea.ru
Various approaches to monitoring the quality of education are considered. The number of basic qualitative features of modern learning systems is identified. The results of the analysis define the system of limits of computer technology of education and form the requirements for the system of monitoring the quality of education.
В работе рассмотрены различные подходы к мониторингу качества обучения. Определен ряд основных качественных особенностей современных обучающих систем. На основе результатов анализа определена система ограничений компьютерных технологий обучения и сформулированы требования к построению системы мониторинга качества обучения.
