CC BY
27
-►
Информационные и телекоммуникационные технологии в образовании
УДК 378.4
Ю.А. Ветринский
концепция интеллектуальной системы контроля результатов обучения на базе штатной lms
Анализ существующих подходов к построению программных систем контроля результатов обучения в вузах показывает, что все они реализуют классическое тестирование, особенностями которого являются гомогенный характер тестовых заданий, жесткая структура тестов и бинарная логика оценки ответов с представлением результатов в виде суммы баллов. При методически грамотном формировании тестов и правильной организации порядка их прохождения классический подход может быть достаточно эффективным, однако изменения последних лет в системе отечественного высшего образования предъявляют новые, более жесткие требования к системам контроля уровня знаний.
Ориентация на компетентностный подход предполагает необходимость оценки не только степени усвоения обучаемыми материалов той или иной темы, но и их способности применять полученные знания, а также личностных качеств, необходимых для успешной профессиональной деятельности. Гибкость в формировании курсов, предоставленная вузам государственными образовательными стандартами третьего поколения, обусловливает потребность в контроле за практической ценностью учебных материалов и методических приемов их подачи студентам. Все это делает более критичными такие недостатки классических систем контроля, как низкие возможности по оценке глубины остаточных знаний, слабые средства анализа практической ценности и корректности формулировки тестовых заданий и невозможность оценки эффективности используемых методик обучения.
Указанные недостатки могут быть преодолены при реализации систем контроля на основе технологий искусственного интеллекта, однако все известные на текущий момент интеллектуальные си-
стемы контроля знаний так и не вышли из стадии демонстрационных прототипов - не в последнюю очередь потому, что разрабатывались с нуля, без опоры на существующие приложения [1, 2].
Предлагается концепция построения интеллектуальной системы контроля на базе штатных средств тестирования систем управления обучением (Learning Management System - LMS), расширенных средствами одного из математических пакетов, поддерживающих работу со знаниями (операции с лингвистическими переменными, нечеткий вывод на правилах продукций, работа с гибридными нейронными сетями и др.). Достоинствами такого комплексирования программных систем являются возможность использования богатого арсенала средств LMS по разработке классических тестов, структурированному хранению тестовых заданий в базах данных, статистическому анализу результатов контроля и их развитого интерфейса в сочетании со специфическими функциями математических пакетов по обработке нечеткой информации.
Блок-схема интеллектуальной системы контроля знаний на базе LMS приведена на рис. 1. Программные блоки системы включают:
• интерфейс с обучаемыми - штатный интерфейс LMS, посредством которого производится взаимодействие с обучаемыми при контроле [3];
• стимулятор тестирования - штатные алгоритмические средства LMS, обеспечивающие обращение обучаемых к подсистеме тестирования - открытие и закрытие возможности доступа к тесту, ограничение времени тестирования, напоминание об очередном тесте в календаре LMS [3];
• блок адаптивного тестирования - штатные программные средства тестирования LMS, расширенные возможностью динамической выдачи результатов контроля во внешнюю систему ана-
Рис. 1. Блок-схема интеллектуальной системы контроля знаний
лиза, в которой оценивается глубина усвоения материала, и возможностью предъявления обучаемым дополнительных заданий, загружаемых из базы тестовых заданий по команде из блока анализа результатов контроля;
• блок анализа результатов контроля - алгоритмические средства, реализующие нечеткий логический вывод об уровне знаний обучаемого на основании результатов прохождения тестов LMS. Этот программный блок является внешним по отношению к LMS и реализуется в математическом пакете, поддерживающем работу с лингвистическими переменными и нечеткой логикой. Блок включает библиотеку функций принадлежности термов лингвистических переменных, используемых для характеристики глубины знаний обучаемых, библиотеку правил и механизм нечеткого вывода. Входные численные значения результатов прохождения тестовых заданий преобразуются в форму нечетких высказываний, активизирующих определенный набор правил продукций, на котором осуществляется нечеткий логический вывод по выбранному алгоритму [4]. В зависимости от результатов вывода могут быть приняты решения о выборе нового задания, уточняющего знания студента, или о прекращении контроля с выдачей итоговых данных в блок анализа корректности тестов, модель обучаемого и преподавательский интерфейс. Задание и коррекция функций принадлежности термов, составление базы правил и выбор механизма нечеткого вывода осуществляется через преподавательский интерфейс;
• блок анализа корректности и ценности тестовых заданий - программные средства, обе-
спечивающие вывод о практической ценности тестовых заданий и корректности их формулировки разработчиком на основании результатов тестирования LMS и модели обучаемого. Этот блок является внешним по отношению к LMS и реализуется в математическом пакете, поддерживающем работу с нечеткой логикой. Блок включает в себя библиотеку функций принадлежности и набор правил, позволяющих по историческим данным о прохождении теста обучаемыми и сведений о текущем уровне знаний студентов определить его дидактическую ценность и корректность формализованного представления вопросов и ответов. Численные значения результатов контроля и сведения об обучаемых преобразуются в форму нечетких высказываний, активирующих правила, на которых проводится вывод. В зависимости от результатов вывода могут быть приняты решения о важности и корректности задания или, наоборот, о его низком обучающем потенциале или возможных некорректностях в формулировках вопросов и вариантов ответов. Результаты анализа выводятся на интерфейс преподавателя, откуда при необходимости производится корректировка тестовых заданий;
• блок анализа методики обучения - программные средства для оценки эффективности используемых преподавателями методик обучения с целью их промежуточной коррекции на основании сведений, полученных из базы хранения результатов тестирования LMS и модели обучаемого. Данный программный блок является внешним по отношению к LMS и реализуется в нечетком математическом пакете. Блок включает гибридную нейронную сеть, на основе которой
Информационные и телекоммуникационные технологии в образовании
по историческим данным о результатах тестирования и сведениям о личностных качествах обучаемых осуществляется прогнозирование тренда успеваемости учебных групп, в которых ведется курс. Если результаты прогнозирования не позволяют уловить тренда к повышению уровня подготовки обучаемых при высоких показателях их личностных качеств, делается вывод о недостаточной эффективности методики преподавания с выводом соответствующего сообщения на преподавательский интерфейс, откуда производится и настройка параметров нейронной сети;
• модель обучаемого - база данных LMS, содержащая учетную информацию обучаемых, сведения об уровне их знаний, выявленные по итогам контроля, и данные о личностных качествах обучаемых - степени ответственности за результат обучения и уровне образованности. Учетная информация обучаемых и результаты их текущего контроля являются штатными сведениями баз данных LMS. Данные об образованности и ответственности обучаемых как трудно формализуемая информация, выражаются в формате нечетких лингвистических переменных. Сведения о личностных качествах играют важную роль при анализе корректности формализации тестовых заданий и адекватности методик обучения;
• междисциплинарная база тестовых заданий - хранилище тестовых вопросов LMS, обеспечивающая возможность обращения к вопросам из других дисциплин. Вопросы из междисциплинарной базы задействуются в блоке адаптивного тестирования после активизации, осуществляемой по сигналу блока анализа результатов контроля;
• интерфейс с преподавателем - штатный интерфейс LMS, через который производится контакт с преподавателями в процессе разработки тестовых заданий и сборки тестов, расширенный возможностью работы с внешними программными блоками, реализующими интеллектуальные функции - адаптивный контроль, анализ корректности и ценности тестовых заданий и эффективности методик обучения.
Взаимодействие программных блоков интеллектуальной системы контроля при организации учебной деятельности на базе LMS [5, 6] происходит в следующей последовательности. В установленное время обучаемые проходят текущий контроль, проводимый средствами LMS. Предъявление заданий осуществляется блоками из фиксированного числа вопросов. После отчета
по первому блоку тестовых заданий анализатор результатов контроля выявляет пробелы в знаниях обучаемого по текущей и ранее изученным темам и дисциплинам. В соответствии с этими пробелами из базы тестовых заданий производится выбор и предъявление дополнительного блока вопросов из области, в которой обучаемый проявил наименее глубокие познания. Поскольку анализ результатов ведется в режиме реального времени, для обучаемого это выглядит просто как появление очередных заданий, хотя для него уже формируется индивидуальная траектория контроля. Дополнительные блоки тестовых заданий выбираются до достижения установленной глубины тестирования, чтобы избежать затягивания процесса контроля - обычно не более двух-трех шагов «вглубь» учебного материала.
По результатам адаптивного тестирования формируется оценка в формате сложного лингвистического высказывания, характеризующего глубину познаний обучаемого по текущему материалу и уровень его знаний по пройденным темам, необходимым для осознанного понимания текущей. Представляется, что такое представление результатов контроля скажет преподавателю об уровне подготовки студента значительно больше, чем классическая оценка результатов контроля в виде безликого числа баллов.
Результаты контроля - баллы и значения функций принадлежности лингвистических термов - сохраняются в базе данных LMS для дальнейшего использования при анализе тестовых вопросов и методик обучения, а также для формирования модели обучаемых - личностных качеств, выражаемых лингвистическими переменными «образованность» и «ответственность». Переменная «образованность» характеризует степень соответствия текущего уровня знаний и умений обучаемого требованиям образовательных стандартов. Она определяется как результат логического вывода на множестве правил продукций, условная часть которых является конъюнкцией нечетких высказываний, характеризующих глубину знаний по изученным разделам дисциплины. Переменная «ответственность» характеризует отношение обучаемого к учебе, учитывая степень его подготовки по текущей теме, посещаемость занятий, число обращений к учебному материалу, игнорирование тестирования и т. п.
При наборе определенной статистики контроля в работу включается блок анализа цен-
15 Супергетеродинная схема приемника
1 В каик случаях рекомендуется использовать двойное преобразование частоты?
Баллов: 1
Выберите по □ а. при работе в диапазонах УКВ и ДМВ
крайней мере ,-, , „
и Ь. при низкои избирательности по зеркальному каналу
один ответ:
□ с. при низкой избирательности по соседнему каналу
□ е. при низкой избирательности по промежуточной частоте
Перечислить преимущества супергетеродинной схемы построения приемного устройства
2 s-
Баллов: 1
3 V
Баллов: 1
Выберите по □ а. обеспечивает простоту реализации входной цепи
крайней мере ,-, ,
и Ь. дает удобную возможность перестройки каналов
один ответ:
□ с. обеспечивает высокую устойчивость усиления
□ <1. обеспечивает хорошее подавление соседнего канала
□ е. обеспечивает хорошее подавление зеркального канала Сопоставить элементы тракта приемника с подавляемыми в них побочными каналами
зеркальный канал соседний канал
канал промежуточной частоты
Выбрать ■1
Выбрать 11
Выбрать ■1
Рис. 2. Взаимодействие системы контроля знаний с обучаемыми
ности тестовых заданий и корректности их формализации. Практическая ценность задания для обучения определяется на основе анализа статистики его выполнения - в случае, если большинство обучаемых выполняет это задание на «хорошо» и «отлично», то ценность задания невелика, о чем сообщается через преподаватель-
File Edit View
ский интерфейс. В противоположном случае делается вывод о возможных некорректностях и неоднозначностях при формализации задания, о чем также сообщается.
После прохождения обучаемыми определенного числа тестов в работу включается блок анализа эффективности используемой методики
FIS Variables
11
^енка_за_вогфкшние_темы
XX ДА
Membership function plots
plot points:
181
ОВ2Т15Д24 ЭТ13Д24
xx /m
ОВЗ T15 ДЗ*стивировать_ТЗ>
XX
1 1 Неуд. 1 1 1 1 Удовл Хорошо Отлично
1 1 1 — : II !
ПТ15 л?4
10 20 30 40 50 60 70 80 90 100
input variable "Оценка_за_вопрос"
Current Variable Name Оценка_за_вопрос Type input Current Membership Function (click on MF to select) Name Heyfl TyPe trapmf
Range [0 100] Params [0 0 34 3 7]
Display Range [Q 100j Help Close
Рис. 3. Задание функций принадлежности лингвистических переменных
4-
Информационные и телекоммуникационные технологии в образовании
File Edit View Options
1 lf (KB1 Т15.Д24 is низкая) then (<вывод_сообщения is "вопрос_некорректен">) (1)
2 lf (ЦВ1 Т15 Д24 is низкая) then (<вывод_сообщения is "низкая_ценность_вопроса">) (1)
3. W (ГОВ1.Т15.Д24 is средняя) then (Практическая_ценность_вопроса is средняя)(Коррекшость_вопроса is высокая) (1)
4 lf (ГОВ1 Т15Д24 is очень_высокая) then (Практическая_ценность_вопроса is низкая)(<вывод_сообщения is "низкая_ценность_вопроса">) (1)
5 lf (ГОВ1 Т15-Д24 is очень_низкая) then (Корректность_вопроса is низкая)(<вывод_сообщения is "вопрос_некорректен">) (1)
6. lf (ГОВ1.Т15.Д24 is средняя) and (ЦВ1.Т15.Д24 is высокая) then (Практическая_ценность_вопроса is средняя)(Корректность_вопроса is высокая) (1)
7 lf (ГОВ1.Т15 Д24 is высокая) then (Практическая_ценность_вопроса is низкая)(Корректность_вопроса is средняя) (1)
8 lf (ГОВ1-Т15.Д24 is невысокая) and (ЦВ1 Т15 Д24 is высокая) then (Корректность_вопроса is средняя)(1)
If
Групповая_оценка_вопр
ГОВ1.Т15.Д24 is
ЦВ1.Т15.Д24 is
КВ1 Т15.Д24 is
Then
Практическая_ценностъ_
очень_низкая
невысокая средняя высокая очень высокая
□ not
Connection — 9 of and
I очень_низкая низкая л низкая высокая
невысокая средняя средняя средняя
средняя высокая высокая низкая
высокая Г попе попе попе
очень_высока^_ 1—1 »
□ 'not □ not □ not □ not
Weight:
Delete rule Add rule Change rule <<_1 »
Рис. 4. Создание базы правил продукций для нечеткого логического вывода
обучения, строящий свою работу на модели «типового обучаемого» и данных о результатах тестирования. В качестве модели «типового обучаемого» выбирается студент, личностное качество «образованность» которого выше среднего, а качество «ответственность» - высокое. Результаты тестирования по пройденным темам обрабатываются в гибридной нейронной сети, на выходе которой формируются предсказания оценок по следующим темам. Если результаты нейросетевой обработки не выявляют положительного тренда в успеваемости «типового обучаемого», делается вывод о низкой эффективности методики обучения, о чем и сообщается преподавателю.
Для проверки предложенных концептуальных решений на кафедре радиотехники и телекоммуникации разработан экспериментальный прототип системы интеллектуального контроля результатов учебной деятельности на основе комплексирования LMS Moodle и математического пакета расширения MATLAB Fuzzy Logic Toolbox [7]. Динамический обмен данными в ре-
жиме реального времени между LMS Moodle и Fuzzy Logic Toolbox функций организован через стандартный DDE-интерфейс [8].
Взаимодействие обучаемых с системой в процессе адаптивного контроля осуществлялось в привычном интерфейсе LMS Moodle (рис. 2).
Функции построения лингвистических переменных, создания базы правил нечетких продукций, фаззификации количественных результатов контроля и нечеткого логического вывода по алгоритму Мамдани реализованы в пакете Fuzzy Logic Toolbox (рис. 3, 4).
Работоспособность прототипа и адекватность его выводов уровню остаточных знаний проверялись на базе дисциплины «Устройства приема и обработки сигналов». В ходе проверок система демонстрировала устойчивую работу в соответствии с описанным выше алгоритмом, формировала индивидуальные траектории контроля обучаемых и по требованию преподавателя выводила к полученным за тестирование оценкам в баллах комментарии на естественном языке (рис. 5).
г1 Q Интернет - % 100%
Рис. 5. Вывод результатов адаптивного контроля
Результаты проведенных проверок позволяют утверждать, что реализованная в соответствии с предлагаемой концепцией интеллектуальная система контроля действительно позволяет оценивать остаточные знания обучаемых на уровне, сопоставимом с результатами личного опроса.
Способности системы к совершенствованию тестовых заданий и эффективной корректировке методик обучения будут проверяться по мере накопления достаточного статистического материала.
список литературы
1. Рыбина, Г.В. Обучающие интегрированные экспертные системы: некоторые итоги и перспективы [Текст] / Г.В. Рыбина // Искусственный интеллект и принятие решений. -2008. -№ 1. -С. 22-46.
2. Ковтун, С.А. О концепции создания интеллектуальных тестирующих систем [Текст] / С.А. Ковтун, С.Н. Капитан, О.О. Савельев // Искусственный интеллект. -2009. -№ 4. -С. 360-364.
3. Ветринский, Ю.А. Программные средства поддержки учебного процесса в информационно-образовательной среде университета [Текст] / Ю.А. Ветринский, А.Б. Никитин, В.А. Сороцкий, И.А. Цикин // Научно-технические ведомости СПбГПУ -2008. -№ 3 (60). -С. 256-264.
4. Ветринский, Ю.А. Ситуационная система поддержки принятия решений с нечетким классификатором [Текст] / Ю.А. Ветринский // Изв. вузов. Сер. Приборостроение. -2001. -Т. 44. -№ 2. -С. 3-7.
5. Ветринский, Ю.А. Опыт использования технологии смешанного обучения в практике преподавания технических дисциплин [Текст] / Ю.А. Ветринский // Научно-технические ведомости СПбГПУ -2009. -№ 5 (86). -С. 185 - 190.
6. Ветринский, Ю.А. Использование средств электронного обучения в общеобразовательной школе [Текст] / Ю.А. Ветринский // Научно-технические ведомости СПбГПУ -2010. -№ 6 (113). -С. 164-169.
7. Леоненков, А.В. Нечеткое моделирование в среде МАПЪАВ и fuzzyTECH [Текст] / А.В. Леоненков. -СПб.: БХВ-Петербург, 2003. -736 с.
8. Болдырев, Ю.Я. Технология сетевого доступа к программной среде МАПЬАВ на основе кластерной вычислительной системы [Текст] / Ю.Я. Болдырев, В.А. Варгаузин, Е.П. Петухов, И.А. Цикин // Научно-технические ведомости СПбГПУ -2009. -№ 5 (86). -С. 31-38.
УДК 007
Р.М. Юсупов
из истории развития информатики
и информационных технологий в санкт-петербурге
Лауреатом Нобелевской премии по физике за 2000 г. стал академик Ж.И. Алферов, петербуржец, вице-президент Российской академии наук. Высокая премия получена им за исследования полупроводниковых гетероструктур и создание на их основе лазеров, что привело к появлению новой электроники, являющейся основой элементной базы современных информационных технологий. Результаты фундаментальных работ Ж.И. Алферова широко применяются при создании волоконно-оптических каналов связи, в т. ч. Интернета, лазерных диодов, используемых в проигрывателях CD-дисков, быстродействующих транзисторов, необходимых для мобильных телефонов и спутниковой связи, и факт присуждения ему Нобелевской премии является в определенной степени признанием в его лице и заслуг Санкт-Петербурга не только в области физики, но и в области информатики и информационных технологий.
В данной статье под информатикой будем понимать науку о методах и средствах сбора, хране-
ния, передачи, представления, обработки и защиты информации. Если исходить из рассмотрения генеалогического дерева развития информатики, т. е. если учитывать тот факт, что это научное направление развивалось под активным влиянием математики, логики, теории связи, кибернетики (теории управления) и других наук, то можно считать, что «российская» информатика в значительной мере зарождалась в нашем городе.
В связи с этим нельзя не упомянуть наших выдающихся математиков, в трудах которых развиты основы приближенных вычислений и численных методов (П.Л. Чебышев, А.Н. Крылов, В.А. Стеклов), линейного программирования (Л.В. Канторович), математической логики (А.А. Марков-младший), теории устойчивости (А.М. Ляпунов), теории вероятностей и математической статистики (П.Л. Чебышев, Ю.В. Линник, А.М. Ляпунов, А.А. Марков, С.Н. Бернштейн). Их работы оказали заметное влияние на формирование теоретических основ информатики, в развитии которой в дальнейшем приняли уча-
