CC BY
8Электронный журнал «Труды МАИ». Выпуск № 37
www.mai.ru/science/trudy/
УДК 004.4'272
Принципы создания компьютерной среды для имитационного тестирования квалификационных характеристик персонала в области проектирования ракетно-космических систем.
Г.Б. Сологуб
Аннотация
Рассмотрена задача автоматизированного интеллектуального тестирования компетентностных характеристик инженеров-проектировщиков для авиакосмической отрасли. Выполнен обзор существующих программных средств для создания тестов, проанализированы их достоинства и недостатки. Сформулированы принципы разработки компьютерной среды, предназначенной для имитационного тестирования знаний. Ключевые слова
тестирование знаний; контроль знаний; оценка знаний; проверка знаний; компьютерное тестирование; адаптивное тестирование; компьютерное адаптивное тестирование.
Введение
Квалификационные требования определяются специфическими особенностями ракетно-космической промышленности.
Современная ракетно-космическая техника представляет собой уникальные, дорогие и сложные высокотехнологичные робототехнические системы, оснащенные новейшими компьютерными средствами. К их качеству, надежности, ресурсу, а также культуре и организации производства предъявляются повышенные требования [1].
Технологические процессы на всех этапах создания ракетно-космической техники (проектирование, изготовление, испытание, эксплуатация) являются разнообразными и сложными, требуют проведения глубокой научно-исследовательской работы.
Использование программно-моделирующих комплексов позволяет повысить эффективность подготовки специалистов по эксплуатации космической техники [2]. В той же мере автоматизированный интеллектуальный контроль квалификационных характеристик повышает качество обучения и сертификации инженеров-проектировщиков.
В настоящее время сформулирована и проводится в жизнь программа по созданию системы кадрового обеспечения авиакосмической отрасли на базе учебно-инновационных межвузовских внутриотраслевых комплексов, переработки образовательных стандартов в сторону усиления профессиональной практической подготовки специалистов, внедрения новых систем обучения с использованием современных информационных технологий [3]. Требования к специалистам формируются на основе компетентностной модели, включающей как личные качества и свойства работника, так и условия профессиональной деятельности, в частности, знания, которыми он должен обладать для решения профессиональных задач [4].
Таким образом, становится актуальной проблема проведения автоматизированного интеллектуального тестирования знаний с помощью соответствующего программного обеспечения.
Современное состояние систем тестирования знаний
В настоящее время существует множество тестирующих систем по различным областям знаний и достаточно ограниченный набор средств их разработки.
Большинство таких средств предоставляют возможность создания мультимедийных тестов, проведения тестирований в локальном и дистанционном режиме, сохранения результатов и передачи их преподавателю, администрирования пользователей и учебных групп.
Многие из них представляют собой комплексные обучающие системы, предназначенные, в основном, для создания компьютерных учебных курсов и дистанционного обучения.
Некоторые обладают сравнительно удобным визуальным интерфейсом для формирования заданий и вопросов, построения тестов, и только очень немногие позволяют создавать сложные адаптивные тесты в соответствии с заданной методикой тестирования.
Можно выделить следующие категории рассматриваемых программных продуктов:
1) некоммерческие универсальные системы с открытыми исходными кодами;
2) дорогие коммерческие системы дистанционного обучения;
3) недорогие коммерческие и открытые вузовские средства контроля знаний;
4) закрытые разработки учебных заведений и коммерческих организаций. Компьютерные средства из последней категории, как правило, являются
узкоспециализированными под конкретную предметную область и/или методику контроля знаний. Проанализировать все их достоинства и недостатки даже не представляется возможным в силу их труднодоступности.
Из числа доступных и распространенных систем 1-й категории можно выделить OLAT [5], Moodle [6] и Sakai [7], 2-й категории - AuthorWare [8], WebTutor [9], Доцент [10], 3-й категории - Test Maker [11], МастерТест [12] и OpenTEST2 [13].
В результате сравнения указанных программных средств по достаточно большому набору параметров выяснилось, что ни одно из них не удовлетворяет в полной мере рассматриваемым требованиям (см. табл. 1).
Таблица 1.
Сравнение программных средств создания тестов и проведения тестирований
Программный продукт OLAT Moodle Sakai Authorware WebTutor СДО Доцент Test Maker МастерТест OpenTEST2
Бесплатный + + + - - - - - +
Простая установка и внедрение - - - + - - + - +
Кросс-платформенность + + + - - - - - +
Простой интерфейс - + - - + + + + -
Русскоязычная документация + + - - + + - + +
Обучающая система + + + + + + - - -
Возможность расширения + + + + - - - - +
Сложные типы вопросов - + - + + + - + +
Задачи с параметрами - - - + - - - - -
Различные варианты оценивания - + + - + + + + +
Визуальный редактор вопросов + + + + - - - - -
Редактор математических формул +
Создание адаптивных тестов - - - + - - - - -
Ограничения по времени в тесте + - + + + + + + +
Печать вопросов и тестов + + - + - - + + +
Совместная работа
+ + + - + + - - +
преподавателей
Для систем 1-й категории характерна сложность установки, внедрения и использования, необходимость знаний в области программирования и системного администрирования для настройки под конкретные технические условия и требования предметной области. Кроме того, их возможности по созданию тестов достаточно ограничены, хотя и могут быть расширены путём разработки собственных дополнительных модулей. Достоинство этих систем заключается в том, что они являются бесплатными (для использования в академических целях) и кросс-платформенными.
Основной недостаток систем 2-й категории - крайне высокая цена, делающая их доступными только для крупных организаций. Однако, в эту цену обычно включена комплексная поддержка со стороны производителя, включая внедрение, настройку и обучение персонала.
Программные продукты 2-й и 3-й категории являются, как правило, проприетарными разработками с ограниченной лицензией на использование, что "загоняет" потребителя в рамки имеющейся в них часто недостаточной функциональности и предложенного обслуживания.
Эти и другие результаты выполненного анализа, вместе с рядом требований, обусловленных постановкой задачи, легли в основу выдвинутых принципов создания компьютерной среды, предназначенной для имитационного тестирования знаний.
Компьютерная среда для имитационного тестирования знаний
В настоящее время в связи с развитием и распространением дистанционного обучения процесс контроля знаний подвергается модернизации и автоматизации.
Возникает потребность в компьютерной среде, которая позволила бы организовать работу преподавателей по созданию тестов и проведению тестирований, в качестве альтернативы традиционным экзаменам и контрольным работам.
Обыкновенные линейные тесты с простыми формами ответа не вполне отвечают требованиям всесторонней проверки знаний как студентов высших учебных заведений, так и квалификационных характеристик отраслевых специалистов.
Больше всего это касается естественно-математических дисциплин, особенностью которых является тесная взаимосвязь понятий, тем и разделов учебного курса, а главным критерием обучения - умение решать задачи различного характера и уровня сложности.
Эти особенности принуждают разрабатывать различного рода адаптивные, нелинейные, интеллектуальные методики тестирования с более разнообразными видами заданий и формами ответа и более совершенными алгоритмами оценивания.
К таким методикам относится технология имитационного тестирования знаний, для реализации которой потребовалось создание соответствующей компьютерной среды [14,15].
В процессе разработки такой среды сформировался ряд следующих естественных требований и принципов, которым она должна удовлетворять.
1. Простой, интуитивный интерфейс в сочетании с адекватной, желательно русскоязычной документацией, легкость установки и обновления программных средств, необходимых для работы преподавателей, большинство из которых являются специалистами в своей предметной области, но не в сфере компьютерных технологий.
2. Визуальный редактор вопросов с возможностью набора формул и вставки мультимедийного контента, позволяющий конструировать задания с параметрами, с различными типами постановки задачи и формами ответа.
3. Возможности по составлению линейных тестов с жестко фиксированной структурой, адаптивных тестов с ветвлениями в зависимости от ответа тестируемого, тестов для самоконтроля с подсказками, а также тестов, имитирующих очный экзамен с возможностью ответа на дополнительные вопросы для повышения отметки.
4. Возможности по формированию наборов решающих правил, которые будут применяться при генерации вопросов, заданию шкал оценивания, числа вопросов для выставления отметки, ограничений по времени и других параметров тестирования.
5. Средства просмотра результатов тестирований и ответов на вопросы с указанием ошибок тестируемого и правильного ответа, возможности печати вопросов и тестов, совместной и одновременной работы преподавателей и студентов с системой через Интернет или локальную сеть.
6. Компьютерная среда должна быть доступной для всех желающих, открытой и гибкой для обновлений, расширений и добавлений с учетом возникающих потребностей её пользователей.
Программная реализация имитационной модели тестирования базируется на этих принципах в своем развитии и усовершенствовании [16].
Работа выполнена в научно-образовательном центре "Математические методы оптимизации и идентификации аэрокосмических систем и летательных аппаратов", как часть работ по Государственному контракту 02.740.11.0471 в рамках Мероприятия 1.1 Федеральной целевой программы "Научные и научно-педагогические кадры инновационной России" на 2009-2013 гг.
Библиографический список
1. Бирюков Г.П., Кобелев В.Н. Основы построения ракетно-космических комплексов. - М.: МАТИ, 2000. - 294 с.
2. Родченко В.В., Гусев Ю.А. Модель процесса подготовки разгонных блоков к испытаниям на техническом комплексе // Вестник МАИ. — 2008. — Т. 15, № 1.
3. Филатов В.В. Особенности современного этапа развития аэрокосмической промышленности и новые требования в подготовке специалистов // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева. — 2006.
— №5. — С. 253-256.
4. Ломакина Т.Ю. Современные требования к разработке модели специалиста // Вестник Ленинградского государственного университета им. А.С. Пушкина. — 2009. — №1.
— С. 100-113.
5. OLAT. OLAT — The Open Source LMS. http://www.olat.org/website/en/html/index.html — 19.11.2009.
6. Moodle Trust. Moodle.org: open-source community-based tools for learning. http://moodle.org/ — 19.11.2009.
7. Sakai Foundation. Sakai Project. http://sakaiproject.org/ — 19.11.2009.
8. Adobe Systems Incorporated. Adobe Authorware 7. http://www.adobe.com/products/authorware/ — 19.11.2009.
9. Компания WebSoft. Система WebTutor. http://www.websoft.ru/db/wb/root_id/webtutor/doc.html — 19.11.2009.
10. ООО «УНИАР». СДО "ДОЦЕНТ". http://proxy.uniar.ru/www/dt-docent.html — 19.11.2009.
11. Igneon Software. Test Maker overview. http://www.igneon.com/tm.php — 19.11.2009.
12. Тимофеев В.Ю. Система компьютерного тестирования МастерТест. http://tvy.narod.ru/ — 19.11.2009.
13. Напрасник С.В., Цимбалюк Е.С., Шкиль А.С. Компьютерная система тестирования знаний OpenTEST 2.0 // Труды 10-й международной конференции УАДО «Образование и виртуальность». — С. 454-461.
14. Сологуб Г.Б. Разработка системы имитационного тестирования // Вестник МАИ. — 2009. — Т. 16, № 2. — С. 28-33.
15. Сологуб Г.Б., Пантелеев А.В. Среда разработки систем имитационного тестирования по математическим дисциплинам // Проектно-конструкторские и производственные вопросы создания перспективной авиационной техники / Под ред. Комарова Ю.Ю. — М.: МАИ, 2009. — С. 253-257.
16. Сологуб Г.Б. Развитие среды создания систем имитационного тестирования знаний // Тезисы докладов 8-й международной конференции «Авиация и космонавтика — 2009». — 2009. — С. 195-196.
Сведения об авторе
Сологуб Глеб Борисович, аспирант Московского авиационного института (государственного технического университета), glebsologub@ya.ru
