CC BY
108
удк 378 д.в. Дементиенко, А.Ф. Егоров, Л.А. Запасная,
ВАК 05.13.01 " ' г ' '
ринц 14.00.00 С.А. Никитин, Т.В. Савицкая
Интеллектуальная
автоматизированная система обучения на основе информационных и интернет-технологий
Предложена функциональная структура интеллектуальной автоматизированной системы обучения (АСО) на основе интернет-технологий и структура комплекса программных средств. Рассмотрены информационно-образовательные и учебно-методические ресурсы системы, реализованные в модульной объектно-ориентированной среде дистанционного обучения (СДО) Moodle. Рассмотрены: опыт создания адаптивной системы тестирования знаний в интеллектуальной АСО и особенности разработки практических заданий с использованием СДО Moodle и технологии Adobe Flash.
Ключевые слова: интеллектуальная автоматизированная система обучения, информационно-образовательные ресурсы, модульная объектно-ориентированная динамическая среда обучения, дистанционное обучение, тестирование знаний, обучение и подготовка специалистов.
THE INTELLIGENT AUTOMATED SYSTEM OF EDUCATION BASED ON INFORMATION AND INTERNET-TECHNOLOGIES
The article proposes functional structure of the intelligent automated system of training on the basis of Internet technologies and the structure of the complex of software tools. We considered the information-educational and educational-methodical resources of the system, implemented in a modular object-oriented environment for distance education (LMS) Moodle. Experience of creation of adaptive systems of testing of knowledge in intellectual LMS and features of development ofpractical tasks using LMS Moodle and Adobe Flash technology has been discussed.
Keywords: intelligent automated system of training, information and educational resources, modular object-oriented dynamic learning environment, distance learning, testing of knowledge, education and training of engineers.
Введение
Информaционные технологии в обрaзовaнии отноcятcя к вэж-нейшим компонентам современных обрaзовaтельных систем вcех cтупеней и уровней подготовки cпециaлиcтов и реaлизуемых в них обрaзовaтельных процессов.
Ш протяжении последних 30 лет рaзрaбaтывaютcя и успешно применяются в учебном процессе aвтомaтизировaнные системы обучения для подготовки выcококвaли-фицировaнных cпециaлиcтов вcех отрacлей производственной деятельности. Но только в последние несколько лет, блaгодaря рaзвитию
новых информaционных технологий (НИТ), они стели эффективно иcпользовaтьcя гак при очной, так и диcтaнционной и cмешaнной формах обучения [1-3].
Переход вузов России га ступен-чaтую систему обучения бaкaлaвров и мaгиcтров и проводимые в вузaх мероприятия по рaзрaботке обрa-зовaтельных прогрaмм (ОП) ВО, в соответствии с федеральными государственными образовательными стандартами (ФГОС) третьего поколения, открывaют широкие возможности для кaчеcтвенно новой оргaнизaции подготовки выпускников, предпосылкши которой могут служить: компетентностный
подход, широкое иcпользовaние aктивных и интерaктивных форм обучения, новый подход к формулировке требовaний к cодержaнию ОП. Поэтому процесс многоуровневой подготовки выпускников необходимо рaccмaтривaть с позиции системного подходa кaк непрерывно рaзвивaющуюcя и совершенствующуюся систему.
Вместе с тем принятие нового Федерaльного зaконa № 273-ФЗ от 29.12.2012 г. «Об обрaзовaнии в Российской Федерaции» [4], вступившего в силу с 1 сентября 2013 г., гаметило более широкие перспективы применения в обрa-зовaтельной деятельности дистан-
Андрей Владимирович Дементиенко,
аспирант кафедры компьютерно-интегрированных систем в химической технологии Тел.: (495) 495-21-34 Эл. почта: [email protected] Российский химико-технологический университет им. Д. И. Менделеева www.muctr.ru
Andrey V. Dementienko,
Post-graduate student of the Department of computer-integrated systems in chemical technology Tel.: (495) 495-21-34 E-mail: [email protected] D. Mendeleyev University of Chemical Technology of Russia http://www.muctr.ru
i
k A
1 M fr
I
Александр Федорович Егоров, д.т.н., заведующий кафедрой компьютерно-интегрированных систем в химической технологии Тел.: (495) 495-21-34 Эл. почта: [email protected] Российский химико-технологический университет им. Д. И. Менделеева www.muctr.ru
Alexander F. Egorov,
Doctor of Engineering Science, Head of the Department of computer-integrated systems in chemical technology Tel.: (495) 495-21-34 E-mail: [email protected] D. Mendeleyev University of Chemical Technology of Russia http://www.muctr.ru
ционных образовательных технологий и электронного обучения. Так, в соответствии со ст. 16.3 «Организации, осуществляющие образовательную деятельность, вправе применять электронное обучение, дистанционные образовательные технологии при реализации образовательных программ в порядке, установленном федеральным органом исполнительной власти, осуществляющим функции по выработке государственной политики и нормативно-правовому регулированию в сфере образования»;
со ст. 13.2 «При реализации образовательных программ используются различные образовательные технологии, в том числе дистанционные образовательные технологии, электронное обучение»;
со ст. 18.9 «При реализации профессиональных образовательных программ используются учебные издания, в том числе электронные, определенные организацией, осуществляющей образовательную деятельность».
Все эти новые веяния в законодательной системе, а также специфика подготовки химиков-технологов [3] ставят целью создание качественно новой системы подготовки и переподготовки кадров для предприятий химической промышленности с использованием новых доступных и открытых ресурсов и форм обучения, которыми и являются автоматизированные системы обучения (АСО).
1. Цели, задачи и особенности создания интеллектуальной АСО
Целью применения электронного обучения, дистанционных образовательных технологий образовательной организацией является обеспечение доступности образования, повышение его качества.
Функционально АСО должны быть ориентированы на предоставление обучаемым определенного объема знаний, навыков и умений, а также на контроль результатов обучения [3, 5].
Несмотря на разнообразие систем дистанционного обучения в
России [6-12], ни одну из них нельзя назвать интеллектуальной АСО, которая могла бы быть адаптирована к изменяющимся требованиям ФГОС, т.е. структура, которой будет не жесткой, а гибкой. Это и является недостатком всех рассмотренных в работе систем дистанционного обучения (СДО). Но в то же время во всех системах имеется возможность изучения материала по выбранной теме, прохождения тестирования по курсам и по проблемной тематике. Предусмотрена возможность промежуточного и итогового контроля знаний. Большинство курсов рассмотренных систем разработаны в международном стандарте SCORM (8ИагаЪ1е Content Object Refereroe Model - Стандартная модель контента с возможностью совместного редактирования). Во всех системах существует возможность индивидуального темпа усвоения знаний.
Широкие возможности по планированию изучения отдельных дисциплин по различным видам занятий предоставляет система дистанционного обучения Moodle (Moduter Object-Oriented Dyrnmk Learning Environment - Модульная объектно ориентированная динамическая среда обучения) [3, 13]. Она ориентирована на преподавателей без глубоких знаний программирования и администрирования.
Вместе с тем совершенствование образовательных стандартов предполагает расширение практики внедрения дистанционных образовательных технологий при реализации образовательных программ любых уровней обучения, форм получения образования и любых видов занятий. В этой связи быстрая адаптация существующих информационно-образовательных ресурсов, разработка и реализация новых является актуальной задачей. Кроме того, современный уровень внедрения дистанционных образовательных технологий предполагает как традиционную организацию обучения студентов в группах, объединяемых при необходимости в потоки, так и совершенствование индивидуальных траекторий (программ) обучения студентов.
Лина Александровна Запасная,
аспирант кафедры компьютерно-интегрированных систем в химической технологии Тел.: (495) 495-21-34 Эл. почта: [email protected] Российский химико-технологический университет им. Д. И. Менделеева www.muctr.ru
Lina A Zapasnaya,
Post-graduate student of computer-integrated systems in chemical engineering Tel.: (495) 495-21-34 E-mail: [email protected] D. Mendeleyev University of Chemical Technology of Russia http://www.muctr.ru
Pífí
wprfffiffi
. illlHiitül
iiMjlifí! _____ssiiiffiiint:i
Сергей Александрович Никитин,
аспирант кафедры компьютерно-интегрированных систем в химической технологии Тел.: (495) 495-21-34 Эл. почта: [email protected] Российский химико-технологический университет им. Д. И. Менделеева www.muctr.ru
Sergey A. Nikitin,
Post-graduate student of the Department of computer-integrated systems in chemical technology Tel.: (495) 495-21-34 E-mail: [email protected] D. Mendeleyev University of Chemical Technology of Russia
http://www.muctr.ru
Новые возможности для этих целей появились и в последней версии МооШе (2.6.1+) [13].
Помимо этого, в cтaндaртaх нового поколения большое внимaние уделяется компетенциям выпускников, формируемым в процессе изучения совокупностей дисциплин гумaнитaрного и соцгально-эконо-мического, еcтеcтвенно-нaучного и мaтемaтичеcкого и профессиогаль-ного циклов дисциплин, установленным основными обрaзовaтель-ными прогрaммaми рaзличных нaпрaвлений и профилей. В этой связи в процессе обучения 6экэлэв-ров и cпециaлиcтов по рaзличным нaпрaвлениям и профилям появляются неопределенности в знaниях. умениях, нaвыкaх, компетенциях выпускников, постугающих нa следующую ступень обучения в мэ-гиcтрaтуру/acпирaнтуру [3, 14].
Эти неопределенности должны быть выявлены га стадии рэзрэ6от-ки и реaлизaции ОП и создэния ин-теллектуaльной aвтомaтизировaн-ной системы обучения, нэпрэв-ленной га энэлиз и о6рэ6отку ин-формэции и уcтaновление степени соответствия спецгальности выпускник предыдущего уровня обучения - «aбитуриенту» последующего уровня, э тaкже в^1рэ6отки рекомендaций по использовэнию информaционно-обрaзовaтельных ресурсов (ИОР) системы для более быстрой aдaптaции в новой предметной о6лэсти и приобретения новых знэний, умений, гавыков и компетенций.
Поэтому, наряду с традиционными зэдэчэми [5] создэния междисциплинарной АСО для подготовки выпускников инженерной направленности, необходима разработка и реализация интеллектуальных методов обработки информации и реализация алгоритмов гибкого плaнировaния процеcca обучения га всех стадиях подготовки выпускник и aдaптaции к изменяющимся требовaниям ФГОС.
На основе проведенного анализа определены недостатки существующих систем обучения, к которым относятся: полное соответствие типовой учебной прогр^мы учебной дисциплине без возможности быстро aдaптировaтьcя к из-
меняющимся требованиям ФГОС; практическое отсутствие таких систем и методов их разработки; теоретические трудности в построении интеллектуальных обучающих систем, основанных на знаниях опытных специалистов; трудности выявления экспертных знаний.
Проведен анализ существующих методов и подходов к созданию интеллектуальных АСО [1416]. В результате определены перспективные методы создания таких систем и требования к создаваемой интеллектуальной АСО:
- интеллектуальность - реализация АСО на базе методов искусственного интеллекта;
- способность адаптироваться к изменяющимся требованиям ФГОС;
- общедоступность создаваемых учебно-методических комплексов, автоматизированных лабораторных комплексов и систем удаленного доступа, интегрированных банков тестовых заданий и новых средств обучения.
2. Функциональная структура интеллектуальной АСО и структура комплекса программных средств системы
В соответствии с поставленными задачами и требованиями к создаваемой системе разработана функциональная структура интеллектуальной АСО. Разрабатываемая с позиции системного анализа интеллектуальная междисциплинарная АСО является развитием разработанной ранее базовой версии автоматизированного лабораторного комплекса (АЛК)
[17], междисциплинарной АСО на основе технологии MediaWiki
[18], подробно рассмотренных в [3]. В интеллектуальной междисциплинарной АСО реализовано расширение функций, междисциплинарных взаимосвязей, интеллектуальных методов обработки информации.
Функциональная структура и основные функции интеллектуальной междисциплинарной АСО представлены на рис. 1. Она включает учебно-методический блок,
Татьяна Вадимовна Савицкая,
д.т.н., профессор кафедры компьютерно-интегрированных систем в химической технологии Тел.: (495) 495-21-34 Эл. почта: [email protected] Российский химико-технологический университет им. Д. И. Менделеева www.muctr.ru
Tatiana V. Savitskaya,
Ph.D. Professor of the Department of computer-integrated systems in chemical
technology Tel.: (495) 495-21-34 E-mail: [email protected] D. Mendeleyev University of Chemical Technology of Russia http://www.muctr.ru
предназначенный для организации процесса обучения и контроля знаний, путем предоставления образовательных материалов, учебно-методических комплексов (УМК), банков тестовых заданий и программно-аппаратный блок, предназначенный для организации и управления информацией в системе, создания баз данных и баз знаний, интеллектуального анализа и обработки информации.
В состав АСО входят следующие виды ресурсов, необходимые для изучения каждой дисциплины: информационно-образовательные; учебно-исследовательские; информационно-методические (учебно-методические комплексы дисциплин и процессов).
Кроме того, в состав интеллектуальной АСО входят интеллектуальные методы обработки информации (методы обработки экспертных знаний, нечеткой логики, адаптивного тестирования), предназначенные для оценки сложности тестовых заданий и анализа и обработки информации по сово-
купности дисциплин в рамках ОП одного и/или различных направлений и профилей подготовки выпускников для проведения системного анализа уровня их подготовки для обучения на следующих ступенях. Некоторые из полученных результатов опубликованы в [3, 14].
В целом структура интеллектуальной АСО является открытой, гибкой, модульной. Она предусматривает возможность расширения как функциональных возможностей, так и информационного наполнения. Эти качества системы позволяют быстро и эффективно реализовать гибкую перенастройку и адаптацию реализованных в ней различных видов информационно-образовательных, учебно-исследовательских и информационно-методических ресурсов в зависимости от требований подготовки химиков-технологов по различным направлениям, специальностям и программам.
В соответствии с функциональной структурой интеллектуальной междисциплинарной АСО разрабо-
Программно-аппаратный блок
Функции системы:
Программные средства
управления информацией в БД АСО
Интеллектуальные методы и алгоритмы обработки информации
Учебно-методический бло
Информационно-образовательные ресурсы
Информационно-методические ресурсы
Учебно-исследовательские ресурсы >
- организация и контроль доступа к информационным ресурсам в процессе обучения;
- мониторинг состояния учебного процесса и успеваемости;
- администрирование - управление функциями пользователей, доступом, курсами, группами и т.п.
- обеспечение контроля знаний в процессе обучения;
- анализ и оценка уровня подготовки обучающихся;
- формирование рекомендаций к использованию ПОР системы, планирование процесса обучения
информационная: предоставление образовательных материалов - электронные учебники, учебные пособия, базы данных и базы знаний
организационная: организация процесса обучения и контроля знаний - УМК; учебные планы; банки тестовых заданий; организация / проведения лабораторных практикумов по дисциплинам,курсового и дипломного проектирования;
методическая поддержка подготовки по различным направлениям и профилям_
организационная: учебно-исследовательские \ программные модули, видсоуроки для проведения лабораторных занятий
Рис. 1. Функциональная структура интеллектуальной междисциплинарной АСО
Рис. 2. Структура комплекса программных средств интеллектуальной автоматизированной системы обучения
тана структура комплекса программных средств системы (рис. 2).
В состав комплекса программных средств интеллектуальной АСО входят подсистемы: хранения данных; информационно-моделирующая; поддержки принятия решений; выдачи рекомендаций и генерации отчетов.
Подсистема хранения данных содержит базы данных (БД) по ФГОС и ОП ВО и реализованные на их основе базы знаний (БЗ) сопоставления дисциплин изучаемых профилей формируемым компетенциям. Для реализации БЗ использованы программные средства МзЕхсе! и функциональные возможности СДО МооШе версии 2.4.1, в которой реализована возможность хранения БД.
Данная подсистема взаимодействует с подсистемами поддержки принятия решений и информационно-моделирующей. Состав информационно-моделирующей подсистемы включает в себя программные модули для сопоставления дисциплин различных профилей приобретенным компетенциям и анализа уровня подготовки выпускников, а также информационно-образовательные (электронные учебники и пособия, БД и БЗ и др.) и учебно-методические ресурсы (учебные планы, банки тестовых заданий и др.).
Информационно-моделирующая подсистема взаимодействует также с подсистемой поддержки принятия решения, которая, в свою очередь, содержит БЗ, блоки анализа и обработки экспертных оценок и сравнительных результатов, алгоритмы и методы принятия решений. Подсистема поддержки принятия решений передает данные подсистеме выдачи рекомендаций и генерации отчетов.
Программно-аппаратные средства реализации этих ресурсов представлены на рис. 2. В составе
структуры для реализации АСО использованы системы удаленного доступа серверной части -операционная система Microsoft Windows Server, веб-сервер ЛрасИе, скриптовый язык обработки запросов PHP (Hypertext Preprocessor). Взаимодействие с пользователем осуществляется через любой веб-браузер. Для реализации образовательных ресурсов использована СДО Moodle и технология Media Wiki 1.5. Для обработки информации в интеллектуальной АСО использованы средства Microsoft Office - Excel.
Остановимся более подробно на информационно-образовательных и учебно-методических ресурсах системы. Более 7 лет в рамках междисциплинарной АСО эти ресурсы интегрируются с использованием двух технологий: системы управления содержанием (CMS) MediaWiki и системы управления обучением (LMS) в модульной объектно ориентированной динамической среде Moodle 1.6 [3].
Состав и опыт использования данных ресурсов в учебном процессе представлены в [1-3]. Заметим, что на кафедрах, где был накоплен большой предшествующий опыт создания таких ресурсов, приблизительно каждые 3-5 лет возникает необходимость изучения и освоения преподавателями функциональных возможностей, предо-
Рис. 3. Пример главной страницы интеллектуальной междисциплинарной автоматизированной системы обучения, реализованной в LMS Moolde
ставляемых последними версиями СДО, и функций существующих ресурсов.
В 2013/2014 учебном году на кафедре компьютерно-интегрированных систем в химической технологии (КИС ХТ) РХТУ им. Д.И. Менделеева начат переход на новую версию системы (2.6.1) в соответствии с требованиями к модернизации ФГОС. Пример главной страницы интеллектуальной междисциплинарной АСО представлен на рис. 3.
3. Информационно-образовательные и учебно-методические ресурсы системы
Рассмотрим методические аспекты использования в учебном процессе элементов и ресурсов, предоставляемых СДО МооШе версий 2.4-2.6.
В системе предусмотрены как общие настройки на уровне системы в целом, так и настройки каждого курса. Предусмотрена структуризация курсов по тематическим рубрикам или в соответствии с календарным планом изучения разделов (модулей). Каждый учебный курс преподавателем или создателем курса может настраиваться независимо от других курсов и включать различные элементы и ресурсы (рис. 4). К ним относятся: лекция, опрос, задание, книга, база данных и другие, что позволяет организовать изучение теоретического материала, практических разделов курса, промежуточного и итогового контроля знаний в различных формах в режиме удаленного доступа. Рассмотрим некоторые элементы и ресурсы курса.
Элемент курса «Лекция» позволяет создавать набор тематически связанных страниц, содержащих текстовую, графическую, аудио- и видеоинформацию. По желанию преподавателя (создателя курса) может быть настроена удобная навигация по страницам лекции и с использованием оглавления (рис. 5).
В конце каждой лекции преподаватель может включить проверочные вопросы с возможностью
занесения ответов в журнал оценок в соответствии с рейтинговой системой. В системе предусмотрена гибкая шкала настроек оценивания различных элементов курса.
Доступ к лекциям предоставляется студентам неограниченное количество раз, но, при необходимости изучения лекции с ограничением по времени (например, в качестве допуска к подготовке к контрольной точке), может быть установлено ограничение по времени и по количеству попыток ответов на проверочные вопросы.
Краткие опросы по темам (в качестве небольшого промежуточного контроля) позволяют организовать специально настроенный преподавателем для этих целей модуль опроса. В системе предусмотрены возможности настройки сроков сдачи опросов индивидуально или по группам, ограничение на количество попыток, уведомления преподавателям об отправке ответов. Ответы могут быть представлены в
виде текста или в виде файла. Преподаватель может просмотреть ответы студента и направить ему комментарии и замечания через обмен сообщениями.
Широко в процессе обучения может использоваться модуль «Задание». В разделе «Предстоящие события» главной страницы курса (рис. 4) студент видит перечень заданий, которые ему необходимо сдать в ближайшее время. Отвечать на задания студент может в произвольной последовательности. Соответственно, меняется статус выполненных или невыполненных заданий. Студенту сообщается последний срок сдачи задания. В режиме проверки задания оно может быть отправлено на доработку. Преподавателю доступен мониторинг отправленных на проверку заданий.
Если рабочим учебным планом предусмотрены семинарские занятия, в новой версии МооШе реализована такая форма занятий.
Методы синтеза многоассортиментных экологически чистых химических производств
_
'¡¡ЕГ ___________
> Шпрофш» 5=™— \1>»Лу-11. 1. 1гп|ыТ«п1г/-к1гг пгМпии голдяИН» ШИПППгПги Ц|№Ти« ЦОПНЯШ * ккннчтпшв п гчгжимд ОТрМШШ |||н>ч|||т.и-нпппк
* Тпгпои*
? Оп^пы. щжшхртииы. Ыъшшш
Цлрмппс Ц
НвВняв
Рис. 4. Пример главной страницы курса
1.5.и. Осмоиныс рогпггиыг гиипюшснин ириглозироыышш : рн > I; г I пш ■ I ыосфс [>11 ■>: о виздухя мп 1Н-НОЫГ -I ■ . 111 к >1 ОНД-8Аф
Рис. 5. Пример лекции
В качестве реализации основного информационно-образовательного ресурса при изучении дисциплины может быть рекомендован элемент курса «Книга», представляющий собой интерактивное электронное учебное пособие по теоретическому курсу. В отличие от лекции в книге не предусмотрены интерактивные контрольные вопросы в конце, но удобство заключается в том, что студенту или преподавателю можно работать с книгой как по отдельным главам, так и со всем материалом в целом. Это обеспечивает удобная навигация по оглавлению.
Для повышения эффективности обучения студентов в рамках направления или профиля в междисциплинарной АСО в модульной объектно ориентированной среде дистанционного обучения Moodle целесообразно создать глоссарий основных понятий и определений, доступ к которому можно организовать из любого изучаемого курса. Вместе с тем в каждом из курсов может быть реализован локальный глоссарий с использованием соответствующего элемента курса. Для того чтобы термины из глоссария не переносились в тесты, предназначенные для проверки знаний студентов, предусмотрена возможность в панели меню «Управление тестом» отключения соответствующего фильтра.
Новый элемент «База данных» позволяет пользователям системы создавать и хранить различные записи в едином хранилище данных. Причем формат и структура записей разнообразны: изображения, числа, текст, файлы, гиперссылки и другие объекты. Хранение в ключевых полях записей (ключей) базы данных позволяет организовать трансклю-зию, т.е. вставку фрагмента из одного текста в другой по ссылке так, что встраиваемый текст автоматически синхронизируется с исходным, между отдельными элементами курса. Эта особенность хорошо может использоваться при копировании вопросов в банк тестовых заданий из текста лекции или «Книги», для формирования подсказок в режиме самоконтроля и правильных ответов и ряда других.
Элемент «База данных» может быть добавлен как в отдельный курс, так и реализован в системе в целом. Например, в рамках подготовки по направлению (профилям) и ряду дисциплин может быть организована единая база данных по нормативным и методическим документам, библиографическим ссылкам и т.п. Вместе с тем в отдельных курсах может быть реализовано несколько тематических баз данных информационно-справочного характера. Например, по свойствам веществ, характеристикам оборудования и т.п.
Небольшие отличия в визуализации процесса создания новых тестов появились в новой версии
системы Moodle. Интерфейс среды стал более дружественный для разработчика тестов. Появилась возможность «Отложенного вызова» (рис. 6), позволяющая отправлять как все ответы на сервер, так и каждый вопрос отдельно. Это позволяет запретить студентам возвращаться к вопросам, на которые уже был дан ответ. Интересные возможности визуализации и проверки правильности ответов обучаемых в режиме самоконтроля предлагаются в настройках вопросов с вложенными ответами (рис. 7), например на формирование определений.
Существенные отличия и новые возможности предоставляются в новой версии системы Moodle по
Рис. 6. Пример настройки тестов
ТСРУШМ категория Кат*гор1си з.
Г' . , щшь эту категорию
Смфыпп а 1'Т ...... категория 2. безопасное рбрдщрние с ртаодвицЭ)
Нлэаеттр дппрлга" |В41фШ й^ Т ГЦ' мпрпса"
3
Текст вопроса
в I в ¡=
е и зз
Лайте определение понятию 'Обращение с отходами"?
Обращение с отхода-чи — {1:Ми1Т1СН01СЕ:||>до1,-л-м«гп1ром1
{1 ЛТШ-ПСНСНСЕ: ■ е
{1:М(Л,Т1СН01СЕ:=виды леятельаости-ыеропрмпм-проиессзд},
мн> (»
реп аиеятир у«шми - =паоюрти»ваяэшмн}) {1 :М1Л.Т1СН01СЕ: ■оргаиизапяовпю-теишло пп»с>лми «технологнгчесютчи -техннческя?ш} операциями регулирования работ с отходами, ЖХ.ТЮЧ1А 1 :М1Л.Т1СНО1СЕ:=0редуПрежДМ1И»- пред страшите}.
{1 :М ПЛЧСН 01СЕ:=миню тзашно - м акею ш зашло), учет н {1:Ми1Л1СН01СЕ:моштгорявг- =коитроль образования}. {1:ИиГПСН01СЕ:вр«]пшигая^-1пко111И111я} отходов, я также их свор, размипии», утитаидя», об«»ргжям хив, транспортирование. хравешк, захоровение, уничтожение н
{I: М ЩЛ С К ОI СЕ: регул про вз иия -»перемешеншт- складирования!'
Пггь р
Вопрос1 Пока Н«Т Ответа
Дайте определение понятию "Обращение с отгоЭалш"?
Обращение с отходами - * , связанные с
г ВТ, * )
п мероприятия нрованяя работ с
отходами, включая »|, учет и
Ч 1 виды деятельности также их сбор, ованне, .хранение.
размещение. утилизацию, обезвре
Реализация вопроса
захоронение, уничтожение в трансграничные
Начать сначала Со.\раннть|фго6раз1ггъ правильные ответы|Огправигь л завершить |3акрьго предварительный просмотр;
Рис. 7. Пример вопроса с вложенными ответами
обработке результатов тестирования знаний. Больше элементов гибкости настроек появилось в возможности включения в результирующие отчеты просроченных и незавершенных попыток. Эти режимы могут эффективно использоваться преподавателем в обучающих режимах прохождения тестов. Системой МооШе предоставляются возможности отображения сводных отчетов выполненных студентами тестов одной (первой) или всех попыток и получение средних значений по каждому вопросу и тесту в целом (рис. 8).
Предусмотрена визуализация полученных результатов в виде диаграмм, например количество студентов, получивших оценки в определенных диапазонах, в соответствии с выбранной шкалой оценивания. Таким образом, система позволяет осуществить гибкие настройки отдельных заданий в соответствии с рейтинговой формой контроля знаний и может быть адаптирована под любую рейтинговую систему.
Предоставляется возможность анализа подробных ответов студентов в соответствующей цветовой шкале, настроенной для правильных, неправильных и частично правильных ответов. Реализована статистическая обработка информации с возможностью анализа всех или первой попытки. Наряду с
анализом стандартного отклонения ответов обучаемых, у преподавателя появилась возможность исследования случайного угадывания ответа студентами (рис. 8).
По желанию преподавателя имеется возможность включения оценок по отдельным элементам и ресурсам курса (опросам, заданиям, тестам, работе на семинарских занятиях) в журнал и итоговую оценку по курсу. Преподавателю доступны сводные отчеты по оценкам всех обучаемых по всем элементам курса, отчеты по показателям (общему количеству оценок, средним оценкам по курсу или элементу курса) и отчеты по пользователям. Студенту доступен журнал с оценками своей успеваемости.
Повышение интерактивности обучения в соответствии с требованиями ФГОС предполагает внедрение в разрабатываемую АСО мультимедийных средств обучения, таких как видеоуроки, электронные учебные пособия и др. Опыт создания обучающих видеоуроков с помощью программного средства Camtasia Studio для работы со специализированным программным обеспечением учебного назначения в области анализа риска, оценки последствий аварий и управления безопасностью химически опасных объектов описан в работах [18]. Опыт разработки электронных учебных пособий в составе инфор-
мационно-образовательных ресурсов системы представлен в работах [2, 19].
4. Опыт создания адаптивной системы тестирования знаний в среде дистанционного обучения Moodle
Наряду с подготовкой ИОР интеллектуальной междисциплинарной АСО, важным элементом процесса обучения является контроль знаний. В работе предложен подход к созданию подсистемы тестирования знаний на основе интернет-технологий в среде дистанционного обучения Moodle, включающий следующие этапы:
1. Подготовка банка тестовых заданий и разбиение его на тематические категории по нескольким разделам курса.
2. Реализация единого банка тестовых заданий в системе и настройка вопросов.
3. Формирование тестов для самоконтроля, промежуточного контроля знаний.
4. Апробация тестов в учебном процессе для самоподготовки и промежуточного контроля знаний с анализом результатов сложности тестовых заданий.
5. Настройка тестов итогового контроля знаний.
Для создэния подсистемы тес-тировэния знэний в интеллектуальной АСО в среде дистэнцион-ного обучения МооШе рэзрэботэн единый бэнк тестовых зaдaний по курсэм: «Мaтемaтичеcкое модели-ровaние и методы синтезэ гибких химических производств», «Методы cинтезa многоaccортиментных экологически чистых химических производств», «Химичеcкaя и биологичеcкaя безошсность», «Компьютерные системы проекти-ровэния гибких химических производств», который может исполь-зовэться вэриэтивно в зэвисимости от целей обучения и контроля знэ-ний. Опыт разработки и использования в учебном процессе банков тестовых заданий по курсам «Мэ-темaтичеcкое моделировэние и методы синтезэ гибких химических производств», «Методы синтезэ
Рис. 8. Интерфейс преподавателя с обработкой результатов тестирования
Таблица 1
Результаты оценки сложности тестов с использованием экспертных оценок
Показатель Номер теста
1 2 3 4 5 6 7
Средняя оценка 3,02 3,23 3,42 3,24 3,01 2,98 3,52
Место теста по сложности 5 4 2 3 6 7 1
Таблица 2
Результаты анализа сложности тестов с использованием индекса легкости
Показатель Номер теста
1 2 3 4 5 6 7
Индекс легкости 84,2 86 77,4 98,125 90,3 85,4 86,4
Место теста по сложности 2 4 1 7 6 3 5
многоэссортиментных экологически чистых химических производств» рассмотрен в [3].
В настоящей статье рассмотрим предложенные методы анализа и обработки оценки сложности тестовых заданий на примере курса «Компьютерные системы проектировaния гибких химических производств»: на основе оценок экспертов-студентов, прошедших тесты самоконтроля; метода ранжировки и результатов обработки в СДО МооШе.
Банк тестовых заданий по данному курсу включает 90 вопросов различной сложности, по шести категориям курса. На основании данного банка сформированы 8 тестов самоконтроля по разделам курса, перечисленные ниже, и 4 теста промежуточного контроля, включающие 10 вопросов из различных категорий курса:
- Компьютерные системы про-ектировэния состав, нэзнэчение подсистем (10 вопросов);
- Моделировэние пожэров и взрывов нэ опэсных производственных объект (ОПО) (12 вопросов);
- Моделировэние последствий химических эвэрий и энэлиз рискэ ОПО (11 вопросов);
- Нормэтивные основы промышленной безопэсности ОПО (8 вопросов);
- Понятия и определения нэ-дежности сложных технических систем (10 вопросов);
- Покэзэтели нэдежности элементов (оборудовэния) и систем (11 вопросов);
- Рэсчет систем с резервировэ-нием и структурные методы эта-лизэ нэдежности (7 вопросов);
- Информэционные системы и бэзы дэнных (11 вопросов).
Рассмотрим результаты использования перечисленных методов для оценки сложности тестовых заданий при создании системы адаптивного тестирования.
Проведен этлиз и обрэботкэ результатов тестировэния нэ основе оценок экспертов, прошедших тесты сэмоконтроля, методэ рэн-жировки и результатов обрэботки в системе дистанционного обучения Moodle версии 1.6, используемой в учебном процессе в течение 7 лет.
Для оценки сложности тестовых задэний предложено использовэть результаты предвэрительного тес-тировэния студентов, изучивших дэнный курс и ответивших нэ вопросы теста не в жестких условиях (т.е. без огрэничения по времени) и с возможностью состэвления после прохождения теста текстового отчёта, содержэщего энэлиз сложности кэждого вопросэ в тесте, кэк в описэтельной форме, так и путём выстявления экспертных оценок.
Для экспертных оценок студентов-экспертов используется шестибалльная шкала, где 1 - очень легкий вопрос, 2 - легкий вопрос, 3 - вопрос средней сложности, 4 -сложный вопрос, необходимы хорошие знания материала, 5 - очень сложный вопрос, 6 - исключительно сложный вопрос.
Девять экспертов оценили первые 7 тестов самоконтроля как вопросы средней сложности. Ранжирование тестов по сложности на основе экспертных оценок представлено в табл. 1.
Анализ тестов промежуточного контроля проводился аналогично.
В объектно ориентированной среде дистанционного обучения Moodle заложены статистические методы, позволяющие обрабатывать как результаты тестирования отдельных студентов, так и групп и потоков в целом по отдельным дисциплинам [3, 13]. При этом ряд рекомендаций направлен на оценку сложности отдельных тестовых заданий, для чего используется индекс легкости (ИЛ), определенный в результате выполнения студентами тестов для самоконтроля знаний. В зависи-
мости от типа вопроса ИЛ рассчитывается по-разному [3].
Ранжирование тестов самоконтроля по сложности с использованием индекса легкости представлено ниже в табл. 2.
По оценке сложности тестов для самоконтроля на основе индексов легкости в среде Moodle можно сделать вывод, что все тесты достаточно легкие, так как средний индекс легкости не ниже 70.
Ранжирование сложности заданий теста проводится с применением метода составления обобщенной ранжировки на основе индивидуальных ранжировок экспертов, составленных на базе матриц парных сравнений. С использованием указанного метода проранжированы вопросы всех тестов самоконтроля знаний по семи разделам курса, результаты ранжирования по двум из из которых приведены ниже в качестве примера:
- Самоконтроль по разделу курса «Компьютерные системы проектирования: состав, назначение подсистем»:
(«2.6 ~ a2.no) У («2.1 ~ a2.2 ~ a2.з) У
У («2.4 ~ «2.8 ~ «2.9) У («2.5 ~ «2.7);
- Самоконтроль по разделу курса «Показатели надежности элементов (оборудования) и систем»:
(«4.18 ~ «4.20) У «4.21 У («4.11 ~ «4.12 ~
~ «4.13 ~ «4.17 ~ «4.19) У «4.16 У
У («4.14 ~ «4.15Х
где а2Х - вопрос в тесте самоконтроля; индекс 7 соответствует номеру категории (разделу) курса; индекс х соответствует номеру вопроса в категории.
Из проведенного ранжирования видно, что, как правило, боль-
Таблица 3
Результаты самоконтроля знаний по категории «Компьютерные системы проектирования: состав, назначение подсистем»
Номер вопроса ИЛ Средняя экспертная оценка Метод обобщенной ранжировки
2.1 87 (6-е место) 3,22 (3-е место) Легкий (6-8-е место)
2.2 78 (3-4-е место) 2,78 (8-е место) Легкий (6-8-е место)
2.3 78 (3-4-е место) 3,00 (5-6-е место) Легкий (6-8-е место)
2.4 73 (1-е место) 3,11 (4-е место) Сложный (3-5-е место)
2.5 86 (5-е место) 2,22 (10-е место) Очень легкий (9-10-е место)
2.6 77 (2-е место) 4,00 (1-е место) Очень сложный (1-2-е место)
2.7 92 (9-10-е место) 2,44 (9-е место) Очень легкий (9-10-е место)
2.8 89 (7-е место) 3,00 (5-6-е место) Сложный (3-5-е место)
2.9 92 (9-10-е место) 2,89 (7-е место) Сложный (3-5-е место)
2.10 90 (8-е место) 3,56 (2-е место) Очень сложный (1-2-е место)
шинство тестов имеют вопросы 4-5 уровней сложности. Наиболее сложными и наиболее простыми, как правило, являются 1-2 вопроса. Основную группу вопросов составляют вопросы средней сложности или достаточно легкие.
На основе вопросов тестов самоконтроля сформированы тесты промежуточного контроля, ранжировка которых проведена аналогично, основную группу вопросов в которых составляют вопросы средней сложности.
Проведен сравнительный анализ полученных результатов обработки сложности тестовых заданий по трем предложенным в работе методам, пример которых представлен в табл. 3 и на диаграммах сравнительных результатов обработки экспертных оценок и результатов ответов студентов для тестов самоконтроля, полученных с использованием MS Excel (рис. 9). Шкала оценки на графиках - место вопроса по сложности. Чем ниже место вопроса - тем он сложнее. В номере вопроса первая цифра означает номер категории. В рассматриваемом примере выбраны вопросы категории 2 - «Компьютерные системы проектирования химических производств: состав, назначение подсистем» (табл. 3).
В целом тест по результатам обработки оценок оказался не сложным. Наиболее сложный вопрос 2.6 (ИЛ - 77 (2-е место), средняя экспертная оценка - 4,00 (1-е
место), метод ранжировки - очень сложный вопрос (1-2-е место)), самый легкий - вопрос 2.7 (ИЛ - 92 (9-10-е место), средняя экспертная оценка - 2,44 (9-е место), метод ранжировки - очень легкий вопрос (9-10-е место).
Сложность теста составила по экспертным оценкам 3,02; по индексу легкости 84,2.
Проведен сравнительный анализ результатов оценок сложности отдельных вопросов рассмотренными выше методами, который показал несогласованность ответов студентов при прохождении тестов самоконтроля и промежуточного контроля. Результаты анализа отдельных вопросов получились достаточно однозначными (например, вопрос 2.6, рис. 9), но стоит отметить, что имеет место и противоположная ситуация, когда разброс мест вопроса по сложности
достаточно велик при оценке различными методами (например, как вопросы 2.4, 2.9, рис. 9). Это вызвано, в частности, тем, что оценка тестов самоконтроля проводилась по оценкам девяти экспертов, тест же промежуточного контроля, в который попали такие вопросы, прошли только три-четыре эксперта, которые и поставили этому вопросу самую низкую оценку.
Предложенные методы являются достаточно простыми и корректными в применении для проведения сравнительного анализа и ранжирования сложности вопросов тестовых заданий, поэтому могут быть применены для любых банков тестовых заданий по курсам и междисциплинарных банков в интеллектуальной АСО в целом.
С использованием предложенного подхода разработаны рекомендации к формированию банков тестовых заданий для итогового контроля знаний - составление набора правил, которые определяют, в какую из категорий следует отнести конкретный вопрос, исходя из анализа результатов контроля знаний средствами МооШе (по индексу легкости вопроса) и экспертными методами принятия решений.
Таким образом, представлены примеры практического использования предложенных методов и подходов анализа сложности тестовых заданий и формирования тестов итогового контроля знаний. Выработанные рекомендации по созданию подсистемы итогового контроля знаний использованы при создании аналогичных систем по другим курсам в рамках интеллек-
Рис. 9. Сравнение результатов обработки экспертных оценок и результатов ответов студентов для теста самоконтроля знаний по категории 2
туальной АСО. Кроме того, при создании системы адаптивного тестирования рекомендуется учесть новые функциональные возможности среды дистанционного обучения Moodle (версий 2.4-2.6), изложенные ранее в разделе 3.
5. Опыт разработки заданий для отработки практических навыков с использованием СДО Moodle и технологии Adobe Flash
В настоящее время подготовка инженеров по различным направлениям включает не только общетеоретическое обучение, но и обязательную отработку и закрепление практических навыков.
Помимо огромного количества преимуществ, изложенных выше, как для преподавателя и обучаемого, так и для разработчиков, система Moodle имеет недостатки. Основной из которых - сложность разработки заданий с высокой интерактивностью для закрепления практических навыков.
В современных версиях Moodle - 2.5, 2.6 и 2.7 для отработки практических навыков работы студентов по построению структурных схем, формированию сценариев, логических последовательностей действий может быть широко использован пакет 8СОИМ, предусматривающий возможность интеграции в него объектов мультимедиа: изображений, видео и т.п.
Модуль 8СОИМ представляет собой дополнение, расширяющее возможности СДО Moodle путем интеграции с разработками для других систем, в том числе международных. Кроме того, 8СОИМ позволяет интегрировать в среду Moodle Б^И-ролики и приложения в формате .swf (Shockwave Б^И).
Пакет 8СОИМ включает сборник спецификаций и стандартов, разработанный для СДО. Он содержит требования к организации учебного материала и всей СДО. 8СОИМ позволяет обеспечить совместимость компонентов и возможность их многократного использования: учебный материал представляется отдельными небольшими блоками, которые могут
включаться в разные учебные курсы и использоваться СДО независимо от того, кем, где и с помощью каких средств они были созданы. SCORM основан на стандарте XML (extensible Markup Language -расширяемый язык разметки). Благодаря гибкому и понятному интерфейсу настройки, с пакетом можно работать как с обычным элементом курса (лекция, задание или вопрос).
В настоящее время для создания простых и средней сложности информационно-образовательных ресурсов, обладающих интерактивностью, часто используется мультимедийная платформа Flash компании Adobe для создания приложений, веб-приложений или мультимедийных презентаций, которая позволяет работать с векторной, растровой и с трёхмерной графикой, тем самым предоставляется возможность решения разных задач в области моделирования и обучения. Эта платформа значительно упрощает создание интерфейса информационно-образовательного ресурса или компьютерного тренажера.
Широкие функциональные возможности, относительная простота освоения и разработки приложений делают Adobe Flash удобным инструментом для образовательных целей, но остается проблема интеграции разработанных приложений с существующими средами и системами обучения, в том числе дис-
танционного.
Для решения поставленной задачи был разработан модуль (фактически новый тип элемента Moodle) на основе документации разработчиков LMS Moodle. Функциональная схема, показывающая принцип интеграции модуля, приведена на рис. 10.
Файл на языке ActionScript, который является неотъемлемой частью разрабатываемого Flash-апплета, представляет собой набор методов («класс» в терминах объектно ориентированного программирования) для приема-передачи значений переменных. Такой универсальный файл возможно интегрировать в каждый разрабатываемый Flash-апплет. Целесообразно предусмотреть два режима его работы: интегрированный в среде Moodle и самостоятельный режим Flash-приложения для отладки при разработке.
Файл XML используется для задания исходных значений переменных и работы Flash-апплета в режиме отладки. Взаимодействие XML-Flash реализуется при помощи встроенных функций.
На рис. 11 представлен интегрированный модуль «Flash-вопрос». Так же как любой другой модуль в составе Moodle, он имеет стандартные настройки верхнего уровня (ограничение по времени, доступность для определенной группы пользователей, ограничение на ко-
Рис. 10. Функциональная схема работы созданного модуля
Рис. 11. Параметры настройки интегрированного в Moodle модуля
личество попыток и прочее) и блок параметров самого модуля. Основных полей 4: название теста, балл по умолчанию, поле для загрузки самого swf-файла и хт1-файла инициализации переменных.
С использованием данного модуля реализованы практические задания, направленные на отработку навыков анализа структурной на-
дежности сложных технических на примере фрагментов химико-технологических систем.
Во время прохождения и завершения каждого задания собирается стандартная статистика МооШе, т.е. каждое действие пользователя и каждый ответ с привязкой ко времени.
Заключение
1. С использованием методов системного анализа разработаны функциональная структура интеллектуальной АСО и структура комплекса программных средств системы, реализованная на основе информационных и интернет-технологий.
2. Рассмотрены методические аспекты создания и использования элементов и ресурсов среды дистанционного обучения МооШе для реализации информационно-образовательных ресурсов системы.
3. Предложены методы анализа и обработки результатов контроля знаний на основе оценок экспертов, метода ранжировки и статистических методов обработки в СДО МооШе, рекомендованные для формирования банков тестовых заданий для итогового контроля знаний в интеллектуальной АСО.
4. Разработан метод интеграции СДО МооШе с интерактивными мультимедийными приложениями на основе Р^И-технологии для реализации практических заданий.
Таким образом, разработка современных информационно-образовательных ресурсов тесно связана с развитием информационных и интернет-технологий и широким внедрением их в инженерную подготовку выпускников различных направлений и профилей подготовки в соответствии с изменяющимися требованиями и образовательными стандартами.
Литература
1. Егоров А.Ф., Савицкая Т.В., Запасная Л.А. Междисциплинарная автоматизированная система обучения на основе сетевых технологий для подготовки химиков-технологов // Труды Международной научно-методической конференции «Информатизация инженерного образования» - ИНФОРИНО-2012 (Москва, 10-11 апреля 2012 г.). - М.: Издательский дом МЭИ, 2012. - C. 363-366.
2. Савицкая Т.В., Запасная Л.А., Егоров А.Ф. Информационно-образовательные ресурсы для подготовки специалистов по проблемам безопасности опасных производственных объектов // Труды Международной научно-методической конференции «Информатизация инженерного образования» - ИНФОРИНО-2012 (Москва, 10-11 апреля 2012 г.). - М.: Издательский дом МЭИ, 2012. - C. 493-494.
3. Егоров А.Ф., Савицкая Т.В., Запасная Л.А. Междисциплинарная автоматизированная система обучения на основе сетевых технологий для многоуровневой подготовки химиков-технологов // Открытое образование. -2012. - № 6 (95). - C. 20-33.
4. Министерство образования и науки российской Федерации [Электронный ресурс]. - Режим доступа: http:// минобрнауки.рф/документы/2974 - загл. с экрана (дата обращения: 14.02.2014).
5. Разработка автоматизированных лабораторных комплексов: учеб. пособие / А.Ф. Егоров, Т.В. Савицкая, С.П. Дударов, А.В. Горанский, В.П. Бельков, И.Б Шергольд; под общ. ред. проф. А.Ф. Егорова. - М.: РХТУ им. Д.И. Менделеева, 2006. - 176 с.
6. Учебный сэйт кэфедры логистики и экономической информэтики РХТУ им. Д.И. Менделеевэ [Электронный ресурс]. - Режим доступэ: http://moodle.milrti.ru/ - зэгл. с экрэнэ (дэтэ обрэщения: 28.11.2013).
7. МГТУ им. Н.Э. Бaумaнa [Электронный ресурс]. - Режим доступэ: http://www.bmstu.ru - зэгл. с экрэнэ (дэтэ обрэщения: 28.11.2013).
8. Сэнкт-Петербургский госудэрственный университет информэционных технологий, мехэники и оптики. Системэ дистэнционного обучения. [Электронный ресурс]. - Режим доступэ: http://de.ifmo.ru - зэгл. с экрэта (дэтэ обрэщения: 28.11.2013).
9. Интернет-университет информэционных технологий. [Электронный ресурс]. - Режим доступэ: http://www. intuit.ru - зэгл. с экрэнэ (дэтэ обрэщения: 28.11.2013).
10. Иванов М.Н., Попова Е.П. Использование дистанционных образовательных технологий в единой информационно-образовательной среде ФГБОУ ВПО «МГИУ» // Труды Междунэродной нэучно-методической конференции «Информэтизэция инженерного обрэзовэния» - ИНФОРИНО-2014 (Москвэ, 15-16 эпреля 2014 г.). -М.: Издэтельский дом МЭИ, 2014. - С. 423-424.
11. Афанасьев А.Н., Войт Н.Н., Егорова Т.М. Интеллектуальная дистанционная образовательная среда для инженерного образования // Труды Междунэродной нэучно-методической конференции «Информaтизaция инженерного обрэзовэния» - ИНФОРИНО-2014 (Москвэ, 15-16 эпреля 2014 г.). - М.: Издэтельский дом МЭИ, 2014. - С. 397-400.
12. Виноградова И., Клюкас Р., Тринкуас В. Вопросы организации дистанционного образования в университете // Труды Междунэродной нэучно-методической конференции «Информaтизaция инженерного обрэзовэ-ния» - ИНФОРИНО-2014 (Москвэ, 15-16 эпреля 2014 г.). - М.: Издэтельский дом МЭИ, 2014. - С. 409-412.
13. Модульнэя объектно ориентировaннaя средэ дистэнционного обучения Moodle [Электронный ресурс]. -Режим доступэ: http://moodle.org/ - зэгл. с экрэнэ (дэтэ обрэщения: 08.05.2013).
14. С«вицк«я Т.В., Зaпacнaя Л.А. Интеллектуэльные методы энэлизэ соответствия ФГОС рэзличных нэпрэв-лений и профилей подготовки объектов // Труды Междунэродной нэучно-методической конференции «Ин-формэтизэция инженерного обрэзовэния» - ИНФОРИНО-2014 (Москвэ, 15-16 эпреля 2014 г.). - М.: Издэ-тельский дом МЭИ, 2014. - С. 139-142.
15. Эрм«н Е.А. Aвтомaтизировaннaя обучaющaя системэ с рэсширенными функциями тестового контроля знэний, aнaлизa и клэссификэции информэции: эвтореф. дис. ... кэнд. техн. нэук. / Астрэхэн. гос. ун-т. -Астрэхэнь, 2004. - 23 с.
16. Потемкин« С.В. Информэционнэя средэ непрерывного обрэзовэния нэ основе системы дистэнционного обучения: дис. ... кэнд. техн. нэук. - Дубнэ, 2006. - 121 с.
17. Aвтомaтизировaнный лэборэторный комплекс [Электронный ресурс]. - Режим доступэ: http://cisserver. muctr.ru/alk/ - зэгл. с экрэнэ (дэтэ обрэщения: 06.05.2013).
18. Междисциплинэрнэя aБтомaтизировaннaя системэ обучения [Электронный ресурс]. - Режим доступэ: http://cisserver.muctr.ru/alkmw/ - зэгл. с экрэнэ (дэтэ обрэщения: 06.03.2014).
19. С«вицк«я Т.В., З«п«сн«я Л.А. Подготовкэ комплексов лэборэторных рэбот и видеоуроков для обучения студентов нэвыкэм использовэния прогрэммных средств в облэсти оценки рискэ // Труды тринэдцэтой межвузовской учебно-методической конференции. М.: РХТУ им. Д.И. Менделеевэ, 2011. - С. 72-73.
20. Егоров А.Ф., С«вицтя Т.В., З«п«сн«я Л.А., Виногр«дов А.П. Информэционно-обрэзовэтельные ресурсы по проблемэм безопэсности опэсных производственных объектов // Безопэсность в техносфере. - 2013. -№ 1. - С.73-80.
