CC BY
37
Статистические исследования качества электронных образовательных ресурсов
Савкина Анастасия Васильевна доцент, к.т.н., доцент кафедры автоматизированных систем обработки информации и
управления,
Национальный исследовательский Мордовский государственный университет
им. Н.П. Огарёва ул. Большевистская, 68, г. Саранск, 430005, (8342) 290701 [email protected]
Нуштаева Анастасия Владимировна к.т.н., доцент кафедры информатики и автоматизации Московский открытый институт, Москва, Ленинградский просп., 80, корп. 5 [email protected]
Савинов Игорь Александрович аспирант кафедры автоматизированных систем обработки информации и управления, Национальный исследовательский Мордовский государственный университет
им. Н.П. Огарёва ул. Большевсистска, 68, г. Саранск, 430005, (8342) 478691 yuliya [email protected]
Вечканова Юлия Сергеевна лаборант кафедры автоматизированных систем обработки информации и управления, Национальный исследовательский Мордовский государственный университет
им. Н.П. Огарёва ул. Большевсистска, 68, г. Саранск, 430005, (8342) 478691 yuliya [email protected]
Аннотация
Статья посвящена применению аппарата математической статистики для исследования качества содержания электронных образовательных ресурсов, используемых при обучении студентов. Выявлены параметры уровня качества освоения материала: валидность, надежность, установлена их связь с анализом статистических параметров: средним баллом, медианой, дисперсией, стандартным отклонением, коэффициентами асимметрии, эксцесса, индекса лёгкости.
The article is devoted to the use of the apparatus of mathematical statistics to study the quality of the content of electronic educational resources used in teaching students. The parameters of the level of quality of development of the material: validity, reliability, their relationship with the analysis of statistical parameters: average score, median, variance, standard deviation, coefficients of asymmetry, kurtosis, lightness index.
Ключевые слова
Статистика, тест, надежность, средний балл, медиана, дисперсия, стандартное отклонение, коэффициент асимметрии, коэффициент эксцесса, индекс
лёгкости, электронный образовательный ресурс
Statistics, test, reliability, average score, median, variance, standard deviation, coefficient of asymmetry, coefficient of kurtosis, index of lightness, electronic educational resource
Введение
Современные требования к образованию, в виду постоянно растущего объёма информации и ограничению времени на обучение, требуют все более интенсивной подачи материала, введения новых методов, технологий, базирующихся на применении вычислительной техники с использованием активных методов обучения [1]. Реализация таких методов является приоритетной задачей, подразумевающей активизацию всего процесса и выявления способов, систем и приёмов, которые в перспективе позволят увеличить активность обучаемых, формируя их положительную мотивацию для учебно-познавательной деятельности.
На текущий момент очень велик темп развития такой формы организации учебного процесса как дистанционное образование. Его основой является самостоятельное обучение с применением различных информационных ресурсов. Дистанционное образование даёт студенту возможность выбирать место и время обучения, позволяет получить образование тем, у кого по тем или иным причинам нет возможности получить традиционное образование. Помимо этого, новый метод образования использует новые информационные технологии, в некоторой степени сокращающие затраты на обучение. В дистанционной форме обучения наиболее часто применяются электронные образовательные ресурсы, привлекающие своей мобильностью, простотой связи и соответствием текущему уровню научных знаний.
Наряду с этим, всё более очевидной становится проблема разработки качественных, соответствующих требованиям электронных ресурсов, в том числе пособий, справочников, основывающихся на современных информационных технологиях. Сегодня существует возможность представить учебный материал в наглядной, интерактивной форме благодаря средствам гипертекста и мультимедиа. Электронный тренинг и параллельный контроль успехов студента, осуществляемый в виде компьютерного тестирования, стимулируют процесс познания и своевременно информируют о степени усвоения материала обучающимися. Разработка таких ресурсов также решает проблему непрерывного обновления учебного материала. На данный момент дистанционное обучение пользуется большой популярностью во всём мире, а электронные образовательные ресурсы являются важной составляющей такого обучения. В качестве немаловажного достоинства следует отметить возможность преподавателя при необходимости загрузить образовательный ресурс в систему дистанционного образования, например, Moodle, сделав его тем самым общедоступным для всех авторизованных в системе студентов Мордовского государственного университета им. Н. П. Огарева [2, 3].
При использовании современных интерактивных технологий в обучении очень важно правильно оценить уровень освоения студентами материала, представленного с помощью электронных образовательных ресурсов, подготовленных для систем дистанционного обучения. Достаточно
распространенным средством проверки служит тестирование. Как и для любой системы оценивания знаний в этом случае актуальным является вопрос о качестве
контрольно-измерительных материалов, с точки зрения их способности служить инструментом для оценки знаний, о точности такого измерения.
В различных системах дистанционного обучения существует довольно богатый аппарат математической статистики, позволяющий провести такую оценку, но для этого требуется отдельно вводить теоретический и контрольно-измерительный материал, используя внутренние возможности системы, затрачивая при этом достаточно большое количество времени. Гораздо удобнее при создании полноценного электронного курса, включающего теоретический материал, практические, лабораторные, контрольные, тестовые и другие задания использовать для этого специализированные средства, обладающие более богатыми возможностями для разработки электронных образовательных ресурсов в формате SCORM, таких как CourseLab, eAuthor, Articulate Storyline, Adobe Captivate.
Получение статистики о прохождении тестов студентами и их анализ непосредственно после размещения SCORM-пакета в системе дистанционного обучения без создания курса средствами самой системы дистанционного обучения значительно экономит время. Использование модуля статистической обработки результатов для электронного ресурса с последующей корректировкой содержания на основе статистического анализа, представленных тестовых заданий значительно повысит эффективность электронного курса.
Мониторинг качества образования как средство объективной оценки получения знаний
В настоящее время повсеместно отмечается повышенный интерес к проблемам качества образования. Для получения объективной и достоверной информации о результатах обучения, для выявления условий повышения успеваемости студентов, их более эффективного приобщения к активной жизни и готовности овладевать знаниями, создаются всевозможные системы мониторинга. Одной из наиболее удобных форм представления такой информации являются различные рейтинги, получаемые на основе использования современных информационно-коммуникационных технологий.
Рейтинги в образовании становятся всё более популярным и востребованным инструментом управления и информирования потребителей образовательных услуг. Тем не менее, на сегодняшний день, актуальная информация о результатах работы государственных учреждений и системы образования в целом часто является мало доступной для широкого круга пользователей, особенно, когда дело касается обучения пользователей с применением систем дистанционного обучения. Поэтому существуют высокая потребность в систематизированной и наглядно представленной информации о результатах обучения.
Например, система дистанционного обучения Moodle, как и многие другие, располагает широкими возможностями для формирования и хранения результатов учебной деятельности студентов [4]. Кроме этого, система дистанционного обучения имеет развитые встроенные средства для статистической обработки результатов тестирования и определения количественных статистических характеристик тестов в соответствии с классической теорией тестирования. Такого рода анализ результатов тестирования существенно расширяет возможности по улучшению качества контрольно-измерительных материалов. Важным достоинством является ведение
системой подробных протоколов активности каждого пользователя. Протоколируется обращение к элементам системы и результаты прохождения тестов.
Все данные, собранные с курсов, могут быть подвергнуты анализу. Анализ учебных данных может представлять большой интерес для широкого круга людей, выполняющих различные роли по отношению к учебному курсу. Среди них: администраторы, менеджеры, преподаватели, тьюторы, авторы, разработчики, обучающиеся. В задачи преподавателя и тьютора курса входят: мониторинг учебного процесса для своевременного выполнения корректирующих действий, сопровождение учебного процесса; оценка необходимости модификации материалов и заданий курса, применение дополнительных технологий и материала, добавление новых видов учебной работы. Основная цель всех, кто отвечает за разработку, продвижение и сопровождение курса, состоит в том, чтобы сделать курс успешным, прибыльным, востребованным. В их интересах выстроить траекторию обучения лёгкой для усвоения, минимизировать издержки и потери. Для этих целей целесообразно применять структурный анализ: анализировать факторы, влияющие на результаты обучения, исследовать сложившуюся структуру уровней сложности заданий курса и проводить детальный анализ происхождения кластеров обучающихся.
Обработка результатов обучения даёт возможность оценить необходимость модификации наполнения курса, что является задачей преподавателя и разработчиков учебного материала [5].
Аналитика обучения на электронном курсе может быть весьма полезна и для обучающихся. Обработка учебных данных даёт возможность пользователю проанализировать достижимость заявленных на курсе результатов обучения (потенциальную и реальную); оценить свои возможности, ресурсы и способность успешно освоить курс; отслеживать свой прогресс, чтобы вовремя принять решение о корректировке «траектории обучения».
Разработка электронного курса
Активное внедрение электронного учебного курса (ЭУК) характерно не только для систем дистанционного обучения, но и для традиционного очного обучения - школ, лицеев, высших учебных заведений. ЭУК применяются в различных целях: чтобы обеспечить самостоятельную работу обучаемых по освоению нового материала, организовать учебную деятельность по дифференцированному принципу, контролировать качество обучения и т.д. При этом ЭУК разрабатываются в различных учебных заведениях в большом количестве и охватывают самые разнообразные предметные области и программные средства [6]. При проектировании ЭУК первым делом необходимо заложить в него технологические характеристики, которые впоследствии позволят учебно-воспитательному процессу приобрести максимальную эффективность. Как автоматизированная обучающая система, электронный учебный курс должен выполнять следующие функции: эффективно управлять деятельностью обучаемого по изучению дисциплины; стимулировать учебно-познавательную деятельность; обеспечивать рациональное сочетание разнообразных видов учебно-познавательной деятельности, принимая во внимание дидактические особенности каждого из них и учитывая результаты освоения учебного материала; рационально сочетать всевозможные технологии представления материала (анимацию, видео, аудио, графику, текст); при размещении в сети обеспечивать организацию деловых
игр, виртуальных семинаров, дискуссий, и других занятий, основанных на коммуникационных технологиях.
В современном понимании электронный учебный курс - это сложная дидактическая система. Функционирование данной системы выполняет поддержку учебно-воспитательного процесса. Как система, электронный курс может одновременно выполнять функции моделирующих программ, автоматизированных контролирующих и обучающих систем, и других программных средств. Рассматривая ЭУК как систему, можно выделить в ней такие функциональные блоки, как информационно-содержательный, контрольно-коммуникативный и коррекционно-обобщающий.
Анализируя опыт применения электронных учебных курсов в учебно-воспитательном процессе, можно обнаружить, что наиболее эффективны те курсы, которые основаны на альтернативных способах подачи учебного материала: на основе линейной и нелинейной схем. Согласно линейной схеме ЭУК предлагает учебные материалы, при последовательной работе с которыми обучающийся может достигнуть уровня знаний, соответствующих необходимым требованиям государственного образовательного стандарта [7]. Нелинейная схема обеспечивает работу с электронным учебным курсом на более высоком уровне. Обучаемому, исходя из успешности освоения темы, предлагается дополнительный теоретический материал, которым он может воспользоваться для более глубокого изучения рассматриваемого вопроса. Также студенту могут быть доступны дополнительные разделы курса, материал которых важен для его профессионального и творческого роста. Данный вопрос должен быть рассмотрен преподавателем при отборе содержания [8].
В контрольно-коммуникативном блоке программно-информационная составляющая может служить для нескольких типов контроля: предварительный, текущий, рубежный и итоговый. В электронном учебном курсе могут быть реализованы несколько подходов к построению функционирования систем тестирования. Например, для текущего контроля и для самоконтроля могут быть использованы контролирующие программы с обратной связью, интегрированные в теоретический и практический материал и доступные студенту в любое время. В таком случае интеграцией обеспечивается реализация индивидуальной образовательной траектории, основанной на результатах текущего контроля качества обучения. А для преподавателя наиболее приемлемым вариантом является сетевой вариант контролирующих систем, при котором механизмы оценивания способны обеспечивать оптимальное взаимодействие между студентом и преподавателем (например, путём направления педагогу результатов контроля по электронной почте или посредством формирования электронного журнала успеваемости) [9]. Итоговое тестирование следует основывать на базах данных с вопросами и заданиями, которые должны быть размещены на сервере в Интернете или в локальной сети учебного заведения. Для общеобразовательных учебных заведений дополнительную возможность организовать независимую и объективную проверку качества обучения предоставляет централизованное тестирование.
Для электронных образовательных ресурсов характерны различные форматы: doc, pfd, htm и многие другие. Поскольку электронные ресурсы становятся всё более популярными, всё острее становится необходимость в выработке стандартных подходов к созданию курсов дистанционного обучения. На сегодняшний день насчитывается большое число спецификаций, обеспечивающих совместимость курсов от различных производителей, а также взаимодействие между системами. Сегодня актуальным является разработанный для систем дистанционного обучения сборник
спецификаций и стандартов SCORM (Sharable Content Object Reference Model, «образцовая модель объекта содержимого для совместного использования»). Данный стандарт содержит требования к организации учебного материала и в целом всей системе дистанционного обучения.
В любую систему дистанционного обучения можно загрузить пакет SCORM как элемент курса. Результаты выполнения заданий, тестов в пакете SCORM интегрируются в систему оценок.
Учебный контент в SCORM представляет собой образовательные объекты, из которых формируются курсы, модули и т. п. [10]. Образовательным объектом может быть любой материал, отображаемый в веб-браузере, например, текст, изображения, аудиофайлы, видеофайлы [11]. При этом, веб-браузером обязательно должен поддерживаться JavaScript.
Обработка результатов обучения
Разработанный плагин «Статистика» предоставляет возможность анализа таких показателей, как средний балл, медиана, дисперсия, стандартное отклонение, коэффициент асимметрии, коэффициент эксцесса, индекс лёгкости и среднее время выполнения.
Средний балл - среднее арифметическое по оценкам всех выполняющих тест студентов.
_ 1
Т= IZsesTs, (1)
где S - множество студентов, выполнявших тест, Ts - оценка за тест s-го студента.
В сравнении со средним баллом медиана показывает количественный состав и распределение «сильных» и «слабых» студентов в группе. Согласно теории педагогических измерений, чем ближе средний балл испытуемых к медианному значению оценок, тем выше качество теста.
Дисперсия - показатель, который даёт характеристику разброса оценок вокруг центра. Стандартное отклонение - это общепринятая мера вариации полученных испытуемыми тестовых баллов для конкретной группы испытуемых. Оно характеризует диференцирующую способность теста, то есть его способность разделять по уровню подготовки. Эта характеристика определяется по формуле:
SD = ^ Zses(Ts - Г)2 (2)
Стандартное отклонение оценивает разброс оценок студентов. Если все оценки одинаковы, то отклонение равно 0. Чем больше отклонение, тем больше разброс оценок. Следовательно, выше способность теста разделять студентов на «сильных» и «слабых». Для хорошего теста отклонение должно быть больше 30%.
Отрицательное значение коэффициента асимметрии показывает, что количество высоких оценок больше, чем низких (относительно среднего).
Коэффициент эксцесса - показывает «островершинность» распределения оценок. Положительный коэффициент - острый пик и «лёгкие хвосты». Отрицательный коэффициент - пологий пик и «тяжёлые хвосты». В норме равен нулю.
Коэффициенты асимметрии (skewness) и эксцесса рассчитываются по следующим формулам:
Skewness = (3)
к2
КигЬозЬэ = % (4)
к2
где Ш2 = ^еБ^ - Т)2, т3 = ^ез^ - Т)3, т4 = ^ез^ - Т)4;
1 Б к2 = —т2;
2 Б-1 2' Б2
кз = (Б—1)(Б—2) т'3';
к4 = (5-1X5-2X5-3) + 1)т4 -3(5- 1)т2)-Индекс лёгкости определяется количеством студентов, успешно прошедших тест. Если индекс лёгкости равен 100% (все ответили правильно) или наоборот - 0% (все ответили неправильно), то такой тест следует редактировать.
Р = 10^^^^^ , (5)
Т(тах)-Т(тт)
где Т - средний балл;
Т(шт) - минимальная оценка за тест среди студентов; Т(тах) - максимальная оценка за тест среди студентов.
Среднее время выполнения показывает среднее время прохождения теста среди всех студентов. Эта метрика позволяет выявить слишком требовательные ко времени тесты.
^ = + , (6)
где - количество студентов;
ti - время выполнения теста ьым студентом.
Реализация плагина
Расширение системы дистанционного обучения Moodle дополнительным модулем статистики состояло в написании кода на языках PHP, JavaScript и CSS. Каркас плагина, формирующий его структуру и выполняющий математические расчёты, выполнен на скриптовом языке программирования PHP, на котором написана вся LMS Moodle.
В разработанном плагине статистические характеристики результатов прохождения курса в SCORM формате рассчитываются на стороне сервера и там же обрабатываются для построения диаграмм. Диаграммы строятся на стороне клиента, путём выполнения кода, написанного на языке JavaScript. Код на JavaScript применяется к HTML документу, формируемому PHP скриптом, и обеспечивает динамическую интерактивность на веб-странице плагина.
Для удобной работы с элементами курса на веб-странице плагина, для обращения к их содержимому и манипуляции ими, была подключена библиотека JavaScript - JQuery, фокусирующаяся на взаимодействии JavaScript и HTML.
Визуализация статистических данных на диаграммах осуществляется с помощью JavaScript библиотеки Highcharts JS. Highcharts JS - популярная библиотека для построения графиков. Комплектуется большим количеством анимации разнообразного типа и содержит множество предварительно созданных диаграмм.
Одно из преимуществ применения Highcharts JS - совместимость со всеми браузерами, включая такие проверенные временем, как Internet Explorer. Визуальное оформление плагина определено с помощью формального языка описания внешнего вида документа - CSS.
Посмотреть отчёт по результатам статистического анализа, выполненного плагином «Статистика» можно на вкладке «Отчёты страницы элемента Moodle».
На странице отчёта выведена таблица со статистическими характеристиками, рассчитанными для каждого теста в пакете SCORM. В таблице для таких метрик, как средний балл и стандартное отклонение, осуществляется цветовое форматирование ячеек, содержащих значения параметров, которые могут сказать об однозначно высоком или однозначно низком качестве теста. Поскольку пользователю для анализа предлагается такое количество статистических показателей, которое не может быть за раз умещено на веб-странице, таблица имеет полосу прокрутки. Фрагмент таблицы, сформированной плагином «Статистика», представлен на рисунке 1.
Тест Средний балл Медиана Дисперсия Стандартное отклонение Коэффициент асимметрии Коз
Тест №1 39 26 533.333 23.094 1.861
Тест №4 16 23 5S.3 7.635 0.009
Тест №2 20 20 42.333 6.506 -0.688
Тест №3 26 26 28.25 5.315 0.561
Тест №5 15 20 44.91 7 6.702 -1.076
< >
Рис.1. Фрагмент таблицы, сформированной плагином «Статистика»
Ниже, под таблицей выводится ряд диаграмм, позволяющих визуально оценить результаты прохождения курса не только на уровне каждого теста, но и в масштабе всего учебного курса, сформированного в формате SCORM.
Диаграмма «Распределение оценок по интервалам» - наглядно демонстрирует сколько студентов набрали баллов на оценку «отлично», сколько - на оценку «хорошо» и т.д. Диаграмма изображена на рисунке Рис. 2.2.
Распределение оценок по интервалам
Построить диаграмму "Распределение оценок по интервалам" для Тест N06
Интервалы оценок
0-55 баллов 4 56-70 баллов • 71 -Е5 баллов 86-100 баллов
Рис. 2.2 Диаграмма «Распределение оценок по интервалам»
Выбрать для какого теста следует отобразить распределение оценок по интервалам можно с помощью выпадающего списка, расположенного под заголовком диаграммы. Легенда диаграммы, размещённая в левой её части, является интерактивной и позволяет, кликая по каждому её пункту, исключать или включать в набор данных, выводимых на диаграмму, те интервалы, которые представляют интерес для пользователя. Кроме того, в результате клика по какому-либо из построенных секторов, данный сектор отделяется от остальной части диаграммы. При наведении указателя мыши на сектор, во всплывающем окне выводится информация о том, какому интервалу он соответствует и какова доля этих оценок от общего их числа.
Следующая диаграмма «Активность пользователей по тестам» отображает количество завершивших и не завершивших тест студентов, а также количество студентов, не приступавших к его прохождению. Данный элемент отчёта, выводимого плагином, также, как и предыдущий, обладает интерактивной легендой и всплывающим при наведении на данные диаграммы окном, дублирующим информацию о названии теста и количестве студентов. Диаграмма представлена на рисунке 3.
Рис. 3. ЗДиаграмма «Активность пользователей по тестам»
Далее расположена группа диаграмм «Статистические параметры», наглядно демонстрирующая разницу в статистических характеристиках, рассчитанных плагином для каждого теста и выведенных в таблицу. Диаграмма, построенная для параметра «Средний балл», показана на рисунке 4.
Рис. 4. Группа диаграмм «Статистические параметры»
Для переключения между параметрами, которые нужно визуально отобразить, служат одноименные с характеристиками переключатели, размещённые в нижней части данного элемента. Наведя указатель, на какой-либо столбец, можно получить численное значение параметра.
Завершает страницу с отчётом, диаграмма «Распределение времени прохождения тестов по временным интервалам». Данный элемент страницы позволяет для каждого теста увидеть, как много студентов достаточно долго отвечали на вопросы, сколько студентов слишком быстро прошли тест и т.п. Рассматриваемая диаграмма также, как и диаграмма «Активность пользователей по тестам» обладает возможностью отключения не представляющих интереса для конкретного пользователя серий данных и при наведении отображает количество студентов,
которое соответствует выделенному фрагменту диаграммы. Данный элемент представлен на рисунке 5.
Распределение времени прохождения тестов по временным интервалам
Тест №1 Тест №2 5 9
Тест №4 Тест №5 Тест N56 Тест №7 Тест №8 Твгх МоО
0 1 2 3 4 5 < Общее число студентов • <10 мин. • 10-30 нин. • 30-60 мин. • >1 ■ > 7 « ч.
Рис. 5. Диаграмма «Распределение времени прохождения тестов по временным
интервалам»
Все рассмотренные диаграммы при переключении серий данных, по которым необходимо выполнить построение, изменяют масштаб своих осей в соответствии с величинами данных.
Заключение
Для подтверждения необходимости разработанного плагина был спроектирован электронный учебный курс в двух вариантах с применением разных подходов к реализации: средствами системы дистанционного обучения Moodle и с помощью специального программного средства в формате SCORM, позволяющем без особого труда импортировать его в любую систему дистанционного обучения, отвечающую данному стандарту. Исследования показали, что, хотя инструменты системы Moodle позволили получить объективную информацию об уровне и динамике образовательного процесса, но при этом в статистическом отчете и отчете по оценкам студентов в системе МооШе можно использовать только встроенные стандартные инструменты для оценки мониторинга образовательного процесса. Кроме этого, получить эти отчёты можно лишь по курсам, созданным в системе Moodle. Для анализа 8СОКМ-пакетов данная система дистанционного обучения не предоставляет необходимые возможности. Она позволяет лишь посмотреть общий балл студента за прохождение теста из SCORM-пакета и время его выполнения.
Благодаря разработанному плагину был расширен функционал системы дистанционного обучения необходимыми инструментами анализа результатов обучения и качества представленных материалов в формате 8СОКМ. Реализованный плагин для каждого теста рассчитывает и выводит в таблицу ряд статистических характеристик, позволяющих преподавателю оценить качество представленных тестов, как в численном выражении, так и виде всевозможных диаграмм для визуальной оценки результатов прохождения студентами курса.
В результате проделанной работы анализ результатов тестирования с помощью разработанного плагина существенно расширяет возможности по улучшению качества контрольно-измерительных материалов и является удобным инструментом для преподавателя в процессе совершенствования учебного материала и тестовых заданий, целью которого является повышение качества обучения и контроля успеваемости.
Литература
1. Приказ Минобрнауки России от 19.12.2013 №1367 «Об утверждении порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры». Зарегистрирован в Минюсте России 24.02.2014 № 31402.
2. О применении электронного обучения, дистанционных образовательных технологий в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «мордовский государственный университет им. Н.П. Огарёва»: Положение от 28.06.2013 //
ФГБОУ ВПО «МГУ им. Н.П. Огарёва». - 2013, №6.
3. Вдовин С.М., Ямашкин А. А., Ямашкин С.А. Университетские геопорталы как инструмент решения экологических проблем. Экологические проблемы. Евразийское пространство. Серия "Евразийские университеты XXI века". -Москва, 2014. - с. 552-567.
4. Ивашечкин А.О., Савкина А.В. Разработка и формирование курса «Операционные системы» для студентов направления «Информатика и вычислительная техника»
с последующей обработкой результатов обучения в системе Moodle. В сборнике: Материалы XXI научно-практической конференции молодых ученых, аспирантов и студентов Национального исследовательского Мордовского государственного университета им. Н.П. Огарёва В 3-х частях. Составитель А.В. Столяров. Ответственный за выпуск П.В. Сенин. 2017. С. 370-374.
5. Ивашечкин А.О., Савкина А.В., Нуштаева А.В. Электронный образовательный ресурс по курсу «Операционные системы»
В сборнике: International innovation research: Economics. Science. Society сборник статей Международной научно-практической конференции. Под общей редакцией Г.Ю. Гуляева. 2016. С. 74-82.
6. Савкина А.В., Нуштаева А.В., Борискина И.П. Информатизация курса «Алгебра и геометрия» с помощью интеллектуальной обучающей системы Math-Bridge. Образовательные технологии и общество. 2016. Т. 19. № 4. С. 479-487.
7. Савкина А.В., Савкина А.В., Никулин В.В. Операционные системы. лабораторный практикум / Саранск, 2012. (2-е издание, переработанное и дополненное)
8. Зубович А.С., Савкина А.В. Разработка и формирование курса «Информатика» для студентов направления «Инфокоммуникационные технологии и системы связи» с последующей обработкой результатов обучения в системе Moodle
В сборнике: Материалы XXI научно-практической конференции молодых ученых, аспирантов и студентов Национального исследовательского Мордовского государственного университета им. Н.П. Огарёва В 3-х частях. Составитель А.В. Столяров. Ответственный за выпуск П.В. Сенин. 2017. С. 366-370.
9. Аббакумов А.А., Сидоров Д.П., Егунова А.И. Использование мессенджеров для информирования слушателей учебных заведений. // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)". 2018. Т. 21. № 3. С. 330-336.
10. Сидоров Д.П., Аббакумов А.А. Разработка программы-тренажера для изучения асимметричного алгоритма шифрования RSA. // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)". 2018. Т. 21. № 3. С. 337-348.
11. Савкина А.В., Савкина А.В., Федосин С.А. Виртуальные лаборатории в дистанционном обучении. Образовательные технологии и общество. 2014. Т. 17. № 4. С. 507-517.
