CC BY
103.Nie C., Leung H. A survey of combinatorial testing. // ACM Comput. Surv. -2011. - Pp. 11:1-11:29.
4. Nie C., Leung H. The minimal failure-causing schema of combinatorial testing. // ACM Trans. Softw. Eng. Methodol. - 2011. - Pp. 15:1-15:38.
5. Kuhn D.R., Okun V. Pseudo-exhaustive testing for software. // SEW. - 2006. -Pp. 153-158.
6. Do H., Elbaum S., Rothermel G. Supporting Controlled Experimentation with Testing Techniques: An Infrastructure and its Potential Impact. // Empirical Software Engineering. - 2005. - Vol. 10(4). - Pp. 405-435.
УДК 004
doi :10.18720/SPBPU/2/id21 -401
Десятириков Феликс Андреевич1,
студент
СИСТЕМНЫЙ ПОДХОД К ОРГАНИЗАЦИИ АВТОМАТИЧЕСКОГО ТЕСТИРОВАНИЯ СТУДЕНТОВ МУЗЫКАЛЬНЫХ УЧЕБНЫХ
ЗАВЕДЕНИЙ
1 Россия, Воронеж, ФГБОУ «Воронежский государственный
университет», science2000@ya.ru
Аннотация. Разработан программный продукт, реализующий цифровую форму дистанционного контроля знаний на языке Java под платформу Android. В тестирующей системе использована визуальная, аудио и графическая генерацией вопросов и ответов, что обеспечивает использование традиционных форм обучения в дистанционном режиме. Кроме автономного режима автоматическая система тестирования предполагает возможность сетевого взаимодействия преподавателя с группой обучающихся.
Ключевые слова. тестирование, музыкальное образование, Android-приложение.
Felix A. Desyatirikov1, Student
SYSTEM APPROACH TO ORGANIZATION OF AUTOMATIC TESTING OF STUDENTS OF MUSIC EDUCATION INSTITUTIONS
Voronezh State University, Voronezh, Russia, science2000@ya.ru
Abstract. A software product has been developed that implements a digital form of remote control of knowledge in the Java language for the Android platform. The testing system uses visual, audio and graphical generation of questions and answers, which
provides the use of traditional forms of distance learning. In addition to the autonomous mode, the automatic testing system assumes the possibility of network interaction between a teacher and a group of students.
Keywords: testing, music education, Android application.
Введение
В современном мире в условиях всеобщей цифровизации, научно-технический прогресс проникает во все сферы человеческой деятельности, в том числе и в педагогику, где в последнее наблюдается рост использования информационных технологий в организации учебного процесса.
В связи с этим всё большую популярность приобретают ИТ-решения, обеспечивающие внедрение в практику преподавания новых подходов к обучению, в том числе дистанционный формат обучения [1]. При этом в современном образовательном процессе особый акцент делается не столько на организацию самого процесса обучения, чтобы просто учить, сколько на выработку навыков самостоятельного получения знаний. Очевидно, что в этом случае важным фактором является обеспечение возможности качественного контроля полученных знаний. Способом такого контроля может стать тестирование в дистанционном формате как неотъемлемая часть учебного процесса
К преимуществам применения автоматической системы тестирования можно отнести:
1 Повышение экономической эффективности процесса обучения, т. к. компьютерное тестирование экономит много времени, как преподавателя (снижается время на подготовку данных, проведение самого тестирования и обработку его результатов), так и тестируемого (уменьшается время на формулировку и представление ответа), и кроме того снижает нагрузку на аудиторный фонд.
2. Гибкость системы. Автоматическая система тестирования позволяет в режиме реального времени менять как базу тестирования, так и вести удаленный диалог с тестируемым.
3. Возможность накопления электронной базы данных, что удобно для статистической обработки и хранения.
4. Возможность объективной оценки знаний тестируемого без учета психоэмоционального состояния преподавателя.
5. Быстрое формирование результатов тестирования, в том числе, выдача тестовых баллов или протокола тестирования в виде текстовой информации или графиков, что особенно ценно при работе с большой группой тестируемых.
6. Несомненное преимущество проявляется в текущем контроле, при самоконтроле и самоподготовке учащихся. Тесты диагностируют усвоенные знания и умения, а в случае затруднений помогают построить или скорректировать тактику изучения дисциплины.
7. Возможность использования аудио- и видеофайлов.
Помимо преимуществ у автоматического тестирования имеются и недостатки/ограничения:
1. Психологические и эмоциональные реакции учащихся на компьютерное тестирование. Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, время выполнения теста или невозможность пропуска задания, с которым возникли трудности [2].
2. Влияние предшествующего личного опыта работы тестируемого с автоматическими системами тестирования и компьютером в целом на выполнение теста. Во многих случаях, предшествующий опыт работы на компьютерах, влияет на достоверный результат выполнения теста, что важно учитывать в данной форме контроля знаний тестируемых, для которых предназначается тест.
3. Пользовательский интерфейс. Как правило, он играет большую роль в успешности прохождения теста, так как здесь закладываются функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль системы тестирования и методы представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с испытуемым, отражая общие принципы дизайна графической информации. Чем лучше продуман интерфейс, тем быстрее испытуемый с ним разберется и сосредоточится на выполнении заданий теста.
1. Определение требований к автоматической системе тестирования
Первым шагом в разработке любого программного продукта является определение функциональных требований к разрабатываемому продукту/ИТ-решению .
По итогам анализа большого количества существующих на текущий момент систем для проведения контроля и оценки знаний был подготовлен пул требований к разрабатываемой в рамках настоящего исследования автоматической системе тестирования. Перечень данных требований представлен ниже
1. Обеспечение возможности создания различного набора тестов с присвоением каждому из тестов своих уникальных идентификаторов/наименований.
2. Обеспечение возможности выбора оптимального временного режима при работе с системой:
- возможность установки ограничений по времени как на выполнение отдельного задания, так и на выполнение всего теста;
- возможность учета затраченного времени при ответе как на каждый вопрос, так и на выполнение всего теста.
3. Поддержка различных типов заданий/вопросов как с одиночным выбором, так и множественным выбором.
4. Поддержка блочной структуры теста. Обеспечение возможности определения порядка следования блоков и весовых коэффициентов сложности для каждого блока заданий/вопросов.
5. Поддержка возврата к тестовому заданию:
- возможность запрета на возврат к тестовому заданию, ответ на который уже был дан;
- возможность отложить ответ и позже вернуться к нему;
- возможность вернуться к тестовому заданию после ответа на все вопросы.
6. Обеспечение возможности авторизации пользователя при входе в систему, т.е. указании личных данных тестируемого.
7. Универсальность и адаптируемость решения.
8. Обеспечение возможности организации мониторинга ответов, наличие удобных инструментов статистики.
9. Защищенность от несанкционированного доступа к хранимым в системе данным.
10. Обеспечение возможности работы в сети и удаленного администрирования системы.
11. Низкая стоимость приобретения и дальнейшей поддержки программного продукта
По итогам выполненного анализа существующих аналогов автоматических систем тестирования на данный момент, пока, не существует средств автоматического тестирования, которые удовлетворяли бы всем перечисленным требованиям. Основная трудность заключается в том, что разработчикам приходится выбирать либо между легкостью усвоения и широким набором функций программы, либо между возможностью быстрого создания тестов и эффективностью их хранения.
Один из вариантов преодоления этих трудностей, это отказ от универсальных средств тестирования и построение систем, направленных на решение конкретной задачи.
2. Состояние предметной области
В рамках настоящего исследования разработанные методы и алгоритмы автоматической системы тестирования применяются для контроля знаний по сольфеджио. Выбор предметной области обусловлен следующим обстоятельством. Являясь частью гуманитарного музыкального знания, знания по сольфеджио, тем не менее, хорошо формализованы. Проверочные вопросы не требуют вербальных конструкций в ответах, не допускают вариативности в ответах, не допускают неполных ответов. В
системе тестирования знаний по сольфеджио можно выделить три типа заданий:
- задания с выбором одного или нескольких правильных ответов;
- задания на установление соответствия — это задания, в которых предлагается установить соответствия между двумя элементами;
- задания на установление правильной последовательности — это задания, в которых требуется в правильной последовательности или иерархии расположить предлагаемые элементы.
При проведении контроля знаний в условиях гуманитарной направленности, а именно, при обучении музыке и музыкальной грамотности с помощью автоматической системы тестирования могут быть реализованы все основные формы контроля, начиная от вступительных экзаменов и заканчивая выпускными: текущий; тематический; рубежный; итоговый; заключительный.
В силу того, что, как правило, преподаватели и обучающиеся музыкальных учебных заведений обладают весьма ограниченным знанием компьютерных технологий — основное внимание при разработке систем автоматического тестирования должно быть уделено разработке максимально дружелюбного интерфейса как для преподавателя, так и для обучающегося [3].
3. Постановка задачи исследования
Основная цель настоящего исследования заключалась в разработке автоматической системы оценки знаний по сольфеджио с несколькими типами заданий для наиболее точной проверки знаний учащихся.
В соответствии с поставленной целью исследования были сформулированы следующие задачи:
• провести анализ предметной области;
• определить функциональные требования к разрабатываемому продукту;
• изучить соответствующую техническую литературу по языку программирования Java, в том числе программирование под платформу Android;
• выполнить проектирование и разработку тестирующего приложения на языке Java под платформу Android с интуитивно понятным интерфейсом и поддержкой лёгкой замены банка тестовых заданий путём применения унифицированной технологии чтения JSON файлов;
• произвести тестирование разработанного программного продукта и оценить перспективы и направления развития данного решения.
В качестве объекта исследования выступала автоматическая система тестирования с различными функциями генерации вопросов.
Предметом исследования выступала визуальная, аудио и графическая генерация вопросов и ответов в тесте.
4. Описание реализации
В качестве языка программирования для написания автоматической системы тестирования был выбран язык программирования Java, предоставляющий широкие возможности и инструменты для разработки приложений под платформу Android. Основными аргументами в пользу такого выбора стали:
• лёгкая компиляция под Android путём использования встроенных в Android Studio утилит.
• кросс-платформенность, помогающая импортировать приложение под IOS, Linux и Windows.
• нативная поддержка текстового формата JSON и XML
Для хранения банка вопросов был выбран текстовый формат JSON. Основанием для этого послужил ряд причин, одной из которых является лёгкая читаемость и изменяемость (обоснованная относительно лёгким в освоении синтаксисом) такого формата данных неподготовленным пользователем. Второй немаловажной причиной является легковесность, которая позволяет при больших объёмах данных занимать меньше памяти устройства.
В случае использования текстового формата данных JSON в качестве базы вопросов администрирование системы заключается в добавлении звуковых файлов в папку /res/raw/ и редактировании JSON файлов в той же директории и последующей компиляции нового Apk файла. От клиента требуется только установить новый Apk файл.
Реализация проекта потребовала выполнения следующих этапов:
1. Создание графической модели в формате .xml.
2. Создание основных классов, используемых в проекте.
3. Создание логической модели.
4. Объявление и создание основных методов.
5. Тестирование промежуточного результата.
6. Интеграция медиаплеера.
7. Добавление структур JSON для хранения вопросов.
8. Тестирование конечного результата.
9. Подпись apk файла.
Результатом разработки стала тестирующая программа на языке Java. Тестирующий продукт содержит три модуля. Первый модуль содержит текстовый или аудио вопрос и необходимо выбрать один из предложенных ответов. Например, дана формула аккорда и необходимо найти правильное его словесное название. Второй модуль предлагает аудио вопрос. Например, дана музыкальная тема и необходимо определить её тональность. Третий модуль предлагает построить заданный аккорд на нотном стане. Предложен полный набор музыкаль-
ных обозначений на выбор: басовый и скрипичный ключи, знак ноты, знаки бемоль и диез.
К ключевым отличительным особенностям разработанной автоматической системы тестирования можно отнести использование 2D графики на основе Canvas и DrawView, Банк ответов на основе JSON и .wav, а также многофункциональность данного теста:
1. Создан многофункциональный тест для автоматической проверки музыкальной грамотности, реализующий традиционные технологии очного обучения в дистанционном режиме.
2. Для автоматической проверки музыкальной грамотности тест содержит три модуля с принципиально различными способами формирования вопросов и ответов: вербальным, акустическим, с динамической графикой.
3. Вопросы не жёстко запакованы в программу, а могут быть заменены путём редактирования файла JSON.
4. Использованы средства 2D графики Canvas и DrawView.
Заключение
Цель исследования заключалась в проектировании и разработке автоматической системы оценки знаний по сольфеджио с несколькими типами заданий для наиболее точной проверки знаний учащихся.
В ходе исследования реализован программный продукт, обеспечивший возможность перехода от традиционной технологии проверки музыкальной грамотности в электронную среду дистанционного обучения [3]. Тестовая система не требует производительного оборудования и может запускаться на смартфоне с ОС Android OREO и выше.
В качестве перспективы развития разработанного решения можно выделить создание клиент-серверной части для сетевого взаимодействия преподавателя с группой обучающихся в режиме реального времени.
Список литературы
1. Погуда А.А. Модели и алгоритмы контроля знаний по гуманитарным дисциплинам. Дисс.... канд. тех. наук по спец. 05.13.10. Томск: НИ ТГУ, 2016. - 174 с.
2. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. - М.: Изд-во Логос, 2002. - 432 с.
3. Desyatirikov F. "SAMSolfeggio", Android Application. - URL: https://github.com/FelixDes/Muz_test/blob/master/app-release.apk (дата обращения: 20.09.2021).
4. Loginova A.V., Algazinov E.K., Garshina V.V., Sychev A.V. Collaboration with Employers in IT Training. // 2017 IEEE VI Forum SPUE, St. Petersburg, 2017. - Pp. 8891. - DOI: 10.1109/IVForum.2017.
