CC BY
63
ЭЛЕКТРОННЫЙ НАУЧНЫЙ ЖУРНАЛ «ДРтот. СЕРИЯ: ГУМАНИТАРНЫЕ НАУКИ»
WWW.APRIORI-JOURNAL.RU
№ 2 2015
УДК 004.05
ЭКСПЕРТНАЯ ОЦЕНКА КАЧЕСТВА РАЗРАБОТКИ ЭЛЕКТРОННЫХ ОБРАЗОВАТЕЛЬНЫХ РЕСУРСОВ ПРИ ПОМОЩИ ИНСТРУМЕНТАРИЯ СИСТЕМНОГО ТЕСТИРОВАНИЯ*
Ларин Сергей Николаевич
канд. тех. наук
Центральный экономико-математический институт РАН, Москва
Лазарева Лариса Юрьевна
канд. тех. наук
Институт стандартов международного учета и управления, Москва
аи^ог@аргюг1-]оигпа!. ги
Аннотация. В практике экспертной деятельности нет общепринятой методологии применения инструментария системного тестирования для экспертизы качества разработки электронных образовательных ресурсов. Авторами статьи показана возможность использования этого инструментария для оценки качества разработки ряда характеристик пользовательской документации и программного обеспечения ЭОР.
Ключевые слова: экспертиза; качество; электронные образовательные ресурсы; пользовательская документация; инструментарий; системное тестирование.
* Исследование выполнено при финансовой поддержке Российского гуманитарного научного фонда, проект № 13-06-00006а «Методология экспертной оценки качества электронных образовательных ресурсов».
EXPERT ASSESSMENT OF QUALITY OF DEVELOPMENT ELECTRONIC EDUCATIONAL RESOURCES AT HELP OF TOOLS OF SYSTEM TESTING
Larin Sergey Nikolaevich
candidate of technical sciences Central economic-mathematical institute RAS, Moscow
Lazareva Larisa Yurevna
candidate of technical sciences Institute of standards of the international account and managements, Moscow
Abstract. In practice of expert activity there is no standard methodology of use of tools of system testing for examination of quality of development of electronic educational resources (EER). Therefore authors of article showed possibility of use of a number of characteristics of the user documentation and software of EER for an assessment of quality of their development.
Key words: examination; quality; electronic educational resources; user documentation; tools; system testing.
Введение
Одной из особенностей реформирования сферы образования на современном этапе является расширение практики использования в процессе обучения электронных образовательных ресурсов (ЭОР). Для этой инновационной формы обучения характерно структурированное определенным образом представление дидактического контента, при помощи самого разного программного обеспечения (ПО). Однако не все ЭОР полностью отвечают требованиям Федеральных государственных образовательных стандартов (ФГОС) и других нормативных документов,
раскрывающих информационные особенности структурирования дидактического контента. Именно по этой причине задача экспертной оценки качества разработки ЭОР становится все более актуальной. В данной статье будет показана возможность использования инструментария системного тестирования для оценки качества разработки ЭОР на основе ряда характеристик пользовательской документации и ПО.
Основная часть (цель, задачи, методы, результаты)
Основной целью экспертной оценки качества ЭОР является обнаружение ошибок в работе ПО и выявление расхождений в ней по сравнению с заявленной в спецификации. Однако, в качестве основы для проведения системного тестирования нельзя использовать внешнюю спецификацию, поскольку это противоречит самой цели системного тестирования ПО ЭОР. Для решения этой проблемы можно воспользоваться пользовательской документацией к ПО ЭОР или другими доступными документами. При таком подходе системные тесты проектируются на основе анализа документированных целей ПО ЭОР, а также пользовательской документации. Это позволит сравнить работу ПО ЭОР не только с исходным документом, содержащим описание его целей, но и с исходным вариантом пользовательской документации. Тем самым, основное назначение системного тестирования для оценки качества разработки ПО ЭОР заключается в экспертном сравнении работы его исходного варианта с документом, указывающим цели его создания [1].
Практическое применение процесса системного тестирования ПО ЭОР является дополнением к процессу функционального тестирования и решает задачу сравнения результатов работы ПО ЭОР с изначально сформулированными для него целями [2]. Отсюда можно сделать два вывода.
1. Применение системного тестирования позволяет выявить, какие из
поставленных перед ПО ЭОР целей не реализуются.
2. Системное тестирование невозможно, если отсутствует набор измеримых целей, достижение которых должно обеспечить ПО ЭОР.
Однако в практике экспертной деятельности по оценке качества ПО ЭОР пока еще не существует общепризнанной методологии создания подобных тестов. Поэтому для формирования системных тестов ПО ЭОР можно использовать другой подход, который заключается в проведении анализа различных составляющих системных тестов. По его результатам будет спроектирован некий набор основных составляющих, которые в той или иной степени помогут провести экспертную оценку ПО ЭОР [3]. Предлагаемый набор из пятнадцати основных составляющих и краткое описание их сущности приведен ниже.
1. Функциональные возможности - проверяется полнота их соответствия заявленным целям и возможности реализации.
Наиболее очевидной составляющей системного тестирования является определение функциональных возможностей, которые фактически реализуются в ПО ЭОР. Она осуществляется путем последовательного изучения описания каждой цели и наличия соответствующих предписаний. Она проводится на предмет получения экспертной оценки удовлетворения ПО ЭОР требованию выполнения данного предписания [4]. Чаще всего для этого достаточно сравнить описание целей создания ПО ЭОР с заявленными целями в его пользовательской документации. Но лучше всего составлять контрольный список, который гарантирует проверку всех целевых возможностей ПО ЭОР при выполнении этого теста.
2. Возможность работы с предельными объемами данных -проверяется способность ПО ЭОР обрабатывать завышенные объемы данных.
Цель системного тестирования на больших объемах данных заключается в получении экспертной оценки способностей ПО ЭОР справиться с обработкой объемов данных, специфицированных в его исходных целях. Для этого запускают компилляцию ПО ЭОР с исходным кодом
очень большой размерности. В результате выявляется способность или, наоборот, неспособность работы ПО ЭОР.
3. Возможность работы с увеличенной нагрузкой - проверяется работоспособность ПО ЭОР в условиях параллельной обработки завышенных объемов данных.
Работоспособность ПО ЭОР в условиях параллельной обработки завышенных объемов данных позволяет получить экспертную оценку возможностей его работы в условиях обработки пикового объема данных или выполнения пикового количества операций в течение короткого промежутка времени. Этот вид оценки применим к ПО ЭОР, работающим в условиях переменной нагрузки, а так же к интерактивным программам, работающим в режиме реального времени или управляющими различными процессами.
4. Удобство для пользователя - оценивается удобство взаимодействия пользователя с ПО ЭОР.
Методика тестирования удобства использования ПО ЭОР существует достаточно давно, но ее значимость только возрастает в связи с появлением графических интерфейсов и глубоким проникновением компьютерных технологий во все сферы жизнедеятельности человека. Поставив перед пользователем задачу протестировать ПО ЭОР в реальной среде, можно выявить проблемы, которые нелегко найти даже при использовании автоматизированных методик тестирования.
5. Безопасность - проверяются возможности обойти средства защиты ПО ЭОР.
Оценка безопасности ПО ЭОР заключается в предотвращении несанкционированного доступа к данным. Для этого создаются тесты, которые обходят механизмы защиты памяти операционной системы или механизмы защиты данных в системах управления базами данных (СУБД). Одним из путей разработки таких тестов является изучение из-
вестных проблем защиты в аналогичных системах и генерация тестов, которые выявляют наличие этих проблем в тестируемом ПО ЭОР.
6. Производительность - определяется соответствие ПО ЭОР установленным требованиям производительности и скорости отклика.
К производительности, или эффективности, многих ПО ЭОР часто предъявляются особые требования. В описаниях целей для ПО ЭОР содержатся формулировки, устанавливающие требуемые значения таких характеристик, как время реакции на действия пользователя или пропускная способность, которые она должна обеспечивать в условиях определенных нагрузок и конфигураций. Поскольку системное тестирование направлено на демонстрацию несоблюдения требований данной программой, то целью тестирования производительности должно быть получение доказательств того, что ПО ЭОР не обладает требуемыми характеристиками производительности, или наоборот, соответствует им.
7. Память - проверяется способность эффективного использования оперативной и долговременной памяти ПО ЭОР.
В ходе оценки и тестирования памяти требуется установить, что ПО ЭОР в состоянии контролировать потребляемые объемы системной памяти и не оказывает отрицательного воздействия на остальные процессы. То же самое относится и к хранению данных в файловой системе. Заполнение доступного дискового пространства может привести к значительному увеличению времени простоя. Тесты необходимо проектировать так, чтобы их помощью эксперт мог доказать, что поставленные перед ПО ЭОР цели в отношении использования памяти не достигаются.
8. Конфигурация - проверяется работоспособность ПО ЭОР в рекомендованных конфигурациях.
Сегодня многие операционные системы и СУБД поддерживают широкое разнообразие конфигураций оборудования, включая многие типы устройств ввода-вывода и коммуникационных каналов. При этом число возможных конфигураций, как правило, достаточно велико, и протести-
ровать каждую из них невозможно. Однако, при тестировании возможных конфигураций необходимо проводить экспертную оценку каждого типа аппаратных устройств, а также его минимальную и максимальную конфигурации.
9. Совместимость - проверяется совместимость новых версий ПО ЭОР с предыдущими.
Многие современные ПО ЭОР проектируются с учетом возможности их работы в различных операционных системах. Тестирование таких ПО ЭОР должно выполняться во всех операционных системах, на работу в которых они рассчитаны. Программы, предназначенные для выполнения и веб браузерах, требуют особого внимания, поскольку существует множество типов браузеров, и не все они реализуют одни и те же функции одинаково. Кроме того, один и тот же браузер будет по-разному работать в различных операционных системах.
Тестирование совместимости направлено на экспертную оценку соответствия ПО ЭОР целевым критериям совместимости и работоспособности процедур перехода. Для этого в ходе тестирования генерируются ошибки при переносе данных из одной системы в другую. В качестве примера можно привести обновление СУБД. В данном случае требуется убедиться в том, что новая версия поддерживает существующие данные. Точно также нужно проверить, что новая версия текстового процессора поддерживает прежние форматы документов. Для подобного тестирования имеется целый ряд методик.
10. Установка - проверяется возможность установки ПО ЭОР на всех поддерживаемых платформах и работы в операционных системах.
Тестирование установки ПО ЭОР являются важной частью получения экспертных оценок системного тестирования. Особенно это касается систем автоматизированной установки, являющихся частью программного пакета. Если программа установки работает неправильно, то пользователь не сможет нормально эксплуатировать ПО ЭОР.
11. Надежность - определяется соответствие ПО ЭОР основным показателям надежности.
Для тестирования надежности ПО ЭОР обычно оговариваются критерии надежности. К надежности многих современных программных систем предъявляются очень высокие требования. Но всегда есть возможность использовать для тестирования ПО ЭОР более мягкие критерии надежности, такие как среднее время наработки на отказ и другие приемлемые критерии проверки надежности. Для подобных случаев существуют, в частности, статистические, программные и основанные на проверке моделей методологии тестирования. Несмотря на всю сложность проведения тестирования надежности ПО ЭОР, в настоящее время без этого уже нельзя обойтись, а значение систем, которые должны обеспечивать длительные сроки безотказной работы будут со временем только расти.
12. Восстановление - определяется способность средств восстановления ПО ЭОР выполнять свои функции.
К операционным системам, СУБД и их приложениям часто предъявляются требования к способности их восстановления. Они описывают, каким образом система должна восстанавливаться в случае программных ошибок, аппаратных сбоев и ошибок данных. Одна из целей системного теста - доказать корректное выполнение этих функций восстановления ПО ЭОР. Для этого можно намеренно ввести в систему программные ошибки и проверить, удастся ли после этого восстановить ее работоспособность. Можно имитировать сбои оборудования, а так же ошибки данных или использовать недействительные указатели при обращении к СУБД, а затем анализировать реакцию ПО ЭОР на их возникновение. При этом одним из основных является требование минимизации среднего времени восстановления после сбоев.
13. Удобство и частота обслуживания - выявляется частота появления событий, требующих оказания технической поддержки.
Требования к ПО ЭОР, касающиеся характеристик удобства обслуживания или сопровождения, могут определять список дополнительных сервисов, предоставляемых вместе с ПО ЭОР, среднее время отладки при устранении простых проблем, процедуры обслуживания и др. Соответствие ПО ЭОР всем этим требованиям должно быть проверено отдельными тестами удобства обслуживания. На основании их результатов делается заключение о соответствии характеристик удобства обслуживания или сопровождения ПО ЭОР.
14. Наличие документации - проверяется наличие полноты комплекта пользовательской документации.
Проверка наличия всего комплекта документации позволяет проверять точность и ясность изложения основных положений экспертной оценки пользовательской документации. Любые примеры (тесты), фигурирующие в документации, должны кодироваться и пропускаться через ПО ЭОР.
15. Соблюдение основных процедур - определяется точность специальных процедур, обеспечивающих использование или обслуживание ПО ЭОР.
Многие программы входят в качестве составных частей в более крупные, не полностью автоматизированные системы, которые включают процедуры, выполняемые непосредственно человеком. Эти процедуры должны проверяться путем тестирования в ходе проведения системных тестов.
Заключение
Вполне естественно, что не все из перечисленных основных составляющих в равной степени применимы к экспертной оценке качества разработки ПО ЭОР, но, чтобы не упустить важных деталей, при проектировании системных тестов целесообразно исследовать, возможно-
сти применения каждой из них. В последующем это позволит сформировать экспертную систему оценки качества разработки ПО ЭОР.
При проведении экспертной оценки качества разработки основных составляющих ПО ЭОР с использованием инструментария системного тестирования ключевым является вопрос о том, кто именно должен ее выполнять. Прежде всего, можно утверждать, что это не должны выполнять сами программисты, а также организации, непосредственно занятые разработкой ПО ЭОР. В этой связи, наиболее экономным способом проведения экспертной оценки качества разработки ПО ЭОР нам видится применение инструментария системного тестирования в рамках заключения соответствующих договоров с независимыми компаниями.
Список использованных источников
1. Роберт И.В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). М: ИИО РАО, 2007. 234 с.
2. Иванов Д.А. Экспертиза в образовании. М.: Издательский центр «Академия», 2008. 336 с.
3. Полат Е.С., Бухаркина М.Ю. Современные педагогические и информационные технологии в системе образования: учебное пособие. М.: Академия, 2007. 368 с.
4. Толковый словарь терминов понятийного аппарата информатизации образования. М.: ИИО РАО, 2006. 88 с.
