CC BY
4
ЭЛЕКТРОННЫЙ НАУЧНЫЙ ЖУРНАЛ «APRЮRI. СЕРИЯ: ГУМАНИТАРНЫЕ НАУКИ»
WWW.APRIORI-JOURNAL.RU
№ 1 2016
УДК 338.242 + 004.94
ОБОСНОВАНИЕ ВЫБОРА МЕТОДА МОДУЛЬНОГО ТЕСТИРОВАНИЯ ДЛЯ ЭКСПЕРТНОЙ ОЦЕНКИ КАЧЕСТВА РАЗРАБОТКИ ИННОВАЦИОННЫХ ПРОГРАММНЫХ ПРОДУКТОВ*
Ларин Сергей Николаевич
канд. техн. наук
Центральный экономико-математический институт РАН, Москва
Лазарева Лариса Юрьевна канд. техн. наук Юрятина Наталья Николаевна
научный сотрудник
Институт международных стандартов учета и управления, Москва
Аннотация. В статье обоснована возможность выбора и применения метода модульного тестирования в качестве инструментария для экспертной оценки качества разработки инновационных программных продуктов. Раскрыты особенности применения критериев покрытия решений и условий, а также комбинаторного покрытия для получения набора тестов и более точных экспертных оценок.
Ключевые слова: инновационный программный продукт, экспертная оценка качества, метод модульного тестирования, инструментарий.
* Исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований, проект № 15-06-00044а «Развитие методологии экспертизы результатов поисковых научных исследований для проектов создания инновационной продукции, услуг и технологий: экономические методы, модели, инструментарий и алгоритмы обработки».
JUSTIFICATION CHOICE METHOD OF MODULAR TESTING FOR EXPERT ASSESSMENT OF QUALITY DEVELOPMENT INNOVATIVE SOFTWARE PRODUCTS
Larin Sergey Nikolaevich
candidate of technical sciences Central economical and mathematical institute RAS, Moscow Lazareva Larisa Yurevna candidate of technical sciences Yuryatina Natalya Nikolaevna research associate Institute international standards account and management, Moscow
Abstract. In article possibility choice and application method of modular testing as tools for expert assessment quality development innovative software products is proved. Features application criteria covering of decisions and conditions, and also a combinatory covering for receiving set tests and more exact expert estimates are opened.
Key words: innovative software product, expert assessment quality, method modular testing, tools.
В настоящее время в деятельности многих отечественных предприятий применяется достаточно большое количество разнообразных инновационных программных продуктов (ИПП), многие из которых не отвечают требованиям международных и российских стандартов последнего поколения, а также ряду других нормативно-методических документов [1]. Данное обстоятельство значительно повышает актуальность реше-
ния задачи определения качественного уровня разработки ИПП при помощи обоснования выбора существующих или применения новых методов экспертных оценок.
Под ИПП обычно понимается информационный продукт, представленный в цифровой форме и включающий в себя логически структурированное содержание предметной области знаний, объединяющей некую совокупность решаемых задач, а также информационное наполнение и метаданные по отдельным задачам и их разделам, программное обеспечение (ПО), необходимые для использования ИПП в процессе управления [2]. Основой ИПП являются структурированное содержание предметной области, модульная структура информационного наполнения, использование современных средств ПО.
Большинство современных ИПП представляют собой достаточно крупные и объемные продукты, содержащих в себе от 20 до 50 и более взаимосвязанных модулей, в которых представлено логически структурированное содержание предметной области знаний, объединяющей некую совокупность решаемых задач, а также информационное наполнение и метаданные по отдельным задачам и их разделам. Для проведения экспертизы такого рода продуктов можно использовать инструментарий ряда существующих методов экспертизы, позволяющий определенным образом структурировать не только сам процесс получения экспертных оценок качественного уровня разработки ИПП в целом, но и его отдельных составляющих - модулей. В качестве такого инструментария нами выбран метод модульного тестирования [3-5].
Инструментарий метода модульного тестирования предполагает не тестирование сложного ИПП сразу в целом, а предварительную экспертную оценку его составляющих - отдельных модулей. И только на основе полученных результатов формируется итоговая оценка качественного уровня разработки ИПП. Возможность практического применения этого метода подтверждается следующими фактами:
1) поскольку небольшие программные блоки (модули ИПП) легче тестировать, то можно значительно повысить эффективность всего процесса экспертной оценки качества разработки ИПП;
2) существенно облегчаются точная локализация обнаруженных ошибок и отладка программ, поскольку всегда точно известно в каком из модулей была найдена ошибка;
3) применение инструментария модульного тестирования позволяет одновременно тестировать несколько модулей ИПП и, тем самым, обеспечивает возможность ускорения всего процесса определения качества разработки ИПП.
Применение инструментария метода модульного тестирования основано на использовании двух источников информации: спецификации модуля ИПП и исходного кода его ПО.
Поскольку в спецификации модуля, как правило, описаны его назначение, а также состав входных и выходных параметров, то в качестве основного метода модульного тестирования преимущественно используется метод «белого» ящика. Это связано с тем, что при определении качества разработки ИПП в целом эффективность применения данного метода значительно снижается по причине роста объемов и сложности структурных взаимосвязей логически структурированного содержания предметной области знаний. Поэтому на последующих этапах экспертной оценки качества разработки ИПП выявляются уже не чисто ошибки в ПО, а ошибки, связанные с несоответствием ПО ожиданиям пользователей и др. Практическая реализация инструментария метода модульного тестирования заключается в использовании на начальных этапах проведения экспертизы метода «белого ящика», посредством которого можно оценить логику ПО модуля ИПП. На последующих этапах применяются методики экспертной оценки качества разработки модуля ИПП по принципу «черного ящика», позволяющие выявить несоответствия
выполняемых модулем ИПП функций требованиям, указанным в его спецификации [6; 7].
Независимо от того, какая методика определения качества разработки ИПП и его модулей будет выбрана экспертами, первым шагом при использовании инструментария метода модульного тестирования всегда будет составление перечня всех точек ветвления в ПО модуля ИПП. Обычно эту роль выполняют разного рода инструкции и правила, большинство из которых представляют собой достаточно простые итерации. Их характерной особенностью является превышение или равенство значения конечного значения параметра цикла его начальному значению. Из этого следует, что в ПО каждого модуля ИПП параметр цикла будет выполнен как минимум один раз, а единственным способом выхода из него будет соблюдение условий соответствующих инструкций и правил.
Практика показывает, что количество точек ветвления в ПО модуля ИПП может быть различным. При малом их числе можно ограничиться критерием комбинаторного покрытия условий соответствующих инструкций и правил [8]. Однако, при значительном количестве точек ветвления целесообразно использовать и другие критерии покрытия логики структурных взаимосвязей содержания предметной области знаний.
Для удовлетворения ПО модуля ИПП критерию покрытия ветвлений проводят экспертные оценки, основанные на вычислении логических выражений при помощи булевых результатов, каждый из которых может принять только одно из двух возможных значений: истина или ложь. В этом случае для определения соответствующих входных условий достаточно часто требуется отслеживать логику структурных взаимосвязей содержания предметной области знаний в ПО модуля ИПП в обратном направлении от точек ветвления.
Более точные оценки проведения экспертизы ПО модуля ИПП можно получить, используя критерий покрытия условий. Однако для этого потребуется разработать дополнительно количество тестов, которое
приведет к активизации всех ветвей ПО в каждой точке их ветвления. При этом если они охватывают все возможные результаты принятия решений, то будут удовлетворять критерию покрытия условий [8]. Но даже в этом случае всегда остается некоторая доля вероятности неудовлетворения критерию покрытия решений.
Совместное использование в инструментарии метода модульного тестирования критериев покрытия решений и условий позволяет достаточно легко находить слабые места и ошибки в ПО модуля ИПП. Для этого надо разработать такое число тестов его проверки, при котором каждая ветвь условного оператора и каждое значение условия активизировались как минимум один раз.
Наконец, для удовлетворения критерию комбинаторного покрытия условий количество проверочных тестов должно быть таким, чтобы каждая из возможных комбинаций условий в каждом решении активизировалась не менее одного раза. Для ограничения количества тестов сначала выбирается тот, который покрывает как можно большее количество комбинаций, далее выбирается тест, покрывающий наибольшее число комбинаций из состава оставшихся и т.д. [8]. В результате формируется набор тестов, полностью удовлетворяющих критерию комбинаторного покрытия условий. Очевидно, что именно этот набор тестов будет отличаться наибольшей полнотой соответствия и всем остальным критериям. Следовательно, именно критерий комбинаторного покрытия условий в полной мере соответствует требованиям практики применения инструментария метода модульного тестирования для получения экспертных оценок ПО модуля ИПП.
Таким образом, в результате проведенных исследований нами проведено обоснование возможности выбора и использования инструментария метода модульного тестирования для экспертной оценки качества разработки ИПП.
Список использованных источников
1. ISO 25000:2005 ТО. Руководство для применения новой серии стандартов по качеству программных средств на базе обобщения стандартов ISO 9126:1-4: 2002 и ISO 14598: 1-6:1998-2000.
2. Стебеняева Т.В., Юдинова В.В., Юрятина Н.Н. Управление экспертной оценкой качества инновационных программных продуктов на основе выявления ошибок при их тестировании // Materialy XI mezinarodni vedecko-prakticka konference «Dny vedy - 2015». Dil 2. Ekonomicke vedy.: Praha. Publishing House «Education and Science» s.r.o 112 stran. С. 75-82. [Электронный ресусрс]. Режим доступа: http://www.ukrnauka.ru/2015_ DN/ 2015-03-27_ A4_tom-2.pdf
3. Бейзер Б. Тестирование черного ящика. Технология функционального тестирования программного обеспечения и систем. СПб.: ПИТЕР, 2004.
4. Липаев В.В. Тестирование компонентов и комплексов программ. Учебник. М.: СИНТЕГ, 2010.
5. Ларин С.Н., Жилякова Е.В. Методы, состав показателей и алгоритм проведения экспертной оценки качества инновационных программных продуктов // Инновационная наука. 2015. Вып. № 4-1. С. 73-76.
6. Блэк Р. Ключевые процессы тестирования. М.: ЛОРИ, 2006.
7. Канер С., Фолк Д., Нгуен Е. Тестирование программного обеспечения. М.: ДиаСофт, 2001.
8. Майерс Г., Баджетт Т, Сандлер К. Искусство тестирования программ. М.: Вильямс, 2012.
