CC BY
14
Доклады БГУИР
2019, № 3 (121) УДК 004.415.533
Doklady BGUIR
2019, No. 3 (121)
МНОГОКРАТНОЕ УПРАВЛЯЕМОЕ ВЕРОЯТНОСТНОЕ ТЕСТИРОВАНИЕ
В.А. ЛЕВАНЦЕВИЧ, ВН. ЯРМОЛИК
Белорусский государственный университет информатики и радиоэлектроники, Республика Беларусь
Поступила в редакцию 4 марта 2019
Аннотация. Рассматриваются различные способы формирования управляемых вероятностных тестов и их недостатки. Предлагаются и анализируются различные численные метрики для построения многократных управляемых вероятностных тестов. Обосновывается и подтверждается экспериментальными исследованиями эффективность применения расстояния Евклида для формирования многократных управляемых вероятностных тестов.
Ключевые слова: тестовый набор, мера отличия, многократный управляемый вероятностный тест, расстояние Евклида.
Abstract. Various methods for generating controlled random tests and their disadvantages are considered. Various numerical metrics are proposed and analyzed to construct multiple controlled random tests. The effectiveness of applying the Euclidean distance for the formation of multiple controlled random tests is substantiated and confirmed by experimental studies.
Keywords: test set, measure of difference, multiple controlled probabilistic test, Euclidean distance.
Doklady BGUIR. 2019, Vol. 121, No. 3, pp. 65-69 Multiple controlled random testing V.A. Levantsevich , V.N. Yarmolik
Введение
Вероятностное тестирование (random testing) является распространенной технологией тестирования вычислительных систем и основано на методе черного ящика, который не учитывает особенности реализации объекта тестирования [1-5].
Для повышения эффективности вероятностных тестов используют их модификации, которые получили общее название управляемые вероятностные тесты (Controlled Random Tests). К подобным тестам можно отнести такие виды формирования тестов, как эффективное вероятностное тестирование, антивероятностное тестирование, эволюционное вероятностное тестирование, адаптивное вероятностное тестирование, упорядоченное вероятностное тестирование и другие методы [1, 3, 6].
Основным недостатком управляемых вероятностных тестов является сложность определения очередного тестового набора по отношению к предыдущим наборам теста [6, 7].
Для уменьшения сложности формирования управляемых вероятностных тестов, в качестве альтернативы используются тесты, в которых применяется многократная процедура повторения некоего исходного, базового теста. При этом на каждой итерации базового теста задаются отличные от предыдущих, изменяемые параметры теста.
Так, например, в псевдоисчерпывающих тестах, использующих покрывающие массивы, в качестве изменяемого параметра применяются начальные состояния тестируемого объекта [1, 7]. В итеративных вероятностных тестах случайный вектор используется на каждой итерации более одного раза [1, 6, 7].
Вероятностные тесты с малым числом наборов в качестве изменяемого параметра используют начальный тестовый набор, сформированный случайным образом [4].
Анализируя многократные тесты, можно выделить некоторые общие принципы их построения:
- в основе многократного теста лежит начальный, базовый тест, в котором тестовые наборы максимально отличаются друг от друга;
- при формировании следующих модификаций базового теста, входящих в состав многократного теста, используется случайный фактор;
- основная задача формирования многократного теста состоит в генерировании базового теста.
Достоинством данных разновидностей вероятностных тестов является снижение сложности формирования теста за счет определения характеристик не для каждого тестового набора, а для теста в целом.
Основные определения и классификации
Для тестового диагностирования цифровых устройств и программных приложений с m входами и пространством входных наборов, состоящим из 2m двоичных наборов (векторов), приведем определение [1, 3]. Управляемым вероятностным тестом является тест CRT = {Т0,Т1,Т2,...,Tq-1}, состоящий из q < 2тт-разрядных, случайным образом
сформированных тестовых наборов Т,i е {0,1,2,...,q -1}, где Ti = ti m-1,t im-2,...,ti 2,tn,ti 0,
tn е {0,1}, таких, что Ti удовлетворяет некоторому критерию либо критериям, полученным на
основании предыдущих наборов {Т0 ,T1,T2,...,Ti-l}.
Чтобы повысить обнаруживающую способность управляемого вероятностного теста, необходимо обеспечить максимальное отличие формируемых тестовых наборов. Для вычисления метрик отличия двух m-разрядных тестовых наборов Ti и Tj используется расстояние Хэмминга (Hamming Distance), а также расстояние Евклида (Декарта) (Euclidean Distance) [1, 3]. Расстояние Хэмминга определяется по формуле
т-1
HD(T, Tj) =ш (T © Tj) = X (t„i © j). (1)
l =0
Расстояние Евклида ED(Ti,Tj) и его связь с расстоянием Хэмминга вычисляется соотношением
¡m-1 ¡m I
ED(T,Tj) = XCtf - j)2 = JXС.-,/ ® j) 4HDTT)• (2)
' 1=0 V 1=0
Если количество тестовых наборов более двух, то для формирования следующего тестового набора T. используются суммарные расстояния Евклида (Total Euclidean Distance TED) и Хэмминга (Total Hamming Distance - THD) [1, 2]:
j-1 i-1 TED(T) = X ED(T ,Tj ); THD(Ti) = X HD(T ,T} ). (3)
j=0 j=0
Исходя из определения однократного управляемого вероятностного теста, многократным управляемым вероятностным тестом MCRTh является множество тестов, состоящее из h управляемых вероятностных тестов CRT0,CRTCRT2,...,CRTh—1, где исходный тест CRT0 соответствует приведенному ранее определению управляемого вероятностного теста, а последующие тесты CRTj, j е {1,2,3,...,h — 1} генерируются так, чтобы удовлетворяли
некоторому критерию либо критериям, полученным на основе предыдущих тестов CRT0, CRT1, CRT 2,..., CRT j—1 [2].
В качестве общей метрики отличия двух однократных управляемых вероятностных
тестов CRTk = {Tk ,0,Tk i,Tk ,2 ,. ..,Tk ,h—1} и CRT1 = {T1,0,TT1,1, T1,2,...,TTl ,h—1} служит расстояние Миновского:
MD(CRTk, CRT) = x
q-1 X
E К - Th\ . (4)
i=0
Если X = 1, то (4) является арифметическим расстоянием AD(CRTk,CRT\) для двух тестов, а при X = 2 - расстоянием Евклида ED(CRTk,CRT,) [8, 9]. Отметим, что CRTk и CRT\ являются p-ичными векторами, где p = 2m , а их тестовые наборы Tki и Tkj , i е {1,2,3,...,q -1} ,
представляют собой p-ичные коды. В этом случае расстояние Хэмминга HD(CRTk, CRTl) будет равно числу несовпадающих компонент Tki и Tu, векторов CRTk и CRT\. При количестве тестов, водящих в состав многократного теста, превышающем два, суммарное расстояние между тестом CRTj и тестами CRT0, CRT1, CRT 2,..., CRTj-1 многократного управляемого
вероятностного теста равно:
j-i j-i
THD(CRTj) = E HD (CRT, CRT,); TED (CRTj) = £ ED (CRT,, CRTj), (5)
i=0 i=0
где THD(CRTj) и TED(CRTj) - суммарные расстояния Хэмминга AD(CRTk,CRT) и Евклида ED(CRTk,CRTi) .
Анализ применимости характеристик различия для многократного тестирования
Для анализа характеристик различия рассмотрим многократный управляемый вероятностный тест, состоящий из двух управляемых вероятностных тестов CRTk и CRTl . Пусть (базовый) тест CRTk состоит из m-разрядных тестовых наборов Tki = tkm-1, tkm-2, ..., tk,2, tk1, tk0, где tkj е {0, 1}, для j е {0, 1, 2, ..., m-1}. Значения тестовых наборов Ty второго теста CRTi определим, применив ненулевую двоичную маску Xm-1, Xm_2, ..., X1, X0 к тестовым наборам базового теста Tki , по формуле [10]
TU = tk,m-1Xm-1, tk,m-2Xm-2,..., tkA tk,0X 0 = (X m-1 © t^),^ © t^),...,^ © tw),(X0 © tk,0). (6)
При этом в тех разрядах маски, где Xj = 0, соответствующее значение разряда тестового набора tkj меняться не будет, и наоборот, в тех разрядах, где Xj = 1, значение tkj- будет меняться на противоположное. Для определения рассмотренных ранее метрик расстояния (4) определим зависимость тестовых наборов Tki и Tl,i тестов CRTk и CRTl. Как следует из теоремы [11], разность значений TKi и Tu, где TKi = tkm-1, tkm-2, ..., tk2, tkb tk0, при tkj е {0, 1}, где j е {0, 1, 2, ..., m-1} и Ti,i = tkm-1 , tkm-2 , ..., tk,1 , tk,0 = (Xm_1 © tkm-1), (Xm_2 © tkm-2), .••, (X1 © tk1), (X0 © tk0), где g значений Xa, Xß, Xx, ..., X5, (a > ß > % >...> 5) равно единице , а остальные m-g значений Xk для k Ф a Ф ß Ф % Ф ... Ф 5, k, a, ß, %, ..., 5 е {0, 1, 2, ... , m-1} равно нулю , вычисляется как
Tki - Tu, = E (tk,c - |tk,c - 1|)2C. (7)
се^р,%,...,5}
Исполъзуя выражения (4) и (7) для двух тестов CRTk и CRTl многократного управляемого вероятностного теста, где исходный тест CRTk сформирован из 2m случайных и неповторяющихся тестовых наборов Tkj = tkm-1, tkm-2, ..., tk2, tk1, tk0, при tkj е {0, 1}, гдеj е {0, 1, 2, ..., и-1}, а тест CRT\ сформирован из наборов Ti¿ = tkm-1Xm_\ tkm-2Xm_2, ..., tk1X1, tk,0X0 = (Xm_1 © tkm-1), (Xm_2 © tkm-2), ..., (X1 © tk,1), (X0 © tkß), где g значений Xa, Xß, X%, ..., X5, (a > ß > % >... > 5) равно единице, арифметическое расстояние AD(CRTk,CRT) равно
AD(CRTk, CRTj) = 2m+a, (8)
а расстояние Евклида ED(CRTk, CRTi) определяется по формуле
ED(CRTk, CRT,) =
V
г I [>, -tk,а)2а + ... + -tk,Х)2Х + -tk,5)25] 2. (9)
t^,a■■■t^,I tk, 5 =00-00
Расстояние Евклида, согласно (9), зависит от всех ненулевых компонент вектора отрицаний А,т-1, А,т_2, •••, V Нетрудно показать, что с ростом количества ненулевых компонент вектора отрицаний, а также индекса старшей ненулевой компоненты а, значение метрики расстояния ED(CRTk,CRTi) возрастает. Действительно, предположив, что количество
отрицаний ненулевых компонент вектора А,т-1, А,т-2, ... , А,ь А,0 увеличивается на одно отрицание = 1, получим новые значения слагаемых, которыми являются тестовые наборы Тм и Тц, в выражении (4). Соответствующие утверждения подтверждаются в табл. 1 численными значениями указанных метрик расстояния для всевозможных векторов отрицания А,2, А,ь А,0 Ф 0, 0, 0 при получении согласно (6) теста СЯТ1 и произвольного исходного теста СЯТк= Р2Р1Р0 •
Таблица 1. Значения метрик отличия для трехразрядных тестовых наборов
CRTk- P2PIP0 CRT
P2P1P0 P2P1P0 P2P1P0 P2P1P0 P2P1P0 P2P1P0 P2P1P0
AD(CRTk,CRTi) 8 16 16 32 32 32 32
ED(CRTk,CRTi) Vs л/32 л/40 VT28 Vi36 VT60 VT68
С учетом приведенных рассуждений целесообразным представляется применение арифметического расстояния AD(CRTk,CRTl) и расстояния Евклида ED(CRTk,CRTi) для целей построения многократных управляемых вероятностных тестов.
Экспериментальный анализ многократных управляемых тестов
В качестве экспериментальных исследований проведена оценка обнаруживающей способности двукратного теста MATS+ кодочуствительных неисправностей PPSF5 для различных модификаций второй адресной последовательности CRTь сформированной на основе исходной адресной последовательности CRT0. В качестве объекта исследований использовалось запоминающее устройство емкостью 26 бит, а модификации CRT0 выполнялись в соответствии с выражением (6) в зависимости от двоичного вектора X5X4X3X2X^0. Результаты исследований приведены в табл. 2.
Таблица 2. Полнота покрытия двукратного теста запоминающего устройства
X5X4X3X2X1X0. 011111 011100 011011 011010 010100 010011 010000
Полнота покрытия неисправностей PPSF5, % 12,07 11,90 11,85 11,77 11,16 11,02 10,67
AD(CRT0, CRTj) 26+4 26+4 26+4 26+4 26+4 26+4 26+4
ED(CRT0, CRTj) 147,73 146,64 144,22 144,00 131,93 129,24 128,00
X5X4X3X2X1X0. 000111 000110 000101 000100 000011 000010 000001
Полнота покрытия неисправносгей PPSF5, %% 8,63 8,33 8,00 7,69 7,35 6,99 6,58
AD(CRT0, CRTj) 26+2 26+2 26+2 26+2 26+1 26+1 26+0
ED(CRT0, CRTj) 36,66 35,78 32,98 32,00 17,88 16,00 8,00
Приведенные результаты подтверждают работоспособность метрик AD(CRT0, CRT\) и ED(CRT0, CRTi). Полнота покрытия кодочуствительных неисправностей PPSF5 возрастает с ростом метрик отличия AD(CRT0, CRT1) и ED(CRT0, CRT1). Критерием выбора необходимого количества адресных последовательностей и их вида является максимальное расстояние ED(CRT0, CRT), которое должны иметь эти последовательности.
Таким образом, основная идея многократного управляемого вероятностного тестирования состоит в генерировании начального, базового управляемого вероятностного теста, а следующие модификации базового теста, входящие в состав многократного теста, строятся на основе простейших операций над тестовыми наборами, не требующих значительных вычислительных затрат.
Заключение
Рассмотрена концепция многократного управляемого вероятностного тестирования. Проведен анализ существующих решений и рассмотрен формальный метод генерирования многократных управляемых тестов. Показана эффективность применения Евклидова расстояния для целей построения многократных тестов, которая подтверждается экспериментальными результатами.
Список литературы
1. An Orchestrated Surveyan Automated Software Test Case Generation / S. Anand [et al.] // J. of Systems and Software. 2014. Vol. C-39, № 4. P. 572-576.
2. Ярмолик В.Н., Леванцевич В.А., Мрозек И. Многократные управляемые вероятностные тесты // Информатика. 2015. № 2 (9). С. 46-60.
3. Malaiya Y.K., Yang D. The coverage problem for random testing // Proceedings of ITC. 1984. P. 237-242.
4. Ярмoлик С.В., Ярмoлик В.Н. Управляемые вероятностные тесты // Автоматика и телемеханика. 2012. № 10. C. 142-155.
5. Mrozek I., Yarmolik V. Multiple Controlled Random Testing // Fundamenta Informaticae. 2016. Vol. 144, No. 1. P. 23-43.
6. Antirandom Testing: A Distance-Based Approach / S.H. Wu [et al.] // VLSI Design. 2008. № 2. P. 1-9.
7. Ярмолик С.В., Ярмoлик В.Н. Управляемое случайное тестирование // Информатика. 2011. № 1 (29). С. 79-88.
8. Mrozek I., Yarmolik V. Method for Generation Multiple Controlled Random Tests // Proc. of the Computer Information Systems and Industrial Management (CISIM 2016). Vilnius, 2016. P. 429-440.
9. Ярмолик С.В., Ярмолик В.Н. Обнаружение кодочувствительных неисправностей запоминающих устройств с многократным использованием маршевых тестов // Информатика. 2006. № 1 (9). С. 104-129.
10. Ярмолик С.В., Занкович А.П., Иванюк А.А. Маршевые тесты для самотестирования ОЗУ. Минск: Издательский центр БГУ, 2009. 270 с.
11. Ярмолик C.B., Ярмолик В.Н. Многократные неразрушающие маршевые тесты с изменяемыми адресными последовательностями // Автоматика и телемеханика. 2007. № 4. С. 126-137.
References
1. An Orchestrated Surveyan Automated Software Test Case Generation / S. Anand [et al.] // J. of Systems and Software. 2014. Vol. C-39, № 4. P. 572-576.
2. Jarmolik V.N., Levancevich V.A., Mrozek I. Mnogokratnye upravljaemye verojatnostnye testy // Informatika. 2015. № 2 (9). S. 46-60. (in Russ.)
3. Malaiya Y.K., Yang D. The coverage problem for random testing // Proceedings of ITC. 1984. P. 237-242.
4. Jarmolik S.V., Jarmolik V.N. Upravljaemye verojatnostnye testy // Avtomatika i telemehanika. 2012. № 10. S. 142-155. (in Russ.)
5. Mrozek I., Yarmolik V. Multiple Controlled Random Testing // Fundamenta Informaticae. 2016. Vol. 144, No. 1. P. 23-43.
6. Antirandom Testing: A Distance-Based Approach / S.H. Wu [et al.] // VLSI Design. 2008. № 2. P. 1-9.
7. Jarmolik S.V., Jarmolik V.N. Upravljaemoe sluchajnoe testirovanie // Informatika. 2011. № 1 (29). S. 79-88. (in Russ.)
8. Mrozek I., Yarmolik V. Method for Generation Multiple Controlled Random Tests // Proc. of the Computer Information Systems and Industrial Management (CISIM 2016). Vilnius, 2016. P. 429-440.
9. Jarmolik S.V., Jarmolik V.N. Obnaruzhenie kodochuvstvitel'nyh neispravnostej zapominajushhih ustrojstv s mnogokratnym ispol'zovaniem marshevyh testov // Informatika. 2006. № 1 (9). S. 104-129. (in Russ.)
10. Jarmolik S.V., Zankovich A.P., Ivanjuk A.A. Marshevye testy dlja samotestirovanija OZU. Minsk: Izdatel'skij centr BGU, 2009. 270 s. (in Russ.)
11. Jarmolik S.V., Jarmolik V.N. Mnogokratnye nerazrushajushhie marshevye testy s izmenjaemymi adresnymi posledovatel'nostjami // Avtomatika i telemehanika. 2007. № 4. S. 126-137. (in Russ.)
Сведения об авторах
Ярмолик В.Н., д.т.н., профессор Белорусского государственного университета информатики и радиоэлектроники.
Леванцевич В.А, старший преподаватель Белорусского государственного университета информатики и радиоэлектроники.
Адрес для корреспонденции
220013, Республика Беларусь,
г. Минск, ул. П. Бровки, 6,
Белорусский государственный университет
информатики и радиоэлектроники
тел. +375-17-293-84-63;
e-mail: lvn@bsuir.by
Леванцевич Владимир Александрович
Information about the authors
Yarmolik V.N., D.Sci, professor of Belarusian state university of informatics and radioelectronics.
Levantsevich V.A., senior lecturer of Belarusian state university of informatics and radioelectronics.
Address for correspondence
20013, Republic of Belarus,
Minsk, P. Brovki, 6,
Belarusian state university
of informatics and radioelectronics
Tel. +375-17-293-84-63;
e-mail: lvn@bsuir.by
Levantsevich Vladzimir Aleksandrovich
