Научная статья на тему 'Метод парных сравнений применительно к области функционального тестирования программного обеспечения при выборке требований по безопасности'

Метод парных сравнений применительно к области функционального тестирования программного обеспечения при выборке требований по безопасности Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
308
21
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ФУНКЦИОНАЛЬНОЕ ТЕСТИРОВАНИЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПО ТРЕБОВАНИЯМ БЕЗОПАСНОСТИ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Соляной Владимир Николаевич, Сиротин Алексей Владимирович

Рассмотрен метод экспертных оценок, позволяющий получить информацию о суждениях экспертов по рассматриваемой теме. Применяется метод парных сравнений, придающий весовые значения анализируемым явлениям на основе экспертных оценок в контексте выборки требований по безопасности для функционального тестирования программного обеспечения

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Соляной Владимир Николаевич, Сиротин Алексей Владимирович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Метод парных сравнений применительно к области функционального тестирования программного обеспечения при выборке требований по безопасности»

© В Н. Соляной, A.B. Сиротин, 2012

УДК 004.05

В.Н. Соляной, А.В. Сиротин

МЕТОД ПАРНЫХ СРАВНЕНИЙ ПРИМЕНИТЕЛЬНО К ОБЛАСТИ ФУНКЦИОНАЛЬНОГО ТЕСТИРОВАНИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПРИ ВЫБОРКЕ ТРЕБОВАНИЙ ПО БЕЗОПАСНОСТИ

Рассмотрен метод экспертных оценок, позволяющий получить информацию о суждениях экспертов по рассматриваемой теме. Применяется метод парных сравнений, придающий весовые значения анализируемым явлениям на основе экспертных оценок в контексте выборки требований по безопасности для функционального тестирования программного обеспечения.

Ключевые слова: функциональное тестирование программного обеспечения по требованиям безопасности, экспертные оценки, метод парных сравнений.

Формализация знаний в области анализа требований по безопасности к программному обеспечению (ПО) представляет собой нетривиальную задачу. Под требованиями безопасности будем подразумевать требования, изложенные Федеральной службой по техническому и экспертному контролю (ФСТЭК) в руководящих документах по безопасности программных средств: «Руководящий документ (РД): Автоматизированные системы. Защита от несанкционированного доступа к информации. Классификация автоматизированных систем и требования по защите информации», «РД: Средства вычислительной техники. Защита от несанкционированного доступа к информации. Показатели защищенности от несанкционированного доступа к информации» [1].

Подчас в процессе функционального тестирования ПО возникает вопрос о целесообразности проверки качества реализации тех или иных функций безопасности, реализованных в программном решении. Это может быть обусловлено производственной необходимостью (заинтересо-

ванность в конкретных функциях встроенной защиты ПО) или же потребностью в сертификации программного продукта по конкретным требованиям безопасности из допустимого множества (сертификация по Техническим условиям).

Для определения наиболее значимых требований по безопасности необходимо опираться на эффективный метод анализа объектов исследования, например, на метод экспертных оценок, содержание которого заключается в интуитивно-логическом анализе проблемы с количественной оценкой суждений и формальной обработкой результатов.

Экспертное оценивание является суждением или мнением относительно какого-либо предмета, явления или процесса. В качестве оценивающих элементов всегда выступают эксперты — квалифицированные специалисты в конкретной предметной области. Как правило, эксперты проводят тщательные исследования объекта для составления полной картины исследования, учитывают все имеющиеся характеристики и свойства, которые необходимы для при-

нятия экспертных решений (индивидуальных или групповых).

Суть метода экспертной оценки состоит в проведении экспертизы с целью получения полезной информации по рассматриваемому вопросу на основе суждений экспертов. При этом экспертная оценка может проводиться для широкого круга областей, например, промышленности, финансирования, управления и т.д.

Экспертизы, как правило, сводятся к решению трудноформируемых задач в выбранной области исследования. Например, многофакторное оценивание объекта исследования, выработка эвристических алгоритмов эффективного достижения поставленной цели, обоснование наиболее оптимальных путей решения поставленных задач.

Перед проведением экспертного оценивания собирается специальная комиссия, состоящая из экспертов. Из комиссии формируется экспертная аналитическая группа, организовывается процесс обработки получаемых данных, выбирается метод проведения экспертного оценивания.

Существует множество разных методов экспертного оценивания (метод Дельфи, метод фокусных групп, метод, основанный на приоритетности явлений или событий по отношению друг к другу и т.д.). Характерно, что каждый из этих методов, как правило, выполняется поэтапно и в строгой последовательности:

• постановка цели исследования;

• выбор формы исследования, определение бюджета проекта;

• подготовка информационных материалов, бланков анкет, модератора процедуры;

• подбор экспертов;

• проведение экспертизы;

• статистический анализ результатов;

• подготовка отчета с результатами экспертного оценивания.

Проблема выборки требований по безопасности применительно к области функционального тестирования программного обеспечения представляет собой трудно формализованную задачу, которая подчас не подлежит однозначной оценке. Целесообразным представляется применение метода экспертной оценки, заключающегося в интуитивно-логическом анализе рассматриваемой проблемы с количественной оценкой суждений экспертов и формальной обработкой результатов экспертизы.

В качестве возможного варианта реализации экспертного оценивания предлагается рассмотреть метод парных сравнений. Данный метод позволяет придавать определенные весовые значения анализируемым явлениям (требованиям по безопасности), а также событиям с установлением их в порядке приоритетов.

Далее в статье рассмотрен вариант применения метода парных сравнений на основе экспертных оценок применительно к области функционального тестирования программного обеспечения по требованиям безопасности.

В процессе подготовки к экспертному оцениванию проводится предварительный отбор основных требований по безопасности из перечисленных РД. Требования представлены в виде восьми показателей:

• дискреционный принцип контроля доступа;

• мандатный принцип контроля доступа;

• идентификация и аутентификация;

• регистрация;

• целостность;

• очистка памяти;

• изоляция модулей;

• восстановление.

Таблица 1

Матрица сравнения показателей

Объекты 1 2 3 4 5 6 7 8

1 2 3 4 5 6 7 8

Таблица 2

Суммарные показатели экспертов

Эксперты Показатели

№ 1 2 3 4 5 6 7 8 I

1 7 3 4 4 5 1 1 3 28

2 7 3 4 5 6 0 1 2 28

3 7 3 5 5 5 0 1 2 28

4 7 3 5 4 6 0 1 2 28

5 6 3 5 4 5 1 2 2 28

6 7 3 4 4 6 0 2 2 28

7 7 3 5 4 6 0 1 2 28

8 7 3 5 3 6 0 1 3 28

X 55 24 37 33 45 2 10 18 224

В процессе проведения эксперимента экспертам предлагается процедура сравнения указанных требований методом парных сравнений с заполнением половины матрицы размером 8x8. Общее число сравнений J рассчитывается по следующей формуле [2]:

J =

(п(п -1)) 2

(1)

где п — размерность матрицы сравнений.

Всего в данном примере задействовано восемь экспертов. Каждый из экспертов осуществляет попарное сравнение по строкам между показателями 1 и/

В клетках приведенной матрицы (табл. 1) проставляется номер наиболее весомого показателя из пары сравниваемых. Весомый показатель — это объект. Каждый объект сопоставляется с числовым показателем (1 — дискреционный принцип контроля

доступа, 2 — мандатный принцип контроля доступа, 3 — идентификация и аутентификация, 4 — регистрация, 5 — целостность; 6 — очистка памяти; 7 — изоляция модулей; 8 — восстановление).

Полученные данные экспертов (г=8) сводятся в таблицу (табл. 2), в которой осуществляется расчет весомости каждого фактора с последующим суммированием.

После подсчета суммарных показателей для каждого из них определяется весовой коэффициент М.

I гм,

М1=

I г=1I п=м/

(2)

где 1 — весомый показатель матрицы сравнений; 1 — эксперт; г — сумма экспертов; п — размерность матрицы сравнений.

Коэффициент, полученный отдельным экспертом М 1, рассчитывается по следующей формуле:

Мп = ^, (3)

где {ц — частота превалирования у 1-го эксперта весомости /-го показателя над весомостями всех остальных показателей.

/а1 =Х !=1 // /;) 1 , (4)

где /"(/у — частота превалирования у 1-го эксперта весомости /-го показателя над весомостью у-го показателя.

В результате подсчитывается количество единиц, двоек, троек, четверок и т.д. В приведенном примере все восемь экспертов из 224 сравнений 55 раз отдали предпочтение показателю № 1 и только 2 раза показателю №6. Так для показателя №1 относительный вес М1 = 55/224=0,24. Аналогично ведется подсчет и для других семи весовых коэффициентов.

В результате сравнения было получено выражение, необходимое для расчета комплексного показателя оценки каждого из требований безопасности:

К = 0,24 х1 + 0,10 х 2 + 0,16 х 3 +

+0,15х 4 + 0,20 х5 + 0,01х6 + 0,04 х7 +

+0,10 х 8, (5)

где К — расчетный комплексный показатель значимости требования безопасности;ху — среднестатистические экспертные оценки показателей.

Подводя итог экспертной оценки для выборки требований по безопасности методом парных сравнений можно

1. Сборник Руководящих документов по

защите информации от несанкционирован-

ного доступа. — М.: Гостехкомиссия Рос-

сии, 1998.

отметить, что наиболее значимыми, по мнению экспертов, оказались четыре требования по безопасности:

• дискреционный принцип контроля доступа (М1 =0,24);

• идентификация и аутентификация (М3 =0,16);

• регистрация (М4 =0,15);

• целостность (М5 =0,20).

Приведенная оценка методом парных сравнений позволяет осуществить выборку из небольшого списка требований наиболее значимые из них. Такой подход применим на качественном уровне для задач, которые не подлежат однозначной оценке и не включают в себя большой объем входных данных. Для более точного и в разы более масштабного оценивания, как правило, прибегают к наиболее технологическому решению, которое получило название «Экспертная система» (ЭС). Под ЭС понимается компьютерная программа, которая позволяет автоматизировать процесс оценивания экспертом конкретной предметной области [3]. Однако в приведенной статье и для конкретной задачи построение ЭС являлось бы слишком трудоемкой и необоснованной задачей. Таким образом, выбранный метод парных сравнений позволяет осуществить выборку наиболее весомых показателей, например, для дальнейших исследований в области оценки эффективности функционального тестирования программного обеспечения по требованиям безопасности.

- СПИСОК ЛИТЕРАТУРЫ

2. Кафидов В. В. Исследование систем управления. — М.: Деловая книга, 2005.

3. Черноруцкий И. Г. Методы принятия решений. —СПб.: БХВ-Петербург, 2005. ГТТТТ?

КОРОТКО ОБ АВТОРАХ -

Соляной Владимир Николаевич — доцент, заведующий кафедрой, Сиротин Алексей Владимирович — аспирант,

Королёвский институт управления экономики и социологии, г.Королёв.

i Надоели баннеры? Вы всегда можете отключить рекламу.