CC BY
66
I КРИТЕРИИ И ПОКАЗАТЕЛИ ОЦЕНКИ КАЧЕСТВА ТЕСТИРОВАНИЯ НА ПРОНИКНОВЕНИЕ
Макаренко С.И.1
Актуальность. В настоящее время вопросы безопасности информационных систем объектов критической инфраструктуры приобретают важное значение. Вместе с тем текущие задачи аудита информационной безопасности (ИБ) объектов критической инфраструктуры, как правило, ограничиваются проверкой их на соответствие требованиям по ИБ со стороны руководящих документов. Однако при таком подходе к аудиту, зачастую, остается неясным защищенность этих объектов от реальных атак злоумышленников. Для объективной проверки такой защищенности объекты подвергают процедуре тестирования, а именно - тестированию на проникновение. Анализ отечественных и зарубежных публикаций в этой области показывает, что в настоящее время отсутствует какой-либо формальный подход к выбору тестов, а также показателей и критериев оценки эффективности тестирования на проникновение.
Целями работы является формирование частных показателей полноты, оперативности, достоверности и стоимости тестирования, а также, в обобщенном виде, группы критериев «эффективности/стоимость», позволяющих провести оценку качества тестовых наборов, а также сравнивать различные сценарии тестирования на проникновение между собой.
Методы исследования. Для достижения цели исследования в работе использованы методы теории вероятностей и математической статистики, методы обработки экспериментальных данных, а также результаты других исследований в области тестирования безопасности программного обеспечения.
Результаты. В статье представлены: общий вид критериев «эффективности/стоимость» для оценки качества тестирования на проникновение, а также формальные частные показатели для оценки отдельных параметров в предложенных критериях - параметры полноты, оперативности, достоверности и стоимости. Полученные результаты могут быть использованы аудиторами ИБ и тестировщиками для объективного обоснования тестовых наборов и сравнения различных сценариев тестирования на проникновение между собой. Материал статьи может быть полезен специалистам, чей областью исследований является такой вид практического аудита безопасности информационных систем, как тестирование на проникновение.
Ключевые слова: тестирование на проникновение, информационно-техническое воздействие, критерий качества тестирования, качество тестирования, полнота тестирования, оперативность тестирования, достоверность тестирования, стоимость тестирования.
001:10.21681/2311-3456-2021-3-43-57
Введение
В 2017 г. в России был принят федеральный закон № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации». Данный закон устанавливает перечень объектов и субъектов, относящихся к критической информационной инфраструктуре (КИИ) РФ, а также обязует специальные службы разработать комплекс мер направленных на аудит состояния информационной безопасности (ИБ) объектов КИИ и обеспечения ее защищённости.
В подавляющем числе случаев аудит ИБ объектов КИИ проводиться на основе сравнительного анализа с нормативно-правовой документацией, регламентирующей обеспечение ИБ, или на основе анализа рисков. Вместе с тем, в предыдущих работах авторов [1, 2] указывается на необходимость формирования еще одного типа практического подхода к аудиту, а именно - аудита на основе экспериментальных исследований систе-
мы или ее прототипа. Данный тип аудита, проводится с применением против системы средств или способов информационных воздействий с целью практической проверки эффективности технических или организационных мер защиты, а также выявления новых уязвимо-стей системы. В некоторых работах, например, таких как [3-8], для такого подхода используется термин «тестирование на проникновение» (в англоязычной литературе - «penetration testing»), а также другие термины «активный аудит», «инструментальный аудит» и др., но при этом суть подобного практического подхода к аудиту не меняется.
Таким образом, можно говорить о том, что одним из перспективных направлений практического аудита ИБ является реализации в отношении объектов КИИ тестов на проникновение - воздействие на объект тестовых информационно-технических воздействий (ИТВ), ана-
1 Макаренко Сергей Иванович, доктор технических наук, доцент, ведущий научный сотрудник Санкт-Петербургского Федерального исследовательского центра РАН. Область научных интересов: сети и системы связи; радиоэлектронная борьба; информационная безопасность; информационное противоборство. Санкт-Петербург, Россия. E-mail: mak-serg@yandex.ru. ORCID: 0000-0001-9385-2074
логичных реальным ИТВ, которые с высокой степенью вероятности могут использоваться злоумышленниками. Несмотря на то, что такое тестирование представляет собой достаточно адекватный и максимально приближенный к реальности подход к оценке защищенности, он не получил широкого распространения. Основными причинами этого, на взгляд авторов, является отсутствие единой общепризнанной методики проведения тестирования на проникновение, критериев выбора ИТВ, для такого тестирования, а также критериев оценки его результатов.
Целями статьи является: формирование показателей полноты, оперативности, достоверности и затратности тестирования, а также, в обобщенном виде, группы критериев «эффективности/стоимость», позволяющих провести оценку качества наборов ИТВ для тестирования на проникновение, а также сравнивать различные такие тестовые наборы между собой; формирование группы дополнительных показателей, которые характеризуют отдельные аспекты качества процесса тестирования.
Статья продолжает исследования автора [1, 2, 9], направленные на развитие теоритического базиса тестирования на проникновение. Положения, представленные в данной статье, на взгляд автора, не являются окончательными, а носят, в большей степени, дискуссионный характер. Автор не претендует на окончательную верность своих суждений, однако надеется, что его работа станет своеобразной «отправной точкой» для специалистов в области ИБ при формировании научно-обоснованных подходов для такого перспективного способа практического аудита ИБ, как тестирование на проникновение.
1. Обоснование тестирования на проникновение как перспективного практического подхода к проведению аудита информационной безопасности
В настоящее время в теории аудита ИБ сложилась ситуация, при которой большинство работ в этой области ориентировано на исследование экспертного аудита и оценки соответствия преимущественно на основе моделей анализа рисков, либо на основе анализа стандартов ИБ. Вместе с тем, требования стандартов ИБ, как правило, формулируется по итогам анализа инцидентов, что приводит к тому, что они регулярно отстают от современных возможностей и практики действий злоумышленников. При этом, тестирование и, в особенности, тестирование на проникновение, является недостаточно изученной областью исследований.
Вместе с тем прослеживается тенденция к наращиванию доли тестов, которые проводятся в форме экспериментальных исследований реального объекта или его прототипа. Особенно это характерно при тестировании программного обеспечения [3]. Как правило, для этого используются виртуальные машины, на которых осуществляется контролируемое выполнение тестируемого программного обеспечения [3]. Дальнейшее развитие данного подхода к тестированию привело к разработке так называемых киберполигонов, которые вир-туализируют как аппаратное, так и программное обеспечение распределенной информационной системы и
позволяют отработать защиту от различных известных ИТВ. Сейчас это направление активно развивается, и ему посвящены работы [10-12].
В настоящее время к наиболее распространенному комплексному тесту защищенности реальной информационной системы относится «тест на проникновение». Исследованию тестирования на проникновение посвящены работы [4-8, 13, 14, 15-25]. Однако в подавляющем числе данных работ не содержатся какие-либо научно-обоснованные методики проведения тестирования (подобные тем, которые задаются для испытаний при оценке соответствия [3]). Более того, исследователи этого типа тестирования отмечают, что выбор конкретных способов и средств тестирования остается за экс-пертом-тестировщиком, и в первую очередь должен быть направлен на выявление тех уязвимостей, на которые обращает внимание заказчик и исправление которых в максимальной степени выгодны эксперту (особенно, если по итогам тестирования ожидается принятие решения о заказе определенной системы защиты). Таким образом, этому виду тестирования характерна еще и субъективность как в отношении ожидаемых результатов со стороны заказчика, так и в отношении заинтересованности эксперта в демонстрации наиболее «зрелищных» инцидентов с целью склонения заказчика к организации определенной конфигурации защиты.
Как показано в работах [1, 2], тестирование на проникновение является более гибким инструментом аудита чем, например, мероприятия оценки соответствия, так как его проведение не ограниченно рамками действующих стандартов и регламентов. Это позволяет выбирать более широкий диапазон средств и способов ИТВ, а также быть более избирательным в направлении достижения цели аудита. Например, проводить исследование объектов КИИ к угрозам и выявлять уязвимости, еще не описанные в базах угроз и уязвимостей. При этом, при проведении тестирования на проникновение целесообразно придерживаться системного подхода как к выбору тестовых ИТВ, так и к проведению тестирования.
Введем базовую терминологию, которую будем использовать в дальнейшем.
Объект - информационная система, информационно-телекоммуникационная сеть, автоматизированная система управления, в отношение которого проводится аудит ИБ.
Тестирование - проверка выполнения требований к объекту при помощи наблюдения за ее работой в конечном наборе специально выбранных ситуаций [26].
Тест - отдельное мероприятие по исследованию объекта или способ изучения процессов его функционирования [26].
Информационно-техническое воздействие - воздействие на информационный ресурс, информационную систему, информационную инфраструктуру, на технические средства или на программы, решающие задачи формирования, передачи, обработки, хранения и воспроизведения информации, с целью вызвать заданные структурные или функциональные изменения [2].
Тестовое информационно-техническое воздействие - воздействие на информационный ресурс,
информационную систему, информационную инфраструктуру, на технические средства или на программы, решающие задачи формирования, передачи, обработки, хранения и воспроизведения информации, с целью выявить уязвимости объекта на которое производится воздействие [26].
Тестирование на проникновение - экспериментальная проверка с целью оценивания состояния ИБ и выявления уязвимостей объекта тестирования (тестируемой системы) путем интегрального и целенаправленного применения против него специальных средств и способов ИТВ и информационно-психологических воздействий (ИПВ) [2].
Тестовый набор - конечное множество специально выбранных ситуаций (тестов), на основе которого выполняется проверка выполнения требований к системе.
Стоимость тестирования - совокупные затраты всех видов ресурсов на проведение тестирования.
Ущерб - эквивалентная стоимость всех видов потерь (финансовых, репутационных, материальных и пр.), которые понесет объект или его владелец в результате инцидента.
Инцидент - факт нарушения свойств ИБ в процессах формирования, передачи, обработки, хранения и воспроизведения информации на объекте и/или прекращение функционирования объекта, в том числе произошедшее в результате воздействия ИТВ или ИПВ.
Уязвимость - недостаток объекта, эксплуатация которого делает возможным реализацию инцидента, нанесение объекта повреждений любой природы, либо снижение эффективности его функционирования.
Общая классификация мероприятий, способов и средств ИТВ, которые могут быть использованы при тестировании на проникновение, представлена на рис. 1.
В рамках тестирования на проникновение должны реализовываться сценарии поэтапного интегрального применения средств и способов ИТВ, для всеобъемлющего анализа уязвимостей тестируемых объектов в технической сфере, а также для формирования предложений по модернизации средств защиты. При этом, различные типы ИТВ целесообразно объединить в единый комплекс тестирования защищенности объектов. Целью такого комплекса будет являться непрерывное наращивание возможностей тестирования с целью повышения адекватности и качества тестирования объектов, за счет применения обеспечивающих и атакующих средств ИТВ имитирующих передовые возможности как непрофессиональных злоумышленников, так и профессиональных нарушителей (сил информационных операций).
2. Анализ актуальных работ в области тестирования на проникновение
Практическим вопросам оценки состояния ИБ объектов путем их тестирования посвящены работы Маркова А. С., Цирлова В. Л., Барабанова А. В. [3], Климова С. М. [10, 11], Петренко А. А., Петренко С. А. [12], Бойко А. А. [27-29], Храмова В. Ю. [28-30], Щеглова А. В. [29, 30], Дьяковой А. В. [27, 28], Макаренко С.И. [2], Скабцова Н. [4], Moeller R. R. [31], Kennedy D.,
O'Gorman J., Kearns D., Aharoni M. [6], Makan K. [7], Cardwell K. [8].
В работах McDermott J. P. [32], Klevinsky T. J., Laliberte S., Gupta A. [33], Pfleeger C.P., Pfleeger S.L., Theofanos M.F. [34], Alisherov F., Sattarova F. [35], Ami P., Hasan A. [36], Holik F., Horalek J., Marik O., Neradova S., Zitta S. [37], Herzog P. [38], Engebretson P. [39], Барановой Е.К. [13, 40], Бегаева А.Н., Бегаева С.Н., Федотова В.А. [41], Богораза А. Г., Песковой О. Ю. [42], Дорофеева А. [14], Умницына М. Ю. [15], Бородина М. К., Бородиной П. Ю. [16], Baloch R. [18], Полтавцевой М. А., Печенкина А. И. [19], Кадана А. М., Доронина А. К. [20], Еременко Н. Н., Кокоулина А. Н. [21], Туманова С. А. [22], Кравчука А. В. [23], Горбатова В. С., Мещерякова А. А. [24], Косенко М. Ю. [25], рассматриваются именно такие практические способы оценивания защищённости информационных систем, как тестирование на проникновение или «penetration testing». В некоторых работах такой тип тестирования указан под наименованием «инструментальный аудит».
Анализ вышеуказанных работ в области тестирования на проникновение показал следующее.
В настоящее время имеется значительное количество работ, посвященных аудиту ИБ. Однако в подавляющем большинстве этих работ аудит рассматривается как процесс проверки информационных систем на соответствие заранее определенным требованиям ИБ. Вместе с тем требования по ИБ, как правило, формулируется по итогам анализа инцидентов, что приводит к тому, что они регулярно отстают от современных возможностей и практики действий нарушителей. Более того, существующая практика проведения аудита зачастую не предусматривает использование для проверки защищенности информационных систем известных способов, средств и сценариев действий реальных нарушителей. В связи с этим, существующий уровень развития теории и практики аудита защищённости объектов не предполагает проведение полномасштабных экспериментальных исследований анализируемой системы путем применения тестовых информационных воздействий, аналогичных тем, которые применяют реальные нарушители!
Незначительное количество работ, посвященных вопросам экспериментального тестирования реальных информационных систем, рассматривают такие способы и сценарии исключительно как «тестирование на проникновение» или как «инструментальный аудит», при этом проведение такого типа аудита в отечественной практике не регламентируется каким-либо системным или хотя бы общетеоретическим подходом. В некоторых отечественных работах по тестированию на проникновение акцент делается на необходимости выявления наиболее «зрелищных» уязвимостей или тех уязвимостей устранение которых принесет максимальные экономические выгоды компании, выполняющий аудит. Имеющиеся зарубежные и отечественные методики тестирования на проникновение не содержат исчерпывающего научного обоснования параметров и критериев выбора ИТВ для проведения тестирования.
Рис. 1. Классификация ИТВ, которые могут быть использованы при тестировании на проникновение [2]
Обобщая, можно сделать вывод, что в настоящее время научно-обоснованные теоритические основы применения тестирования на проникновения для оценки уровня ИБ тестируемых объектов проработаны чрезвычайно слабо. В частности, не проработанными являются:
• научные основы применения тестирования на проникновение с использованием ИТВ, как одного из основных способов практического аудита состояния защищенности объектов;
• методов и методик формирования тестовых наборов ИТВ, обладающих целесообразной полнотой и адекватностью проверки уровня защищенности тестируемых объектов, а также достоверно воспроизводящим прогнозируемые целевые атаки на них;
• методов и методик проведения тестирования в режимах «белого», «серого» и «черного ящиков», а также в режимах имитации внутреннего и внешнего нарушителя;
• методов и методик согласующих критерии и показатели аудита, проводимого на основе известных методов теоритического подхода (процессный подход, оценка на основе модели зрелости или модели оценки) и практического подхода (анализ рисков, анализ стандартов, комбинированный анализ), а также критерии и показатели тестирования на проникновения;
• методов и методик комплексирующих способы тестирования в технической сфере, путем использования тестовых ИТВ, и в психологической сфере, путем использования ИПВ и социоинженерных атак.
При этом к работам в которых сделана попытка подвести научную основу под тестирование на проникновение относятся работы: Pfleeger C.P., Pfleeger S.L., Theofanos M.F. [34], McDermott J.P. [32], Макаренко С.И. [2], Pfleeger C.P., Pfleeger S.L., Alisherov F., Sattarova F. [35], Ami P., Hasan A. [36], Holik F., Horalek J., Marik O., Neradova S., Zitta S. [37], Herzog P. [38]. Так, в статье McDermott J. P. [32] представлена модель тестирования в формализме теории сетей Петри. В работе Макаренко С.И. [2] сделана попытка систематизировать и подвести научную базу под возможности использования тестовых ИТВ для оценки защищенности объектов КИИ. В статьях Pfleeger C.P., Pfleeger S.L., Theofanos M.F. [34], Alisherov F., Sattarova F. [35], Ami P., Hasan A. [36], Holik F., Horalek J., Marik O., Neradova S., Zitta S. [37], Herzog P. [38] представлены различные варианты методик тестирования. Однако во всех этих работах вопросы обоснования тестовых ИТВ при оценки защищенности тестируемого объекта на основе обобщённого критерия «эффективность / стоимость» - не рассматривались.
3. Группа обобщённых критериев «эффективность / стоимость» для оценки качества тестирования на проникновение
Технология построения тестов на проникновение, прежде всего, должна обеспечивать решение следующих задач:
• тесты на основе ИТВ должны позволять оценить реальное состояние ИБ тестируемого объекта;
• различные ИТВ, используемые в тестах, должны соответствовать типовым ИТВ.пр именяемымзлоумыш-ленниками, т.е. обыспечиматм опыедолыннрю ршпрш-зентативность по отлешеорюкак клвслм внчмож-ным используемымМШе, так м к варианмкм решкмии объекта на них;
• различные ИТВ, используемые в тестах, должны обеспечивать проверлм типоакх уязвомостей теоемгор, т.е. обеспечивать тпределекную |птпрезентатквмчпшь по отношению к есем веомююка1м рязлммосбмбче-стируемых объектов по оМщвпрбрмбым ршойетеам ИБ: конфиденциальннвтп,растппностт;бплоштмбстт. В связи с вышеумазанным, пpaвикaфмнмиpoванпм
наборов ИТВ для проведения тестирования на проникновения должчп бытьнаучрм-бымочмаaннымии выбраться исходом.:
• обеспечения вы сокдготрорнпвф фе кчивностип рове-дения тестированчр;
• стоимости ресур сов, необходимых для проведения тестирования временных, финансовых, людских, технические и других видор рекурсов.
В самом общем лрмчае оритерий «эффективность / стоимость» для вы бора ОШВ пди ршовеокомр талтиро-вания на чкодтлмоменые мoжтмевlpaPмпь cбммyюмтр правилом:
Е
К > , К = - , (1)
где: К - показатель качества теста; Ктреб - требуемое критериальное значение показателя качества, при котором тест целесообразно применять для анализа объекта; Е - показатель эффективности теста; 2 - показатель всех видов затрат на разработку теста, проведение тестирования и анализ результатов.
Наиболее важными параметрами в выражении (1) являются параметры Е и 2. При этом их размерность и физический смысл, в зависимости о ситуации может быть различен. Рассмотрим эти параметры и их возможную физическую сущность более подробно.
3.1. Понятие эффективности тестирования
В теории систем понятию «эффективность» дается следующее определение.
Эффективность - это комплексное операционное свойство целенаправленного процесса, характеризующее его приспособленность к достижению цели операции или к выполнению задачи системы [26].
При этом, как правило, цель тестирования - практическая оценка состояния ИБ тестируемого объекта, а вот задача(-чи) тестирования, для достижения этой цели, могут быть разными и определяются заказчиком. К наиболее распространенным задачам тестирования можно отнести:
• проверка возможности формирования заранее заданного типа инцидента;
• выявление инцидентов, которые могут быть реализованы при текущей конфигурации средств защиты;
• выявление уязвимостей, ведущих к инциденту определённого типа;
• выявление уязвимостей, ведущих к инциденту, связанному с нарушением определенного свойства ИБ
(конфиденциальность, целостность, доступность);
• оценка трудоемкости и вероятности преодоления средств защиты объекта при реализации определённого типа ИТВ;
• оценка ущерба, который может причинён объекту, при воздействии ИТВ определенного типа. Традиционно, в теории тестирования, в качестве показателя эффективности Е может рассматриваться один или совокупность нескольких основных показателей.
Полнота - достаточность тестового набора для достижения задачи тестирования.
Оперативность - время за которое будет достигнута задача тестирования.
Достоверность - статистически обоснованный уровень точности и репрезентативности результатов тестирования.
Таким образом, комбинации различных частных показателей эффективности образует множество различных критериев, которые могут быть использованы при оценке эффективности проведения тестирования на проникновение:
• критерий «полнота тестирования / стоимость тестирования» при заданном ровне оперативности тестирования и достовер носгирссультатов;
• критерий «оперативность тегти росгния / сттрсоссь тестирования» при зсданноо ог°вне полноты тестирования и достоверное™ рссельоьтто;
• интегральныь кьииерий «солнота и тператснигстьтестирования рстнноостгнестирования» при заданном уровне дестоесорсстс «гзусогаосв.
Рассмотрим более соостбоо, парамегрыпоегяты, оперативности о достоте^гсоооогорые могус иссонь-зоваться в етиге°ргерсст эфрскгивогнрр.
3.1.1. Показаеeлипоооогы тестирования
В качестве стгоестра пгпреты тгсеировгнитмьме быть гсогнрзованы огзличне! е пока застои. К осоов-ным из них относятся
При этом дансыТ спиемк ныяв/\тооениcчeрпываюмтм, и др^неиссвзеоватееи с веогтимсьии мт конлекста и задач тестиропьнес мс^гте еOкcнoвытеть г примеготс свои ьопазниелр.
1) Полнота тести ровантя тсоеевaлий тесБ к объему;
где: / - номер свойства ИБ (;=1 - конфиденциальность, ;'=2 - доступность, /=3 - целостность); п. -полнота тестирования требова ний к объекту по ;'-му свойству ИБ; С1тр . - еякичecтвoтсмO ованийпо /-ми свойству ИБ, предъявляемых к объекту; Nтртест . - количество требснгсои со /-мх евтжств. ь Б; тсеея|oь-емых в процессе теге™-ования,прнэтос пиг^^ь^ьн^ требование пгпИС считается пр
оно проверяттся хо1тсбыодним н1Т-Г кпроцессепто-ведения тесттсгорсон.
3) Полнота тecтcсcеекия онегньиoв (подсистем) объекта:
Л
Л
(4)
где: Nэя - количество элементов (подсистем) объекта; N - количество элементов, проверяемых в процес-
эл тест ,11 I.
се тестирования, при этом отдельный элемент (подсистема) считается протестированным, если он проверяется хотя бы одним ИТВ в процессе проведения тестирования.
4) Полнота тестирования элементов (подсистем) объек-тапо свойствам И Б:
Уы
/ у эл тест I . _1=1_
У Ые -
гн
Ып
(5)
где: ; - номе. свойства И Б (/=1 - конфиденциальность, ;=2 - доступностя, /=3 - целостноеть); п. - полнота тестирования элементов объекта по ;-му свойству ИБ; Иэл ; - количествн эсеоентБн оБъерта, к предъяи-
ляютситнеОонания по /-му сноьстоу ОЕ; О .- каличоя
1 ' •' за тест I
ство глементов, провеи-омычна иоотвБтнтвиено /-мп свойству И-, прн этор отдельный элеменн считается протестированным, если он проверяетсн хотя бы одним ИТВ е пеоцессн а|яовенения теяснрования. 5) Пснроси тоааированни уязвимосной объекяапоялой-ствам ИБ:
Ущ
гун
Л
(2)
УХ/
N...
(6)
где: Nтр - количество требований по ИБ, предъявляемых к объекту; N л количество требований по ИБ, прове-
тр тест 1 1
ряем=р в процесяпннстирования.при етлм отдельное требование по ИБ считается протестированным, если оно пгoенpяeтcя остя Ны-елит рсБ в тямcекce п,о-веденостпоииро в^ н .
2) Полнонр тертиpoряякя тпеЯсеете кобнексубо сср й-ствам ИБ:
X Тр
N
УТр г
ЛС
(3)
где: . - номер свойства ИБ (.=1 - конфиденциальность, .=2 - доступность, .=3 - целостность); п. - полнота тестирования уязвимостей объекта по ;'-му свойству ИБ; N^2. - количество потенциальных уязвимостей объекта по ;-му свойству ИБ; N . - количество уязвимостей
' ' уяз тест I
по ;'-му свойству ИБ, проверяемых в процессе тестирования, при этом отдельная уязвимость считается протестированной, если она проверялась хотя бы одним ИТВ в процессе проведения тестирования. 6) Полнота тестирования уязвимостей элементов объ-ектапо свойствамИБ:
ж =
1=1
"эл
XX N,
N...
XX Ny
N
(7)
,=i j=1
где: / - номер свойства ИБ (/=1 - конфиденциальность, /=2 - доступность, /=3 - целостность);/ - номер элемента в составе объекта; п - число элементов в составе
эл
объекта; п - полнота тестирования уязвимостей _/-го элементапо /-му свойству ИБ; N .. - количество потен-
^ -У ' уяз I,]
циальных уязвимостей /-го элемента по /-му свойству ИБ; N .. - количество уязвимостей /-го элемента по
уяз тест IВ
/-му свойству ИБ, проверяемых в процессе тестирования, при этом отдельная уязвимость считается протестированной, если она проверялась хотя бы одним ИТВ в процессе проведениятестирования. 7) Полнота тестирования по выявленному и потенциально предотвращенному ущербу в отношении объекта или его владельца с учетом элементов объекта, его уяз-вимостей и свойств ИБ:
3 "эл "уяз
ТУТ и
/,/,/, тест г,] г=1 ] =1 к=1
Р =
3 "эл "уяз i=1 j=1 к=1
Ж
;т = ■
тест усп
Ж
(9)
i У тест
Р = )
усп XXV тест Усп 1 )?
1=1
В качестве показателей полноты могут быть использованы и другие показатели (в некоторых работах они называются «метриками»). Некоторые из таких показателей представлены в работах [3, 26].
3.1.2. Показазелаонврати внзози
В качестве параметра оперативности тестирования могут быть использованы различные параметры, ко-личостнынно опреоелпющне веразтнестан-временнаю аспзкты песаировалия.Щ оснывнам нз них относлтая показатели, приведенные ниже. При этом данный список но явлазтся исчюрпатающим, и дрооиеисрлеунпа-^^он, в зренсим/стсрт коотркхра и заоачаесни равен ид, могут обосновывать и применять свои показатели. 1) Время, закото|еое уудат н ел^^ннхова|^оя™остью будет наст нарта цзня тост ирования:
T-ест = arg (F (T ))| F (T ) = Рт
треб '
(11)
(8)
где: / - н01\в^р) сюоп^лт^га Р1ЕЗ (/оо у зонфиденциальнмыть, /=2 - доступнс^рть^.ыЗ - целостиоатпрю - ла м^д> элемва-та в сдртоны ^^т^не^^; Т - номер поте-диаюьпыйзбъе кта; п хЧхсар ху/хепантув в составр о-ъ-кта; - р апнлн (Я3(
эл уяз '
вимостей oбеeкгa; -1Цк- ущерО хт рлхирынта.реалипо-вaнйегo ан зкот иcпoлнрoзчрля Чпро рун-умостто оОоекз та по/-маcвoтстрз ./-гоэлеренею О гест(р- ооооб от инциденв^,а^^ланс^^<а^н^с^-о^^ счетнсгельзсзаося к-ой уязвиеююей оОъекта по е-оу свойвтду ИБ тоя/-гт эл--мдета, выяолензыйиоотеноинльнопродотт-еренный п прооесср лоствpoнанпя, п|эн ывом ущрур олитуетоп по-тенциальнoпнoыoуваущенным,оcри ро алlявняo"гcн вотя бырднпжИДВ диноцеесопвовооения тoстнpocaнип. 8) е^с^руа^с^^^о^^Ьз оаядоатижания за-
дачи тестирования:
где: 7"тест - время тестирования (показатель оперативности тестирования), Р(7) - функция вероятности, распределения времени тестирования 7; а^(Р(о)) -аргумент функции Р(о); Ртреб - требуемое значение вероятности, которое соответствует уровню достоверности оценки времени тестирования.
2) Время за котороебудетдостигн утацел ь тест ирования, с учетом детермибитобаннойдлительностоэтабов тестирования. Большрнствр методиктздртpoвннто ратд деляет этот процесс на этапы, основными из которых являются: анализ системы; поиск уязвимостей; реализации тестоврт б°°; аодлиз роо^ьеаточ воздерстнпе п достижения цааи т^с-трроЕз^осо; пооичтоваа иаогово го отчета. В свою оче^е-о оажтко^Рёир эгрт пов состоит из дттатного чиото пндитапов и ппохарий и т.д. В этом олуаае /е-еои, за оотороеОодет додтигноас^ цель тестировотия, тдчдтом длисеоажосто отолoоЗгцд-этапов, операций ит.д.)тестированиябудетравно:
Т =Уг
тест / у i ?
(12)
где: !^тест - количаcтрoтeстoоыаЗаOртeртовoмнaбoпe; N - количество тестовых ИТВ, которые успешно ре-
тест усп II./ I
ализуют задачу тестирования (о задачах тестирования см. Езь^^е^лпан ытоо ИТВ считается пепашном; еели с^^сс дoстигнeтезпябнlзооoйвхорчр тезтивнвннно. 9) Вероятность успешного достижения задачи тестирования:
(10)
где: Nтест - количество тестовых ИТВ в тестовом наборе; / - номер тестового ИТВ; Р - вероятность того что
1 тест усп / 1
/-оеИТВ,успешнодостигает задачи тестирования.
где: 7тест - время тестирования (показатель оперативности тестирования), Т - длительность п-го этапа тестирования; N - количество этапов тестирования. 3) Время за которое будет с заданной вероятностью будет достигнута цель тестирования, с учетом случайной длительности этапов тестирования. В случае, когда длительность каждого п-го этапа тестирования характеризуется длительностью 7п, которая является случайной величиной, распределенной по нормальному закону, получим следующее. Итоговая длительность тестирования 7тест также будет случайной величиной, распределенной по нормальному закону, математическое ожидание (МОЖ) которой М(7тест) равно сумме математических ожиданий длительности отдельных этапов М(Тп), а дисперсия о2(Ттест) - сумме дисперсий длительности отдельных этапов о2(Тп). В этом случае время, за которое будет с заданной вероятностью будет достигнута цель тестирования, с учетом длительности этапов тестирования будет равно:
Ттест = аГС
œ w аа t-Ом{тп)
ф
V.
Е-2 (T.)
V V »=1
ф(Т) = Рт
треб ?
(13/
где: 7"тест- время тестирован и я (показате ль оператив -ности тестирования); СК^П) - функция вероятности нормального распределения; М - время тестирования; Тр - длительность п-го этапрлестированля; асе(Ф по)с -аргумент функции Ф (о); М(Тп) - МОЖ п-го этапа тестирования; о2 (Тп) - дисперсия п-го этапа тестирования; л - котороеаоот-
велстоуеоуоовняп дост—е^ости аце^о-^ввес-меп- т^ро^и--0вепрл.
4С ВоРМР; згаарма-ов Судет а уроол-ор ен^сзр-сорс^мю бутет -роведело теопированпе о треСлемеМ полретоё. р-пть лс дocтижонме (^г^ревп/еснного знамсиья парап метра полноты тестирования п с вероятностью Р(п, Тп) ееeбеeто-ооемя ук. Тесс^^^р)емо.ла пр^с^р^с^е! о зо данной вероятн<пстью С^р^^ое деотн|-нупа трeбyeмaяптот4еaпе-мтl^pл^еanl.^яттиe- Ирдетравно:
Ттест = arg ( F (p Tp ))
P = P
треб '
F (P Tp) = Pt
треб
(14)
где: 7"тест - время тестирования (показатель оперативности тестирования); Р(щ - двухмерная функция ве-роятносыги, распределеяия вреахенитестирован^ия полноты jt; ^гу^^^(е)) аэр^еент фанкцаи а(о); Ртре6 - тсе-буемoit вуеееяна ахи|всая-"ноаяц, аотырое соо^тзыстсыт-з^еее уровню десхеведваани анодях ецао1ецв н^сеееротехия; п - поеаза!ее/\а ям-роты хеохвуовонта; а:та^6 а тр кКуеекнс-ет значеттд есхдевты тaтитaы-aятц.
5) Средняя скороеть тaxaждоттц уявоимосхой
=уЯЗ, тт ' тест
где: 7 -в ре пая тестид оаитая; N - аолинество уяееце
те 1 ' уез-
мостея.тайдохвыд зевремя /вотирования 7тест.
6) Средняя скороотеаатвлеком о тове-ци--ьхант про-дотвращенияуьее-еа:
С/«
v _ —-
ущ T
а5)
итест - суммарное знв^!^ние Toi—з^аеля ащ-аке, ноторой бы произойти от инцидента, реализованного за счет использования ^ныи а дятоЙ; ^ь^иа/^еыннь^!- и тдтeнояaецnе предoтео-щвнныя в п рое-есе яеенироваряя ; ртест мя теотиpoветят|
8) Эффективность исхельояаеныя E\ноооци то-нароа-ття:
T
E_ тестусп
T т
(16)
где: Ттест - время, затраченное на реализацию всех тестовых ИТВ в тестовом наборе; Т - время, затра-
1 тест усп 1 1
ченное на реализацию тестовых ИТВ, которые успешно реализуют задачу тестирования (о задачах тестирования см. выше), при этом ИТВ считается успешным, если оно достигает хотя бы одной задачи тестирования.
3.1.3. Показатели достоверности
Процессы выявления уязвимостей, достижения инцидента, преодоления средств защиты в процессе тестирования - это случайные процессы, успешность которых, в отношении достижения задач тестирования, может зависеть от большого числа разнообразных факторов. К таким факторам относятся: конфигурация средств защиты, выполнение пользователями требований политики безопасности, наличие в системе «типовых» уязвимостей и т.д. Все это ведет к тому, что реакция объекта на тестовые ИТВ носит случайный характер. В результате решение о достижении той или иной задачи тестирования, оценки результативности тестирования, можно принимать только с учетом степени достоверно-сти,котораяявляется статистической мерой точности.
Общие методики оценки достоверности тестирования представлены в работах по обработке экспериментальных данных [43, 44]. Здесь же остановимся на отдельных параметрах оценки достоверности тестирова-нияиз этихметодик.
1) Точность оценки величины / вероятности события. Пусть резул ьтативностьтестирования определяется измерением какой-либо ключевой величины или достижения каетго-либособытря и |свзультасенекреорого числареиыиантй.едесоподкроиевнй селиеинос можно понямттьеиаченис некотосс-о вежнoгвпaрaметьн. оценеваемого в процеосеоестязования:
• количество инциднняов| -1ти1пииосрялрньз:п^пеор^с^-сетестиров ания;
• количество вьтетыргого и поиенцилспнд а^дотв^-щенного ощ е°оа;
• вероятноотнвр еценко еыполнениа своПстокоафи-денциальностн,цeлoclяоьти,оплаyпаости и т.д.
Под событссм можно пон имасц оостижениокакой-либо ор злдяо пзотирования:
• успешное преодоление системы защиты объекта;
• формирооанам инцеденоар^б^мого типгл
• успешное насуше иве кооФго-лиДс отзеделёанооо свойства И Б в мтноюони и oбъeктaин:д.
При формисоесоир идгсешнелйеи точечного оценивания несся—рой волчтквыx; фосе^о^о лнысл которой может соответствовать величинам или вероятностям одыыеит, указдкнН1Х нише, птямeняютвотaкоц стативничeеласoцeнкя как «д^фметичоотое среонее», «выбс^снсэчсос с|секнее киарнстичное онклмяенее (СКО)п и«вы0оeооеые коэффециодт ептииовоноТЗ]:
Пусть в рвауоьтеее п|^<ав^^^ 5- ТГ овнынений (рдали-зацийоесттрыиИТЕдпо oцeннрене-т оппеделниоой дед личины а»чн соВв\тия была
х1, ..., xN (для статистической оценки события можно считать, итова ит^я^0^ ни о х.и°инимаек ззнноиие «ь» если омоытао м|гоизошлои «О» - если не произошло).
В этом случлс и кеаызтее зн<^»неяип х ознн^1^н^ы х принзмиатня лиыеяeо арифматическое[43]:
1 N
а =-У Xя
ере Т"ЙХ '
(17)
Мерой точности оценки величины х может служить «вы-борочноеСКО» [43]:
5 =.
1
'2 -1
Е (-х )2
(18)
Зная среднее ариф2етоееское X и выборочное СКО Бх можно опыодеиипи мееу отиоизтиктеей измеы-чивтсти иылнпыкы х - выборочеыТ епесОУ>ицнент иаие-ацизар, зыииение козевоге |пиыны ЫЫЗЫы
-нг- (19)
или в прзцеиыах:
Ух -100%.
х
(20)
-Х|< 5) = 1-л,
(21)
Ы„ =
Довольно часто при оценке точности величин используются понятия «доверительный интервал», «доверитель ная еерояеность», «уровеньзиекемооти».
Доверительный интервал - интервал, который с за-данно(во(оятностью
вел1^чине1, о^^ни^тео^с^епо выборопов1м знлиения»^^4^^].
Доверителоноя вероятность - веровеностт тогт, ове в<о2^|эиве/^ьтв|Н интояоеенякдоотяонлтвгнeльтнозга-доотявнлмчпны, ыептиыаеоюй повые-роч^^^лзлото-ниям [ ез( .
Интервал [х , х ] называется доверительным, а
' в 2Щ1 оаз " ^ '
соответствующую ему вероятность Рх(хт|п < х < хтах) - до-еве исе пврояоорстью ех=в-овв1борочное значение ояотчинь^| х попадет в воьервол о"-. xmJ. Где т-еяовоно сначимнсввп вел|пхятность "--згЛо^'^с^ое^^!^!',-^^льеь^оен^^л^кеоят е^Иаоттслэ/птвсте! иоаоеере велитоп ны.Т(в фтдезеoвaеьoм знтлеея и ап аес моеьшeoнзя-рительный интервал [х , х ], тем точнее оценивается
1 1 0 пе' впах-1 '
величина х [43].
Согласно ГОСТ 8.201-76 в техничхских измере-нтьх следуео вринсее^Ь0 доовpитeльнтю версотоооть Рх=0,95, л о наненых оссоедовониях Г»xоO,6H/ тпа-].
Часто гаходитсе ^^кох
тервал, оьме5теь(овlз оынх5УсeлозяT ооенео ееевтн-еы1еьв дно oнммосенинoгя еoвввнто/\ьаoгв ахтертаео его ширина 25 определяется условием [43]:
При небольв ом кооснеснве иcныньзгн N<20 ое-пользсют ^тяво^и циент Сьюдента ^ [44]:
ыеоеыг (22)
В этом случае, в начале задают доверительную вероятность Рх, затем по числу опытов N и числу искомых величин К (в рассматриваемом случае мы определяем одну величину - х т.е. К=1) определяют число степеней свободы m=N-K. По табулированным функциям (заданным в виде таблиц) [44] для Рх и т определяют значение коэффициента с помощью которого, пред-варительновычисливзначение Бх можно определить велич инддовнрнтельногополуинтервала [44]: г Б
(23)
5 =
4В
при этом значение доееритель5ого полуинтервала 5 фактически соответствует абсолютной погрешности определения величины х: х=х±5 [44].
Доста^ьее^о зеcто, п°и янеткр тоеростт нcпoллзтют меру относителеноопогеешносте, рынaенни2н зпс^(е центах:
° = --100% о х
Вышеуказанные оценки точности справедливы для количества испытаний (на практике N>20). В этом случае можно принять допущение, что ошибки оценки величины х в отдельных испытаниях распределены по нормальному закону. Однако если количество испытаний N<20, то данное допущение неверно и вышеуказанные оценки теряют свою устойчивость, и как результат, пользоваться этими мерамиточностинельзя[44].
Такимобрезом, нля таена опытов д°е4д зндчение величелы х чдтвечизенопой вероятностью Рх будет ле-жатьвдиапазоне[ц-5, иИое].
2) Трудоемкость тестсрования для достижения требуемой точности. Результаты отдельных тестов над ин-формационно3 оистемой, могут выть °бваичны.р^тз обусль^^^н^сэ рни что, ос^-птррыд, инф0|0^йацьтрй1дт зИ-стема, сама по тебе нвляетсе сртнйноТоргаопзаципн-но-технтчцвеыз енвтдмойечщищетнедть и зьактчя нов торой т ин большбго чнкзи^ внкяовов, Ч13з^тцеыа,
условчя проноаения теенпн нб всегбвтоеяюнея идетзиеа ными: меняется конфигурация средств защиты, нагрузка сееи, повбееннб 1^олепенат^лоп и чрдонистраторюр. В это3 cвтиивцниикзеи чaдечаoчеeдeабннз чиеза по-вторендЧ костт и топ жбтестдз (чавре хивьч^ттГ),кь/пя того чзчИь^1 ооeтичьнpeбчдмoй диaтиcоcиecкеЧтозтeнти получдчмогц ^рнлрт^тч. С нндтомтогo, что чи рр^ооепе-ние квжеогб тента (непытенчт) ротходвюнея мeлoветo-машичтые ьoоyоны тмолння горoеозп мтрыдоемоосди тестированиядлядостижения требуемойточности.
Здннн под испв[тбнcш/w буяев рон имантоднок^ндн-ное нтoацoвтое oнздбeеeеного одиночного теста. Под количестчнм иыпытаний буцео г^очимачн чисыд провеыдтчЧ вач ндснnн^^^cэ^í онснeмoй ойного и сдгн же те^"^а. УвелиедзтЧ! чоличечзьа испытанийнезвнлит повысьзн дозеоительною ды(^с^ятно^"^)ыЩх и)\и сузчне доверительный интервал 25 при неизменной точности оценки результата Необходимое число испытаний к при ннвеенном лнlоне05тc>а °:КО и допгщенин о нормзи^ндт! |э^дсредеу^^пи peзтыалвтооиcнычaниM можно ххп|выд^/^инн д;ак [дЗ]:
к >
?2 д2
а,т х
(24)
где 1ат - значение коэффициента Сьюдента ^ из выра-жения(22)причислестепенейсвободы т. 3) Достоверность проверяемых гипотез. В начале тестирования может быть сформулирована одна или несколько проверяемых гипотез, которые должны быть подтверждены или отвергнуты в процессе тестирования. К таким гипотезам можно отнести следующие: невозможность формирования в системе определённого заранее заданного типа инцидента; защищённость си-
стемы по отношению к определённому типу ИТВ; отсутствие в системе определённых уязвимостей или наоборот их наличие и т.д.
Как правило при проверке гипотез рассматривают нулевую гипотезу H0 - основную гипотезу подлежащую проверке и одну или несколько альтернативных гипотез, выбор между которыми производится после того как основная гипотеза H0 будет отклонена.
В процессе тестирования по результатам проведения отдельных тестов набирается статистика, которая позволяет оценить правдоподобность основной гипотезы. Ситуации, возникающие при проверке гипотезы H0 представлены в таблице 1.
Подробности расчета ошибок первого и второго рода для проверяемых гипотез зависят от функции плотности распределения оцениваемого параметра, на основе которого проверяется гипотеза. Подробности методики проверки гипотезы тестирования более подробно изложены в работе [43].
3.2. Показатели затрат на проведение тестирования
Высокие значения полноты и оперативности тестирования, требуют соответствующих затрат на разработку тестов и проведение тестирования.
В общем случае, понятию «затраты» соответствует следующее определение.
Затраты - ресурсы, необходимые для решения определённой задачи, или достижения требуемого эффекта.
В зависимости от физической сути ресурсов, показатель затрат может быть различен.
Материальные ресурсы - количественная мера оценки всех материальных средств, расходуемых и используемых в процессе разработки теста, проведения тестирования и анализа результатов. Как правило, определяется: стоимостью разработки, покупки или аренды аппаратных и программных средств; стоимостью физического или информационного доступа к объекту тестирования; спутывающие расходы на оплату электроэнергии, аренду помещений и т.д.
Людские ресурсы - количество персонала и длительность его привлечения для разработки теста, проведения тестирования и анализа результатов. Как правило, рассчитывается в человеко-часах и зависит от трудоемкости тестирования.
Временные ресурсы - количество времени, необходимое для разработки теста, проведения тестирования
и анализа результатов. Как правило, рассчитывается в часах и зависит от трудоемкости тестирования.
Финансовые ресурсы - денежный эквивалент затрат, требуемых на оплату материальных ресурсов, привлечение людских ресурсов и прочие расходы, необходимые для разработки теста, проведения тестирования и анализа результатов.
Численным показателем последнего ресурса, который в достаточной степени универсален и позволяет интегрально оценить практически все виды затрат вышеперечисленных ресурсов является «стоимость».
Стоимость - выраженная в деньгах величина затрат, по оплате материальных ресурсов, труда людей и прочие расходы, необходимые для разработки теста, проведения тестирования и анализа результатов [26].
Примем в качестве показателя затрат 2 в показателе эффективности (1) стоимость создания и эксплуатации программно-аппаратного комплекса (ПАК) тестирования С. Проведем примерную оценку стоимости создания и эксплуатации ПАК тестирования С взяв для этого методику, представленную в работе [45].
Эта стоимость определяется суммированием стоимости обоснования Соб задач тестирования и используемого тестового набора на основе предварительного анализа объекта, стоимости создания ПАК тестирования Ссозд и стоимости годовой эксплуатации этого комплекса С в течении срока его службы Т :
С = Сб + C + CT
об созд эг сл
(25)
Стоимость обоснования Соб задач тестирования и используемого тестового набора на основе предварительного анализа объекта рассчитывается на основе стоимости работы группы аудиторов и тестировщиков, которые проводят первоначальное обследование объекта тестирования, формируют рекомендации по проверяемым уязви-мостям, составляют план проведения тестирования:
Сб = N С -Г,,
об ауд ауд об
где: N - количество аудиторов и тестировщиков, привлекаемых к первоначальному обследованию объекта и составлению плана тестирования; Сауд - средняя стоимость оплаты труда аудитора в год; Тоб - длительность первоначального обследования объекта и составления плана тестирования (в годах).
Таблица 1
Ситуации, возникающие при проверке гипотезы Hn
Фактическая ситуация Гипотеза Н0 принимается Гипотеза Н0 отклоняется
Гипотеза H0 верна Правильное решение Ошибка 1-го рода (а) - ошибочное отклонение гипотезы Н0, в то время как в действительности она верна
Гипотеза H0 не верна Ошибка 2-го рода (в) - ошибочное принятие гипотезы НО, в то время как в действительности она не верна Правильное отклонение
При этом стоимость создания ПАК Ссозд рассчитывается исходя из стоимости покупных изделий для ПАК СПИ, затрат на разработку нового программного обеспечения (ПО) для ПАК СПО, затрат на разработку специализированных аппаратных средств для ПАК Ссас, а также доли других капиталовложений К на производство одного ПАК:
с = с„т_ + + Сп.п + К.
созд ПИ ПО САС
(26)
Если ПАК является сложной системой, то капиталовложения К необходимо рассчитывать по составляющим.
Подавляющая часть работ по созданию новых ПАК тестирования основана покупке готовых аппаратных и программных средств, при этом новое ПО и специализированные аппаратные средства разрабатываются только в случае необходимости проведения каких-либо узко направленных или специализированных тестовых ИТВ, которые не могут быть реализованы существующими средствами. Для таких ПАК доля других капиталовложений либо равна нулю, либо не превышает 10 %. Таким образом.ведя допущение о К«0 выражение (26) примет вио:
Рм-Иозд РМш+ Ммо+КЫМакы
(И7)
0ПИ = 0СПН + И (Сизд /0ПИ 1 + 0тр 1 ) ,
(28)
где: Л/изд . - ио/\инестрс( издел ий оео типа для ПАК; С. - ле на олмого п о куп н ого изде л ия /-го типа для ПАК;
С
С / \
С ПО = Си + И (СПИ 1 + Сразр с) .
ССАС ССПН СА- + И (СИ (1
+с + с \
ПИ I ^тр< разр /)
(2 9)
(30)
где: 1П
количество вновь разрабатываемых про-
тываемых специальных аппаратных средств; СКПН -расходы на комплексирование вновь разработанных программных средств между собой и интеграцию их в ПО ПАК, а также на пуско-наладочные работы; С.пи...
СПН САС
- расходы на сборку всех средств в единый ПАК и на пуско-наладочные работы; СПИ . - цена покупных изделий для разработки /-го средства; Сразр . - стоимость разработки /-го средства; Стр . - транспортные расходы на доставку покупных изделий для /-го средства.
При этом стоимость разработки каждого /-го средства Сразр . в выражениях (29) и (30) может быть оценена по затратам на привлечение специалистов, осуществляющих разработку:
С
разр 1
N С •Т . ,
спц 1 спц 1 разр 1
где: N,
количество специалистов, привлекаемых
Стоимость покупн ыш издепой (Спи), к котс^мм буднм о"^нисить все апрыратвое, се^опиме и програмышаи средствак коипзвып нз ы<кздыыкььь^^вютрн, о -югут Рарн ^аньвои^ны о гсзторое зиме у воьюипщзкке, из (РГСВ( реср секиыви^изи игам
трриппортные наохаим на прстадог издморяого
тпта рри п/ЯК.; К - полио^сгд^о -опок пок^аньз.ы нкоеатй длп ПАП!; Мсоо г- оаоходы на срипки псер ипдеазй р коо ны йКАКова г^к^е^д^д^^н^^ы^тдсдным еaеc>ны.
Стовмрдид дз^зрт(^в^дае нооого ыО Cпо нcвeциолизи-рованных аппаратных средств Ссас, которые реализует cпeнрaлизн(ые(дрыы тоситорпр ВТР, ктторыо нe(юаyн ^1=>1В1)> |^дд-))М');з—вг^нн1 ^(/тертивающиц/ю! ипа(стрзмс, в вив арпдеиид (ек/ окенгыраетсв пд)иввпíрив пн одинаковом cпоме:
граммных средств; 2 - количество вновь разраба-
к разработке /-го средства; Сспц . - средняя стоимость оплаты труда специалиста, привлекаемого к разработке /-го средства (в год); Тразр . - длительность разработки /-го средства (в годах).
Годовая стоимость эксплуатации ТС Сэг из выражения (25)рассчитываетсякак:
С =С +Ср +С +С +С +С , (31)
эг № обслг эн г рг аг пр г
где: Смг - стоимость материалов, расходуемых в процессе эксплуатации ПАК за год; Собся г - расходы на рабочий и обслуживающий персонал ПАК за год; Сэн г - расходы на энергию всех видов для ПАК за год; Срг - стоимость ремонтов ПАК за год; Саг - амортизационные отчисле-ниязагод; Спрг- прочие годовые расходы.
Заключение
В представленной статье автором предпринята попытка подвести научную основу под такой практический тип аудита ИБ, как тестирование на проникновение, а именно - на качественном и количественном уровне сформировать критерии оценки эффективности проведения тестирования и выбора ИТВ в тесто-выйнабор.
Положения, представленные в данной статье, на взгляд автора, не являются окончательными, а носят, в большей степени, дискуссионный характер. Автор не претендует на окончательную верность своих суждений, однако надеется, что его работа станет своеобразной «отправной точкой» для специалистов в области ИБ при формировании научно-обоснованных подходов для такого перспективного способа аудита ИБ, как тестирование на проникновение.
В дальнейших работах автор планируют продолжить работу по развитию и конкретизации формальных выражений для критериев «эффективность / стоимость», показателей эффективности и стоимости, а также мето-дикихвычисленияимоделей анализа.
ИсследованиевыполненоврамкахгосбюджетнойтемыНИРСПИИРАН№ 0073-2019-0004.
0п. : 10.21 6Ыр2Дии-ЗД 5р-2и Тр-С-43-о7 53
Литература
1. Макаренко С. И. Аудит информационной безопасности: основные этапы, концептуальные основы, классификация мероприятий // Системы управления, связи и безопасности. 2018. № 1. С. 1-29. DOI: 10.24411/2410-9916-2018-10101.
2. Макаренко С. И. Аудит безопасности критической инфраструктуры специальными информационными воздействиями. Монография. СПб.: Наукоемкие технологии, 2018. 122 с.
3. Марков А. С., Цирлов В. Л., Барабанов А. В. Методы оценки несоответствия средств защиты информации / под ред. А.С. Маркова. - М.: Радио и связь, 2012. 192 с.
4. Скабцов Н. Аудит безопасности информационных систем. СПб.: Питер, 2018. 272 с.
5. Penetration Testing. Procedures & Methodologies. - EC-Council Press, 2011. 237 p.
6. Kennedy D., O'Gorman J., Kearns D., Aharoni M. Metasploit. The Penetration Tester's Guide. San Francisco: No Starch Press, 2011. 299 p.
7. Makan K. Penetration Testing with the Bash shell. - Birmingham: Pact Publishing, 2014. 133 p.
8. Cardwell K. Building Virtual Pentesting Labs for Advanced Penetration Testing. Birmingham: Pact Publishing, 2016. 518 p.
9. Макаренко С. И., Смирнов Г. Е. Анализ стандартов и методик тестирования на проникновение // Системы управления, связи и безопасности. 2020. № 4. С. 44-72. DOI: 10.24411/2410-9916-2020-10402.
10. Климов С. М. Имитационные модели испытаний критически важных информационных объектов в условиях компьютерных атак // Известия ЮФУ. Технические науки. 2016. № 8 (181). С. 27-36.
11. Климов С. М., Сычёв М. П. Стендовый полигон учебно-тренировочных и испытательных средств в области обеспечения информационной безопасности // Информационное противодействие угрозам терроризма. 2015. № 24. С. 206-213.
12. Петренко А. А., Петренко С. А. Киберучения: методические рекомендации ENISA // Вопросы кибербезопасности. 2015. № 3 (11). С. 2-14.
13. Баранова Е. К., Худышкин А. А. Особенности анализа безопасности информационных систем методом тестирования на проникновение // Моделирование и анализ безопасности и риска в сложных системах. Труды международной научной школы МАБР -2015. С. 200-205.
14. Дорофеев А. Тестирование на проникновение: демонстрация одной уязвимости или объективная оценка защищенности? // Защита информации. Инсайд. 2010. № 6 (36). С. 72-73.
15. Умницын М. Ю. Подход к полунатурному анализу защищенности информационной системы // Известия Волгоградского государственного технического университета. 2018. № 8 (218). С. 112-116.
16. Бородин М. К., Бородина П. Ю. Тестирование на проникновение средства защиты информации VGATE R2 // Региональная информатика и информационная безопасность. СПб., 2017. С. 264-268.
17. Трещев И. А., Воробьев А. А. О подходе к проведению тестирования на наличие уязвимостей информационных систем // Производственные технологии будущего: от создания к внедрению. Материалы международной научно-практической конференции. Комсомольск-на-Амуре, 2017. С. 175-182.
18. Baloch R. Ethical hacking and penetration testing guide. London: CRC Press, 2017. 492 c.
19. Полтавцева М. А., Печенкин А. И. Интеллектуальный анализ данных в системах поддержки принятия решений при тестировании на проникновение // Проблемы информационной безопасности. Компьютерные системы. 2017. № 3. С. 62-69.
20. Кадан А. М., Доронин А. К. Инфраструктурные облачные решения для задач тестирования на проникновение // Ученые записки ИСГЗ. 2016. Т. 14. № 1. С. 296-302.
21. Еременко Н. Н., Кокоулин А. Н. Исследование методов тестирования на проникновение в информационных системах // Master's Journal. 2016. № 2. С. 181-186.
22. Туманов С. А. Средства тестирования информационной системы на проникновение // Доклады Томского государственного университета систем управления и радиоэлектроники. 2015. № 2 (36). С. 73-79.
23. Кравчук А. В. Модель процесса удаленного анализа защищенности информационных систем и методы повышения его результативности // Труды СПИИРАН. 2015. № 1 (38). С. 75-93.
24. Горбатов В. С., Мещеряков А. А. Сравнительный анализ средств контроля защищенности вычислительной сети // Безопасность информационных технологий. 2013. Т. 20. № 1. С. 43-48.
25. Косенко М. Ю. Сбор информации при проведении тестирования на проникновение // Вестник УрФО. Безопасность в информационной сфере. 2013. № 3 (9). С. 11-15.
26. Макаренко С. И. Справочник научных терминов и обозначений. СПб.: Наукоемкие технологии, 2019. 254 с.
27. Бойко А. А., Дьякова А. В. Способ разработки тестовых удаленных информационно-технических воздействий на пространственно распределенные системы информационно-технических средств // Информационно-управляющие системы. 2014. № 3 (70). С. 84-92.
28. Бойко А. А., Дьякова А. В., Храмов В. Ю. Методический подход к разработке тестовых способов удаленного информационно-технического воздействия на пространственно распределенные системы информационно-технических средств // Кибернетика и высокие технологии XXI века XV Международная научно-техническая конференция. Воронеж: НПФ «САКВОЕЕ», 2014. С. 386-395.
29. Бойко А. А., Обущенко Е. Ю., Щеглов А. В. Особенности синтеза полного множества тестовых способов удаленного информационно-технического воздействия на пространственно распределенные системы информационно-технических средств // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2017. № 2. С. 33-45.
30. Щеглов А. В., Храмов В. Ю. Способ разработки тестовых удаленных информационно-технических воздействий на пространственно-распределенные системы информационно-технических средств // Сборник студенческих научных работ факультета компьютерных наук ВГУ ФГБОУ ВО «Воронежский государственный университет». Воронеж, 2016. С. 203-210.
31. Moeller R. R. IT Audit, Control, and Security. Hoboken: John Wile & Sons, Inc., 2010. 667 p.
32. McDermott J. P. Attack net penetration testing // NSPW. 2000. С. 15-21.
33. Klevinsky T. J., Laliberte S., Gupta A. Hack IT: security through penetration testing. Addison-Wesley Professional, 2002. 512 c.
34. Pfleeger C. P., Pfleeger S. L., Theofanos M. F. A methodology for penetration testing // Computers & Security. 1989. Т. 8. № 7. С. 613-620.
35. Alisherov F., Sattarova F. Methodology for penetration testing // International Journal of Grid and Distributed Computing. 2009. С. 4350.
36. Ami P., Hasan A. Seven phrase penetration testing model // International Journal of Computer Applications. 2012. Т. 59. № 5. С. 16-20.
37. Holik F., Horalek J., Marik O., Neradova S., Zitta S. Effective penetration testing with Metasploit framework and methodologies // 2014 IEEE 15th International Symposium on Computational Intelligence and Informatics (CINTI). IEEE, 2014. С. 237-242.
38. Herzog P. Open-source security testing methodology manual // Institute for Security and Open Methodologies (ISECOM). 2003.
39. Engebretson P. The Basics of Hacking and Penetration Testing. Ethical Hacking and Penetration Testing Made Easy. Amsterdam: Syngress, Elsevier, 2011. 159 c.
40. Баранова Е. К., Чернова М. В. Сравнительный анализ программного инструментария для анализа и оценки рисков информационной безопасности // Проблемы информационной безопасности. Компьютерные системы. 2014. № 4. С. 160-168.
41. Бегаев А. Н., Бегаев С. Н., Федотов В. А. Тестирование на проникновение. СПб: Университет ИТМО, 2018. 45 с.
42. Богораз А. Г., Пескова О. Ю. Методика тестирования и оценки межсетевых экранов // Известия ЮФУ. Технические науки. 2013. № 12 (149). С. 148-156.
43. Спирин Н. А., Лавров В. В. Методы планирования и обработки результатов эксперимента / под ред. Н.А. Спирина. - Екатеринбург: ГОУ ВПО УГТУ-УПИ, 2004. 257 с.
44. Хорольский В. Я., Таранов М. А., Шемякин В. Н., Аникуев С. В. Экспериментальные исследования в электроэнергетике и агроин-женерии. Ставрополь: АГРУС, 2013. 106 с.
45. Макаренко С. И. Технико-экономический анализ целесообразности внедрения новых технологических решений // Системы управления, связи и безопасности. 2016. № 1. С. 278-287. DOI: 10.24411/2410-9916-2016-10112.
CRITERIA AND PARAMETERS FOR ESTIMATING QUALITY
OF PENETRATION TESTING
Makarenko S. I.2
Relevance. Security issues of information systems in critical infrastructure objects become important now. However, current tasks of information security audit of critical infrastructure objects are mainly limited to checking them for compliance with requirements of standards and documents. With this approach to the audit, security of these objects from real attacks by hackers remains unclear. Therefore, objects are subjected to a testing procedure, namely, penetration testing, in order to objectively verify their security. An analysis of publications in this area shows that there is not mathematical approaches to selection of tests, as well as parameters and criteria for evaluating the effectiveness of penetration testing.
The goals of the paper is to form specific parameters of completeness, efficiency, reliability and cost of testing, as well as, in a generalized form, a group of criteria "efficiency/cost", allowing to estimate the quality of test sets, as well as to compare different penetration testing scenarios with each other.
Research methods. Methods of probability theory and mathematical statistics, methods of processing experimental data, as well as the results of other studies in the field of software security testing are used in the paper to achieve the research goals.
Results. The general form of the "efficiency/cost" criteria for estimating the quality of penetration testing, as well as formal particular parameters for evaluating separate parameters in the proposed criteria - the parameters of completeness, efficiency, reliability and cost are presented in the paper. The results of the paper can be used by auditors and testers to objectively justify test sets and compare different penetration testing scenarios with each other. The material of the paper can be useful for specialists who make research is such an area as penetration testing.
Keywords: penetration testing, information technology impact, testing quality criterion, testing quality, testing completeness, testing efficiency, testing reliability, testing cost.
2 Sergey Makarenko, Dr.Sc., Associate Professor, Lead researcher St. Petersburg Federal Research Center of the Russian Academy of Sciences. The field of scientific interests: networks and communication systems; Electronic warfare; Information security Information confrontation. St. Petersburg, Russia. E-mail: mak-serg@yandex.ru. ORCID: 0000-0001-9385-2074
References
1. Makarenko S. I. Audit informatcionnoi" bezopasnosti: osnovny"e e"tapy", kontceptual"ny"e osnovy", classifikatciia meropriiatii" // Sistemy" upravleniia, sviazi i bezopasnosti. 2018. № 1. S. 1-29. DOI: 10.24411/2410-9916-2018-10101.
2. Makarenko S. I. Audit bezopasnosti kriticheskoi" infrastruktury" spetcial"ny"mi informatcionny"mi vozdei"stviiami. Monografiia. SPb.: Naukoemkie tekhnologii, 2018. 122 s.
3. Markov A. S., Tcirlov V. L., Barabanov A. V. Metody" ocenki nesootvetstviia sredstv zashchity" informatcii / pod red. A.S. Markova. - M.: Radio i sviaz\ 2012. 192 s.
4. Skabtcov N. Audit bezopasnosti informatcionny"kh sistem. SPb.: Peter, 2018. 272 s.
5. Penetration Testing. Procedures & Methodologies. - EC-Council Press, 2011. 237 p.
6. Kennedy D., O'Gorman J., Kearns D., Aharoni M. Metasploit. The Penetration Tester's Guide. San Francisco: No Starch Press, 2011. 299 p.
7. Makan K. Penetration Testing with the Bash shell. - Birmingham: Pact Publishing, 2014. 133 p.
8. Cardwell K. Building Virtual Pentesting Labs for Advanced Penetration Testing. Birmingham: Pact Publishing, 2016. 518 p.
9. Makarenko S. I., Smirnov G. E. Analiz standartov i metodik testirovaniia na proniknovenie // Sistemy" upravleniia, sviazi i bezopasnosti. 2020. № 4. S. 44-72. DOI: 10.24411/2410-9916-2020-10402.
10. Climov S. M. Imitatcionny"e modeli ispy"tanii" kriticheski vazhny"kh informatcionny"kh ob""ektov v usloviiakh komp"iuterny"kh atak // Izvestiia IUFU. Tekhnicheskie nauki. 2016. № 8 (181). S. 27-36.
11. Climov S. M., Sy"chyov M. P. Stendovy"i" poligon uchebno-trenirovochny"kh i ispy"tatel"ny"kh sredstv v oblasti obespecheniia informatcionnoi" bezopasnosti // Informatcionnoe protivodei"stvie ugrozam terrorizma. 2015. № 24. S. 206-213.
12. Petrenko A. A., Petrenko S. A. Kiberucheniia: metodicheskie rekomendatcii ENISA // Voprosy" kiberbezopasnosti. 2015. № 3 (11). S. 2-14.
13. Baranova E. K., Hudy"shkin A. A. Osobennosti analiza bezopasnosti informatcionny"kh sistem metodom testirovaniia na proniknovenie // Modelirovanie i analiz bezopasnosti i riska v slozhny"kh sistemakh. Trudy" mezhdunarodnoi" nauchnoi" shkoly" MABR - 2015. S. 200-205.
14. Dorofeev A. Testirovanie na proniknovenie: demonstratciia odnoP uiazvimosti ili ob""ektivnaia ocenka zashchishchennosti? // Zashchita informatcii. InsaPd. 2010. № 6 (36). S. 72-73.
15. Umnitcy"n M. Iu. Podhod k polunaturnomu analizu zashchishchennosti informatcionnoP sistemy" // Izvestiia Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta. 2018. № 8 (218). S. 112-116.
16. Borodin M. K., Borodina P. Iu. Testirovanie na proniknovenie sredstva zashchity" informatcii VGATE R2 // RegionaPnaia informatika i informatcionnaia bezopasnost\ SPb., 2017. S. 264-268.
17. Treshchev I. A., Vorob"ev A. A. O podhode k provedeniiu testirovaniia na nalichie uiazvimosteP informatcionny"kh sistem // Proizvodstvenny"e tekhnologii budushchego: ot sozdaniia k vnedreniiu. Materialy" mezhdunarodnoP nauchno-prakticheskoP konferentcii. KomsomoPsk-na-Amure, 2017. S. 175-182.
18. Baloch R. Ethical hacking and penetration testing guide. London: CRC Press, 2017. 492 c.
19. Poltavtceva M. A., Pechenkin A. I. Intellektual"ny"i" analiz danny"kh v sistemakh podderzhki priniatiia resheniP pri testirovanii na proniknovenie // Problemy" informatcionnoP bezopasnosti. Komp"iuterny"e sistemy". 2017. № 3. S. 62-69.
20. Kadan A. M., Doronin A. K. Infrastrukturny"e oblachny"e resheniia dlia zadach testirovaniia na proniknovenie // Ucheny"e zapiski ISGZ. 2016. T. 14. № 1. S. 296-302.
21. Eremenko N. N., Kokoulin A. N. Issledovanie metodov testirovaniia na proniknovenie v informatcionny"kh sistemakh // Master's Journal. 2016. № 2. S. 181-186.
22. Tumanov S. A. Sredstva testirovaniia informatcionnoP sistemy" na proniknovenie // Doclady" Tomskogo gosudarstvennogo universiteta sistem upravleniia i radioe"lektroniki. 2015. № 2 (36). S. 73-79.
23. Kravchuk A. V. Model" protcessa udalennogo analiza zashchishchennosti informatcionny"kh sistem i metody" povy"sheniia ego rezuPtativnosti // Trudy" SPIIRAN. 2015. № 1 (38). S. 75-93.
24. Gorbatov V. S., Meshcheriakov A. A. Sravnitel"ny"i" analiz sredstv kontrolia zashchishchennosti vy"chislitel"noi" seti // Bezopasnost" informatcionny"kh tekhnologii". 2013. T. 20. № 1. S. 43-48.
25. Kosenko M. Iu. Sbor informatcii pri provedenii testirovaniia na proniknovenie // Vestneyk UrFO. Bezopasnost" v informatcionnoi" sfere. 2013. № 3 (9). S. 11-15.
26. Makarenko S. I. Spravochnik nauchny"kh terminov i oboznachenii". SPb.: Naukoemkie tekhnologii, 2019. 254 s.
27. Boi"ko A. A., D"iakova A. V. Sposob razrabotki testovy"kh udalenny"kh informatcionno-tekhnicheskikh vozdei"stvii" na prostranstvenno raspredelenny"e sistemy" informatcionno-tekhnicheskikh sredstv // Informatcionno-upravliaiushchie sistemy". 2014. № 3 (70). S. 84-92.
28. Boi"ko A. A., D"iakova A. V., KHramov V. Iu. Metodicheskii" podhod k razrabotke testovy"kh sposobov udalennogo informatcionno-tekhnicheskogo vozdei"stviia na prostranstvenno raspredelenny"e sistemy" informatcionno-tekhnicheskikh sredstv // Kibernetika i vy"sokie tekhnologii XXI veka XV Mezhdunarodnaia nauchno-tekhnicheskaia konferentciia. Voronezh: NPF«SAKVOEE», 2014. S. 386-395.
29. Boi"ko A. A., Obushchenko E. Iu., Shcheglov A. V. Osobennosti sinteza polnogo mnozhestva testovy"kh sposobov udalennogo informatcionno-tekhnicheskogo vozdei"stviia na prostranstvenno raspredelenny"e sistemy" informatcionno-tekhnicheskikh sredstv // Vestneyk Voronezhskogo gosudarstvennogo universiteta. Seriia: Sistemny"i" analiz i informatcionny"e tekhnologii. 2017. № 2. S. 33-45.
30. Shcheglov A. V., KHramov V. Iu. Sposob razrabotki testovy"kh udalenny"kh informatcionno-tekhnicheskikh vozdei"stvii" na prostranstvenno-raspredelenny"e sistemy" informatcionno-tekhnicheskikh sredstv // Sbornik studencheskikh nauchny"kh rabot fakul"teta komp"iuterny"kh nauk VGU FGBOU VO «Voronezhskii" gosudarstvenny"i" universitet». Voronezh, 2016. S. 203-210.
31. Moeller R. R. IT Audit, Control, and Security. Hoboken: John Wile & Sons, Inc., 2010. 667 p.
32. McDermott J. P. Attack net penetration testing // NSPW. 2000. S. 15-21.
33. Klevinsky T. J., Laliberte S., Gupta A. Hack IT: security through penetration testing. Addison-Wesley Professional, 2002. 512 c.
34. Pfleeger C. P., Pfleeger S. L., Theofanos M. F. A methodology for penetration testing // Computers & Security. 1989. T. 8. № 7. S. 613-620.
35. Alisherov F., Sattarova F. Methodology for penetration testing // International Journal of Grid and Distributed Computing. 2009. S. 43-50.
36. Ami P., Hasan A. Seven phrase penetration testing model // International Journal of Computer Applications. 2012. T. 59. № 5. S. 16-20.
37. Holik F., Horalek J., Marik O., Neradova S., Zitta S. Effective penetration testing with Metasploit framework and methodologies // 2014 IEEE 15th International Symposium on Computational Intelligence and Informatics (CINTI). IEEE, 2014. S. 237-242.
38. Herzog P. Open-source security testing methodology manual // Institute for Security and Open Methodologies (ISECOM). 2003.
39. Engebretson P. The Basics of Hacking and Penetration Testing. Ethical Hacking and Penetration Testing Made Easy. Amsterdam: Syngress, Elsevier, 2011. 159 c.
40. Baranova E. K., Chernova M. V. SravniteTnyT analiz programmnogo instrumentariia dlia analiza i ocenki riskov informatcionnoi" bezopasnosti // Problemy" informatcionnoi" bezopasnosti. Komp'iuterny'e sistemy". 2014. № 4. S. 160-168.
41. Begaev A. N., Begaev S. N., Fedotov V. A. Testirovanie na proniknovenie. SPb: Universitet ITMO, 2018. 45 s.
42. Bogoraz A. G., Peskova O. Iu. Metodika testirovaniia i ocenki mezhsetevy'kh e'kranov // Izvestiia IUFU. Tekhnicheskie nauki. 2013. № 12 (149). S. 148-156.
43. Spirin N. A., Lavrov V. V. Metody" planirovaniia i obrabotki rezul'tatov e'ksperimenta / pod red. N.A. Spirina. - Ekaterinburg: GOU VPO UGTU-UPI, 2004. 257 s.
44. Horofskii" V. I a., Taranov M. A., Shemiakin V. N., Anikuev S. V. E'ksperimentaTny'e issledovaniia v e'lektroe'nergetike i agroinzhenerii. Stavropol": AGRUS, 2013. 106 s.
45. Makarenko S. I. Tekhniko-e'konomicheskii" analiz tcelesoobraznosti vnedreniia novy'kh tekhnologicheskikh reshenii" // Sistemy" upravleniia, sviazi i bezopasnosti. 2016. № 1. S. 278-287. DOI: 10.24411/2410-9916-2016-10112.
