CC BY
81
УДК 004.056.57 Дата подачи статьи: 30.05.16
Б01: 10.15827/0236-235Х.114.129-134 2016. Т. 29. №° 4. С. 129-134
ОЦЕНКА СТЕПЕНИ ВЛИЯНИЯ АНТИВИРУСНЫХ ПРОГРАММНЫХ СРЕДСТВ НА КАЧЕСТВО ФУНКЦИОНИРОВАНИЯ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ
Е.Б. Дроботун, к.т.н.., докторант, drobotun@xakep.ru; Д.В. Козлов, курсовой офицер, kDzlov.den.vikt@mail.ru (Военная академия воздушно-космической обороны им. Маршала Советского Союза Г.К. Жукова,
ул. Жигарева, 50, г. Тверь, 1 70022, Россия)
Наряду с качеством защиты информационно-вычислительных систем от компьютерных вирусов и вредоносных программ одним из важнейших показателей эффективности антивирусных программных средств является их ресур-соемкость. В идеальном случае антивирусное программное средство не должно оказывать никакого влияния на качество выполнения задач и функций, возложенных на защищаемую информационно-вычислительную систему. Вместе с тем следует отметить, что создать какую-либо систему защиты (в том числе и антивирусное программное средство как систему защиты от компьютерных вирусов и вредоносных программ), которая не оказывала бы никакого отрицательного влияния на защищаемый объект, практически невозможно. Исходя из этого, одним из критериев выбора антивирусного программного средства для защиты какой-либо информационно-вычислительной системы должна быть минимальная степень влияния выбранного антивирусного программного средства на качество выполнения задач и функций, возложенных на защищаемую систему.
В данной статье в качестве показателя, характеризующего степень влияния антивирусных программных средств на информационно-вычислительные системы, предлагается использовать обобщенный показатель снижения производительности защищаемой информационно-вычислительной системы, который, в свою очередь, определяется исходя из частных показателей снижения производительности при решении отдельных задач, возложенных на защищаемую систему, с учетом важности каждой задачи.
Также приведены результаты оценки степени влияния на информационно-вычислительную систему общего назначения семи широко распространенных антивирусных программных средств.
Ключевые слова: антивирусное программное средство, ресурсоемкость антивирусных программных средств, качество функционирования информационно-вычислительных систем, снижение производительности.
При выборе антивирусных программных средств (АВПС) для информационно -вычислительных систем различного назначения, помимо непосредственных характеристик эффективности этих средств по противодействию компьютерным вирусам и вредоносным программам, необходимо учитывать степень их влияния на качество функционирования защищаемых ими информационно-вычислительных систем.
Поскольку при работе все АВПС забирают часть вычислительных ресурсов (процессорное время, оперативную память и др.), влияние этих средств на защищаемую систему выражается в снижении производительности информационно -вычислительной системы, что, в свою очередь, может снизить качество выполнения возложенных на нее задач [1].
Исходя из этого, степень влияния АВПС на качество функционирования информационно-вычислительной системы можно оценить через показатель, характеризующий снижение производительности информационно-вычислительной системы при выполнении каждой из возложенных на нее задач [1, 2].
В настоящее время используются два подхода к оценке степени влияния АВПС на защищаемую информационно -вычислительную систему.
Первый подход [3-5] в качестве показателей, характеризующих влияние АВПС на защищаемую систему, использует показатели, характеризующие
расход ресурсов информационно-вычислительной системы:
- использование оперативной памяти в состоянии покоя и во время сканирования АВПС накопителей информации информационно-вычислительной системы;
- загруженность процессора в состоянии покоя и во время сканирования АВПС накопителей информации информационно-вычислительной системы;
- время чтения/записи данных на накопители информации в состоянии покоя и во время сканирования АВПС накопителей информации информационно-вычислительной системы;
- количество дочерних процессов АВПС;
- занимаемый АВПС объем на жестком диске информационно-вычислительной системы после установки;
- пропускная способность сканирования.
Перечисленные показатели достаточно просто
оценить с помощью штатных средств оценки производительности, входящих в состав практически всех операционных систем. Однако с их помощью сложно оценить снижение качества выполнения отдельных задач, возложенных на информационно-вычислительную систему. К тому же, поскольку результат оценки представляется совокупностью нескольких разнородных показателей, задача выбора рационального (с точки зрения
г
_r
С
Общая оценка степени влияния АВПС на информационно-вычислительную систему
Рис. 1. Общая схема оценки степени влияния АВПС на качество функционирования информационно-вычислительной системы
Fig. 1. General assessment scheme of antivirus software impact on the quality of information-computing systems functioning
J
потребления ресурсов) АВПС сводится к решению задачи многокритериального выбора, что представляет определенную сложность [6].
Второй подход [7-11] предполагает использование показателей падения производительности информационно-вычислительных систем при выполнении определенных типовых задач информационно-вычислительной системой с установленным АВПС, например:
- загрузка операционной системы;
- запуск каких-либо программ;
- загрузка каких-либо документов в программы, которые их обрабатывают (текстовые и графические редакторы, электронные таблицы и т.п.);
- загрузка данных из сети Интернет и др.
Как правило, при использовании второго подхода в качестве показателя, характеризующего падение производительности, используется время выполнения каждой из задач до установки АВПС в информационно-вычислительную систему и после установки АВПС. Для измерения времени выполнения задач используются различные программные средства (например, для оценки времени загрузки операционной системы - утилита Boot-Racer, а для оценки времени загрузки и запуска программ - утилита AppTimer).
Данный подход, в отличие от первого, позволяет оценить падение производительности информационно-вычислительной системы при выполнении отдельных задач, но также не лишен определенных недостатков. Во-первых, несмотря на то, что в большинстве случаев измеренные оценки однородны и представляют собой значения времени выполнения задач, они могут иметь большой разброс по количественным показателям (от сотых долей секунд до нескольких минут), а во-вторых, как и при использовании первого подхода, задача выбора рационального АВПС сводится к задаче многокритериального выбора.
Для устранения указанных недостатков и ограничений известных и применяемых способов
оценки снижения производительности информационно-вычислительных систем при их защите от компьютерных вирусов и вредоносных программ с помощью АВПС необходимо (рис. 1)
- произвести оценку снижения производительности для каждой из возложенных на информационно-вычислительную систему задач (при этом в качестве показателей снижения производительности использовать безразмерные величины в виде коэффициентов снижения производительности);
- произвести оценку уровня значимости (коэффициента важности) для каждой задачи, выполняемой информационно-вычислительной системой исходя из ее предназначения;
- произвести общую оценку степени влияния АВПС на производительность информационно-вычислительной системы путем свертки полученных коэффициентов снижения производительности для каждой из задач с учетом уровня их значимости (коэффициента важности).
Соответственно, методика оценки степени влияния АВПС на качество функционирования информационно-вычислительной системы будет являться комплексной и включать в себя три частные методики: методику оценки снижения производительности информационно-вычислительной системы при выполнении каждой из задач, возложенных на систему; методику оценки уровня значимости задач, возложенных на информационно-вычислительную систему; методику общей оценки степени влияния АВПС на качество функционирования информационно-вычислительной системы.
Методика оценки снижения производительности информационно-вычислительной системы при выполнении каждой из задач, возложенных на систему. Для оценки снижения уровня производительности информационно-вычислительных систем можно использовать как временные показатели, так и количественные.
Временные показатели характеризуют увеличение времени выполнения какой-либо задачи или
операции информационно -вычислительной системой: Д/оп = гоп - /оп, где Д4п - прирост времени выполнения задачи или операции с учетом влияния АВПС; / оп - время выполнения информационно-вычислительной системой задачи или операции с учетом влияния АВПС; /оп - время выполнения информационно-вычислительной системой задачи или операции без влияния АВПС.
Количественные показатели характеризуют уменьшение количества одновременно выполняемых информационно-вычислительной системой задач или операций за единицу времени: Дкоп = = коп - к оп, где Дкоп - снижение числа одновременно выполняемых задач или операций с учетом влияния АВПС; коп - число одновременно выполняемых задач или операций до введения в состав информационно -вычислительной системы АВПС; к оп - число одновременно выполняемых задач или операций после введения в состав информационно-вычислительной системы АВПС.
Переход к безразмерным коэффициентам снижения производительности (КПС) производится
М
следующим образом: = —— для определения
коп
коэффициента снижения производительности по
количественным показателям и = -
Чт
L„
для
определения коэффициента снижения производительности по временным показателям.
Методика оценки уровня значимости задач, возложенных на информационно-вычислительную систему. Уровень определяется путем опроса экспертов с использованием метода парных сравнений. Данный метод позволяет произвести поочередное сравнение двух элементов, игнорируя все остальные, что значительно облегчает процесс принятия решения [12].
Для этого список всех задач заносится в таблицу парных сравнений (табл. 1), а далее каждый из экспертов принимает решение по поочередной оценке значимости каждой задачи при сравнении ее с остальными путем распределения своего голоса между двумя сравниваемыми задачами
(например, если значимость сравниваемых двух задач, по мнению эксперта, одинакова, в таблицу заносятся числа 0,5 и 0,5, или, если значимость первой задачи, по мнению эксперта, значительно превосходит значимость второй задачи, в таблицу заносятся числа 0,9 и 0,1).
Таблица 1
Пример заполнения экспертом таблицы парных сравнений для пяти задач
Table 1
An example of expert filling a pairwise comparison table for five objectives
Наименование задачи Задача № 1 Задача № 2 Задача № 3 Задача № 4 Задача № 5
Задача № 1 - 0,7 0,4 0,2 0
Задача № 2 0,3 - 0,5 0,4 0,1
Задача № 3 0,6 0,5 - 0,9 0,3
Задача № 4 0,8 0,6 0,1 - 0,2
Задача № 5 1 0,9 0,7 0,8 -
Каждый эксперт заполняет свою таблицу, после чего формируется общая таблица парных сравнений всех экспертов, которая имеет такой же вид, что и таблица парных сравнений для одного эксперта, при этом значением г ц каждой ячейки данной таблицы является сумма значений г^ этой же
т
ячейки в таблицах всех экспертов: г** = , где
к=1
т - число экспертов; / = 1,п , ] = 1,п , п - число задач, возложенных на информационно-вычислительную систему.
Далее определяется суммарный уровень значи-
мости
(Rj) для j-й задачи (табл. 2): R* = yr*.
Полученные значения нормируются по фор-
Я
муле Я. _ ^ п—- таким образом, чтобы выполня-
У я R'
¿—I <=i 1
лось условие ^Я. = 1.
¡=1
Методика общей оценки степени влияния АВПС на качество функционирования информа-
Пример оценки уровня значимости четырьмя экспертами для пяти задач An example of estimating the significance level by four experts for five tasks
Таблица 2 Table 2
i=i
n
Наименование задачи Задача № 1 Задача № 2 Задача № 3 Задача № 4 Задача № 5 Суммарный уровень значимости j-й задачи (R*j) Итоговое (нормированное) значение уровня значимости j-й задачи (Rj)
Задача №1 - 2,9 1,5 0,8 0,3 2,9+1,5+0,8+0,3=5,5 0,1375
Задача №2 1,1 - 2,1 1,6 1,3 1,1+2,1+1,6+1,3=6,1 0,1525
Задача №3 2,5 1,9 - 3,6 1,2 2,5+1,9+3,6+1,2=9,2 0,23
Задача №4 3,2 2,4 0,4 - 0,9 3,2+2,4+0,4+0,9=6,9 0,1725
Задача №5 3,7 2,7 2,8 3,1 - 3,7+2,7+2,8+3,1=12,3 0,3075
ционно-вычислительной системы. Исходя из того, что для каждого частного показателя на предыдущем этапе определены их коэффициенты важности, которые определяются значимостью задач, возложенных на информационно-вычислительную систему, а также из однородности этих показателей (выражены в виде безразмерных коэффициентов), общую оценку степени влияния АВПС на качество функционирования можно определить с помощью средневзвешенного арифметического обобщенного показателя [12, 13]:
Q = YfA •
С помощью полученных общих оценок для разных АВПС возможен выбор такого из них, которое оказывает наименьшее влияние на производительность информационно -вычислительных систем и, соответственно, на качество выполнения задач, возложенных на защищаемую информационно-вычислительную систему.
Оценка степени влияния наиболее распространенных АВПС на типовую информационно-вычислительную систему с помощью предложенных методик. Под типовой информационно-вычислительной системой в данном случае понимается персональный компьютер, ориентированный на решение общих задач (просмотр и редактирование документов, просмотр интернет-страниц, работа с архивами документов и т.п.). Конфигурация компьютера, использовавшегося при оценке степени влияния АВПС на качество решения задач: процессор - Intel Core i3-2120 CPU 3.30 GHz; объем и тип оперативной памяти -2,00 Гб, DDR3; видеокарта - Intel HD Graphics Family; объем накопителя на жестком магнитном диске - 250 Гб; операционная система - Microsoft Windows 7 32 bit.
В качестве задач, возложенных на типовую информационно-вычислительную систему, были выбраны следующие:
- загрузка операционной системы;
- загрузка интернет-страницы в веб-браузер (интернет-страница - WebXakep.net, веб-браузер -Opera 12.0);
- загрузка документа в Microsoft Excel 2013 (документ объемом 13 483 байта);
- загрузка документа в Microsoft Word 2013 (документ объемом 11 888 байт, включая таблицы и рисунки);
- архивирование файлов (архивировались 3 файла общим объемом 129 536 байт, тип архива rar, архиватор WinRAR 5.0.1);
- очистка одного из локальных дисков (объем диска 3 Гб).
Всего было оценено семь наиболее распространенных АВПС: Kaspersky Internet Security 16.0.0.614 (KIS), Dr. Web Security Space 11.0, Eset NOD32 Smart Security, Microsoft Security Essentials,
McAfee LifeSafe, Symantec Endpoint Protection 12.1.6, Avast Premier.
Для каждого АВПС проводилась серия измерений по каждой задаче, включающая тридцать измерений. Измерялись время выполнения каждой задачи без установленного АВПС в информационно-вычислительной системе и время выполнения каждой задачи с каждым из вышеуказанных АВПС. После проведения серии измерений для одного АВПС производились его полное удаление и установка в информационно-вычислительную систему следующего АВПС.
Время загрузки операционной системы измерялось с помощью утилиты BootRacer 4.9 (http:// bootracer.ru.uptodown.com/download/bootracer-4-9-en-win.zip), время загрузки интернет-страницы в веб-браузер, время загрузки документов в Microsoft Excel и Microsoft Word, время очистки локального диска - с помощью программы AppTimer 1.0 (http://freesoft.ru/apptimer/download/AppTimer.zip/ getpage), время архивирования файлов - с помощью встроенного в программу архивирования таймера.
На основании работы [14] можно определить точечную оценку времени выполнения задач (t ) как среднее арифметическое полученных в ходе из-
Z30
J.
мерений результатов: t = -
30
Полученные точечные оценки среднего времени выполнения каждой задачи и рассчитанные коэффициенты снижения производительности для каждой задачи приведены в таблице 3.
Оценка коэффициента значимости задач типовой информационно-вычислительной системы производилась пятью экспертами. Результаты оценивания и расчетов уровня значимости задач представлены в таблице 4.
Результаты общей оценки уровня влияния семи оцененных АВПС представлены на рисунке 2 в виде гистограммы. Из полученных результатов
Dr Web Eset NOD Microsoft McAfee Symantec 32 SE
Рис. 2. Общая оценка степени влияния АВПС на типовую информационно-вычислительную систему с учетом значимости решаемых задач
Fig. 2. General assessment of the impact of antivirus software on a typical computing system taking into account the importance of tasks
i=i
0,95
1
0,90
0,80
0.70
0.60
0,50
0,34
0,35
0,34
0,40
0,30
0,21
0,14
0,12
0,20
0,10
0,00
Результаты оценки среднего времени ( t ) и коэффициента (K) влияния АВПС на задачи типовой информационно-вычислительной системы
The results of an assessment of anti-virus software average time ( t ) and an influence coefficient (K) on tasks of a typical information system
Таблица 3
Table 3
Задача Без антивируса KIS Dr Web Eset NOD 32 Microsoft SE McAfee Symantec Avast
t K t K t K t K t K t K t K t K
Загрузка операционной системы (задача № 1) 22,065 36,547 0,656 30,789 0,395 36,533 0,655 42,268 0,915 26,453 0,199 36,403 0,649 42,840 0,942
Загрузка сайта WebXakep.net в веб-браузер Opera (задача № 2) G,2312 0,4022 0,739 1,0601 3,585 0,2654 0,148 0,2381 0,03 0,3501 0,514 0,2597 0,123 0,3317 0,435
Загрузка документа в Microsoft Excel (задача № 3) 5,5574 7,0168 0,263 7,8613 0,415 6,0468 0,088 5,6517 0,17 7,4221 0,336 6,5914 0,186 7,0450 0,268
Загрузка документа в Microsoft Word (задача № 4) 6,4398 7,7245 0,199 7,6281 0,184 6,7961 0,055 6,6573 0,034 8,7242 0,355 7,6463 0,187 8,6536 0,344
Архивирование файлов (задача № 5) 18,94 20,56 0,086 19,23 0,015 20,01 0,057 19,98 0,055 23,89 0,261 22,15 0,169 20,34 0,074
Очистка одного из локальных дисков (задача № 6) 13,6704 15,7926 0,155 16,4047 0,2 14,8905 0,089 15,3937 0,126 16,6905 0,221 15,3443 0,122 15,3794 0,125
Таблица 4
Результаты оценки уровня значимости задач типовой информационно-вычислительной системы
Table 4
Results of the assessment of a task importance level of the of typical information systems
Задача Задача № 1 Задача № 2 Задача № 3 Задача № 4 Задача № 5 Задача № 6 Суммарный уровень значимости 7-й задачи (R*j) Итоговое (нормированное) значение уровня значимости /-й задачи (Я/)
Задача № 1 - 1,2 0,9 0,8 1,7 2,2 6,8 0,0907
Задача № 2 3,8 - 2,6 2,5 2,9 3,9 15,7 0,2093
Задача № 3 4,1 2,4 - 2,4 4,2 4,5 17,6 0,2347
Задача № 4 4,2 2,5 2,6 - 4,2 4,5 18,0 0,2400
Задача № 5 3,3 1,9 0,7 0,7 - 2,9 9,9 0,1320
Задача № 6 2,8 1,1 0,5 0,5 3,2 - 7,0 0,0933
оценки можно сделать вывод, что наименьшее влияние на информационно-вычислительную систему общего применения оказывают такие АВПС, как Microsoft Security Essential (общая оценка уровня влияния - 0,12) и ESET NOD 32 Smart Security (общая оценка уровня влияния - 0,14), а наибольшее влияние - Dr. Web Security Space 11.0 (общая оценка уровня влияния - 0,95). С полными результатами анализа степени влияния АВПС можно ознакомиться в [15].
Итак, предложенная комплексная методика позволяет проводить оценку степени влияния АВПС на качество функционирования информационно-вычислительных систем различного назначения. Полученные оценки дают возможность при выборе АВПС руководствоваться их эффективностью по противодействию компьютерным вирусам и вредоносным программам, а также учитывать степень их влияния на защищаемую информационно-вычислительную систему. Это, в свою очередь, позволит из всех АВПС, удовлетворяющих требованиям по эффективности противодействия компьютерным вирусам и вредоносным программам, выбрать наиболее рациональный (с точки зрения потребляемых ресурсов защищаемой информационно -вычислительной системы и влияния на качество ее функционирования).
Литература
1. Кустов Ф. Влияние антивирусов на производительность компьютера // Компьютерра. 2007. URL: http://www.old.com-puterra.ru/gid/342272/ (дата обращения: 16.05.2016).
2. Дехт А. Влияние антивируса на производительность // IT News. 2012. URL: http://www.it-bay.ru/?p=5507 (дата обращения: 16.05.2016).
3. Какой антивирус выбрать. 2013. URL: http://www.itlife. kiev.ua/security/129-kakoj-antivirus-vybrat (дата обращения: 16.05.2016).
4. Test wydajnosciowy (performance test). AVLab. 2014. URL: https://www.avlab.pl/sites/default/files/articles/performance_ test_2014.pdf (дата обращения: 16.05.2016).
5. AVLab: Тест антивирусов на быстродействие. 2014. URL: http://www.comss.ru/page.php?id=1693 (дата обращения: 16.05.2016).
6. Дубов Ю.А., Травкин С.И., Якимец В.Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука. Глав. ред. Физматлит, 1986. 296 с.
7. Картавенко М. Тест антивирусов на быстродействие.
2012. URL: http://www.anti-malware.ru/antivirus_test_performan ce_2012 (дата обращения: 16.05.2016).
8. Картавенко М. Тест корпоративных антивирусов на быстродействие. 2012. URL: http://www.anti-malware.ru/ corporate_antivirus_test_performance_2012 (дата обращения: 16.05.2016).
9. Шабанов И. Сравнение скорости работы ведущих антивирусов. 2005. URL: http://www.anti-malware.ru/compari-sons/compare_speed_antivirus (дата обращения: 16.05.2016).
10. Дроботун Е.Б. Самый быстрый антивирус // Хакер.
2013. № 7 (171). С. 92-94.
11. Колисниченко Д. Х-тестирование: самый скоростной
Internet Security // Хакер. 2015. № 6 (197). С. 84-89.
12. Петровский А.Б. Теория принятия решений: учебник для студ. высш. учеб. заведений. М.: Академия, 2009. 400 с.
13. Демидов Б.А. Теория и методы военно-научных исследований вооружения и военной техники. Харьков: Изд-во ВИРТА ПВО, 1990. 558 с.
14. Гмурман В.Е. Теория вероятностей и математическая статистика: учеб. пособие для вузов. М.: Высш. шк., 2003. 479 с.
15. Результаты анализа степени влияния антивирусных программных средств. 2016. URL: https://yadi.sk/dAWBAC_ 04oriqM7 (дата обращения: 16.05.2016).
Software & Systems Received 30.05.16
DOI: 10.15827/0236-235X.114.129-134 2016, vol. 29, no. 4, pp. 129-134
ASSESSMENT OF INFLUENCE OF ANTI-VIRUS SOFTWARE ON QUALITY OF INFORMATION-COMPUTING SYSTEM FUNCTIONING
E.B. Drobotun1, Ph. D. (Engineering), Doctoral Student, drobotun@xakep.ru D.V. Kozlov1, Course Officer, kozlov.den.vikt@mail.ru
1 Military Academy of the Aerospace Defence, Zhigarev St. 50, Tver, 170022, Russian Federation
Abstract. One of the most important indicators of the antivirus software effectiveness, along with the quality of information systems protection against computer viruses and malware, is resource intensity of these means. Ideally, antivirus software should not have any impact on the quality of tasks and functions assigned to a protected computing system. However, it should be noted that to build any kind of system (including anti-virus software as a protection system against computer viruses and malware) that would not have any adverse effect on a protected object is virtually impossible. Based on this fact, one of the criteria of choosing antivirus software to protect any information system should be a minimum degree of influence of selected antivirus software tools on the quality of the tasks and functions assigned to the protected system.
As an index of the degree of antivirus software influence on a computing system, the article proposes to use a generalized indicator of protected computing system performance degradation. This indicator is determined based on partial indicators of performance degradation when dealing with individual tasks assigned to the protected system, taking into account the importance of each task.
The article also presents the results of evaluation of the degree of seven common antivirus software influence on a general purpose computing system.
Keywords: antivirus software, resource intensity of antivirus software tools, quality of information computer system functioning, performance degradation.
References
1. Kustov F. The impact of antivirus software on PC performance. Computerra [Computerra]. 2007. Available at: http://www.old.computerra.ru/gid/342272/ (accessed May 16, 2016).
2. Deht A. Effect of antivirus on performance. IT News. 2012. Available at: http://www.it-bay.ru/?p=5507 (accessed May 16, 2016).
3. Which antivirus to choose. 2013. Available at: http://www.itlife.kiev.ua/security/129-kakoj-antivirus-vybrat (accessed May 16, 2016).
4. Test wydajnosciowy (performance test). AVLab. 2014. Available at: https://www.avlab.pl/sites/default/files/articles/ performance_test_2014.pdf (accessed May 16, 2016).
5. AVLab: Test of antiviruses for speed. 2014. Available at: http://www.comss.ru/page.php?id=1693 (accessed May 16, 2016).
6. Dubov Yu.A., Travkin S.I., Yakimets V.N. Mnogokriterialnye modeli formirovaniya i vybora variantov sistem [Multicriteria Models of Forming and Choosing System Variants]. Moscow, Nauka Publ., 1986, 296 p.
7. Kartavenko M. Test of antiviruses for speed. 2012. Available at: http://www.anti-malware.ru/antivirus_test_perfor mance_2012 (accessed May 16, 2016).
8. Kartavenko M. Test korporativnykh antivirusov na bystrodeystvie [Operation Speed Test of Corporate Antiviruses]. 2012. Available at: http://www.anti-malware.ru/corporate_antivirus_test_performance_2012 (accessed May 16, 2016).
9. Shabanov I. Sravnenie skorosti raboty vedushchikh antivirusov [Comparison of Leading Antiviruses Operation Speed]. 2005. Available at: http://www.anti-malware.ru/comparisons/compare_speed_antivirus (accessed May 16, 2016).
10. Drobotun E.B. The fastest antivirus. Haker [Hacker]. 2013, no. 7 (171), pp. 92-94 (in Russ.).
11. Kolisnichenko D. X-testing: the fastest Internet Security. Haker [Hacker]. 2015, no. 6 (197), pp. 84-89 (in Russ.).
12. Petrovsky A.B. Teoriyaprinyatiya resheny [The Theory of Decision Making]. Textbook for students of the higher educational institutions, Moscow, Academy Publ. center, 2009, 400 p. (in Russ.).
13. Demidov B.A. Teoriya i metody voenno-nauchnykh issledovany vooruzheniya i voennoy tekhniki [Military Research Theory and Methods for Weapons and Military Equipment]. Kharkov, VIRTA PVO Publ., 1990, 558 p.
14. Gmurman V.E. Teoriya veroyatnostey i matematicheskaya statistika [The Probability Theory and Mathematical Statistics]. Textbook for higher educational institutions. Moscow, Vysshaya shkola Publ., 2003, 479 p.
15. Rezultaty analiza stepeni vliyaniya antivirusnykh programmnykh sredstv [Analysis Results of Antivirus Software Influence Extent]. 2016. Available at: https://yadi.sk/d/WBAC_04oriqM7 (accessed May 16, 2016).
