CC BY
186
УДК GG6.S6
DOI: 10.21285/1814-3520-2016-5-65-72
ФОРМИРОВАНИЕ МЕТРИК ДЛЯ ИЗМЕРЕНИЯ РЕЗУЛЬТАТИВНОСТИ СИСТЕМ МЕНЕДЖМЕНТА ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ
© И.И. Лившиц1, П.А. Лонцих2
1
1ООО «Газинформсервис»,
19B096, Россия, г. Санкт-Петербург, ул. Кронштадтская, 10а. 2Иркутский национальный исследовательский технический университет, 664074, Россия, г. Иркутск, ул. Лермонтова, 83.
Актуальность публикации вызвана вниманием к проблеме формирования достоверных данных измерения (оценки) результативности систем менеджмента информационной безопасности (СМИБ). Лица, принимающие решения, должны оперировать достоверными данными выполнения измерений результативности СМИБ, основанными на объективных количественных метриках ИБ. Поставленная проблема формирования методик измерений имеет известную сложность при обосновании выбора метрик ИБ, позволяющих оценить численно результативность СМИБ. В качестве методической базы для выбора метрик ИБ применяются стандарты ISO серии 27000. Результаты исследования могут найти практическое применение при независимой оценке СМИБ. Ключевые слова: информационная безопасность, система менеджмента информационной безопасности, метрики, стандарт, измерение результативности.
FORMATION OF METRICS TO MEASURE INFORMATION SECURITY MANAGEMENT SYSTEM EFFICIENCY I.I. Livshits, P-А. Lontsikh
"Gasinformservis" LLC,
10a Kronshtadskaya St., Saint-Petersburg, 198096, Russia. Irkutsk National Research Technical University, 83, Lermontov St., Irkutsk, 664074, Russia.
The relevance of this publication is determined by the topicality of the problem of forming reliable data of measurement (assessments) of IT-Security Management Systems (ISMS) efficiency. Decision-makers must operate reliable data of ISMS measurement effectiveness based on objective quantitative IT-Security metrics. The set problem of measurement technique formation has some difficulty in the justification of the selection of IT-Security metrics that enable numerical evaluation of ISMS effectiveness. ISO standards of 27000 series are used as a methodological base for the selection of IT-Security metrics. The research results may find practical application in the independent ISMS assessment. Keywords: information security, information security management system, metrics, standard, effectiveness assessment
Проблема выполнения измерений как процесс оценки для больших и/или сложных систем рассматривалась в классических трудах Н. Винера, И. Кини и Х. Райфа, И. Пригожина [10, 12, 18, 19]. В работе Н. Винера отмечено требование невмешательства человека в процесс начиная с момента ввода исходных данных и до получения результата [10, с. 47]. В работе И. Кини и Х. Райфа большое внимание уделено потоку данных, поступающему уже непосредственно в самом процессе. Отмечается, что выработка и анализ возможных альтернатив действий становятся явно за-
висимыми от информации, которая станет известна в процессе [12, с. 24]. В работах И. Пригожина отмечается подход Карла Рубино, который акцентирует внимание на философском принципе выполнения любой деятельности, в том числе оценки: при рассмотрении любого предмета не следует стремиться к большей точности, чем допускает природа предмета [18, 19].
Под системой менеджмента информационной безопасности (СМИБ) подразумевается открытая система, постоянно осуществляющая обмен, в частности информационный, с внешней средой. Иначе
1
Лившиц Илья Иосифович, кандидат технических наук, ведущий аналитик, e-mail: livshitz.il@yandex.ru Livshits Ilia, Candidate of Engineering sciences, Leading Analyst, e-mail: livshitz.il@yandex.ru
2Лонцих Павел Абрамович, доктор технических наук, профессор, заведующий кафедрой управления качеством и механики, e-mail: palon@list.ru
Lontsikh Pavel, Doctor of technical sciences, Professor, Head of the Department of Quality Management and Mechanics, e-mail: palon@list.ru
говоря, СМИБ как объект и создается для эффективного противодействия внешним негативным воздействиям среды на защищаемую систему. Данные воздействия могут быть описаны в пространстве параметров (на практике - метрик), по которому наблюдатель - лицо, принимающее решения (ЛПР), объективно судит о состоянии системы в каждый требуемый (дискретный) момент времени.
Постановка задачи
В настоящее время опубликованы материалы, посвященные проблеме измерения и формирования достоверных оценок результативности и в том числе обеспечения достоверности, защиты и резервирования СМИБ [14, 16]. В ряде публикаций отражены подходы к управлению измерениями в системах менеджмента (СМ), организации системы аудитов информационной безопасности (ИБ) и анализа со стороны руководства. Показано, что эти же подходы могут быть применены и в интегрированных системах менеджмента (ИСМ) [13, 15]. Отмечено, что нормативная база для решения данной проблемы - стандарты ISO серии 27000 [4-6], а также рекомендации NIST серии 80о-53 [9]. Однако не все специалисты однозначно понимают существенное различие в терминологии: «результативность» (effectiveness) отличается от «эффективности» (efficiency) [7]. Соответственно, различаются методические подходы и метрики, применяемые экспертами ИБ при измерении, что затрудняет формирование объективных рекомендаций ЛПР для планирования и реализации программы необходимых измерений. В то же время успех стандартов серии 27001 привлекает внимание экспертов (см. актуальный обзор ISO за 2014 г. [8]) и способствует унификации для ЛПР применяемых методик измерений и формированию набора метрик ИБ на базе ISO [5, 6, 8].
Необходимо определить заинтересованные стороны (stakeholdes [7]), которым следует принимать участие в определении области измерений СМ (ИСМ). Специфические оценки результативности мер (средств) обеспечения ИБ (controls [6]) сле-
дует определять и доводить до сведения заинтересованных сторон, которые могут быть внутренними или внешними по отношению к организации (п. 7.2 стандарта ISO 27001 [4]). Следовательно, требуется механизм контроля передачи информации на разные интерфейсы (модель такой системы представлена в [4, 16]). Система метрик ИБ поможет поддержать принятие решений ЛПР на соответствующих уровнях иерархии СМИБ, например, определение результативности основных видов деятельности, зависящих от обеспечения заданного ЛПР уровня ИБ [15-17].
С учетом сказанного задача формулируется следующим образом: разработать методику выполнения измерений и формирования численных (количественных) метрик ИБ для оценки результативности СМИБ, соответствующих иерархической системе управления организации.
Выявленные противоречия
Изучение указанных выше работ и современной нормативной базы позволило выявить следующие противоречия.
Первое противоречие связано с тем, что значительное количество разработанных стандартов (международных, государственных, отраслевых) обуславливает широчайшую вариативность комбинаций их применения для целей обеспечения ИБ. В частности, ряд национальных стандартов ГОСТ Р «не успевают» обновляться синхронно с пересмотром международных стандартов ISO (например, ISO/IEC 27001:2013 и ГОСТ Р ИСО/МЭК 270012006). Ведомственные (отраслевые) системы стандартизации демонстрируют более серьезное отставание - на два и более поколения:
■ Стандарт СТО Газпром 4.2-3-0032009 СОИБ «Анализ и оценка рисков» содержит ссылку на отмененные британские стандарты BS серии 7799 версии 2002 г.;
■ «Положение по аттестации объектов информатизации по требованиям безопасности информации» (утв. председателем Государственной технической комиссии при Президенте Российской Федерации 25 ноября 1994 г.).
Второе противоречие определяется тем фактом, что выбор наилучшего множества применимых метрик ИБ для оценки СМИБ по критерию наилучшего достижения поставленной цели - обеспечение заданного уровня ИБ, затруднен отсутствием механизма единственного гарантированного «разумного подхода» ЛПР (в терминах Вильфредо Парето [12]). Соответственно, возникают следующие критические риски:
- неверное определение (неизмеримость) целей создания СМИБ как системы управления сложным объектом;
- технические решения не в полной мере могут обеспечивать требуемый уровень ИБ для заданного перечня бизнес-процессов.
Для ЛПР необходимо предоставить фиксированное множество критериев ИБ, размерность которого позволяет решать задачу выбора Парето-оптимального множества решений с перспективой результативного применения в приемлемое время. Для целей обеспечения заданного уровня ИБ необходимо решить несколько противоречивых задач, в частности, определить перечень и размерность критериев доступных мер (средств) ИБ к внедрению СМИБ, учесть ограниченность бюджета, времен-нь1х ресурсов, а также наличие (отсутствие) квалифицированного персонала на определенный временной период.
Базовые требования к формированию метрик ИБ
В аспекте постановки задачи важно, что в стандарте ISO 27004 определены требования к программе измерений, обеспечения достоверности, защиты и резервирования (п. 5.2 [4]), в частности, по предоставлению результатов измерений заинтересованным сторонам для определения потребности в совершенствовании СМИБ. В стандарте определены факторы, способствующие успеху программы измерений для совершенствования СМИБ, среди которых отметим количественную оценку мер безопасности и оценку полезности результатов измерений. Эти требования, по сути, представляют собой явный «мини-цикл»
PDCA (цикл Деминга), который реализуется в СМИБ на соответствующих иерархических уровнях управления и «снабжает» ЛПР данными для принятия эффективных управляющих решений. Методика выбора конкретных метрик ИБ должна ориентироваться на количественное измерение уровня ИБ применительно к защищаемым активам [15, 16].
В то же время в ряде нормативных документов не приводится необходимых метрик ИБ (даже самых простых), на базе которых возможно создание системы измерения результативности, обеспечения достоверности, защиты и резервирования СМИБ. В частности, в ГОСТ Р 52447-2005 [2] для средств защиты информации приводятся только некоторые показатели живучести: рабочий диапазон температур, рабочий диапазон относительной влажности (см. табл. 1 и 2 в [2]). В табл. 9 стандарта [2] приведена номенклатура показателей качества, которая может быть дополнена из приложения «С» [5] в части уязвимостей, например, «Оценка уязвимостей» (п. 1.2.7 [5]).
Таким образом, для предлагаемой методики выполнения измерений результативности СМИБ формирование метрик ИБ, пригодных для получения достоверных, унифицированных оценок, необходимо выполнять как на базе стандартов ISO серии 27001, так и иных нормативных документов (ГОСТ, NIST), позволяющих получать достоверные и воспроизводимые оценки. Отметим, что отчеты с результатами измерений, подлежащие распространению на «внешнем интерфейсе» (в терминах [15]), должны утверждаться соответствующими заинтересованными лицами перед выпуском (п. 9.3 стандарта [4]).
Соответственно, могут быть предложены различные категории метрик ИБ, унифицированных к типу защищаемых активов организаций:
- простые метрики (например, количество выявленных инцидентов и событий ИБ, количество предотвращенных утечек ПДн, количество проведенных по плану аудитов ИБ);
- сложные метрики (например, отношение стоимости мер защиты к стоимости защищаемых активов);
- комплексные метрики (например, число произошедших инцидентов ИБ, приведших к ущербу (вынужденному простою) в ИС, определенных как критичные для бизнеса).
Требования к выбору метода измерения
Для каждой отдельной основной меры измерения должен быть определен метод измерения, используемый для количественного определения объекта измерения путем сопоставления атрибута и значения, которое придается основной мере измерения [4]. Рекомендуется применять объективный метод измерения, использующий количественную оценку, которая может быть реализована «машинным» способом (IPS, SEIM, DLP). Важно, что в терминах Федерального закона РФ «Об обеспечении единства измерений» указан класс таких средств: «технические системы и устройства с измерительными функциями - технические системы и устройства, которые наряду с их основными функциями выполняют измерительные функции» [1]. Это позволяет говорить о применении технических систем именно для практической цели - получение автоматических («машинных») данных для формирования общей количественной оценки уровня безопасности.
Для каждого метода измерений следует устанавливать и документировать процесс верификации, обеспечивающий уровень доверия к значению, которое достигается применением метода измерений к атрибуту объекта измерения и назначается для основной меры измерения. Метод измерения должен оставаться единообразным в течение «оперативного» времени (как в «мини-цикле» PDCA, так и полном цикле PDCA СМИБ) с тем, чтобы значения, приданные основной (производной) мерам измерения и полученные в разное время, были сопоставимыми [4, 6].
Применение теории элитных групп для отбора метрик ИБ
Для отбора наилучшей в смысле
решения поставленной задачи совокупности метрик ИБ предлагается применять известные положения «элитных групп» (предложены А.Н. Ефимовым [11]), дополненные новыми функциями применительно к реализации цикла PDCA в СМИБ. Имеется совокупность элементов счетного множества Y (для целей данной публикации -множество метрик ИБ). Свойство каждого элемента выражается определенной критериальной величиной yi, находящейся в диапазоне 0 < y < 1, и известно, что чем большего значения достигает у, тем лучше. В частности, это требование точно соответствует задаче оценки конкретного атрибута: чем лучше его «абсолютная» оценка, тем лучше и тем выше общая оценка измерения результативности СМИБ.
Известна цель - 0 < а < 1, известно требование - достижение цели с условием, чтобы некоторый показатель качества был не ниже заданной величины а < 1. Задача формируется как отбор из исходного множества Y заданного количества элементов для достижения поставленной цели с заданным показателем качества. В множестве Y могут присутствовать и элементы yi, для которых выполняются условия: y > а («элитные» элементы) и yi < а («сорные» элементы).
В предложенном методе экспертам дополнительно рекомендуется случайно выбирать элементы у, что, во-первых, является требованием ГОСТ Р ИСО 19011:2011 [3] по формированию выборки аудита (audit sample) и, во-вторых, должно исключить на практике случаи «подгонки» множества элементов Y под заранее заданный результат а. Таким образом, распределение качества Y в определенной элитной группе может характеризоваться плотностью распределения [17]: Feliteiy) =
ß f (у): у < а;
F (а) 1- ß l-F(a)
f (УУ У^ а
(1)
где а - показатель качества; в - вероятность отбора в элитную группу «сорных» элементов; F(y) - функция распределения качества y в исходной группе; f (y) - соот-
>
ветствующая плотность распределения.
Важно, что если в силу ряда причин элементы отобранной элитной группы могут выбывать, но требуется сохранить «представительность» данной группы для целей измерения (например, для целей измерения в процессе аудитов ИБ определенного фиксированного количества процессов СМИБ и/или ИСМ), то необходимо решать задачу повторного выбора элементов из оставшейся базовой совокупности У. Общий алгоритм применения элитных групп, дополненный и адаптированный для целей измерения результативности СМИБ, показан на рисунке.
В предложенном алгоритме введены новые функции в строгом соответствии с
циклом РОСА. Тогда в формуле (1) должен быть принят во внимание (для целей данной публикации) ряд новых обстоятельств, при этом необходимо:
- ориентироваться, прежде всего, на долю элитных элементов, удовлетворяющих у > а, но ранее не отобранных;
- отслеживать характер изменения качества каждого отобранного элитного элемента при наличии достаточных ресурсов - всей совокупности элитных элементов, в том числе резерва множества У;
- Формировать правила выбора, ротации и отсева элитных элементов (на практике это означает пересмотр метрики ИБ по итогам, например, внутреннего аудита СМИБ и/или ИСМ).
( КОнвц )
Алгоритм применения элитных групп для СМИБ Algorithm of elite group application for ISMS
Описание нового алгоритма отбора элиты для выбора метрик аудита ИБ
Опишем представленный выше новый алгоритм более детально, по шагам.
Шаг 1. На фазе «Plan» цикла PDCA ЛПР определяет требуемый уровень обеспечения ИБ а. Результативность СМИБ определяется численным значением R. Rj для j-аудита определяется в простейшем случае как
Rj=1 l1l=iAi*Yi, (2)
где Rj - оценка результативности СМИБ для j-аудита; Yi - /-метрика для j-аудита ИБ; Ai - весовой коэффициент /-метрики для j-аудита ИБ; i - индекс метрики (1-n).
Требуется обеспечить R — а. Соответственно, требуется, чтобы Yi > а, иначе говоря, чтобы /-метрика, применяемая при j-аудите ИБ, была бы не хуже, чем требуемый (заданный) уровень обеспечения ИБ а. Общий набор всех метрик ИБ называется исходным набором N0. Состав множества
если на последующих шагах (/+1-аудит, j+2-аудит, ...) в рамках программы аудита возникнет такая потребность.
Шаг 2. Для формирования элиты метрик ИБ учитываются параметры программы и планов аудитов ИБ. В частности, влияние оказывает перечень установленных критериев аудитов, состав объектов, частота аудитов (для накопления и анализа статистики наблюдений аудита).
Следует учитывать дополнительно:
- количество объектов, проверяемых на /-аудите, к;
- количество аудитов в годовой программе аудитов (1-т), /.
С учетом формирования Мьа$е формула (2) претерпевает изменения и принимает следующий вид:
^=1 1 1о=1 (3)
Таким образом, в финале годовой программы аудита получаем матрицу «Аудит. Объект. Значение метрики».
Аудит Объект
Oi O2 O3 Ok
Ai Yii Y1k
A2 Y21 Y2k
A3 Y31 Y3k
Ai Yii Yik
определяется критериями /-аудита. Важно, что в набор N0 должны обязательно включаться все типы критериев аудита - базовые, расширенные и специальные.
Из исходного набора N0 необходимо сформировать базовый набор Nbase■ Для отбора метрик из N0 в Nbase должен применяться определенный эталон. Важно, что в качестве эталона должен применяться внешний по отношению к исходной совокупности метрик N0 норматив. С учетом спецификации N0 по трем категориям метрик должен быть обеспечен выбор такого эталона, который позволяет, во-первых выполнить основное правило - Yi > а, во-вторых, обеспечить соответствие критериев аудита. Также важно, что формирование Nbase может быть выполнено итерационно,
Шаг 3. На фазе «Do» цикла PDCA устанавливается j=1,..., k. Формируется множество Y исходя из установленных метрик аудита (например, ISO 27001), которое называем базовым множеством.
Для каждого объекта применяется заданное множество метрик аудита Y, последовательно измеряются все элементы множества Y. Формируется показатель группы, например, по аналогии с СТО БР ИББС, «домена» PCI DSS или ISO 27001. По формуле (3) вычисляется результативность СМИБ и определяется, достигает ли R установленного значения а.
Шаг 4. На фазе «Check» цикла PDCA проверяется достижение установленного показателя а по величине рассчитанного текущего значения Ri.
Шаг 5. На фазе «Act» цикла PDCA выполняется комплекс мер анализа и реагирования по итогам измерения результативности на предыдущем шаге.
В случае достижения (или превышения) набор Yi считается элитой, далее выполняется только периодический контроль адекватности применения. По отдельной рекомендации ЛПР допускает «прореживание» текущего набора элиты с целью замены устаревших и неадекватных метрик ИБ новыми, но только после подтверждения результативности на i+1-аудите ИБ в рамках текущей программы аудитов.
В случае, если R > а возможна дальнейшая оптимизация элиты, которая предпринимается с целью сокращения издержек на проведение аудитов ИБ. В частности, это может быть замена из базового набора метрик ИБ «суперэлиты», которые позволяют стабильно контролировать адекватный уровень результативности СМИБ, но их количество может быть сокращено по сравнению с базовым перечнем.
Если R > а, то Nelte < Nbase < N0.
В случае недостижения цели выполняется изменение принципа формирования элиты по следующему правилу:
- ранжирование элементов множества Yi по убыванию;
- отбор всех Yi < а, формирование множества для «прореживания» элиты Yi{,
- замена наиболее «слабых» представителей множества Yi{,
- проведение внеочередного аудита на одном из объектов m;
- увеличение частоты проведения аудитов с тем, чтобы применяемый минимальный набор заведомо слабых элементов элиты постепенно подтянуть до уровня а;
- уменьшение области аудита (scope) с тем, чтобы исключить применение заведомо слабых элементов элиты;
- уменьшение количества объектов m в программе аудитов с тем, чтобы все внимание сфокусировать на минимальном наборе элементов элиты, применяемых на конкретном наборе m.
Таким образом, представленная новая методика отбора метрик ИБ на базе теории элитных групп позволяет получать оценки результативности СМИБ, востребованные для принятия адекватных управленческих решений.
Статья поступила 21.03.2016 г.
Библиографический список
1. Об обеспечении единства измерений: федер. закон РФ от 26.06.200B г. № 102-ФЗ [Электронный ресурс] // Российская газета - RG.RU. Федеральный выпуск № 4697. URL: http://rg.ru/2008/07/02/izmere-niya-dok.html (10.08.2015).
2. ГОСТ Р 52447-2005. Защита информации. Техника защиты информации. Номенклатура показателей качества. М.: Стандартинформ, 2006. 23 с.
3. ГОСТ Р ИСО 19011:2011. Руководящие указания по проведению аудитов систем менеджмента. М.: Стандартинформ, 2013.
4. ISO/IEC 27004:2009. Information technology - Security techniques - Information security management -Measurement. International Organization for Standardization, 2009. 55 p.
5. ISO/IEC 27005-2011. Information technology - Security techniques - Information security risk management. International Organization for Standardization, 2011. 68 p.
6. ISO/IEC 27001:2013. Information technology - Security techniques - Information security management systems - Requirements. International Organization for Standardization, 2013. 23 p.
7. ISO/IEC 27000:2014. Information technology - Secu-
rity techniques - Information security management systems - Overview and vocabulary. International Organization for Standardization, 2014. 31 p. 8. ISO [Электронный ресурс] // Официальный сайт International Organization for Standardization. URL: http://iso.org (10.08.2015).
9 NIST [Электронный ресурс] // Официальный сайт National Institute of Standards and Technology. URL: http://csrc.nist.gov (10.08.2015).
10. Винер Н. Кибернетика, или управление и связь в животном и машине. 2-е изд. М.: Наука, 1983. 344 с.
11. Ефимов А.Н. Элитные группы, их возникновение и эволюция // Знание - сила. 1988. № 1. С. 56-64.
12. Кини Р.Л., Райфа Х. Принятие решений при многих критериях. Предпочтения и замещения / пер. с англ.; под ред. И.Ф. Шехнова. М.: Радио и связь, 1981. 560 с.
13. Лившиц И.И. Подходы к решению проблемы учета потерь в интегрированных системах менеджмента // Информатизация и связь. 2013. Вып. 1. С. 57-62.
14. Лившиц И.И. Совместное решение задач аудита информационной безопасности и обеспечение доступности информационных систем на основании
требований международных стандартов BSI и ISO // Информатизация и связь. 2013. Вып. 6. С. 48.
15. Лившиц И.И. Подходы к применению модели интегрированной системы менеджмента для проведения аудитов сложных промышленных объектов -аэропортовых комплексов // Труды СПИИРАН. 2014. Вып. 6. С. 72-94.
16. Лившиц И.И. Актуальность применения метрик информационной безопасности для оценки результативности проектов систем менеджмента информационной безопасности // Менеджмент качества.
2015. Вып. 1. С. 74-81.
17. Лившиц И.И., Полещук А.В. Практическая оценка результативности СМИБ в соответствии с требованиями различных систем стандартизации - ИСО 27001 и СТО Газпром // Труды СПИИРАН. 2015. Вып. 3. С. 33-44.
18. Николис Г., Пригожин И. Познание сложного. Введение. М.: Мир, 1990. 345 с.
19. Пригожин И., Стенгерс И. Время. Хаос. Квант. К решению парадокса времени. М.: Едиториал УРСС, 2003. 240 с.
References
1. Ob obespechenii edinstva izmerenii: feder. zakon RF ot 26.06.2008 g. no. 102-FZ. Rossiiskaia gazeta -RG.RU. Federal'nyi vypusk no. 4697. Available at: http://rg.ru/2008/07/02/izmereniya-dok.html (accessed 10 August 2015).
2. GOST R 52447-2005. Zashchita informatsii. Tekhni-ka zashchity informatsii. Nomenklatura pokazatelei kachestva [Information Security. Information security method. Identification list of quality indicators]. Moscow, Standartinform Publ., 2006. 23 p.
3. GOST R ISO 19011:2011. Rukovodiashchie ukazani-ia po provedeniiu auditov sistem menedzhmenta [Guidelines for management system auditing]. Moscow, Standartinform Publ., 2013.
4. ISO/IEC 27004:2009. Information technology - Security techniques - Information security management -Measurement. International Organization for Standardization, 2009. 55 p.
5. ISO/IEC 27005-2011. Information technology - Security techniques - Information security risk management. International Organization for Standardization, 2011. 68 p.
6. ISO/IEC 27001:2013. Information technology - Security techniques - Information security management systems - Requirements. International Organization for Standardization, 2013. 23 p.
7. ISO/IEC 27000:2014. Information technology - Security techniques - Information security management systems - Overview and vocabulary. International Organization for Standardization, 2014. 31 p.
8. ISO. Available at: http://iso.org (accessed 10 August 2015).
9. NIST. Available at: http://iso.org (accessed 10 August 2015).
10. Viner N. Kibernetika, ili upravlenie i sviaz' v zhivotnom i mashine [Cybernetics or control and ties in a living creature and machine]. Moscow, Nauka Publ., 1983. 344 p.
11. Efimov A.N. Elitnye gruppy, ikh vozniknovenie i evo-liutsiia [Elite groups, their origin and evolution]. Znanie -sila - Knowledge is power, 1988, no. 1, pp. 56-64.
12. Kini R.L., Raifa Kh. Priniatie reshenii pri mnogikh kriteriiakh. Predpochteniia i zameshcheniia [Decision-making at many criteria: preferences and substitutions]. Moscow, Radio i sviaz' Publ., 1981. 560 p.
13. Livshits I.I. Podkhody k resheniiu problemy ucheta
poter' v integrirovannykh sistemakh menedzhmenta [Approaches to solving the problem of losses account in integrated management systems]. Informatizatsiia i sviaz' - Informatization and communication, 2013, issue 1, pp. 57-62.
14. Livshits I.I. Sovmestnoe reshenie zadach audita informatsionnoi bezopasnosti i obes-pechenie dostupnosti informatsionnykh sistem na osnovanii tre-bovanii mezhdunarodnykh standartov BSI i ISO [The joint decision of information security audit and availability of information systems based on the requirements of international standards BSI and ISO]. Informatizatsiia i sviaz' - Informatization and communication, 2013, issue 6, p. 48.
15. Livshits I.I. Podkhody k primeneniiu modeli integri-rovannoi sistemy menedzhmenta dlia provedeniia audi-tov slozhnykh promyshlennykh ob"ektov - aeropor-tovykh kompleksov [Approaches to applying the model of integrated management system to conduct audits of complex industrial facilities - airport complexes]. Trudy SPIIRAN - SPIIRAS Proceedings, 2014, issue 6, pp. 72-94.
16. Livshits I.I. Aktual'nost' primeneniia metrik informatsionnoi bezopasnosti dlia otsenki rezul'tativnosti proektov sistem menedzhmenta informatsionnoi be-zopasnosti [Application relevance of information security metrics to assess the effectiveness of information security management system projects]. Menedzhment kachestva - Quality management, 2015, issue 1, pp. 74-81.
17. Livshits I.I., Poleshchuk A.V. Prakticheskaia otsenka rezul'tativnosti SMIB v sootvet-stvii s trebovani-iami razlichnykh sistem standartizatsii - ISO 27001 i STO Gazprom [Practical evaluation of ISMS effectiveness in accordance with the requirements of various standardization systems - ISO 27001 and STO Gazprom]. Trudy SPIIRAN - SPIIRAS Proceedings, 2015, issue 3, pp. 33-44.
18. Nikolis G., Prigozhin I. Poznanie slozhnogo. Vvedenie [Cognition of the complex. Introduction]. Moscow, Mir Publ., 1990. 345 p.
19. Prigozhin I., Stengers I. Vremia. Khaos. Kvant. K resheniiu paradoksa vremeni [Time. Chaos. Quantum. To time paradox solution]. Moscow, Editorial URSS Publ., 2003. 240 p.
