CC BY-NC-ND
68
Концепция
А.А. Грушо, Н.А. Грушо, Е.Е. Тимонина
МЕТОДЫ ЗАЩИТЫ ИНФОРМАЦИИ ОТ АТАК С ПОМОЩЬЮ СКРЫТЫХ КАНАЛОВ И ВРАЖДЕБНЫХ ПРОГРАММНО-АППАРАТНЫХ АГЕНТОВ В РАСПРЕДЕЛЕННЫХ СИСТЕМАХ*
Проблема построения надежной защиты, опирающейся на ненадежные аппаратную и программную составляющие, использующей ненадежные глобальные сети и открытые протоколы, является для России фундаментальной научной проблемой. В работе рассматривается новая парадигма построения защиты в распределенных компьютерных системах в предположениях, что в ее компонентах могут присутствовать враждебные программно-аппаратные агенты нарушителя безопасности. Защищенность достигается обеспечением «невидимости» объектов защиты для враждебного кода. Рассматриваются методы обеспечения «невидимости» процессов, данных и программ.
Ключевые слова: безопасность распределенных компьютерных систем, враждебный код, искусственный интеллект.
Введение
Специфика России состоит в том, что в решении задачи защиты информации в распределенных системах приходится опираться на импортную технику, оснащенную иностранным программным обеспечением, которое может содержать средства скрытого информационного воздействия и разрушения. В системах связи используются протоколы, надежность которых нигде не доказана. Распределенные системы опираются на открытые сети, например Интернет. Поэтому проблема построения надежной защиты, опирающейся на ненадежные аппаратную и программную составляющие, использующей ненадежные глобальные сети и открытые протоколы, является для России фундаментальной научной проблемой.
* Работа выполнена при поддержке РФФИ, грант № 07-07-00236.
В данной работе мы рассматриваем угрозы информационным ресурсам (ИР) и информационным технологиям (ИТ) в информационных системах, связанные с внедрением вредоносного кода (ВК) в компьютерные системы. ВК может представлять собой автономно действующего агента или совокупность агентов, выполняющих различные функции, связанные с нанесением ущерба ИТ и ИР. ВК может располагаться в аппаратной платформе (процессорах и контроллерах компьютерной системы), может находиться в памяти компьютерной системы и относиться к операционной системе или приложениям. Мы предполагаем, что проблема построения надежной защиты распределенных систем из ненадежных с точки зрения безопасности элементов состоит в первую очередь в противодействии угрозам, связанным с ВК.
В настоящее время существует несколько парадигм противодействия угрозам, связанным с ВК. Исторически первой парадигмой является концепция ограничения доступов пользователей и субъектов от их имени к защищаемым ИР и ИТ1. В этой концепции предполагается, что пользователь - нарушитель безопасности может внедрить ВК в компьютерную систему с целью получения несанкционированного доступа (НСД) к интересующим его ИР. Поскольку ВК может быть внедрен в различные подсистемы, то в концепции ограничения доступов пришлось требовать защиту целиком компьютерной системы от НСД. Образно говоря, концепция защиты от НСД предполагает построение «крепости» с множеством оборонительных сооружений, не допускающих ВК, действующего от имени нарушителя, в функционально замкнутую систему. Концепция ограничения доступов нашла широкое применение, и в данной работе мы отнюдь не предлагаем отказываться от опыта, накопленного благодаря ей.
Однако концепция ограничения доступов имеет неустранимые изъяны.
Первый изъян заключается в том, что в современных условиях мы не можем контролировать НСД на всем жизненном цикле. Это связано с тем, что процессоры, операционные системы и значительная часть приложений изготавливаются за рубежом в недоступных для контроля условиях и могут содержать ВК, заложенные до того, как мы можем обеспечить контроль и защиту от него.
Второй неустранимый изъян состоит в том, что современные информационные технологии, основанные на распределенных системах, требуют взаимодействия с глобальными открытыми сетями. Даже внутри одной корпорации большое количество пользователей приводит к необходимости допускать существование нарушителя-инсайдера, который может несанкционированно взаимодействовать
с некоторыми компонентами корпоративной системы. Наиболее известные вредоносные воздействия на компьютерные системы из сети - это вирусы и черви. Возможность встраивания в компьютерную систему вируса или червя связана с нереальностью полного описания процессов взаимодействия информации, попадающей в компьютер извне, и внутренних программно-аппаратных систем. Наши2, 3, 4, 5, 6, 7, 8 и другие исследования9 показали, что в этих условиях возможны скрытые каналы взаимодействия между нарушителем безопасности и ВК в компьютерных системах.
Третий неустранимый изъян концепции ограничения доступов связан с тем, что любые дополнительные ограничения, как правило, приводят к снижению эффективности и функциональности компьютерных систем. Чем более жесткими являются ограничения на доступ, тем меньше возможностей обмена информацией и сложнее реализация самой системы ограничения доступов.
В концепции ограничения доступов существуют и другие изъяны, которые мы в рамках настоящей работы считаем менее значимыми.
Существенным продвижением в ограничении возможностей проникновения ВК в компьютерную систему является парадигма демилитаризованной зоны (ДМЗ). Эта парадигма предполагает свободное общение прокси-сервера с внешними для защищаемой сети информационными системами и наличие максимально упрощенного интерфейса между этим сервером и компьютерами в защищаемой локальной сети. Предполагается, что враждебный код, попав на компьютер ДМЗ, может нанести ущерб лишь в рамках ДМЗ. С другой стороны, простейший и легко анализируемый интерфейс с внутренним компьютером не позволит дальнейшего проникновения ВК в защищаемую компьютерную систему.
Однако эта концепция не позволяет устранить все скрытые каналы и, вообще говоря, не гарантирует от внедрения ВК в компьютерную систему. Вместе с тем идея изоляции ВК от компьютерных систем является новой по сравнению с идеологией ограничения доступов.
В данной работе мы глубже развиваем концепцию изоляции ВК и переходим к парадигме ограничения возможностей ВК по выполнению враждебных действий.
Прежде чем описывать содержание нашего подхода, представим, что нам удалось реализовать сформулированную идею. В этом случае мы можем отказаться от необходимости осуществлять защиту всей компьютерной системы как единственную логически непротиворечивую реализацию концепции ограничения доступов. В случае реализации нашей парадигмы мы можем перейти к построению
избирательной защиты. Имеется в виду следующее10. Выделяются активы (ценные ИР и ИТ), для каждого из которых описываются угрозы, которые необходимо нейтрализовать. Избирательная защита предполагает защищенность выделенных активов конкретно от выделенных для этих активов угроз. Указанный принцип построения защиты позволяет избежать изъянов, связанных с ограничениями функциональности компьютерной системы. Кроме того, мы априори предполагаем возможность наличия ВК и тем самым снимаем проблемы, связанные с контролем на всем жизненном цикле. Как будет показано далее, наша парадигма недостаточно эффективна при существовании скрытых каналов с большой пропускной способностью. Однако наши и другие исследования в данной области позволяют снижать пропускную способность потенциальных скрытых каналов до необходимого минимума.
Особенности атак с помощью вредоносного кода
Для описания методов ограничения возможностей ВК по нанесению ущерба приведем основные определения и рассмотрим некоторые аспекты вредоносного воздействия ВК.
Атака - это совокупность взаимосвязанных действий нарушителя безопасности по нанесению ущерба активам в автоматизированной системе.
Атака условно состоит из двух этапов. Первый этап (более длительный) заключается в разведке атакуемой автоматизированной системы, определении активов, способов воздействия на них и выявлении уязвимостей системы, через которые может быть нанесен ущерб. Первый этап заканчивается подготовкой организационных и технических средств для нанесения ущерба. Второй этап - этап активных действий по нанесению ущерба. Он состоит, как правило, из трех шагов. Первый шаг - использование уязвимостей с целью реализации условий по нанесению ущерба (доступ к защищаемым ресурсам или к средствам воздействия на защищаемые ресурсы). Второй шаг - собственно нанесение ущерба активам. Третий шаг -маскировка действий нарушителя безопасности, для того чтобы избежать ответственности за нанесенный ущерб.
ВК может использоваться как на этапе разведки, так и в период активной фазы атаки по нанесению ущерба.
Рассмотрим некоторые сценарии функционирования ВК. Предположим, что задачей агента - нарушителя безопасности является выборочное взаимодействие с ИР. Например, кража опре-
деленных данных или кража данных определенного формата, модификация определенных программ или данных, изменение определенных настроек программного обеспечения и т. д. Тогда враждебный агент должен уметь решать простейшие задачи искусственного интеллекта:
- распознавание форматов данных;
- распознавание данных в рамках данного формата;
- распознавание программ;
- распознавание начала и конца вычислений заданного вида.
При решении этих задач агент должен следовать следующей
логике, которая, вообще говоря, является обязательной для решения любой задачи:
1) запуск задач;
2) сбор исходных данных (в соответствии с некоторой схемой сбора данных);
3) предоставление исходных данных для обработки;
4) обработка данных по некоторому алгоритму;
5) формирование результата;
6) распределение данных в соответствии с некоторой схемой распределения данных;
7) закрытие задачи.
При этом решение сложных задач осуществляется благодаря суперпозиции задач.
Этап разведки состоит в постепенном выделении и определении задач и данных. При этом возникает вопрос, каким образом агенты могут распознавать данные, структуры данных и программ. Такой вопрос возникает в связи с тем, что ВК может быть внедрен на этапе разработки и создания процессоров и программного обеспечения, а указанные задачи требуют предметную ориентацию программно-аппаратного агента. Вторая сложность, которая обсуждается в связи с ВК, состоит в том11, что ВК можно незаметно встроить в нижние уровни компьютерной системы, а данные, которые интересуют нарушителя, находятся на верхнем уровне приложений. Действительно трудно ожидать, что малого объема ВК в процессоре способен распознавать сложные структуры данных, связанные, например, с описанием счетов клиентов в автоматизированной банковской системе.
Вместе с тем ВК на нижнем уровне может быть настроен на получение информации с прикладного уровня или из сети с помощью некоторого скрытого канала. В этом случае малого объема ВК способен принять, скрыто разместить и запустить код любого предметно-ориентированного агента. При этом сам первоначальный ВК может скрывать работу агента на верхнем прикладном уровне. Кро-
ме того, проблема определения запуска и окончания работы определенных программ может решаться на нижнем уровне путем распознавания образов в последовательности обращений к процессорной системе.
К сожалению, построение скрытых каналов с прикладного уровня к ВК в процессоре или в ядре операционных систем не является сложной задачей. Если взаимодействие с нарушителем безопасности во внешней среде невозможно, то ВК не сможет решить предметно-ориентированные задачи. В самом деле, наличие скрытого канала с нарушителем безопасности позволяет подключить практически неограниченные интеллектуальные возможности для решения поставленных задач программно-аппаратным агентом. Сюда входят не только задачи внедрения предметно-ориентированных «закладок», но и передача нарушителю фрагментов данных и программ, которые не смог распознать внедренный программно-аппаратный агент.
Концепция ограничения возможностей вредоносного кода
Основная идея нашего подхода к защите информации при наличии ВК состоит в использовании ограничений интеллектуальных возможностей ВК и ограничение возможностей общения ВК с нарушителем безопасности с помощью скрытых каналов.
Предположим сначала, что нет скрытых каналов для интерактивного взаимодействия ВК с нарушителем безопасности, обладающим большим интеллектуальным потенциалом. Тогда функционирование ВК определяется возможностями программы и теми данными, которые удалось внедрить в атакуемый компьютер. Поскольку эти данные ограниченны, то всегда существуют структуры данных, которые программа не может распознать как объект своего поиска. Например, программе могут быть недоступны некоторые эвристические методы поиска. Если школьник, прочитав Конан Дойля, может дешифровать шифр простой замены, то для программы идентификация такого шифра и дешифрование недоступны. Программа, ограниченная рамками своего искусственного интеллекта, «не видит» недоступные ей структуры данных. При этом не исключаются взаимодействия ВК с искомыми объектами. В этом наша концепция отличается от известных концепций невлияния12 и ограничений на информационные потоки13, 14.
Рассмотрим, каким образом «невидимость» может быть использована при построении защиты от ВК.
Для того чтобы нанести ущерб, ВК должен распознать место вредоносного воздействия и после этого реализовывать само воздействие. На этапе разведки ВК должен собрать информацию об используемых структурах данных и передать их в интеллектуальный центр для разработки атаки. Во всех случаях ВК должен осуществлять сканирование данных и анализировать взаимодействие с другими процессами в компьютерной системе. Однако если нужных данных нет, то ВК не может нанести ущерб, а отсутствие скрытого канала не позволяет ему привлечь высокий интеллектуальный потенциал для разработки атаки.
Отметим еще раз различие с парадигмой ограничения доступов. В случае ограничения доступов «закладка» может распознать, что ее не пускают к определенным процессам и данным. Тогда враждебная многоагентная система15 в компьютерной среде будет пытаться обойти систему защиты и внедрить агента в той среде, которая определена как недоступная. В случае построения защиты на принципах «невидимости» программно-аппаратный агент противника не знает, что его не пускают к определенным данным и процессам. Отсюда нет реакции на незавершенность поиска, так как нет искомых процессов и данных.
Более детально понятие «невидимость», возможности создания «невидимых» для ВК процессов и данных рассматриваются в следующих разделах.
Модель «невидимости»
Начнем с построения формальной модели «невидимости» программно-аппаратным агентом фрагментов данных в окружающей среде. ВК моделируется системой 5 с конечным множеством состояний. Предполагаем, что время дискретно. В каждый момент времени система 5 может находиться только в одном состоянии. Пусть А - потенциальное множество воздействий на систему, РА -множество всех подмножеств множества А, включая пустое множество 0. Для каждой пары состояний 5, 5' из множества 5 определено множество А(5, 5')еРА, тех воздействий, которые переводят 5 из состояния 5 в состояние 5'. Будем считать для каждого состояния 5, что множества А(5, 5') для различных 5' не пересекаются. В каждый момент времени на систему 5 воздействует одно и только одно воздействие а (может быть а=0). Если а£А(5, 5') и система находится в состоянии 5, то после оказанного воздействия система переходит в состояние 5'. При таком переходе мы говорим, что система «видит» воздействие а в состоянии 5. Поскольку 0 входит в любое
множество воздействий, то будем считать, что любое реальное действие имеет приоритет над 0. Соответственно «невидимость» означает, что система 5 в состоянии 5 не получает воздействия, которое ищет и не меняет состояние.
Абсолютная «невидимость» воздействия а на ВК - это «невидимость» воздействия а для всех состояний 5.
Воздействие а косвенно «видно» в состоянии 5 из состояния 50, если существует цепочка воздействий а1а2_ак, при которой 50 переходит в 5.
Данная модель является удобной для описания объектов, которые ВК может «видеть» или «не видеть». В терминах этой модели можно дать определение интеллекта системы как потенциальной возможности распознавания заданного множества воздействий или цепочек воздействий.
Таким образом, мы свели проблему защиты информации в условиях наличия ВК к задаче возможности распознавания программой заданных множеств воздействий.
Уже на уровне простого описания данной модели мы можем сформулировать следующее утверждение.
Утверждение 1. Для заданного ВК всегда можно построить «невидимый» для него процесс в компьютерной системе.
Для доказательства этого утверждения достаточно вывести потенциальные воздействия скрываемого процесса за рамки воздействий, которые распознает ВК.
В то же время справедливо следующее утверждение.
Утверждение 2. Для любого процесса в компьютерной системе можно построить ВК, который «видит» этот процесс.
Например, таким вредоносным кодом будет процесс, отслеживающий запуск заданной задачи.
Однако наибольший интерес представляет изучение «невидимости» для классов ВК.
Методы ограничения возможностей вредоносного кода по нанесению ущерба
Рассмотрим примеры ограничений возможностей ВК.
Пример 1. Пусть ВК имеет задание найти файл с заданным названием и расширением. Если мы изменили название файла и расширение16, то ВК не находит искомый файл, если в нем не заложены возможности поиска по каким-либо другим признакам. Следовательно, ВК «не видит» искомый файл и не может нанести ущерб.
Этот метод хорошо работает в простейших случаях. Однако если файлов много, то процедура переименования файлов становится трудоемкой, а «закладка» может отслеживать эту процедуру.
Пример 2. Пусть, так же как в примере 1, ВК ищет некоторый файл по имени. Предположим, что в распоряжении пользователя есть доверенная среда, через которую можно менять имя файла, гарантированно защищенная от наблюдения ВК. Пример создания такой среды существует17. Более того, анонсированный в данной работе прибор был создан и сертифицирован Гостехкомиссией РФ как межсетевой экран 2-го класса18. Таким образом, мы в дальнейшем можем считать, что возможна безопасная модификация отдельных фрагментов данных.
Пример 3. В работе19 приведен пример построения гарантированно защищенной базы данных, при построении которой допускается существование ВК во всех фрагментах распределенной системы, исключая доверенную среду примера 2. Основная идея построения защиты базы данных состоит в том, чтобы сохранить возможность выполнения основных операций поиска и изменения данных при гарантиях, что ВК не может восстановить конфиденциальную информацию. В основе доказательства защищенности лежит тот факт, что ВК не может восстановить ключи простейших шифров по шифртексту.
Пример 4. Предположим, что целью ВК является нахождение определенных программ и модификация их параметров. Такие задачи встречались при атаках на защищенную 1Р-телефонию и в других случаях. В настоящее время интенсивно развивается теория и практика обфускации программного обеспечения20, 21, 22. Основная цель этого направления состоит в том, чтобы модифицировать код программы таким образом, чтобы восстановление алгоритма этой программы являлось трудной задачей для аналитика и в то же время чтобы программа решала поставленные перед ней задачи. В том случае, если мы будем применять методы обфускации для защиты наиболее ценных программ в компьютерных системах, мы можем опираться на тот факт, что ВК не может быть более эффективен при восстановлении алгоритмов и программ, чем аналитик, использующий специальный инструментарий. Таким образом, методы обфускации для защиты программ от ВК являются значительно более эффективными, чем в традиционных задачах обфус-кации. В настоящее время разработана теория стойкости методов обфускации и разработан ряд пакетов прикладных программ, реализующих эти методы на практике.
Пример 5. Для сокрытия содержания ценных информационных объектов и важных процессов обработки данных от ВК можно ис-
пользовать руткит-технологии23 (rootkit). Руткиты появились как средство атак на компьютерные системы сначала в операционных системах Unix, а затем в операционных системах Windows24. Руткиты эксплуатируют тот факт, что все средства защиты, расположенные в ядре операционной системы, не контролируют программы, работающие в самом ядре или на уровне API. Поэтому средства защиты «не видят» функционирование руткита. Вместе с тем сам руткит переводит на себя системные вызовы и реализует атаку «человек посередине». При нейтральном обмене информацией приложения с процессором руткит пропускает через себя нейтральный вызов и ответ на него. При обращении к запрещенным полям памяти или охраняемым процессам руткит возвращает ложную информацию. Если руткит использовать для защиты ценных активов и процессов их обработки, то в ряде случаев можно предотвращать возможности ВК обнаруживать ценные информационные объекты и процессы.
Пример 6. Наиболее серьезные проблемы при применении предлагаемых методов защиты связаны с возможностью ВК отслеживать вычислительные процессы с помощью идентификации заданий на обработку данных. В связи с этим возникает важная задача построения анонимных систем, реализующих взаимодействие различных компонент автоматизированных систем. Эта задача получила название «проблемы анонимности вычислений», и решению этой проблемы посвящено большое количество научных работ. Сошлемся лишь на то, что, имея элементы доверенной среды в распределенной системе, можно реализовать различные известные способы обеспечения анонимности, например технология MIX25. Таким образом, данная задача также эффективно решается на существующем уровне развития теории и практики.
Пример 7. Одним из самых интересных методов ограничения возможностей ВК является создание условий для неоднозначного распознавания искомых объектов вредоносным кодом. Впервые идея создания «интеллектуального шума», затрудняющего работу ВК, была опубликована в работе А.А. Грушо и Е.Е. Тимониной26. Основная идея этого метода состоит в том, чтобы создать близкие, но неверные данные для решаемой задачи и встроить идентификатор для выявления правильного результата при решении задач с правильными исходными данными и ложными исходными данными. Отслеживание конкретной последовательности решаемых задач может быть сделано невозможным для ВК. Тогда ВК теряет возможность правильной идентификации исходных данных и результата решенной задачи, несмотря на то, что задача решалась в явном виде. Применение этого метода может опираться на обеспечение анонимности, которая была разобрана в предыдущем примере.
Заключение
В статье изложена новая концепция построения систем защиты информации в автоматизированных системах. Эта концепция допускает наличие ВК в большинстве фрагментов распределенной автоматизированной системы. Возможность построения доверенных фрагментов, позволяющих реализовать эту концепцию, обоснована ранее. В основе концепции лежит ограничение возможностей ВК по реализации своих враждебных функций.
При разработке концепции мы использовали следующие слабые стороны ВК:
- интеллектуальная ограниченность ВК;
- присутствие и действие ВК могут быть замечены, и работа ВК может быть заблокирована;
- скрытые каналы взаимодействия ВК с интеллектуальным противником вне защищаемой системы могут быть ограничены.
В перечисленных предположениях можно эффективно использовать методы, затрудняющие ВК распознавать необходимую информацию. Применение данных методов не отменяет и не ограничивает применение системы ограничения доступов.
Примечания
См.: Department of Defense Trusted Computer System Evaluation Criteria. DoD. 1985.
См.: Грушо А.А., Тимонина Е.Е. Языки в скрытых каналах // Труды международной конференции «Информационные технологии в науке, образовании, телекоммуникации, бизнесе (весенняя сессия)», Украина, Крым, Ялта-Гурзуф, 2003. См.: Грушо А.А., Тимонина Е.Е. Оценка времени, требуемого для организации скрытого канала // Дискретная математика. 2003. Т. 15. Вып. 2. Grusho A., Timonina E. Construction of the Covert Channels // International Workshop "Information Assurance in Computer Networks. Methods, Models, and Architectures for Network Security" MMM-ACNS 2003. St. Petersburg: Springer, 2003. LNCS 2776. Р. 428-431.
Грушо А.А., Тимонина Е.Е. Роль скрытых каналов при построении защиты в распределенных компьютерных системах // Математика и безопасность информационных технологий: Материалы конференции в МГУ 23-24 октября 2003 г. М.: МЦНМО, 2004. С. 276-281.
См.: Grusho A., Kniazev A., Timonina E. Detection of Illegal Information Flow // Proceedings of Third International Workshop on Mathematical Methods, Models, and Architectures for Computer Network Security, MMM-ACNS 2005. St. Petersburg: Springer, 2005. LNCS 3685.
1
2
3
4
5
6
7 См.: Grusho A., Galatenko A., Kniazev A., Timonina E. Statistical Covert Channels Through PROXY Server // Proceedings of Third International Workshop on Mathematical Methods, Models, and Architectures for Computer Network Security, MMM-ACNS 2005. St. Petersburg: Springer, 2005. LNCS 3685.
8 Grusho A., Grebnev N., Timonina E. Covert channel invisibility theorem // Proceedings of Fourth International Conference on Mathematical Methods, Models, and Architectures for Computer Network Security, MMM-ACNS 2007 / V. Gorodetsky, I. Kotenko, and V.A. Skormin (Eds.): MMM-ACNS 2007, CCIS 1. Berlin; Heidelberg: Springer-Verlag, 2007. Р. 187-196.
9 См.: A Guide to Understanding Covert Channel Analysis of Trusted Systems, National Computer Security Center. NCSC-TG-030. Ver. 1. 1993.
10 См.: Стандарт Банка России (ЦБ) «Обеспечение информационной безопасности организаций банковской системы Российской Федерации. Общие положения» СТО БР ИББС-1.0-2006.
11 Там же: СТО БР ИББС-1.0-2006.
12 Goguen J. A. and MeseguerJ. Security Policies and Security Models // Proceedings of the IEEE Symposium on Security and Privacy. Oakland. CA. April 1982. P. 11-20.
13 См.: Trusted Computer System Evaluation Criteria. DoD. 1985.
14 Грушо А.А., Тимонина Е.Е. Теоретические основы защиты информации. М.: Агентство «Яхтсмен», 1996. 186 с.
15 Грушо А.А., Тимонина Е.Е. Враждебные многоагентные системы // Математика и безопасность информационных технологий: Материалы конференции в МГУ 28-29 октября 2004 г. М.: МЦНМО, 2005. С. 249-256.
16 См.: Tyma P. Method for renaming identifiers of a computer program. US patent 6,102, 966. 2000.
17 См.: Грушо А.А,. Володин А.В., Тимонина Е.Е. Безопасный интерфейс с глобальной сетью из ненадежных в смысле безопасности элементов // Труды международной конференции «Информационные технологии в науке, образовании, телекоммуникации, бизнесе», Украина, Крым, Ялта-Гурзуф, 20-29 мая 2001.
18 См.: Грушо А.А, Володин А.В. Система защиты корпоративной компьютерной сети от предметно-ориентированных несанкционированных воздействий скрытых программно-аппаратных средств (авторское свидетельство) // Свидетельство на полезную модель № 15613. 27 окт. 2000.
19 Грушо А.А, Тимонина Е.Е. Гарантированно защищенные базы данных, построенные на недоверенных с точки зрения безопасности элементах // Проблемы безопасности и противодействия терроризму: Материалы конференции в МГУ 2-3 ноября 2005 г. М.: МНЦМО, 2006. с. 335-348.
20 Aucsmith D. Tamper resistant software: An implementation // R. Anderson (ed) Information Hiding. 1996, Heidelberg: Springer. LNCS. Vol. 1174. Р. 317-333.
21 См.: Garfinkel S. Design Principles and Patterns for Computer Systems that are Simultaneously Secure and Usable. PhD thesis, Massachusetts Institute of Technology, Cambridge, MA 2005.
22 Collberg C, NagraJ., Wang F.-Y. Surreptitious Software: Models from Biology and History / V. Gorodetsky, I. Kotenko, and V.A. Skormin (Eds.): MMM-ACNS 2007, CCIS 1. Р. 1-21, 2007, Springer-Verlag. Berlin, Heidelberg, 2007.
23 Зайцев О.В. Rootkits, Spyware/Agware, Keyloggers & Backdoors: Обнаружение и защита (+CD). СПб.: BHV, 2006. 304 с.
24 Руткиты: Внедрение в ядро Windows / Пер. с англ. А. Заяц, М. Мисаренкова, М. Рахманова и др. СПб.: Питер, 2007. 285 с.
25 Moskowitz I., Newman R., Crepeau D., Miller A. Covert channels and anonymizing networks // ACM WPES, Washington, October 2003. Р. 79-88.
26 См.: Грушо А.А., Тимонина Е.Е. Интеллектуальный шум // Проблемы информационной безопасности // Компьютерные системы. 2000. № 1.
