CC BY
19УДК 681.31
ОСОБЕННОСТИ ЭКСПЛУАТАЦИИ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ ПРИ ОБРАБОТКЕ ИНФОРМАЦИИ ОГРАНИЧЕННОГО РАСПРОСТРАНЕНИЯ Антонов Александр Юрьевич
Заместитель начальника отделения информационных технологий ФГУП «ВНИИА» имени Н.Л. Духова 127055, Москва, ул. Сущевская 22, e-mail: antonov@vniia.ru
Аннотация. Высокопроизводительные вычислительные комплексы в настоящее время перестают быть достоянием крупных научных центров и становятся основой повышения качества продукции научно-производственных компаний. При выполнении подобной компанией работ, нередко возникает необходимость проводить расчеты, содержащие информацию ограниченного распространения, в том числе и информацию, составляющую государственную тайну. В статье рассматриваются различные подходы к созданию автоматизированных систем в защищенном исполнении, предназначенных для обработки информации ограниченного распространения, имеющих в своем составе многопроцессорный вычислительный комплекс.
Ключевые слова: многопроцессорный вычислительный комплекс, супер-ЭВМ, защита информации.
Введение. Бурный рост и развитие рынка высокотехнологичной микроэлектроники привели к значительному удешевлению микропроцессоров и других электронных компонентов. Создание и эксплуатация мощных многопроцессорных вычислительных комплексов перестает быть прерогативой крупных научных центров, занимающихся фундаментальной наукой. Применение подобных комплексов для решения прикладных задач становится стандартной практикой на предприятиях, принадлежащих к различным отраслям и осуществляющим широкий спектр деятельности по множеству направлений, от разработки разнообразной техники до добычи полезных ископаемых. Такая тенденция вполне объяснима, компьютерное моделирование различных процессов позволяет предприятию ощутимо экономить на натурных испытаниях и существенно сократить срок разработки новых изделий.
Крайне востребованы параллельные вычисления и в оборонно-промышленном комплексе (ОПК) России. Учитывая специфику задач, решаемых предприятиями ОПК, неудивительно, что часто возникает потребность в обработке на высокопроизводительных вычислительных кластерах информации ограниченного распространения, включая информацию, составляющую государственную тайну.
Основная проблема заключается в том, что автоматизированные системы (АС), обрабатывающие подобную информацию, должны соответствовать ряду жестких требований по защите информации и должны быть оснащены сертифицированными средствами защиты информации. Соблюсти все предъявляемые требования в параллельной среде крайне сложно,
а порой и вовсе невозможно. В то же время, отказ от использования современных технологий обозначает неминуемое отставание от конкурентов и потерю преимущества.
В статье рассматриваются различные подходы к созданию автоматизированных систем в защищенном исполнении, предназначенных для обработки информации ограниченного распространения и имеющих в своем составе многопроцессорный вычислительный комплекс (МВК).
1. Структура и принцип работы МВК. Если рассмотреть наиболее распространенную схему многопроцессорного вычислительного комплекса, то упрощенно комплекс представляет собой произвольное множество серверов различного назначения (вычислительных узлов, управляющих серверов, серверов визуализации и т.д.), объединенных вычислительными сетями различного назначения (сетью межпроцессорного обмена, сетью мониторинга, сетью управления). Также в состав МВК входит общая дисковая память и файловые серверы, предназначенные для управления ей. Принципиальная схема такого вычислительного комплекса представлена на рис. 1.
т
1 - Вычислительные узлы
2 - Управляющие серверы
3 - Рабочие станции пользователей
4 - Файловые серверы {для подключения общей дисковой памяти (ОДП))
5 - Общая дисковая память
6 - Сеть межпроцессорного обмена
7 - Управляющая сеть
Рис. 1. Принципиальная схема вычислительного комплекса
Вычислительные узлы представляют собой бездисковые серверы с несколькими процессорами и большим объемом оперативной памяти, они предназначены для обработки расчетных данных. Вычислительные узлы могут также содержать совычислители и графические адаптеры.
Управляющие серверы - это рабочее место пользователей и администраторов, они предназначены для управления вычислительным комплексом администраторами, а так же для запуска пользователями расчетных заданий и управления процессом счета. В большинстве случаев пользователь подключается к управляющему серверу по протоколу ББИ и работает в консоли.
Сеть межпроцессорного обмена (СМПО) предназначена для максимально быстрого обмена расчетными данными при осуществлении параллельных вычислений. Данная сеть
должна иметь большую пропускную способность и минимальную задержку. Обычно в качестве СМПО используется сеть InfiniBand, позволяющая передавать данные на скорости до 56 Гбит/сек. Сеть управления предназначена для обмена сообщениями между вычислительными и управляющими узлами, с ее помощью происходит управление процессом расчета.
В подавляющем большинстве случаев многопроцессорные вычислительные комплексы управляются операционными системами семейства Red Hat Linux с дополнительными компонентами, необходимыми для нормального функционирования СМПО (OFED) и осуществления параллельных вычислений (MPI, Open MP). В качестве файловой системы обычно используется параллельная файловая система Lustre.
Из изложенного выше становится понятно, что многопроцессорный вычислительный комплекс - нестандартная, сложная автоматизированная система, состоящая из множества различных узлов, объединенных специализированным коммутационным оборудованием, которая управляется операционной системой, не имеющей глобального распространения и включающей в себя специфические программные компоненты. Данные обстоятельства существенно затрудняют подбор и применение готовых сертифицированных средств защиты информации из существующих на рынке и вынуждают вырабатывать нестандартные подходы при создании автоматизированных систем в защищенном исполнении, имеющих в своем составе МВК.
2. Классификация АС в защищенном исполнении. Проблемы защиты информации, обрабатываемой на МВК. Согласно требованиям Государственной технической комиссии России, автоматизированные системы, обрабатывающие государственную тайну, должны быть классом не ниже ЗА, 2А или 1В [6]. При этом, необходимо использовать сертифицированные средства защиты информации от несанкционированного доступа не ниже следующих классов: четвертого - для класса защищенности 1В, третьего - для класса защищенности АС 1Б, второго - для класса защищенности АС 1А [7].
Класс АС ЗА подразумевает работу в системе единственного пользователя, допущенного ко всей информации системы, размещенной на носителях одного уровня конфиденциальности. По сути, это означает монопольное использование всех ресурсов системы одним пользователем, что противоречит самому предназначению многопроцессорных комплексов, которые могут обсчитывать множество сложнейших задач различных пользователей параллельно, и, к тому же, просто экономически невыгодно, учитывая высокую стоимость подобных комплексов.
Класс 2А подразумевает работу в АС множества пользователей, имеющих одинаковые права доступа к информации, обрабатываемой и хранящейся на МВК на носителях различного уровня конфиденциальности. Создание АС такого класса, имеющих в своем составе МВК, уже более оправдано, но имеет один существенный недостаток: все пользователи и администраторы данной АС должны иметь допуск по максимальному грифу обрабатываемой в системе информации, даже если в действительности они с ней не соприкасаются. Это обозначает, что пользователи, работающие с информацией грифа «секретно», должны быть допущены к информации «совершенно секретно», что ведет к излишней осведомленности и наложению на них ограничений, в соответствии с законом о государственной тайне [5].
Класс 1В и выше включает многопользовательские АС, в которых одновременно обрабатывается и (или) хранится информация разных уровней конфиденциальности. Не все пользователи имеют право доступа ко всей информации АС. Очевидно, что это наиболее предпочтительный вариант, так как он предусматривает гибкое разделение прав различных пользователей АС и администраторов системы, позволяет избежать излишней осведомленности и ограничения прав пользователей.
Основная проблема при создании АС любого класса, имеющих в своем составе многопроцессорный вычислительный комплекс, заключается в отсутствии встроенных в системное программное обеспечение или наложенных сертифицированных средств защиты информации от несанкционированного доступа (СЗИ от НСД), которые смогут работать в его крайне специфической программно-аппаратной среде. Производителю не интересен этот сегмент, так как спрос на подобного рода СЗИ от НСД крайне мал. Существующие дистрибутивы Linux, имеющие в своем составе встроенные сертифицированные средства защиты (Astra Linux и др.), требуют глубокой доработки для использования на МВК, что влечет большие финансовые и временные затраты. Работа наложенных средств защиты информации для Linux-среды, соответствующих требованию данных классов (например, осуществляющих контроль потоков информации в среде межпроцессорного обмена) на сегодняшний день вызывает множество нареканий.
3. Возможные варианты построения АС в защищенном исполнении.
3.1. Использование операционной системы семейства Windows и наложенных средств защиты. Наибольшее количество сертифицированных наложенных средств защиты разрабатывается для среды ОС Windows, что обусловлено ее широким распространением. Что, если взять и попробовать перевести вычислительный кластер под ее управление? Нами прорабатывался такой вариант, но был отвергнут в силу следующих причин:
- высокая стоимость дистрибутива операционной системы, способного работать в многопроцессорной среде, необходимость установки и настройки дополнительных системных пакетов для обеспечения параллельных расчетов;
- необходимость установки средств доверенной загрузки на все узлы системы, что, в силу специфики применяемого «железа», иногда просто невозможно, а так же увеличивает время загрузки узлов и повышает административные затраты на настройку и эксплуатацию СЗИ от НСД и комплекса в целом;
- необходимость установки и настройки СЗИ от НСД в крайне специфичной программной среде, что, учитывая глубочайшую интеграцию средств защиты в операционную систему, неизбежно приводит к возникновению проблем совместимости, перебоям и задержкам в расчетном процессе;
- необходимость использования распределенного межсетевого экрана для выполнения требования класса по контролю потоков, что критически замедляет межпроцессорный обмен при проведении параллельных расчетов;
- отсутствие (или высокая стоимость) прикладного программного обеспечения, необходимого для проведения расчетов;
- отсутствие (или высокая стоимость) специализированного программного обеспечения, обслуживающего процесс параллельного счета - диспетчера задач, системы мониторинга и пр., способных работать в среде Windows.
3.2 Использование операционной системы семейства Linux и наложенных средств защиты. В настоящий момент единственным средством защиты информации от несанкционированного доступа, которое можно применять для построения автоматизированных систем классом защищенности до 1Б включительно, является ПАК СЗИ НСД «Аккорд-Х». Проблемы, возникающие в этой ситуации, практически идентичны проблемам, описанным в п. 3.1 данной статьи:
- необходимость применения средств доверенной загрузки;
- проблемы при интеграции СЗИ от НСД и системного и прикладного ПО, установленного на вычислительном кластере, как следствие - нестабильность и замедление расчетного процесса;
- увеличение административных затрат на эксплуатацию СЗИ от НСД и вычислительного комплекса в целом.
3.3 Доработка и сертификация существующих дистрибутивов, имеющих встроенные средства защиты информации от несанкционированного доступа. Перспективной представляется задача сертификации в системе ФСТЭК операционных систем семейства Linux, которые сами по себе выступают в качестве средства защиты информации от несанкционированного доступа со всеми встроенными необходимыми механизмами и не требуют применения дополнительных наложенных СЗИ. В настоящее время наиболее подходящими для этих целей дистрибутивами являются отечественные операционные системы Astra Linux и Альт Linux.
Отличительная особенность таких дистрибутивов в том, что сертифицированный механизм разграничения доступа реализован в них на уровне ядра операционной системы. Это позволяет обеспечить правильность его функционирования при использовании любых компонент, предоставляемых ядром.
Однако для реализации данной задачи необходимо провести глубокую доработку дистрибутивов и встроенных в них средств защиты информации, обеспечить поддержку нестандартного оборудования и программного обеспечения, применяемого в многопроцессорном вычислительном комплексах, и заново пройти процедуру сертификации.
Данная работа требует больших финансовых и временных затрат и невозможна без участия производителя операционной системы, что, учитывая крайнюю специфичность задачи и малый спрос, скорее всего будет для них нерентабельно.
3.4 Монопольное использование или разбиение на независимые сегменты. Для обеспечения проведения расчетов с обработкой информации разной степени секретности вычислительный комплекс можно создать из несколько отдельных вычислительных комплексов или разбить существующий вычислительный комплекс на полностью физически независимые сегменты (по сути, самостоятельные комплексы), каждый из которых предназначен для обработки информации определенного грифа.
Такая АС будет иметь класс 2А и все пользователи, работающие в ней, должны иметь допуск ко всей информации, обрабатываемой на вычислительном комплексе. Каждый из комплексов может быть предназначен как для обработки несекретной информации, так и для информации с грифом до «совершенно секретно» включительно.
В этом случае объектом доступа выступает весь вычислительный комплекс со всей циркулирующей в нем информацией и защита от несанкционированного доступа сводится к задаче защиты он несанкционированного доступа ко всему вычислительному комплексу, а
не к отдельным его узлам. Для решения этой задачи перед вычислительным кластером можно установить фронтальный терминальный сервер под управлением ОС Windows с установленным сертифицированным средством защиты информации от несанкционированного доступа (например, Secret Net), которое будет разрешать удаленные сеансы только от допущенных пользователей, в соответствии с имеющейся матрицей доступа. Связь непосредственно с вычислительным комплексом будет осуществляться уже в рамках SSH-сессии, запускаемой на данном фронтальном сервере. Необходимо так же централизовать и контролировать ввод-вывод информации, что так же решает СЗИ от НСД на фронтальном сервере. Доверенную загрузку можно обеспечить организационными мерами, разместив вычислительный комплекс в аттестованном серверном помещении, в которое ограничен доступ, отключив загрузку со съемных носителей на аппаратном уровне и опломбировав корпуса узлов комплекса.
Основные недостатки такого решения:
- необходимость создания отдельной инфраструктуры для каждого из сегментов, состоящей из сетевой подсистемы доступа (включая коммутаторы), системы хранения и управления данными и системы межпроцессорного обмена, а также отдельных серверных помещений, оборудованных необходимыми инженерными системами, что приводит к большим финансовым затратам;
- необходимость получения всеми сотрудниками допуска по высшему грифу секретности информации, обрабатываемой на комплексе, что приводит к излишней осведомленности.
Но, не смотря на описанные недостатки, в случае, когда предприятию требуются небольшие расчетные мощности, это решение уже вполне применимо.
Рис. 2. Схема вычислительного сегмента
Рис. 3. Примерная схема комплекса автоматизированных систем
3.5 Комплекс автоматизированных систем. Для обеспечения удобства использования множества вычислительных комплексов, предназначенных для работы с информацией разного грифа, возможно объединение автоматизированных систем, имеющих в своем составе вычислительный кластер, в комплекс взаимодействующих автоматизированных систем, с применением сертифицированных средств защиты информации от несанкционированного доступа и межсетевых экранов.
При реализации данной схемы не требуется дублировать сетевую подсистему доступа, но необходимость в раздельных системах хранения и межпроцессорного обмена для вычислительных комплексов, обрабатывающих информацию разного грифа секретности, все же остается, также, необходимо создание раздельных серверных помещений (открытый комплекс можно разместить в уже существующих серверных помещениях).
3.6 Модификация предъявляемых требований по безопасности информации. Учитывая сложности, возникающие при обработке информации, составляющей государственную тайну, на многопроцессорных вычислительных комплексах и аттестации их на соответствие требованиям безопасности информации в рамках существующей системы классов, можно сделать заключение, что существующая нормативная и руководящая документация в данной области требует пересмотра и доработки.
В результате многочисленных обращений, Федеральная служба по техническому и экспертному контролю (ФСТЭК), совместно с заинтересованными предприятиями из разных отраслей, включая предприятия ГК «Росатом», провела работу по анализу существующих
требований по защите информации в среде многопроцессорных вычислительных комплексов. Это привело к их пересмотру и выпуску в 2012 г. «Временных требований по защите информации, содержащей сведения, составляющие государственную тайну, в автоматизированных системах, созданных с использованием суперкомпьютерных технологий» [1].
Документ вводит новые классы автоматизированных систем, имеющих в своем составе многопроцессорные вычислительные комплексы - 1В-С, 1Б-С, 1А-С и описывает адекватные требования по защите информации от несанкционированного доступа, предъявляемые к ним, требования по антивирусной защите, межсетевому экранированию и от утечки информации по техническим каналам. После выхода требований упростилась процедура доработки и сертификации на соответствие требованиям по безопасности информации используемых в составе вычислительных комплексов дистрибутивов Linux, что сделало возможным создание в ГК «Росатом» «Защищенной операционной системы для супер-ЭВМ», которая может применяться на высокопроизводительных вычислительных комплексах для выполнения расчетов, связанных с обработкой государственной тайны.
Заключение. Защита информации в среде многопроцессорных вычислительных комплексов - сложная, но решаемая задача. Для нее плохо применимы классические подходы, используемые в отношении типовых автоматизированных систем.
Решение задачи защиты информации в данной среде потребовало пересмотра существующей руководящей и нормативной документации в данной области [2 - 4] и выпуска специализированных требований по обеспечению защиты информации при проведении расчетов. Разработанная в соответствии с данными «Временными требованиями...» операционная система, позволяет легитимно аттестовать на соответствие требованиям по безопасности информации и использовать многопроцессорный вычислительный комплекс для обработки информации разной степени конфиденциальности, в том числе и информации, составляющей государственную тайну. Эта возможность наверняка привлечёт в сегмент параллельных вычислений новые прикладные задачи, связанные не только с научной, но и с производственной и даже административной деятельностью (расчет плана производства, заработной платы и пр.), что приведет к повышению производительности труда предприятия в целом.
СПИСОК ЛИТЕРАТУРЫ
1. Временные требования по защите информации, содержащей сведения, составляющие государственную тайну, в автоматизированных системах, созданных с использованием суперкомпьютерных технологий, утверждены ФСТЭК 17 августа 2012 г.
2. ГОСТ Р 50739-95. «Средства вычислительной техники. Защита от несанкционированного доступа к информации. Общие технические требования».
3. ГОСТ Р 51624-2000. «Защита информации. Автоматизированные системы в защищенном исполнении. Общие положения».
4. ГОСТ РО 0043-003-2012. «Защита информации. Аттестация объектов информатизации. Общие положения».
5. Закон РФ от 21.07.1993 №5485-1 (ред. от 21.12.2013) «О государственной тайне».
6. Руководящий документ «Автоматизированные системы. Защита от несанкционированного доступа к информации Классификация автоматизированных
систем и требования по защите информации». Утвержден решением председателя Государственной технической комиссии при Президенте Российской Федерации 30 марта 1992 г. Для служебного пользования.
7. Руководящий документ «Средства вычислительной техники. Защита от несанкционированного доступа к информации. Показатели защищенности от несанкционированного доступа к информации». Утвержден решением председателя Государственной технической комиссии при Президенте Российской Федерации 30 марта 1992 г.
UDK 681.31
FEATURES OF OPERATION OF HIGH PERFORMANCE COMPUTING COMPLEXES FOR PROCESSING RESTRICTED INFORMATION Alexander Yu. Antonov
Deputy Chief of Department of Information Technology All-Russia research institute of automatics named after N.L. Dukhov (VNIIA) 22, St. Sushchaskaya, Moscow, 127055, Russia, e-mail: antonov@vniia.ru
Abstract Now high-performance computing systems are no longer the property of the major research centers, they are becoming the basis for improving the quality of products research and production companies. In carrying out those works there is often a need to perform calculations, containing information of limited distribution, including information constituting a state secret. The article discusses various approaches to the development of automated systems in the protected execution for processing restricted information, and having in its composition a multiprocessor computing complex. комплекс.
Keywords: multiprocessor computer system, supercomputers, Information protection.
References
1. Vremennye trebovaniya po zashchite informacii, soderzhashchej svedeniya, sostavlyayushchie gosudarstvennuyu tajnu, v avtomatizirovannyh sistemah, sozdannyh s ispol'zovaniem superkomp'yuternyh tekhnologij, utverzhdeny FSTEHK 17 avgusta 2012 g. [Temporary requirements for the protection of information containing information constituting a state secret, in automated systems built with using supercomputer technologies, FSTEC approved August 17, 2012.]
2. GOST R 50739-95. «Sredstva vychislitel'noj tekhniki. Zashchita ot nesankcionirovannogo dostupa k informacii. Obshchie tekhnicheskie trebovaniya» [GOST 50739-95. "Means of computer facilities. Protection against unauthorized access to information. General technical requirements. "]
3. GOST R 51624-2000. «Zashchita informacii. Avtomatizirovannye sistemy v zashchishchennom ispolnenii. Obshchie polozheniya» [GOST R 51624-2000. "Information protection. Automated systems in the protected making. General Provisions. "]
4. GOST RO 0043-003-2012. «Zashchita informacii. Attestaciya ob"ektov informatizacii. Obshchie polozheniya» [GOST PO 0043-003-2012. "Information protection. Attestation of objects of information. General Provisions."]
5. Zakon RF ot 21.07.1993 №5485-1 (red. ot 21.12.2013) «O gosudarstvennoj tajne» [RF Law of 21.07.1993 №5485-1 (ed. Of 21.12.2013) "On State Secrets"]
6. Rukovodyashchij dokument «Avtomatizirovannye sistemy. Zashchita ot nesankcionirovannogo dostupa k informacii Klassifikaciya avtomatizirovannyh sistem i trebovaniya po zashchite informacii». Utverzhden resheniem predsedatelya Gosudarstvennoj tekhnicheskoj komissii pri Prezidente Rossijskoj Federacii 30 marta 1992 g. Dlya sluzhebnogo pol'zovaniya [Guidance document "Automated Systems. Protection against unauthorized access to information. Classification of automated systems and data protection requirements. " Approved by the decision of the Chairman of the State Technical Commission under the President of the Russian Federation of March 30, 1992. For internal use only.]
7. Rukovodyashchij dokument «Sredstva vychislitel'noj tekhniki. Zashchita ot nesankcionirovannogo dostupa k informacii. Pokazateli zashchishchennosti ot nesankcionirovannogo dostupa k informacii». Utverzhden resheniem predsedatelya Gosudarstvennoj tekhnicheskoj komissii pri Prezidente Rossijskoj Federacii 30 marta 1992 g. [Guidance Document "The means of computing technics. Protection against unauthorized access to information. Indicators of security against unauthorized access to information. " Approved by the decision of the Chairman of the State Technical Commission under the President of the Russian Federation of March 30, 1992]
