CC BY
70
Черновицкий А.С. , Филоненко В.А., Петров В.В.
ВСТРАИВАЕМЫЙ ВЫСОКОНАДЕЖНЫЙ УНИВЕРСАЛЬНЫЙ БОРТОВОЙ ВЫЧИСЛИТЕЛЬ
Вычислитель предназначен для решения полного спектра задач ввода/вывода и обработки различных типов данных.
Вычислитель ориентирован на применение в качестве бортового, встраиваемого, промышленного специализированного компьютера и др. Вычислитель может применяться при построении высокопроизводительного телекоммуникационного оборудования, высокопроизводительных кластерных вычислительных систем.
Универсальность вычислителя позволяет интегрировать все задачи в единую аппаратную и программную среду. Среди задач могут быть, например, такие как управление бортовым оборудованием, управление вооружением, навигация, обработка моделей, мониторинг критических процессов в режиме реального времени и др.
Вычислитель представляет собой систему двойного назначения и может применяться как бортовой компьютер для военной и гражданской техники - авиации, флота, (в том числе подводного), бронетехники, космических аппаратов, телекоммуникационных систем общего и специального назначения и т.п.
Устройство характеризуется гибкой, открытой и мультифункциональной архитектурой, обеспечивающей возможность расширения функциональных возможностей. Устройство основано на применении модульно-наращиваемой архитектуры, содержит универсальные базовые (вычислительные, МВУ) модули и задачно-ориентированные интерфейсные модули (МИМ).
Основными чертами устройства являются:
Полное резервирование внутрисистемной шины и межмодульных интерфейсов по схеме «полная сеть»;
Встроенная операционная система реального времени и системное программное обеспечение высокой надежности и отказоустойчивости;
Аппаратная база устройства строится на сверхбольших программируемых логических матрицах, что обеспечивает:
- Программирование вычислительных и системных задач не только на программном, но и на
аппаратном уровне, в том числе в процессе работы;
- Возможности адаптации на аппаратном уровне к специфике конкретных приложений;
- Гибкую реконфигурацию устройства к внешним и внутренним факторам, управление задачами и перераспределение ресурсов и задач, парирование неисправностей;
- Возможность создания специализированных функциональных ядер (IP Cores), в том числе -процессорных.
Функциональная гибкость позволяет использовать устройство в различных сферах применения для
множества задач, что достигается за счет широкой номенклатуры интерфейсных модулей и гибкой
программной среды.
Устройство поддерживает распределенный (интеллектуальный кластер), локальный и смешанный режим функционирования;
Устройство поддерживает набор различных методов и функций самодиагностики (параметрический контроль, эвристический контроль) и самовосстановления;
Функционирование в распределенном режиме обеспечивает высокие показатели живучести даже при
значительных степенях поражения объекта, на который установлен вычислитель;
Оптимальное распределение ресурсов вне зависимости от типов выполняемых приложений;
Развитая подсистема контроля и диагностики на аппаратном и программном уровне.
ПАРАМЕТРЫ
Отказоустойчивость: вероятность отказа 10-10;
Живучесть: функционирование вычислителя в распределенном режиме обеспечивается даже при выводе из строя до 90% ресурсов.
Производительность: один базовый модуль обеспечивает не менее 1000 MIPS (зависит от степени
адаптации аппаратной архитектуры к задаче при использовании параллельной обработки);
Масштабируемость: обеспечивается возможность объединения до 64 и более устройств в единую
систему;
Производительность обмена данными: скорость системной шины до 10 Гбит/с, скорость межмодульных интерфейсов до 1 Гбит/с;
Время реконфигурации системы в случае сбоя либо по событию не более 0,001 с. без потери работоспособности;
Стойкость к внешним воздействиям в соответствии с КТ-160Д;
Контролепригодность: достоверность контроля Дк>0,999, полнота контроля Пк>0,98;
Ресурс изделия не менее 100 000 часов при сроке службы не менее 20 лет.
Вычислительные и интерфейсные модули объединяются высокоскоростными последовательными шинами с полным резервированием.
В состав вычислителя входит группа базовых цифровых модулей, обеспечивающих общесистемное управление, управление обменом данными, мониторингом и конфигурированием системы. Также в состав вычислителя входит набор интерфейсных модулей, выполняющих функции ввода/вывода по заданным интерфейсам. Внутрисистемный обмен происходит по высокоскоростной последовательной шине -RocketIO. Внешние высокоскоростные каналы - InfiniBand, FibreChannel.
Базовый цифровой модуль построен на основе наиболее современной элементной быза - сверхбольших ПЛИС семейства Xilinx V5, шинных формирователей типа TUNDRA, высокоскоростных модулей памяти DDR SDRAM и QDDR.
Программная архитектура устройства основана на применении высоконадежной операционной системы реального времени - INTEGRITY. Программная среда вычислителя включает в себя полный набор встраиваемого, системного и прикладного программного обеспечения. Программная архитектура устройства обеспечивает максимальную надежность, отказоустойчивость и оптимальное использование ресурсов вычислителя.
СТАЦИНАРНЫЙ ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ ВЫЧИСЛИТЕЛЬ ОБЩЕГО И СПЕЦИАЛЬНОГО НАЗНАЧЕНИЯ КЛАССА «СУПЕРКОМПЬЮТЕР»
Использование основных технических решений, полученных при проектировании бортовых систем, может успешно применяться в стационарных решениях.
Сегодня остро востребовано решение ряда задач, связанных с вычислительно-емкими расчетами.
Математический аппарат развивается быстрыми темпами, специальные научные школы предоставляют огромное количество теоретических наработок и математических моделей, которые требуют высокопроизводительной вычислительной среды.
Как правило, проблемы здесь связаны с интенсивными вычислениями или обработкой больших массивов данных. Существующие архитектуры обладают ограниченной масштабируемостью, а их развитие отстает от развития элементной базы. В то же время для решения современных задач требуются вычислительные мощности принципиально иного уровня.
Нельзя не отметить проблемы развития и обеспечения готовности и живучести инфотелекоммуникационных систем специального назначения. Эта задача также требует решения ряда проблем с помощью моделирования.
Таким образом, можно утверждать, что растет число задач, требующих сверхмощных вычислительных ресурсов
Задачи, которые можно эффективно решать с помощью комплекса, достаточно разнообразны, например:
- потоковая обработка данных (телекоммуникации, системы обслуживания выборов и др.);
- криптоанализ и стеганоанализ;
- аналитические центры различной специализации;
- видеообработка;
- мониторинг, разведка, сопоставление больших объемов информации в реальном времени;
- вычислительные приложения (генетика, экология, сейсмология и др.);
В качестве потребителей вычислительной системы могут выступать научные организации, органы государственной власти, силовые министерства и ведомства, научные, исследовательские и прочие организации, занимающиеся вычислительно-емкими приложениями, аналитические центры различной специализации.
Технические особенности и преимущества предлагаемого решения
Комплекс разрабатывается на основе наиболее современных стандартов построения
высокопроизводительного оборудования (AdvancedTCA, MicroTCA) и состоит из высокопроизводительных вычислительных модулей, объединенных высокоскоростными последовательными шинами данных (до 40 Гбит в секунду, до 8 каналов на один модуль).
Вычислительные модули, являясь специализированными устройствами, могут быть различных типов, адаптированных для вычислений с фиксированной точкой, с плавающей точкой, а также содержать аппаратно-конфигурируемые компоненты (на основе ПЛИС). Последние позволяют добиваться максимальной производительности на специализированных задачах (например, БПФ, перебор, действия с многомерными массивами и т.д.), оптимально используя возможности конфигурируемой архитектуры.
Базовыми модулями, составляющими ядро вычислительной системой, являются процессорные модули на основе ПЛИС, архитектура которых аналогична модулям, используемым в варианте бортового вычислителя.
Вычислительные модули других типов, по аналогии с бортовым вычислителем, являются для базовых процессорных модулей модулям расширения.
Тип архитектуры применяемого вычислительного модуля и их состав определяются решаемыми задачами. Используются как параллельные структуры, построенные на ПЛИС, так и высокопроизводительные сопроцессоры, выполняющие последовательные алгоритмы.
Для оборудования вычислительных модулей может применяться наиболее производительная и современная элементная база нескольких типов - процессор IBM CELL (многоядерный процессор, технология ALTIVEC, ~10 ГФЛОПС), сопроцессор ClearSpeed (25 ГФЛОПС), FPGA Xilinx Virtex4.
В предлагаемой реализации, при использовании архитектуры AdvancedTCA, один корпус сервера содержит 14 несущих плат, на каждую из которых устанавливается 8 мезонинов расширения (АМС), являющихся вычислительными модулями. Каждый вычислительный модуль может содержать до 4-х процессоров при двустороннем монтаже.
Производительность выбранных процессоров составляет порядка 25 ГФЛОПС, таким образом, при условии, что стандартная стойка RackMount умещает 5 корпусов серверов AdvancedTCA, получаем производительность стойки примерно 50 ТФЛОПС.
На сегодняшний день считается перспективным использование технологии Grid Computing, т. е. распределенной работы в сетях вычислительных ресурсов, иначе называемых вычислительными решетками.
При организации вычислений применяется разделение работ, данных и процессорных мощностей, а также иные схемы взаимодействия, предусматривающие использование распределенных ресурсов. При этом приходится обращать особое внимание на обеспечение связи между системами.
Классическая схема Grid Computing основана на использовании распределенных процессорных мощностей и распределенных систем хранения. Это позволяет эффективно задействовать незанятые вычислительные ресурсы, которые могут быть разбросаны по всему миру. Системы, построенные на принципах Grid Computing, могут создаваться как локально, так и распределенно. Технология Grid подразумевает слаженное взаимодействие множества ресурсов, гетерогенных по своей природе и расположенных в многочисленных, возможно, географически удаленных административных доменах. Пулы ресурсов могут объединять от единиц до нескольких тысяч элементов.
Архитектура предлагаемого комплекса опирается на технологию GRID в локальном исполнении, но имеет ряд существенных отличий.
В предлагаемой архитектуре все процессоры могут работать синхронно. Отсутствует задержка благодаря встроенному распределенному свитчеру. Отсутствует единственная точка отказа, так как «главного», управляющего модуля нет, и все ключевые процессы управления, конфигурирования и диагностики комплекса выполняются распределено.
Конфигурации вычислительной среды может настраиваться в зависимости от требований задачи, и представлять собой, например, MIMD или SIMD-машину, параллельную или последовательную структуру, симметричный мультипроцессорный кластер.
Комплекс может функционировать как в однозадачном, так и в многозадачном режиме, под управлением стандартной ОС либо под управлением специализированных программных средств.
Кроме того, комплекс характеризуется следующими возможностями:
Оптимальное использование вычислительных ресурсов в привязке к конкретной задаче;
Гибкость;
Пригодность к полной или частичной модернизации, в том числе в процессе эксплуатации, например, в связи с выходом более производительной элементной базы
Комплекс предоставляет принципиально новые ресурсы для решения задач моделирования и анализа, использующих современный математический аппарат, в частности - имитационное моделирование, многомерные, инвариантные модели, модели, основанные на нечеткой логике, принципах работы нейронных сетей, вложенные, рекурсивные модели и др.
Имеющиеся разработки и новизна работы
Классические суперкомпьютеры зарубежных производителей представлены достаточно широко. Однако, их использование в интересах ВС России не представляется возможным.
Российские модели суперкомпьютеров представлены несколькими системами.
Основными недостатками существующих решений является их громоздкость, закрытая архитектура, сложность в обслуживании, низкая производительность. Кроме того, в аппаратное и программное обеспечение этих систем могут быть внедрены т.н. «закладки», предоставляющие НСД.
Другими недостатками существующих решений являются сложность адаптации их к конкретным задачам и неоптимальное использование вычислительных ресурсов в специализированных приложениях.
Распределенные вычислительные сети используются в ряде приложений, но эффективность их невысока по причине применения в таких сетях стандартных персональных компьютеров, низкоскоростных каналов связи, слабой организованности подобных сетей.
Таким образом, предлагаемый комплекс может на порядки превышать по производительности самые передовые аналоги, но при этом значительно меньше их по массогабаритным показателям и стоимости. Одна стандартная стойка, аналогичная типовому мэйнфрейму, обладает показателями производительности, сравнимыми с суперкомпьютером Blue Gene, являющимся лидером в данный момент.
5.3. ГИБКОСТЬ И УНИВЕРСАЛЬНОСТЬ
В данной статье рассматривается определенный спектр приложений, в котором достигается компромисс между требованием универсальности в оговоренном круге возможных задач и максимальной производительностью в каждой конкретной задаче.
Повышение характеристик универсальности даже для достаточно узкой области применения (например, обработка данных от набора разнородных интерфейсов для бортовых применений и матричные вычисления для стационарных систем) приводит к снижению эффективности для каждой конкретной задачи. Обратное также верно, то есть, максимально сконцентрировав архитектуру вычислительной системы для определенной задачи неизбежно потеряем среднюю эффективность для других, даже близких, задач.
Однозначного решения эта проблема не имеет, и поэтому в разрабатываемые вычислительные архитектуры необходимо закладывать гибкость, которая наилучшим образом достигается путем применения аппаратно-программируемых структур на базе ПЛИС. Разумеется, адаптивными и конфигурационными возможностями также должно обладать программное обеспечение (системное и прикладное). Встраиваемое, системное и прикладное ПО вычислительных систем должно поддерживать на программном уровне возможно ПЛИС по аппаратной реконфигурации.
НАДЕЖНОСТЬ И ОТКАЗОУСТОЙЧИВОСТЬ
В бортовых встраиваемых системах вопросы надежности нередко выходят на первый план. В рассматриваемых архитектурах предлагаются следующие методы обеспечения надежности:
Кластер, работающий в режиме горячего резерва. Все процессорные модули объединяются по схеме «каждый с каждым» или «N-кратная звезда». В случае выхода одного из узлов из строя или сбоя, процесс диагностики и реконфигурации перераспределяет задачи на функционирующие узлы.
Развитые компоненты мониторинга и диагностики, работающие на аппаратном и программном уровнях, фиксирующие отказы и сбои.
Резервируемая система электропитания.
Компоненты реконфигурации, определяющие причины, место и масштабы сбоя и выполняющие мероприятия по перераспределению задач и восстановлению сбойных узлов.
Параметрический контроль состояния входных и выходных каналов внешних интерфейсов;
Эмпирический контроль состояния внешних устройств;
Сравнительный контроль входящих данных по дублированным каналам;
ТЕХНОЛОГИЧНОСТЬ В РАЗРАБОТКЕ
Гибкая модульная архитектура, основанная на унифицированных структурах модулей, позволяет повысить технологичность разработки вычислительных систем.
Создание нового модуля расширения состоит из следующих этапов:
Разработка «канальной» части модуля расширения, обеспечивающей работу по требуемым внешним интерфейсам;
Разработка системных программных компонентов, поддерживающих добавляемые интерфейсы и функции;
При необходимости, разработка компонентов в ПЛИС, реализующих добавляемые функции;
Разработка прикладных программных компонентов, реализующих добавляемые функции;
Отладка изделия в комплексе.
Таким образом, расширение функциональности вычислительной среды обеспечивается наиболее простым путем. Достаточно доработать часть модуля расширения, которая отвечает за реализацию внешних интерфейсов либо добавляемых аппаратных функций, и разработать соответствующие компоненты системного и прикладного программного обеспечения.
Функциональные блоки модулей расширения, обеспечивающие взаимодействие с процессорными модулями, остаются неизменными, как и сами процессорные модули. Также неизменным остается основное программное обеспечение.
Следует отметить также преимущества, предоставляемые используемыми спецификациями открытого модульного оборудования. Благодаря их использованию, возникают возможности глубокой межпроектной унификации как между вычислительными изделиями и комплексами, так и между предприятиями-разработчиками.
ЗАКЛЮЧЕНИЕ
Целесообразным видится создание специализированных вычислительных систем как универсальных платформ, что позволит отделить прикладной уровень, предоставив разработчику отраслевых задач полную свободу творчества.
При этом аппаратное и программное «ядро» платформы остается неизменным, избавляя разработчиков системы от необходимости постоянно воспроизводить близкие решения, отличающиеся незначительно.
Рассматривается возможность создания нескольких семейств платформ, каждое из которых рассчитано на применение в своем кругу задач из определенной сферы. Это, например:
Универсальная телекоммуникационная платформа для создания оборудования транспортных сетей;
Универсальная платформа для создания высокопроизводительных многократно резервируемых бортовых вычислителей;
Платформа для создания оборудования промышленной и специальной автоматики (промышленный компьютер высокой степени универсализации).
Для полноценной работы с предлагаемыми платформами необходимо создание отладочных средств нового типа, позволяющих проектировать вычислительные системы с адаптивностью на аппаратном и программном уровне и в полной мере учитывающих особенности архитектур новых вычислительных платформ.
Для качественного выполнения проектов разработки самих вычислительных платформ и прикладных задач на их основе следует применять ряд эффективных методик проектного управления, призванных повысить эффективность разработки сложных систем, такие как RUP, MPP, FDD и др.
К выполнению проектов разработки прикладных приложений на основе создаваемых платформ важно привлекать молодых специалистов.
Учитывая развитие микроэлектронной отрасли промышленности в России, в будущем возможен отказ от зарубежной элементной базы и переход на отечественную, номенклатура которой будет формироваться с учетом потребностей в компонентах, применяемых в рассмотренных вычислительных платформах.
