CC BY
3ЮРИДИЧЕСКИЕ НАУКИ, ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ УДК 004.3
Крахмалев Д.В.,
канд. техн. наук, доцент кафедры «Бизнес-информатика», Финансовый университет при Правительстве Российской Федерации, Москва
е-mail: Dkrakhmalev@fa.ru
Сыцевич Н.Ф.,
Преподаватель кафедры «Специальных вычислительных комплексов, программного и информационного обеспечения АСУ РВ», Военная Академия Ракетных войск стратегического назначения
им. Петра Великого, г. Балашиха e-mail: nikolayfs@mail.ru
Титов В.А.,
канд. техн. наук, доцент кафедры Информатика в управлении и экономике, НАНО ВО «Институт мировых цивилизаций», Россия, г. Москва
e-mail: tva23@mail.ru
ПОВЫШЕНИЕ ЖИВУЧЕСТИ В СУПЕРКОМПЬЮТЕРНЫХ СТРУКТУРАХ НА ОСНОВЕ РЕЗЕРВИРОВАННЫХ ИНТЕРФЕЙСОВ
Krakhmalev D.V.,
Candidate of technical Sciences, associate Professor of «Business Informatics», Financial University under the Government of the Russian Federation, Moscow
е-mail: Dkrakhmalev@fa.ru
Sytsevich N.F.,
Lecturer in «Special computer systems, software and information support of ACS RV», Peter the Great Stratedic Missile Troops Academy, Balashikha
E-mail: nikolayfs@mail.ru
Titov V.A.,
PhD in Economics, Associate Professor of Department of Informatics, NANO VO «Institute of world civilizations», Moscow
e-mail: tva23@mail.ru
THE INCREASE OF SURVIVABILITY IN SUPERCOMPUTING STRUCTURES BASED ON REDUNDANT INTERFACES
Аннотация. В статье рассмотрены вопросы построения суперкомпьютерных структур на основе резервированных интерфейсов, в том числе — разработки структуры и архитектуры реконфи-гурируемой суперкомпьютерной структуры — СКС, использование в качестве основной ячейки построения СКС — мажоритарно-резервированного комплекса. Одним из определяющих условий функционирования СКС являются межмашинные интерфейсы каналов ввода-вывода межмашинного взаимодействия. Придерживаясь концепции применения как правило узких интерфейсов, в ходе исследования в том числе рассматривались интерфейсы цифровых групповых трактов, концепция построения которых была принята за основу. Ключевые слова: суперкомпьютерные структуры, мажоритарные элементы, комплексирование, резервирование, интерфейсы. Abstract. ^e article discusses the construction of supercomputer structures based on redundant interfaces, including the development of the structure and architecture of the reconfigurable
supercomputing structures — SCS, used as the basic unit of construction of SCS — majority-redundant complex. One of the determining conditions for the operation of SCS are the inter-machine interfaces of the input-output channels of the machine-to-machine interaction. Adhering to the concept of the application of generally narrow interfaces, the study also considered interfaces of digital group paths, the concept of which was adopted as a basis. Key words: supercomputing structure, the majority of the elements, aggregation, redundancy, interfaces.
Целью проводимого исследования является повышение живучести суперкомпьютерных систем при требуемом уровне быстродействия. Для достижения поставленной цели решена задача синтеза структурных и архитектурных вариантов построения функциональных элементов таких систем.
Анализ существующих структур, применяемых при разработке суперкомпьютерных систем (СКС), с использованием интенсивных и экстенсивных методов построения показал, что эти методы не обеспечивают требуемый уровень живучести [1].
Накопленный авторами опыт разработки специальных вычислительных комплексов с большой наработкой на отказ (порядка 100 000 часов) позволил предложить решение задачи, в основе которой лежит новый метод выбора структуры и архитектуры СКС.
С целью повышения живучести при требуемом быстродействии СКС, в работе рассмотрены вопросы:
— разработки структуры и архитектуры реконфигурируемой СКС;
— использования в качестве основной ячейки построения СКС — мажоритарно-резервированного комплекса;
— упрощения схемы модулей комплексирования функциональных частей СКС;
— использования в качестве основного коммутационного оборудования мажоритарных элементов комплектов;
— применения в модулях комплексирования ячеек СКС интерфейсов как широких, так и узких, в основном с разделенными магистралями источников и приемников информации;
— расположения стоек СКС внутри ячеек, а также самих ячеек в СКС.
Приведена постановка задачи разработки имитационной модели функционирования элементов СКС при ее реконфигурировании в различных режимах резервирования.
Требования к надежности, живучести и наращиваемости вычислительных систем, в дальнейшем— ВС, наиболее точно были сформулированы А.В. Каляевым в монографии «Многопроцессорные системы с программируемой архитектурой» [5]. При этом особо подчеркивалось о необходимости обеспечения эффективной системы переключения различных функциональных частей ВС, что невозможно сделать без гибкой мощной коммутации и без возможности программирования архитектуры ВС.
Повысить надежность ВС можно в результате использования при ее конструировании минимального числа различных типов функциональных частей, в дальнейшем — ФЧ, регулярность соединений последних и само-восстанавливаемость каналов связи.
Этим условиям удовлетворяет многопроцессорная система, состоящая из однотипных ФЧ, имеющая возможность перестраивать и автоматически восстанавливать архитектуру ВС.
Надежность может быть также повышена за счет использования методов мажорирования. В многопроцессорных системах, обладающих программируемой коммутацией, эти методы позволяют повышать надежность программным путем за счет резервирования работы наиболее ответственных ФЧ.
В ходе исследования авторами в качестве основного элемента системы предложена схема тройного мажоритарного резервирования комплектов [2]. При этом рассмотрена работа резервированных комплектов в режимах резервирования 1001, 1002, 1003, 2002, 2003. Решены вопросы синхронизации работы мажоритарно-резервированных комплектов, в том числе с учетом времени перекоса сигналов между комплектами [3]. Показана возможность наращивания архитектуры системы за счет однородности ее построения.
Перестройка архитектуры системы производится за счет перепрограммирования схемы управления мажоритарными элементами в каждом из резервированных комплектов в соответствии с программно-задаваемыми признаками резервирования.
В общем виде структурная схема сегмента ВС представлена на рис. 1. ВС представляет собой ячеистую сотовую структуру, основным элементом каждой ячейки которой являются три программно-управляемых комплекта, связанных между собой межкомплектными связями, обеспечивающими доступ к мажоритарным элементам одноименных сигналов соседних комплектов.
Рис. 1. Структурная схема сегмента вычислительной системы
На рис. 2 изображена схема системы комплексирования комплектов одной ячейки, где А, Б, В, это резервированные комплекты ячейки; МСИ-А, МСИ-Б, МСИ-В это магистрали системных интерфейсов комплектов А, Б, В соответственно. В качестве исходных данных для схем резервирования введены следующие обозначения:
1) С — сигнал своего комплекта;
2) Л — сигнал левого комплекта;
3) П — сигнал правого комплекта.
При этом для комплектов А, Б, В в качестве своего, левого и правого будут комплекты:
1) для комплекта А: свой — А, левый — В, правый — Б;
2) для комплекта Б: свой — Б, левый — А, правый — В;
3) для комплекта В: свой — В, левый — Б, правый — А;
Очевидно, что если комплекты одной ячейки расположить относительно друг друга как показано на рис. 2, возникает проблема синхронизации в работе комплектов из-за разницы в длине межкомплектных связей между ближними и дальними комплектами, а значит и в разнице времен распространения сигналов между ними. На рис. 1 эта проблема устранена за счет расположения резервированных комплектов по сторонам равностороннего треугольника, например А11, Б11, В11, межкомплектные связи в этом случае имеют одинаковую длину между соседними комплектами.
Проблемы синхронизации работы в микропроцессорных структурах подробно рассмотрены в работах [6; 7], в том числе применительно к системам с тройным мажоритарным резервированием — в работах [3; 4].
МСИ-А | МСИ Б | МСИ
Рис. 2. Схема системы комплексирования комплектов одной ячейки
В работе [2] рассмотрена работа мажоритарно-резервированного комплекта с тройным резервированием в режимах: резервированном — 2003, дублированном — 1002, 2002, повторительном — 1001, 1002, 1003. В частности, обеспечение работы в этих режимах мажоритарных элементов, стало возможным из-за введения признаков резервирования в схемы формирования сигналов управления мажоритарными элементами. Введение признаков резервирования также позволяет комплектам любой ячейки работать независимо друг от друга, что в свою очередь позволяет создать гибкий механизм реконфигурирования ВС в процессе работы. При этом упрощается схема комплексирования функциональными частями ВС. Мажоритарные элементы периферийного оборудования могут выполнять функции коммутаторов ВС.
Что касается интерфейсов, то авторы предлагают использовать преимущественно узкие синхронные и синхронно-асинхронные интерфейсы с однонаправленной передачей данных по симметричным цепям, добавляя в них с целью повышения быстродействия сигналы управления взаимодействием, в частности сигналы измерения времени распространения от передатчика к приемнику сигналов синхронизации, а также измерения времени перекосов сигналов синхронизации и данных на приемной стороне.
На рис. 3 представлена структурная схема одной ячейки комплекса, где А, Б и В являются задатчиками магистралей источников и приемников информации соответствующих комплектов. Авторы предлагают с целью повышения быстродействия в схемах процессоров вводить отдельно интерфейсы источников информации (ИИ) и интерфейсы приемников (ИП) информации.
Задачи разработки имитационной модели функционирования элементов СКС при ее ре-конфигурировании в различных режимах резервирования, а также анализ эффективности функционирования телекоммуникационной сети, соответствующей ВС, представленной на рис. 1, упрощается из-за соблюдения условий мультифрактального характера трафика.
В ходе разработки ВС авторы придерживались соблюдения условий самоподобия, характерных для топологии фрактальных структур.
На рис. 4 представлена структурная схема комплексирования ВС, где СГМКОМ — сег-ментаторы-коммутаторы ВС. Связь между отдельными ячейками сегментов комплекса и между сегментами ВС осуществляется по координатам X, Y, Z. В качестве проводящей среды каналов связи предлагается использовать оптические или любые другие проводные линии связи. Предпочтение авторы отдают каналам связи цифровых групповых трактов приема-передачи. Сегментаторы обеспечивают полнодоступную схему связи между всеми функциональными частями ВС.
В зависимости от конфигурации ВС сегментаторы-коммутаторы могут иметь различную архитектуру построения. Одним из определяющих условий функционирования СГМКОМ являются межмашинные интерфейсы каналов ввода-вывода межмашинного взаимодействия. Придерживаясь концепции применения как правило узких интерфейсов, в ходе исследования в том числе рассматривались интерфейсы цифровых групповых трактов, концепция построения которых была принята за основу. Рассмотрим пример такого применения.
Рис. 3. Структурная схема одной ячейки комплекса
Рис. 4. Структурная схема комплексирования сегментов ВС
В качестве ячейки ВС будем использовать мажоритарно-резервированный комплекс, рассмотренный выше. На рис. 5 приведена структура одного сегмента при организации матрицы 6x5. Связи между ячейками показаны сплошной линией.
Каждому комплексу ячейки сегмента соответствует канальный интервал потока. Для организации передачи данных между ячейками используем три взаимосвязанных потока: данные интерфейса источников информации, данные интерфейса приемников информации, адреса источников/приемников информации. Для передачи адресов источников и приемников информации предлагается использовать один поток. При этом, номера канальных интервалов потоков соответствуют номерам ячеек одного сегмента ВС. Содержимое канальных интервалов адресного потока представляет собой двоичный код
адреса приемника информации, который состоит из адреса потока информации сегмента (три старших разряда) и адреса соответствующего ему канального интервала приемника информации (пять младших разрядов). Поток адресов источников/приемников информации необходим для формирования содержимого адресного запоминающего устройства СГМКОМ. Адрес приемника информации, в том числе номер сегмента и номер его канального интервала, формирует сам источник информации, записывая его в канальный интервал, номер которого соответствует номеру канального интервала источника соответствующего сегмента. Номер сегмента источника СГМКОМ определяет по номеру адресного потока. На Рис.6 приведена структурная схема организации потоков рассматриваемой ВС, где АП-С — адреса приемников информации потока Ьго сегмента; АИ-С — адреса источников потока Ьго сегмента; ИИ^ — данные интерфейса источника потока Ьго сегмента; ИП^ — данные интерфейса приемника потока Ьго сегмента; МХ — мультиплексоры; ЗУ-А — запоминающее устройство адресов сегментов и канальных интервалов источников информации; ЗУ-Д — запоминающее устройство данных сегментов и канальных интервалов источников информации; Д1/Д0 — вход/выход запоминающих устройств; А — адреса ячеек ЗУ-А, ЗУ-Д. На рис. 6 не показаны цепи управления и синхронизации работы СГМКОМ.
у Сегмент
>
Сегмент 1
у1у2 -------у 6
Рис. 5. Структура одного сегмента при организации матрицы 6x5
В ЗУ-А адрес ячейки соответствует адресу приемника информации, в том числе адрес сегмента и номер канального интервала адресного потока, а в ЗУ-Д соответственно источника информации. В ЗУ-А данные ячейки соответствуют адресам источника информации для соответствующего адреса приемника. В ЗУ-Д данные ячейки соответствуют данным канальных интервалов интерфейса источника. Использование концепции время-импульсного уплотнения позволит производить обмен информацией между абонентами ВС по полнодоступной схеме. В потоках ИИ и ИП может передаваться информация любого вида, в том числе например:
1) запросы на осуществление доступа источника в тому или иному приемнику;
2) выбор протокола обмена между источником и приемником;
3) перераспределение канальных интервалов между абонентами ВС;
4) адреса источников и приемников данных;
5) коды функций, команды или состояния;
6) суб-адреса;
7) указатели параметров обмена, в том числе длины передаваемого пакета данных;
8) собственно данные;
9) рамки кадра или защитная информация;
10) и т. п.
Рис. 6. Структурная схема организации потоков СГМКОМ рассматриваемой ВС
Выводы
С целью повышения живучести при требуемом быстродействии СКС, в работе рассмотрены вопросы разработки структуры и архитектуры реконфигурируемой суперкомпьютерной структуры. Приведена постановка задачи разработки имитационной модели функционирования элементов СКС при ее реконфигурировании в различных режимах резервирования.
Список литературы
1. Мельников А.К. Исследование путей модернизации реконфигурируемых вычислительных систем// Известия ЮФУ. Технические науки. — 2014. — № 12. — С. 83-89.
2. Ксенофонтов А.С., Сыцевич Н.Ф., Кулиев Р.С., Сыцевич С.Н. Повышение живучести мажоритарно-резервированных систем управления // Известия КБНЦ РАН. — Нальчик, 2015. — № 6 (68). — Том II. — C. 100-104.
3. Сыцевич Н.Ф., Кулиев Р.С., Москаленко ЛА., Молов М.З. Синхронизация работы мажоритарных элементов резервированных комплектов систем управления // Современные наукоемкие технологии. — 2016. — № 8 (2). — С. 261-264.
4. Сыцевич Н.Ф., Кулиев Р.С., Крахмалев Д.В, Жабоев Ж.Ж. Мажоритирование сигналов с допустимым уровнем рассогласования в мажоритарно-резервированных системах // Современные наукоемкие технологии. — 2017. — № 5. — С. 73-77.
5. Каляев А.В. Многопроцессорные системы с программируемой архитектурой. — М.: Радио и связь, 1984. — 240 с.
6. Сухман С.М., Бернов А.В., Шевкопляс Б.В. Синхронизация в телекоммуникационных системах. Анализ инженерных решений. — М.: Эко-Трендз, 2003. — 272 с.
7. Шевкопляс, Б.В. Микропроцессорные структуры. Инженерные решения. Дополнение первое: Справочник / Б.В. Шевкопляс. — М.: Радио и связь, 1993. — 256 с.
