CC BY
26
doi: 10.24411/2409-5419-2018-10183
ОБЕСПЕЧЕНИЕ ИНФОРМАЦИОННО-ФУНКЦИОНАЛЬНОЙ БЕЗОПАСНОСТИ МАГИСТРАЛЬНО-МОДУЛЬНЫХ БОРТОВЫХ НАВИГАЦИОННО-ПОСАДОЧНЫХ КОМПЛЕКСОВ СПЕЦИАЛЬНОГО НАЗНАЧЕНИЯ
БЕЗЗУБОВ
Владимир Федорович1
КРИВОРУЧКО Юрий Тимофеевич2
МУЗЕЛИН Юрий Николаевич3
Сведения об авторах:
1 к.т.н., с.н.с. акционерного общества «Ордена Трудового Красного Знамени Всероссийский научно-исследовательский институт радиоаппаратуры», г. Санкт-Петербург, Россия, [email protected]
2
к.т.н., начальник сектора
акционерного общества «Ордена Трудового Красного Знамени Всероссийский научно-исследовательский институт радиоаппаратуры» г. Санк-Петербург, Россия, [email protected]
3
к.т.н., начальник отдела
акционерного общества «Ордена Трудового Красного Знамени Всероссийский научно-исследовательский институт радиоаппаратуры» г. Санк-Петербург, Россия, [email protected]
АННОТАЦИЯ
В работе рассмотрены методы обеспечения информационно-функциональной безопасности магистраль-модульных бортовых навигационно-посадочных комплексов специального назначения на основе межмашинного прямого доступа к памяти, а также аппаратных средств реконфигурации структуры комплекса в случае сбоя либо отказа. Проведен анализ организации информационного обмена между вычислительными модулями в комплексах реального времени на основе технологии RDMA Consortium, высокоскоростного интерфейса SRIO и межмашинного прямого доступа к памяти межмашинного прямого доступа к памяти. Показано, что в соответствии с принципом импортозамещения, для организации высокоскоростного информационного обмена в бортовых навигацион-но-посадочных комплексах наиболее эффективно применение отечественного способа организации обмена данными - межмашинного прямого доступа к памяти, реализующего конвейерную передачу данных, по сравнению с технологии RDMA Consortium, а также интерфейсом SRIO, разработанным компаниями Texas Instruments, Freescale, Semiconductor и др. Произведен сравнительный анализ временных характеристик восстановления вычислительного процесса, после возникновения отказа, в системах реального времени, построенных на основе последовательного интерфейса RapidIO - SRIO и на основе интерфейса межмашинного прямого доступа к памяти. Показано, что в соответствии с принципом импортозамещения, для сокращения времени восстановления вычислительного процесса после возникновения отказа, в системах реального времени, наиболее эффективно применение отечественного способа организации обмена данными - межмашинного прямого доступа к памяти, реализующего конвейерную передачу данных, по сравнению с интерфейсом SRIO, применяемым зарубежными компаниями. Приведены результаты сравнительного анализа применения аппаратных и программных средств организации восстановления работоспособности бортовых навигационно-посадочных комплексов после возникновения отказа методом реконфигурации структуры. Показано, что использование аппаратных средств контроля и управления реконфигурацией структуры в сочетание с межмашинным прямым доступом к памяти позволяет повысить эффективность обеспечения информационно-функциональной безопасности бортовых навигаци-онно-посадочных комплексов специального (военного) назначения..
КЛЮЧЕВЫЕ СЛОВА: надёжность; безотказность; доступность; избыточность; готовность; ремонтопригодность; отказоустойчивость; безопасность; бортовой навигаци-онно-посадочный комплекс.
Для цитирования: Беззубов В.Ф, Криворучко ЮЛ., Музелин Ю.Н. Обеспечение информационно-функциональной безопасности ма-гистрально-модульных бортовых навигационно-посадочных комплексов специального назначения // Наукоемкие технологии в космических исследованиях Земли. 2018. Т. 10. № 6. С. 4-18. doi: 10.24411/2409-5419-2018-10183
При проектировании и построении бортовых нави-гационно-посадочных комплексов (БНПК) специального назначения создание средств, обеспечивающих устойчивое функционирование вычислительных модулей, сокращение риска потери функциональности системы и последствий потери информации, после случайных или злонамеренных дестабилизирующих воздействий, является актуальной задачей.
Обеспечение информационно-функциональной безопасности [1], прежде всего, связано с минимизацией риска потери данных при отказах БНПК, вызванных внешними или внутренними причинами, в том числе в результате злонамеренных воздействий.
Для снижения риска потери данных и критических результатов вычислений в системах ответственного (критического) назначения, как правило, производится резервирование основных ресурсов обработки и хранения данных, что приводит к реализации вычислительных узлов в виде резервированных, в том числе дублированных, вычислительных комплексов (ДВК).
Эффективность средств защиты от внешних и внутренних воздействий, вызывающих нарушение целостности информации и отказы систем управления, во многом определяется организацией средств комплексирования, которые должны обеспечить высокоскоростной доступ к памяти, хранящей важные для вычислительного процесса данные и результаты вычислений. Высокоскоростной доступ к ресурсам вычислительных комплексов, позволяет ускорить контроль и обнаружение опасных состояний, минимизировать их вероятности и увеличить эффективность процесса снижения риска компенсацией ошибочного функционирования вычислительного процесса, потери доступности и целостности данных.
1. В работах [2-3] рассмотрены вопросы организации межмашинного обмена и получены следующие временные характеристики для ДВК при различной организации взаимосвязи вычислительных модулей (ВМ): - обмен через радиальные соединения:
Т
Т + 4tN;
ор
- обмен через общую память (ООЗУ):
Т = М Ы;
оп 7
- обмен через адаптер «канал — канал»:
Тк-к = Тор + 2tN, или для Q — шины: 2tN= 2 t4,5),
где t —среднее время одного процессорного цикла шины (ввод/вывод, чтение/запись), N — количество слов информационного массива, Тор — время организации режима обмена.
Из рассмотренных вариантов организации обмена наименьшее время передачи информации может быть по-
лучено при объединении, через адаптер «канал — канал», внутренних магистралей (ВнМ) вычислительных модулей (ВМ), участвующих в обмене.
Рассмотренное в работе [4] техническое решение позволяет сократить время информационного обмена между отдельными, входящими в комплекс вычислительными модулями, за счет организации межмашинного (двойного) прямого доступа к памяти (мПДП), обеспечивающего доступ к памяти вычислительного устройства с отказавшим процессором, в результате чего появляются дополнительные возможности обеспечения доступности, целостности информации, отказоустойчивости микропроцессорных магистрально-модульных БНПК [5-7].
При использовании двойного ПДП время, затрачиваемое на передачу массива из N слов, составляет: Тууо= Тор + t (Ы + 1); при этом для Q — шины Тууо= t (Ы + 16); где t — цикл шины [3]. Применение двойного ПДП, по сравнению с обменом через общую память и адаптером «канал — канал», не поддерживающим двойной ПДП, позволяет сократить время обмена. Действительно, при обмене через общую память требуется время: Топ = 4Ы, а при обмене через адаптер «канал—канал»: Тк-к = Тор + 2tN. При этом, например, для магистрали типа — шина» Тор = 9t и соответственно Тк-к = + 4,5) [3]. Эффективность двойного ПДП относительно обмена через общую память и адаптер «канал — канал» определим, соответственно, как к, = Т /Т ; к2 = Т /Т (рис. 1).
1 к-к ууо7 2 оп ууо '
Применение двойного ПДП целесообразно, когда время организации режима обмена меньше времени передачи массива информации программным способом: То < 4tN, что соответствует Ы > 4.
В работе [8] определена зависимость времени восстановления вычислительного процесса ДВК от способа организации обмена между полукомплексами (ВМ). В работе [8] показано:
t > t + t +1 ; отсюда: t = t - t - t ,
тгтгтт — ттггг тгтг тггг7 '' итгг иитт ктг тит'
Рис. 1. Относительная эффективность двойного ПДП
где /ввп—время восстановления вычислительного процесса после отказа; / — величина интервала времени передачи данных контрольных точек (КТ); / — время взаимоконтроля ВМ; /зкг — время загрузки данных КТ.
Потеря производительности ДВК при реализации передачи информации о КТ составит:
Т = / / / - / - / ,
пкт ввп вк зкт^
где / — время передачи данных КТ, или: - для структуры с общей памятью:
Т„„ =-
86ДКМ(1/ ) . 1601 )'
- для структуры с адаптером «канал — канал»:
г = 40 (Nкы + 4)(1/ ^) ;
ммк ^ -+ 4)(1/Еш)-8Ы,ы/
- для структуры с адаптером (УУО):
г = ^ + 4)(1/ ^)
УУ° С -801 (N1 + 4)(1/^)-8М„/^
здесь Q — коэффициент, характеризующий способ организации ввода/вывода.
Для расчёта принято: Г = 200 МГц — частота шины, Q1 = 1 (для ввода/вывода без ПДП, когда ЦП непосредственно участвует в каждой операции пересылки), Q2 = 0,7 (для ввода/вывода с ПДП, когда ЦП участвует лишь в инициализации КПДП и формировании сигнала «подтверждение ПДП»), N = 1, = 1000000:
Результаты расчетов показаны на рис. 2.
При потере производительности системы Т = 5% время восстановления вычислительного процесса составляет:
4 = 1,734 с; 4 = 0,893 с; 4 = 0,27 с;
Воп ^ 7 Вммк ^ 7 Вууо ^ 7
Минимальное время восстановления вычислительного процесса ДВК достигается при организации обмена с использованием межмашинного (двойного) ПДП.
При передаче больших массивов данных с использованием режима двойного ПДП возможно их разбиение на кадры с организацией режима работы для каждого кадра.
Разбиение передаваемого массива данных на кадры приводит, с одной стороны, к снижению вероятностей повторных передач из-за сбоев и соответственно к сокращению временных затрат на повторные передачи, а с другой стороны — к возрастанию издержек времени на организацию каналов прямого доступа. Соответственно возникает задача оптимизации числа кадров, формируемых при передаче массива данных в режиме двойного ПДП.
Среднее время межмашинного обмена (Т) с установлением канала двойного ПДП при разбиении передаваемого массива данных, состоящего из N слов, на к кадров вычисляется как [9]:
Т = ((1 + N / к ) + а )к £ 1Ь (1 - Ь )
1=1
где Ь = е-«1+№к)м»2+ ")
Зависимость времени Т от числа кадров к, формируемых при передаче массива данных длиной N слов, представлена на рис. 3.
Полученные результаты показывают наличие в режиме межмашинного (двойного) ПДП оптимального числа кадров, формируемых при передаче массива данных,
Рис. 2. Время восстановления вычислительного процесса
Рис. 3. Оптимизация длины кадров информационного массива
при котором, в условиях сбоев, время межмашинного обмена минимально.
Рассмотренное техническое решение, при создании управляющих вычислительных комплексов (систем), позволяет:
- повысить скорость параллельных вычислений в двухмашинных (многомашинных) вычислительных комплексах за счет сокращения времени информационного обмена, между вычислительными модулями комплекса;
- сократить время обмена информацией, что уменьшает вероятность возникновения сбоя при обмене и, соответственно, повышает сохранность информациипри обмене;
- сократить время обнаружения опасных состояний и выхода из них, т. е. минимизировать вероятность возникновения опасных состояний;
- получить дополнительные временные ресурсы, которые могут быть использованы для повышения живучести ВК посредством реализации различных вариантов избыточности, что особенно важно при создании ВК, работающих в режиме реального времени;
- обеспечить доступ к памяти вычислительного устройства с отказавшим процессором, в результате чего появляются дополнительные возможности обеспечения информационно — функциональной безопасности, отказоустойчивости и живучести вычислительных комплексов и систем управления, что позволяет повысить устойчивость функционирования резервированных комплексов путем создания работоспособных конфигураций, с использованием сохраненных после деструктивных воздействий (отказов) ресурсов и результатов вычислений.
В настоящее время ни одна из отечественных систем подобными свойствами не обладает.
Таким образом, применение межмашинного (двойного) ПДП, для организации информационного обмена, позволяет повысить информационную безопасность автоматизированных систем управления и обеспечить их устойчивое функционирование при случайных или злонамеренных дестабилизирующих воздействиях.
2. В резервированных (дублированных) вычислительных комплексах (ДВК), при выходе из строя основного вычислителя, исправные вычислительные устройства берут на себя функции вышедшего из строя, тем самым обеспечивая надежное функционирование вычислительного комплекса.
Немаловажное значение имеет время восстановления работоспособности вычислительного комплекса после отказа, которое зависит от организации контроля работоспособности вычислительных модулей (ВМ) комплекса, а также от реализации механизма реконфигурации структуры в случае возникновения отказа.
Для контроля работы вычислительных устройств и управления реконфигурацией в многомашинных вычислительных комплексах (ММВК), объединяющих ВМ с АКВИ (автоматом контроля и восстановления информации), требуется разработка и совершенствование блоков контроля и управления резервированием (БКУР), представляющих собой процессорные устройства с повышенными требованиями к надежности.
В структурах с АМКВИ (автоматом межмашинного контроля и восстановления информации) для обеспечения синхронизации процессов в ВМ и организации информационного обмена между ВМ требуется использование высокоскоростных сетевых интерфейсов необходимых для обеспечения дополнительного ресурса времени, позволяющего реализовать программные методы внутреннего тестирования и межмашинного контроля. Сокращение времени информационного обмена может быть достигнуто при использовании межмашинного прямого доступа к памяти (мПДП).
В работе [9] рассматривается применение в управляющих вычислительных комплексах (системах) устройства управления реконфигурацией (УР), которое позволяет частично возложить функции контроля работоспособности вычислительных модулей и реконфигурации структуры вычислительного комплекса (системы) на аппаратные средства.
При этом в каждом ВМ комплекса (системы), специальная программа, на основании анализа тестов формирует своё «слово — состояния» ВМ и передает его в УР. На основании полученной информации, УР вырабатывает, на аппаратной логике, признак «ведущий» для одного из ВМ комплекса (системы).
Время контроля работоспособности вычислительных модулей определяется передачей вычислительными модулями коротких сообщений о результатах тестового самоконтроля в УР. При этом потеря производительности комплекса определяется отношением времени пересылки сообщений между ВМ и УР, к интервалу времени между посылками — t .
ио
Показано, что потеря производительности вычислительного комплекса (ДВК), обусловленная реализацией обмена между ВМ и УР, составит:
- при поочередном обмене между ВМ комплекса и УР:
Т" = 160Д(1/^ )П
ур ^ 1 14 ш' ио
- при синхронном обмене между ВМ комплекса и УР:
Т ур1 8 б 1Ы1 (1/"^ш)/^ио
здесь б — коэффициент, характеризующий способ организации ввода/вывода,^ — частота шины, Ы — величина передаваемого массива информации.
Видим, что при синхронном обмене, т.е. при одновременном обращении ВМ комплекса к УР, время, затрачиваемое на обмен, сокращается вдвое.
Сравним данный способ контроля работоспособности ВМ комплекса с контролем работоспособности, основанным на обмене сообщениями между ВМ.
При обмене сообщениями между ВМ комплекса потеря производительности определяется способом организации обмена между ВМ [3].
С учётом временных затрат на пересылку сообщений в обе стороны потеря производительности комплекса, обусловленная взаимоконтролем, выражается как:
- для структуры с общей памятью;
Т = 32Q1N1(1/F ) / /
оп ^ 1 14 ш' ио
- для структуры с адаптером канал — канал;
Т = ^(Ж+4Х1/Г )/ /
ммк ^ 14 1 '4 ш' ио
- для структуры с адаптером, реализующим межмашинный (двойной) ПДП;
Для расчёта принято: Q=1 (для ввода/вывода без ПДП, когда ЦП непосредственно участвует в каждой операции пересылки), Q = 0,7 (для ввода/вывода с ПДП, когда ЦП участвует лишь в инициализации контроллера прямого доступа к памяти (КПДП) и формировании сигнала «подтверждение ПДП»), N1 = 1, Гш = 200 МГц, Результаты расчета представлены на рис. 4.
Таким образом, применение УР позволяет сократить время контроля исправного функционирования вычислительных модулей ДВК.
В работе рассматривается влияние применения УР на время восстановления вычислительного процесса после отказа одного из ВМ.
/ = / + / + / ,
в икт контр рек
где /контр — время, затрачиваемое на обмен между ВМ и УР, /икт — интервал времени передачи данных контрольной точки (КТ), /рек — время реконфигурации структуры ВМ.
При нарушении работоспособности основного ВМ, время, затрачиваемое на реконфигурацию системы, определяется временем реализации процедуры переключения на резервный ВМ (рис. 5).
В работе [9] показано, что в соответствии с приведенным алгоритмом:
/ = т + 14/,
рек
где / = 4(1/Гш); т = 4п / Гш , п — количество процессорных циклов необходимых для завершения выполнения процессором команды в момент поступления сигнала требование прерывания (ТПР).
Потеря производительности, обусловленная временем восстановления ДВК, составит:
- при последовательном обмене между ВМ и УР:
Т' =-
4&2( Nкт +16)(1/
^вво - 801 N1 (1 / ^) - (4п / ^) - 56(1 / ^)
- при синхронном обмене между ВМ и УР:
Рис. 4. Зависимость потери производительности ДВК от интервала времени контроля работоспособности ВМ
20/( ^ +16)(1/
ур1
С - 401 N1 (1 / ^) - (4п / - 56(1 / ^)
Для ДВК без использования УР и организацией программного взаимоконтроля работоспособности ВМ комплекса [8] потеря производительности ДВК составит: - для структуры с общей памятью:
166. N„(1/ ,
^-Щ N.(1/
для структуры с адаптером «канал — канал»:
М Nкт + 4)(1/
^вво -801 (N1 + 4)(1/^)-8Nкт/^
Рис. 5. Алгоритм работы УР
- для структуры с адаптером реализующим межмашинный (двойной) ПДП:
Г = 4622(^ + 16)(1/ ^ + 16)(И *Ш)-8 ^ / ^
Для расчёта принято: б = 1, б = 0,7, Ы = 1, Ы = 1000000, ^ = 200 МГц, п = 10.
кт ^ ш
При приемлемой потере производительности 5% определено время восстановления вычислительного процесса:
- при организации поочередного обмена между ВМ и УР:
'вур = № № +16)(1 /Гш)/Т] + ЩМ,(1/Гш) +
+(4й/^ш) + 56(1/^ш) = 0,225С.
- при синхронном обмене между ВМ и УР:
+(4п/^ш) + 56(1/^ш) = 0,225с.
Для ДВК без использования УР, как показано в работе [13]:
4 = 1,734 с; 4 = 0,893 с; 4 = 0,27 с;
Воп ^ 7 Вммк ^ 7 Вууо ^ 7
Использование УР для контроля работоспособности ВМ и реконфигурации структуры комплекса в случае нарушения работоспособности ВМ, сокращает время восстановления вычислительного процесса.
Использование дополнительного устройства управления реконфигурацией в сочетании с программным тестовым самоконтролем ВМ, а также организация обмена между ВМ комплекса на основе межмашинного (двойного) прямого доступ к памяти, сокращает время на контроль работоспособности ВМ, время на обмен информацией между ВМ, а также дает возможность работы исправного ВМ с памятью отказавшего ВМ и соответственно повышает сохранность информации и устойчивость работы вычислительного комплекса.
Применение устройства для реконфигурации резервированной системы, при построении многомашинных управляющих комплексов (систем), позволяет создавать управляющие вычислительные комплексы (системы) с программно — перестраиваемой структурой [10].
Вычислительный комплекс (система), с программно — перестраиваемой структурой, представляет собой объединение узловых вычислителей (УВ), функциональное взаимодействие между которыми осуществляется через программно — перестраиваемую коммуникационную среду (КС), состоящую из модуля контроля и управления реконфигурацией (МКиУ) и блока реконфигурации (БР).
На рис. 6. показана упрощенная структурная схема многомашинного вычислительного комплекса (системы) с программируемой структурой.
В работе [12] определено время передачи информации при использовании ЯЭМА — канала:
Т„,
Т + T ,
ор. канала передачи
Рис. 6. ММВК с программируемой структурой
Каждый из узловых вычислителей комплекса способен выполнять любые процессы, иметь доступ ко всем каналам ввода-вывода и, в случае необходимости, как полностью, так и частично дублировать работу любого другого узлового вычислителя и составляющих устройств, реализуя, тем самым, метод гибкого резервирования замещением. Полный доступ к внутренним ресурсам узловых вычислителей позволяет сократить время восстановления системы после отказа, а значит повысить коэффициент готовности системы. Полное резервирование аппаратных средств обеспечивает отсутствие «изолированных мест повреждения» в системе [11].
3. Необходимость использования ПДП для организации информационного обмена между отдельными компьютерами вычислительной системы продиктована увеличением скорости потока данных в современных каналах связи, что привело к возникновению идеи RDMA — Remote Direct Memory Access (дистанционный ПДП).
Разработка технологии использования ПДП для организации информационного обмена между отдельными компьютерами велась под управлением RDMA Consortium, куда входят многие гранды индустрии, такие как IBM, Cisco, NetApp, EMC, HP, Intel, Microsoft, общим числом около 50. Работы велись с 1998 года, а в 2003 году RDMA Consortium объявил о завершении всех запланированных спецификаций.
Использование сетевых адаптеров RDMA основано на реализации функции SMB Multichannel, которая является частью сетевого протокола SMB3.0. SMB Multichannel отвечает за обнаружение поддержки RDMA сетевого адаптера.
где T = 4tN — при условии передачи данных без учета времени прохождения сигнала через канал объединяющий сетевые адаптеры, где t — цикл шины (ввод/вывод), N — количество слов информационного массива, Т
* i 7 ор. канала
определяется временными издержками на реализацию функции SMB Multichannel (TSMBm), которая является частью протокола SMB3.0. и временем организации режима
ПДП (Тор/пдп1;2 X т.е.
Т = T + Т
ор. канала SMBm ор/пдп1;2
При передаче «отмеченных» сообщений в локальном узле клиентский протокол посредством протокола RDDP регистрирует буфер. После регистрации буфера в локальном узле, он становится доступным удаленному узлу. Локальный узел должен послать удаленному узлу параметры буфера и специальный ключ, разрешающий доступ к памяти локального узла. Все эти процедуры увеличивают время организации режима работы RDMA.
Очевидно, что использование дистанционного ПДП (RDMA) требует времени для программной обработки сетевых протоколов при организации режима работы и канала RDMA.
При построении локальных (малых) систем управления применение технологии RDMA Consortium базируется на использовании высокоскоростной коммутируемой последовательной шины Infiniband, применяющейся как для внутренних (внутрисистемных), так и для межсистемных соединений.
Таким образом, использование технологии RDMA Consortium для построения локальных (малых) систем управления требует создания сетевых структур и соответственно дополнительных временных издержек на реализацию TCP/IP- протоколов для организации каналов и режима работы RDMA. Кроме того, применение функции SMB Multichannel протокола SMB3.0 требует использования Windows Server 2012 или Windows 8, что ограничивает номенклатуру применяемого ПО.
Выбор архитектуры системы управления реального времени, адекватной решаемым задачам, является актуальной проблемой. Ошибочные решения, принятые на этапе выбора типов межмашинных (межпроцессорных) интерфейсов, могут стать причиной снижения качественных характеристик системы и необоснованных затрат на ее реализацию.
Сегодня, широкую популярность, в том числе и в ОПК нашей страны, приобрел интерфейс «быстрого ввода-вывода» — RapidIO (SRIO),— одним из авторов его создания и внедрения была компания Texas Instruments. Это совре-
менный интерфейс мультипроцессорных систем с высокой скоростью передачи данных. Он используется для коммуникаций, как между чипами в пределах одной платы, так и между платами в пределах устройства. Вычислительные модули, в данном случае, объединяются высокоскоростными последовательными каналами по принципу «точка — точка», или с использованием коммутаторов.
В работе [13] проведен сравнительный анализ организации информационного обмена между вычислительными модулями во встраиваемых (малых) системах реального времени на основе высокоскоростного интерфейса SRЮ и межмашинного прямого доступа к памяти.
На основе алгоритмов работы интерфейса SRЮ [1617] определены временные характеристики приемо — передачи данных между конечными абонентами, объединенными посредством дуплексного звена SRЮ, в различных режимах (пассивном, активном) работы интерфейса.
Следует отметить, что организация обмена данными посредством дуплексного звена SRЮ не позволяет реализовать метод конвейерной передачи, что определено организацией логического уровня интерфейса SRЮ.
Без учета времени оповещения конечного абонента о приеме сообщения, в режиме прерывания программы, и времени передачи ответного пакета, полное время при-емо-передачи одного сообщения между двумя абонентами составит:
- для пассивного режима работы:
Тп п = 2/ (п + 1,5) + 4/. ШК + 0,25);
П-П.пас кач пр > ' Л4 >
- для активного режима работы:
Тпп = 2/ N + 1) + 3/ + 2/. (п + 1 + 2NK);
П-П.а кау цбо ' ка Лу пр
В случае передачи группы сообщений, с учетом времени организации режима работы, время приема-передачи составит:
- для пассивного режима работы:
Т .= С [2/ (п + 1,5) + 4/Л(ШК + 0,25);
вгарш-П кау пр 7 ' Лу ^
- для активного режима работы: Т .л = 2/ N + 1) + С[3/ + 2/. (п + 1 + 2NK)];
srapla-А кяу ибо ' кя Ду пр '-17
Л пр
где /ка — цикл шины «ввод/вывод» конечного абонента;
/А — время анализа данных описателя процессором адаптера, соответствует рабочему циклу «ввод — вывод» внутренней шины адаптера;
ппр > 3 — количество обращений программы пользователя к рабочим адресуемым регистрам контроллеров блока сообщений;
N — количество слов циркулярного буфера описателя;
N — количество информационных слов в сегменте;
К — количество сегментов в сообщении;
С — количество передаваемых сообщений.
Для межмашинного ПДП, реализующего способ конвейерной передачи данных между конечными абонентами, время передачи группы сообщений составит:
Т = СК [15/ + /ЛШ + 1).
мпдп ка Лу '
Результаты расчетов сравнения временных характеристик обмена данными при объединении конечных абонентов посредством дуплексного звена SRЮ и межмашинного ПДП в различных режимах работы показаны на рисунках 7, 8, 9:
- на рис. 7 представлен режим передачи одного сообщения (С = 1), состоящего из одного пакета (К = 1) при его размере N = 8-256 (байт);
- на рис. 8 представлен режим передачи одного сообщения (С = 1), состоящего из группы пакетов, например, (К = 1-50), при N = 256 (байт);
- на рис. 9 представлен режим передачи группы сообщений, например, (С = 1-50), состоящих из группы пакетов, например, (К = 50), при их размере N = 256.
Рис. 7. Время передачи одного инф. кадра
Рис. 8. Время передачи группы инф. кадра
Рис. 9. Время передачи группы сообщений
Преимущество конвейерной передачи данных между конечными абонентами, реализованной на основе межмашинного ПДП, с увеличением объема передаваемых данных, растет по сравнению с использованием высокоскоростного дуплексного звена SRЮ.
В работе [15] определена относительная эффективность передачи данных через адаптер дуплексного звена SRЮ и адаптер межмашинного ПДП.
Относительная эффективность определяется как:
К . =Т . ЙД ;
srapld-A srapld-А мпдп7
КК = Т 1Т ;
srapld-П srapld-П мпдп7
Результаты расчетов представлены на рис. 10. При увеличении объема передаваемой информации, эффективность конвейерного способа обмена данными между конечными абонентами, реализуемого посредством адаптера межмашинного ПДП, растет по отношению к реализации обмена через дуплексное звено БЫО.
Очевидно, что на время информационного обмена в реальных условиях влияют различного рода воздействия, приводящие к возникновению сбоев и соответственно к необходимости реализации повторных передач.
Среднее время обмена с учетом реализации повторных передач при возникновении сбоев составляет [9]:
1. При использовании высокоскоростного дуплексного звена SRЮ:
- пассивный режим работы:
Ткю-п = К(4А^ + 1) + £/1]Х (1 -ЪХТ\
¡=1
где й = 2/ка(и + 1,5) — время организации режима работы адаптера БМО; Ъ1 = е-[[4^]]
- вероятность бессбойной передачи;
- активный режим работы:
Рис. 10. Относительная эффективность способов передачи данных
Ткю-А = [>„ +1) + (3^ +<12 +41аЩ]^Ь2(\-Ь2Г\
¡=1
где Ъ2 = = Ък(п +1) + з/ка.
2. При использовании адаптера межмашинного ПДП [5]:
где й3 = Ъъ =
Результаты расчетов показаны на рис. 11: Относительная эффективность рассматриваемых способов организации обмена при возникновении сбоев определяется как (рис. 12):
К = Т ., / Т (рис. 12).
srapld мпдп '
Т(сек)
4x10"
3x10'
-з
2x10"
1x10'
-3
Т 5Г10
У / ,____ Т мп^ — Л
5x10
Ы(байт)
1хЮ5 1.5х105
К
4.02
1 5а йт)
1 10 100 1x103 1хЮ4 1хЮ3 1x10й
Рис. 11. Время передачи массива данных
Рис. 12. Относительная эффективность обмена
Рис. 13. Время передачи информационного массива при его разбиении на кадры
В условиях сбоев, при реализации повторных передач, сокращение времени передачи информационных массивов достигается за счет увеличения скорости при конвейерной передаче данных.
При увеличении объема передаваемой информации, в условиях сбоев, для организации информационного обмена наиболее эффективно применение межмашинного ПДП, реализующего конвейерную передачу данных.
В работе рассмотрен режим передачи информации при разбиении передаваемого массива данных на кадры.
Среднее время передаваемого массива данных, состоящего из «М> слов, при его разбиении на «к» кадров при модификации формул по [8] определяется, как:
- для организации обмена через дуплексное звено SRЮ в пассивном режиме:
* ¡=1
, -(4/лт-++К») где Ь1 = е к ;
- для организации обмена через дуплексное звено SRЮ в активном режиме:
Т
1ЭШО-А
где Ь,=е1
Результаты расчетов представлены на рис. 13а:
- для организации обмена посредством межмашинного ПДП (рис. 13б):
Т =
мттдп
1
гА(- + 1) + ^з к
фь3(1-ь3г\
—+1 |»Л + ¿3
где Ь3 = е
Расчеты произведены при N = 150 МГб; к = 1-10000.
Разбиение, передаваемого массива данных на кадры, в условиях сбоев, а значит при необходимости организации повторных передач, позволяет реализовать, для каждого из рассматриваемых способов передачи, покадровую передачу массива данных с наименьшими затратами времени.
Относительная эффективность рассмотренных способов передачи данных, при разбиении информационного массива на кадры, определяется как:
К , = Т ,/Т .
sr/пдп srapla мпдп
Результаты расчетов приведены на рис. 14. Проведенный анализ показывает, что в реальных условиях, при наличии помех, наиболее эффективна передача данных на высоких скоростях с разбиением информа-
Кхг/пдп
4.002
3.995
3.996
к (кадров)
1
10
100
1хИГ
1x10
Рис. 14. Относительная эффективность обмена при разбиении информационного массива на кадры
б
а
ционного массива на кадры и организацией конвейерной передачи данных на основе межмашинного ПДП.
Разбиение на кадры позволяет реализовать устойчивую к помехам передачу данных с наименьшими затратами времени, что обеспечивает дополнительный ресурс обеспечения информационно-функциональной безопасности, надежности, в том числе при объединении вычислительных узлов и узлов хранения в системах кластерной архитектуры.
Проведенные исследования показывают, что в соответствии с принципом импортозамещения, для организации высокоскоростного информационного обмена во встраиваемых (малых) вычислительных комплексах, определяющих архитектуру магистрально-модульных БНПК наиболее эффективно применение отечественного способа организации обмена данными — межмашинного ПДП, реализующего конвейерную передачу данных, по сравнению с интерфейсом SRIO, разработанным и применяемым компаниями Texas Instruments, Freescale, Semiconductor и др.
В работе [16] проведен анализ влияния организации информационного обмена во встраиваемых системах на эффективность обеспечения восстановления вычислительного процесса (ВВП) после возникновения отказов.
Рассматриваются дублированные ВК с организацией обмена данными посредством высокоскоростного дуплексного звена SRIO и адаптера, реализующего межмашинный ПДП (мПДП).
Следует отметить, что применение высокоскоростного дуплексного звена SRIO, в отличие от реализации обмена данными посредством межмашинного ПДП, не позволяет обеспечить доступ к памяти ВМ с отказавшим процессором.
Рассматривая двухмашинные вычислительные комплексы предполагается, что время выполнения запросов является критичным. Прерванную обработку запросов необходимо восстанавливать, используя механизм КТ. Таким образом, полукомплексы регулярно обмениваются данными, необходимыми для восстановления вычислительного процесса.
Как было показано выше, время информационного обмена для рассматриваемых структур и способов организации обмена вычисляется по следующим формулам:
- для применения межмашинного ПДП:
T .Л = 2t (n + 1,5) + (N + 0,25),
srapid-П кау пр 7 ' Av ^
где / — длительность цикла шины (ввод/вывод) конечного абонента, tA — длительность цикла шины (ввод/вывод) адаптера дуплексного звена SRЮ;
- для активного режима работы адаптера высокоскоростного дуплексного звена SRЮ:
T . = 2t N +1) + 3t + 24 (n + 1 + 2N),
srapid-A кау цбо ' ка А v пр
где Жц6о—количество слов циркулярного буфера описателя.
Время, затрачиваемое на пересылку данных КТ, зависит от реализации обмена данными между вычислительными модулями комплекса.
Потеря производительности комплекса, определяемая временем передачи данных КТ с учетом времени формирования (загрузки данных) КТ, составляет: 0 +t )
Т* = —5ЕЕ-, где Т* — потеря производительности вы-
^ИКГ
числительного комплекса, 4^ — время передачи данных КТ, определяется способом организации обмена между вычислительными модулями вычислительного комплекса,
= -
F
_ время формирования (загрузки данных)
КТ, 4^ — интервал времени передачи данных КТ.
1. Для реализации обмена посредством высокоскоростного канала SRЮ:
- для пассивного режима работы адаптера SRЮ:
8Л4
Т* =
srio-H
8(1,5 + ^ + 4^(4^+1) + р
- для активного режима работы адаптера SRIO:
Т* =
srio—А
ка ка
2. Для реализации обмена посредством адаптера межмашинного ПДП:
T = T + t (N + 1),
мп дп op v
где Т — время организации режима работы, t—длительность цикла шины (ввод/вывод), N — количество слов информационного массива.
- для пассивного режима работы адаптера высокоскоростного дуплексного звена SRЮ:
4 8 N
+1)^ + 15^ +
Т' =-
МПДП
F F F
■* А_ ка ■* ка
L
Для расчета принимаем: Fка= 400 МГц; FА= 800 МГц; 100 Кбайт.; п = 3; N = 1. '
7 цбо
Результаты расчета представлены на рис. 15.
При приемлемой потере производительности Т = 5% минимальный интервал времени передачи данных КТ составляет:
- для реализации обмена посредством высокоскоростного канала SRЮ в пассивном режиме работы:
/ . „ = 0,08 с;
БПО-П 7 7
- для реализации обмена посредством высокоскоростного канала SRЮ в активном режиме работы:
/ . . = 0,08 с;
srlo-А ' 7
- для реализации обмена посредством адаптера межмашинного ПДП:
/ = 0,05 с.
мпдп
Величина интервала времени передачи данных КТ (/икт), времени взаимоконтроля (/вк) и времени загрузки данных КТ (/ ) определяет возможное время восстановления вычислительного процесса (/ввп) после отказа:
/ > / + / + / ; отсюда: / = / — / — / .
ввп — икт вк зкт' икт ппп вк зкт
икт ввп вк зкт
Потеря производительности ВК при реализации передачи информации о КТ составит:
Т* = / // или Т*=-^-:
пкт икт
Т' =
то-А
4
"8(1 + ^)^-2^(2^ +1 + и)-3А_8
ка ка
- для реализации обмена посредством адаптера межмашинного ПДП:
1 4
4 (Nкт + V + I5 Т
А ка
Тмпдп 1 4 N
Г - 8 (N +1)--30--8—!
ввп V вк / р р р
ка ка
Для расчета принимаем: 400 МГц; ^А= 800 МГц;
100 Кбайт.; п = 3; N = 1.
цбо
Результаты расчета представлены на рис. 16.
При приемлемой потере производительности Т = 5% время восстановления вычислительного процесса (ВВП) для рассматриваемых структур составит:
- для реализации обмена посредством высокоскоростного канала SRЮ в пассивном режиме работы:
- для реализации обмена посредством высокоскоростного канала SRЮ в пассивном режиме работы:
8(1,5 + и)^ + 4^(4ЛГи+1)
Т =
8ПО-П
Р F
ка А
ка А ка
- для реализации обмена посредством высокоскоростного канала SRЮ в активном режиме работы:
/ ввп п = 0,042 с;
БПО-П '
- для реализации обмена посредством высокоскоростного канала SRЮ в активном режиме работы:
/ ввп . = 0,042 с;
srю-А 7
- для реализации обмена посредством адаптера межмашинного ПДП:
/ ввп = 0,012 с.
мпдп
ДхИГ"' ЗхНГ3 2*10~3
1x10
Т я по- А
\ Г 5 Но-п
?икт (с)
г
2X10"3 1.5X10" 3 1X10" 3 5X10"4
^ 1 хг,оп 1 Г*5ПоА
1
ч V Т"мпдпч V
V ^------
? ВВП (с)
10
15
20
10
15
Рис. 15. Зависимость потери производительности от интервала времени передачи данных КТ
Рис. 16. Зависимость потери производительности от времени восстановления вычислительного процесса
Организация информационного обмена посредством высокоскоростного дуплексного звена SRЮ характеризуется большей потерей производительности ВК, при сокращении интервала времени передачи данных КТ, а также при сокращении времени восстановления вычислительного процесса, по сравнению с организацией обмена посредством адаптера, реализующего межмашинный ПДП.
Применение, в рассматриваемых структурах БНПК, межмашинного ПДП позволяет реализовать высокоскоростной доступ к памяти вычислительного модуля с отказавшим процессором, что обеспечивает более широкие возможности доступа к данным, необходимым для восстановления вычислительного процесса, а значит, позволяет повысить живучесть вычислительного комплекса, при отказах аппаратных средств, за счет реконфигурации структуры на основе, сохранивших работоспособность модулей.
Обеспечение наименьшего времени восстановления вычислительного процесса, для рассматриваемых БНПК, возможно при организации обмена данными между вычислительными модулями комплекса на основе межмашинного ПДП.
В соответствии с принципом импортозамещения, для сокращения времени восстановления вычислительного процесса после возникновения отказа, во встраиваемых системах реального времени, наиболее эффективно применение отечественного способа организации обмена данными — межмашинного ПДП, реализующего конвейерную передачу данных, по сравнению с интерфейсом SRЮ, применяемым зарубежными компаниями.
Литература
1. Пилипенко В. Ф. Безопасность: теория, парадигма, концепция, культура: Словарь-справочник. Изд. 2-е, доп. и перераб. М.: ПЕР СЭ-Пресс, 2005. 192 с.
2.Богатырев В. А., Иванов Л. С., Апинян В. В. Математическая модель мультипроцессорных систем с общей магистралью // Техника средств связи. Серия Техника проводной связи. 1985. № 4. С. 113-118.
3. Беззубов В. Ф. Сравнительный анализ методов обмена в многопроцессорных системах // Вестник компьютерных и информационных технологий. 2006. № 4. С. 51-56.
4. Авторское свидетельство № 1462341 G 06 F 15/16. Устройство для сопряжения ЭВМ / Беззубов В. Ф. Заявл. 01.12.1986; Опубл. 28.02.1989. Бюл. № 8. 7 с.
5. Патент РФ № 2598111. Способ управления летательным аппаратом при заходе на посадку / Криворучко Ю. Т., Пономаренко Б. В. Заявл. 30.12.2014. Опубл. 20.09.2016. 15 с.
6. Пахолков Г. А., Збрицкая Г. Е., Криворучко Ю. Т., Пономаренко Б. В., Шатраков Ю. Г. Обработка сигналов в радиотехнических системах ближней навигации. М.: Радио и связь, 1992. 256 с.
7. Богатырев В. А., Беззубов В. Ф., Голубев И. Ю. Сравнительный анализ структур отказоустойчивых дублированных вычислительных комплексов // Информационно-измерительные и управляющие системы. 2011. № 2. С. 8-12.
8. Богатырев В. А., Голубев И. Ю., Беззубов В. Ф. Организация межмашинного обмена в дублированных вычислительных комплексах // Известия ВУЗов. Приборостроение. 2012. № 3. С. 8-13.
9. Беззубов В. Ф., Музелин Ю. Н. Аппаратные средства реконфигурации структуры вычислительных комплексов // Информационно-измерительные и управляющие системы. 2015. № 12. С. 48-53.
10. Авторское свидетельство № 1798946 H 05 K 10/00, G 06 F. Резервированная вычислительная система. 11/20 / Беззубов В. Ф., Кравцов Л. Я., Эйдельсон Г. З., Гуляев A.M., Осипов Ю.И. Заявл. 09.11.89. Опубл. 28.02.93. Бюл. № 8. 8 с.
11. Беззубов В. Ф. Управляющая вычислительная система высокой надежности с реконфигурацией // Информационно — измерительные и управляющие системы. 2010. № 3. С. 46-50.
12. Беззубов В. Ф., Музелин Ю. Н., Алексанков С.М., Демидов В. Д. Использование прямого доступа к памяти для организации информационного обмена // Известия ЮФУ «Технические науки». 2014. № 12. С. 6-16.
13. Беззубов В. Ф., Музелин Ю. Н., Турбин С. С. Организация высокоскоростного информационного обмена во встраиваемых системах реального времени // Информационно-измерительные и управляющие системы. 2015. № 2. С. 42-49.
14. Слепо Н. RapidIO — коммутационная структура последовательного типа. URL: http://www.electronics.ru/ joumal/artide/760 (дата обращения 05.10.2018).
15. Последовательный интерфейс RapidIO и его применение в пакетной коммутации. URL: http://www.russi-anelectronics.ru/leader-r/review/2191/doc/44291/ (дата обращения 05.10.2018).
16. Беззубов В. Ф., Музелин Ю. Н., Турбин С. С. Эффективность обеспечения восстановления вычислительного процесса после возникновения отказа во встраиваемых системах // Информационно-измерительные и управляющие системы. 2015. № 4. С. 22-27.
Vol 10 No 6-2018, H&ES RESEARCH AVIATION, SPASE-ROCKET HARDWARE
PROVIDING INFORMATION AND FUNCTIONAL SAFETY OF ANLE FOR SPECIAL PURPOSE
VLADIMIR F. BEZZUBOV KEYWORDS: safety; reliability; availability; excessiveness, excess;
St. Petersburg, Russia, [email protected] readiness; maintainability; repairability; fail-safe feature; resiliency;
airbourne navigathion and landing equipment.
YURIY T. KRIVORUCHKO
St. Petersburg, Russia, [email protected]
YURIY N. MUZELIN
St. Petersburg, Russia, [email protected]
ABSTRACT
The work deals with the methods for providing information and functional security of airbourne navigathion and landing equipment for special (military) purposes based on machine-to-machine direct access to memory, as well as hardware reconfiguration of the system structure in case of failure. The analysis of the organization of information exchange between computational modules in real-time systems based on RDMA Consortium technology, high-speed SRIO interface and machine-to-machine direct memory access has been carried out. It is shown that, in accordance with the principle of import substitution, the most effective way for the organization of high-speed information exchange in computing systems is to use the domestic method of organizing data exchange - a machine-to-machine direct memory access that implements conveyor data transfer compared to the RDMA Consortium technology, and the SRIO interface developed by Texas Instruments, Freescale, Semiconductor and others. The comparative analysis of the temporal characteristics of the restoration of the computational process after a failure, in real-time systems based on the RapidIO- SRIO serial interface and based on the interface of the machine-to-machine direct memory access is carried out. It is shown that, in accordance with the principle of import substitution, the most effective means to reduce the recovery time of the computational process after a failure in real-time systems compared to the SRIO interface applied by foreign companies is using of the domestic method of organizing data exchange - a machine-to-machine direct memory access realizing conveyor data transfer. The results of a comparative analysis of the use of hardware and software for organizing the restoration of the performance of airbourne navigathion and landing equipment after a failure by means of the structure reconfiguration are presented. It is demonstrated that the use of hardware control and management of the reconfiguration of the structure in combination with the machine-to-machine communication manual allows to increase the efficiency of ensuring information and functional security of airbourne navigathion and landing equipment for special (military) purposes.
REFERENCES
1. Pilipenko V. F. (Ed.).Bezopasnost: teoriya, paradigma, koncepciya, kul-tura. Slovar-spravochnik [Security: theory, paradigm, concept, culture. Dictionary-Reference]. Moscow: PER SE-Press, 2005. 192 p. (In Russian)
2. Bogatyrev V.A., Ivanov L. S., Apinyan V.V.Matematicheskaya model' mul'tiprotsessornykh sistem s obshchey magistral'yu [Mathematical model of multiprocessor systems with a common backbone]. Tekhnika sredstv svyazi. Seria Tekhnika provodnoj svyazi [Communications equipment]. 1985. No. 4. Pp. 113-118. (In Russian)
3. Bezzubov V. F. Sravnitel'nyy analiz metodov obmena v mnogoprot-sessornykh sistemakh [Comparative analysis of exchange methods in multiprocessor systems]. Vestnik komp'iuternykh i informatsionny-kh tekhnologii [Herald of computer and information technologies]. 2006. No. 4. Pp. 51-56. (In Russian)
4. Copyright certificate 1462341 G 06 F 15/16. Ustroystvo dlya so-pryazheniya EVM [Device for interfacing a computer] / Bezzubov V. F. Declared 01.12.1986. Published 28.02.1989. Bulletin No. 8. 7 p. (In Russian)
5. Patent RF 2598111. Sposob upravleniya letatel'nym apparatom pri zakhode na posadku [Method of aircraft control during landing approach]/ Krivoruchko Yu.T., Ponomarenko B.V. Declared 30.12.2014. Published 20.09.2016. 15 p. (In Russian)
6. Pakholkov G.A., Zbritskaya G. E., KrivoruchkoYu.T., Ponoma-renko B.V., Shatrakov Yu. G. Obrabotka signalov v radiotekhnicheskikh sistemakh blizhney navigatsii [Signal processing in radio systems of short-range navigation]. Moscow: Radio i svyaz', 1992. 256 p. (In Russian)
7. Bogatyrev V.A., Bezzubov V. F., Golubev I. Yu. Comparative analysis of structure of the failure-safe duplicated computer complex. Informatsionno-izmeritelnye i upravlyayushchiesistemy [Information-measuring and Control Systems]. 2011. No. 2. Pp. 8-12. (In Russian)
8. Bogatyrev V.A., Golubev I. Yu., Bezzubov V. F. arrangement of machine-machine data exchange in backup computer complex. Izvestiya vysshikh uchebnykh zavedeniy. Priborostroenie [Journal of Instrument Engineering]. 2012. No. 3. Pp.8-13. (In Russian)
9. Bezzubov V.F., Muzelin Yu. N. Hardware for reconfiguration structure of computer systems. Informatsionno-izmeritelnye i upravlyay-ushchie sistemy [Information-measuring and Control Systems]. 2015. No. 12. Pp. 48-53. (In Russian)
10. Copyright certificate 1798946 H 05 K 10/00, G 06 F 11/20. Rezervirovannaya vychislitel'naya sistema [Redundant computing system]. Bezzubov V. F., Kravtsov L. Ya., Eydel'son A.M., Gulyaev G. Z., Osipov Yu.I. Declared 09.11.89. Published 28.02.93. Bulletin No. 8. 8 p. (In Russian)
11. Bezzubov V. F. The control system of high reliability with reconfiguration. Informatsionno-izmeritelnye i upravlyayushchie sistemy [Information-measuring and Control Systems]. 2010. No. 3. Pp. 4650. (In Russian)
12. Bezzubov V.F., Muzelin Y. N., Aleksankov S. M., Demidov V. D. Application of direct memory access to the organization of information exchange. Izvestiya SFedU. [Engineering Sciences]. 2014. No. 12. Pp. 6-16. (In Russian)
13. Bezzubov V.F., Muzelin Yu.N., Turbin S. S. Organization of highspeed information exchange in embedded real-time systems. Informatsionno-izmeritelnye i upravlyayushchie sistemy [Information-measuring and Control Systems]. 2015. No. 2. Pp. 42-49. (In Russian)
14. Slepov N. RapidIO - kommutatsionnaya struktura posledova-tel'nogo tipa [RapidIO - switching structure of the sequential type].
URL: http://www.electronics.ru/journal/article/760 (date of access 05.10.2018). (In Russian)
15. Posledovatel'nyy interfeys RapidIO i ego primenenie v paketnoy kommutatsii [RapidIO serial interface and its application in packet switching]. URL: http://www.russianelectronics.ru/leader-r/re-view/2191/doc/44291/ (date of access 05.10.2018). (In Russian)
16. Bezzubov V.F., Muzelin Yu.N., Turbin S. S.Efficiency of providing the recovery of computational process after a fault in embedded systems. Informatsionno-izmeritelnye i upravlyayushchie sistemy [Information-measuring and Control Systems]. 2015. No. 4. Pp. 22-27. (In Russian)
INFORMATION ABOUT AUTHORS:
Bezzubov V.F., PhD, Senior Research Officer, Federal Scientific Production Center All-Russian scientific Research Institute of Radio Equipment awarded with the Order of Red Banner (JSC "VNIIRA"); Krivoruchko Y.T., PhD, head of sector of the Federal Scientific Production Center All-Russian scientific Research Institute of Radio Equipment awarded with the Order of Red Banner (JSC "VNIIRA"); Muzelin Y.N., PhD, head of department of the Federal Scientific Production Center All-Russian scientific Research Institute of Radio Equipment awarded with the Order of Red Banner (JSC "VNIIRA")".
For citation: Bezzubov V.F., Krivoruchko Y.T., Muzelin Y.N. Providing information and functional safety of anle for special purpose. H&ES Research. 2018. Vol. 10. No. 6. Pp. 4-18. doi: 10.24411/2409-5419-2018-10183 (In Russian)
