CC BY
91
Раздел I. Принципы построения, архитектура и аппаратная база суперкомпьютеров
УДК 681. 327. 62.
В.Ф. Беззубов, Ю.Н. Музелин, С.М. Алексанков, Д.В. Демидов
ИСПОЛЬЗОВАНИЕ ПРЯМОГО ДОСТУПА К ПАМЯТИ ДЛЯ ОРГАНИЗАЦИИ ИНФОРМАЦИОННОГО ОБМЕНА
Рассматривается использование сугубо внутреннего метода обмена, - прямого доступа к памяти (ПДП), для организации обмена данными между блоками памяти отдельных, входящих в вычислительный комплекс (систему), вычислительных модулей (ВМ). Проведено сравнение организации обмена данными в малых (локальных) системах между блоками памяти отдельных, входящих в вычислительный комплекс (систему), вычислительных модулей (ВМ) методом межмашинного (межпроцессорного) прямого доступа к памяти (мПДП) и методом RDMA, разработанным RDMA Consortium и основанным на использовании ПДП в сетевой структуре вычислительной системы. Показано, что использование технологии RDMA Consortium для организации обмена в двухмашинных вычислительных комплексах, а также в малых (локальных) системах является причиной дополнительных затрат времени на программную обработку сетевых протоколов при организации режима работы и канала RDMA. Показано, что в соответствии с принципом импортозамеще-ния для организации высокоскоростного информационного обмена во встраиваемых (малых) вычислительных комплексах (системах) наиболее эффективно применение отечественного способа организации обмена данными - межмашинного ПДП, реализующего конвейерную передачу данных, по сравнению с технологией RDMA Consortium. Кроме того, применение межмашинного (двойного) ПДП позволяет реализовать высокоскоростной доступ к внутренним ресурсам ВМ с отказавшим процессором, что повышает живучесть вычислительных комплексов за счет реконфигурации структуры комплекса на основе сохранивших, после возникновения отказа, работоспособность блоков и результатов вычислений, полученных до возникновения отказа.
Надёжность; безотказность; доступность; избыточность; готовность; ремонтопригодность; отказоустойчивость.
V.F. Bezzubov, Yu.N. Muzelin, S.M. Alexankov, D.V. Demidov
APPLICATION OF DIRECT MEMORY ACCESS TO THE ORGANIZATION OF INFORMATION EXCHANGE
The article considers the use of a purely internal communication method of exchange - direct memory access (DMA) for organizing the data exchange between the individual memory blocks of computing modules included in the computer system. It is accomplished a comparison of data exchange in small (local) systems between computing modules included in the computer system individual memory blocks using the intercomputer (inter-process) method, direct memory access method, and RDMA method developed by RDMA consortium and based on the direct memory access in a networked computer system structure. It is shown that the use of RDMA Consortium technology to organize the exchange in two-machine computer systems, as well as in small (local) systems is the cause of extra time on software processing of network protocols in the organization of mode of operation and RDMA channel. It is shown that, in accordance with the principle of import substitution, for the organization of high-speed information exchange in embedded
(small) computer .systems the most effective is to use the national data exchange method -intercomputer direct memory access implementing pipelined data transfer in comparison with the RDMA Consortium technology. In addition, the use of intercomputer (double) DMA a failed processor increases computer system survivability due to the reconfiguration of the complex's structure on the basis of the units keeping a performance and the calculation result obtained before the fault.
Safety; reliability; availability; excessiveness; excess; readiness; maintainability; repairability; fail-safe feature; resiliency.
При построении многомашинных вычислительных комплексов существует необходимость организации обмена между отдельными вычислительными модулями (ВМ), входящими в комплекс. При этом передача данных должна осуществляться между блоками памяти, принадлежащими различным ВМ. Время, затрачиваемое на обмен, непосредственно влияет на характеристики вычислительных комплексов.
Многомашинные вычислительные комплексы, наряду с решением основной задачи, должны отвечать заданным требованиям обеспечения надежности, информационной и функциональной безопасности управляющих систем, что требует избыточности программно-аппаратных средств.
Обеспечение временного ресурса в цикле решения основной задачи для реализации программной, информационной и временной избыточности является актуальной задачей и непосредственно зависит от минимизации времени информационного обмена.
Всё это привело к необходимости создания технических средств, обеспечивающих обмен между ВМ с наименьшими затратами времени. Причём в основе построения технических средств обмена применяются базовые способы обмена, наиболее эффективным из которых, с точки зрения максимального использования вычислительных ресурсов комплекса, является прямой доступ к памяти (ПДП). ПДП является сугубо внутренним способом обмена, т.е. обеспечивающим обмен между ОЗУ локального ВМ, его внешними устройствами (Вн.У), а также блоками внешней памяти в режиме память - память [1]. Данный способ обмена может быть реализован применением контроллеров ПДП (КПДП) различных фирм, например: Intel 8257, Intel 8237; M16C/61/62 - фирмы Mitsubishi Electric; DMA08 - фирмы Motorola.
Необходимость использования ПДП для организации информационного обмена между отдельными компьютерами вычислительной системы продиктована увеличением скорости потока данных в современных каналах связи, что привело к возникновению идеи RDMA - Remote Direct Memory Access (дистанционный ПДП) [2, 3].
Построение эффективной системы передачи данных на основе ПДП требует исследования способов организации обмена.
Организация межмашинного обмена на основе технологии Remote Direct Memory Access. Разработка технологии использования ПДП для организации информационного обмена между отдельными компьютерами велась под управлением RDMA Consortium, куда входят многие гранды индустрии, такие как IBM, Cisco, NetApp, EMC, HP, Intel, Microsoft, общим числом около 50. Работы велись с 1998 г., а в 2003 г. RDMA Consortium объявил о завершении всех запланированных спецификаций [3].
Использование сетевых адаптеров RDMA основано на реализации функции SMB Multichannel, которая является частью сетевого протокола SMB3.0. SMB Multichannel отвечает за обнаружение поддержки RDMA сетевого адаптера, что в дальнейшем позволяет использовать функцию SMB Direct (SMB over RDMA). Без SMB Multichannel SMB будет использовать обычные TCP/IP подключения на этих
RDMA-совместимых сетевых адаптерах [4]. Протокол RDMA входит в семейство протоколов RDDP (Remote Direct Data Placement on Internet Protocol). Основной функцией протокола RDMA в архитектуре RDDP являются операции, связанные с чтением из памяти. Операции записи в память в контексте RDMA эквивалентны отправке отмеченного сообщения (tagged messages).
Рассматривая представленную в работе [4] последовательность действий RDMA-канала, можно определить время передачи информации:
TrdMA Тор. канала + ^передачи,
где Tnepeda4U=4tN при условии передачи данных без учета времени прохождения сигнала через канал, объединяющий сетевые адаптеры; t - цикл шины (ввод/вывод); N - количество слов информационного массива; Тор. канала определяется временными издержками на реализацию функции SMB Multichannel (TSMBm), которая является частью протокола SMB 3.0 и временем организации режима ПДП (Tор/щm1;2), т.е.
Тор. канала TSMBm+ Тор/пдп1;2.
При передаче отмеченных сообщений в локальном узле клиентский протокол посредством протокола RDDP регистрирует буфер. После регистрации буфера в локальном узле он становится доступным удаленному узлу. Локальный узел должен послать удаленному узлу параметры буфера и специальный ключ, разрешающий доступ к памяти локального узла [3]. Все эти процедуры увеличивают время организации режима работы RDMA.
Очевидно, что использование в сетях ЭВМ дистанционного ПДП (RDMA) требует времени для программной обработки сетевых протоколов при организации режима работы и канала RDMA.
ЗАО «МЦСТ» в 2004-2008 гг. был разработан собственный внутренний стандарт RDMA для обеспечения высокоскоростного межмашинного/внутрисистемного обмена. На данный момент интерфейс RDMA реализован в двухпроцессорной системе на кристалле R500-S, разработанной ЗАО «МЦСТ» [5].
Размещение в одной микросхеме процессора (процессоров) и набора контроллеров позволяет сократить габариты и потребляемую мощность ЭВМ. Другим следствием является повышение пропускной способности подсистемы обмена, поскольку передача данных между контроллерами, системной и периферийной шинами выполняется внутри одной микросхемы на более высокой тактовой частоте и с большей степенью параллелизма. За счет снятия ограничений на разрядность и частотные характеристики параллельных шин обмена данными повышается пропускная способность шин обмена данными между устройствами системы на кристалле [6].
При построении малых систем применение технологии RDMA Consortium базируется на использовании высокоскоростной коммутируемой последовательной шины Infiniband, применяющейся как для внутренних (внутрисистемных), так и для межсистемных соединений.
Таким образом, использование технологии RDMA Consortium для построения локальных (малых) систем управления требует создания сетевых структур и, соответственно, дополнительных временных издержек на реализацию TCP/IP-протоколов для организации каналов и режима работы RDMA.
Использование технологии RDMA Consortium для организации обмена в двухмашинных вычислительных комплексах, а также в малых (локальных) системах является причиной дополнительных затрат времени на программную обработку сетевых протоколов при организации режима работы и канала RDMA. Кроме того, применение функции SMB Multichannel протокола SMB3.0 требует использования Windows Server 2012 или Windows 8, что ограничивает номенклатуру применяемого ПО.
С другой стороны, развитие технологии «система на кристалле» снимает традиционные ограничения на разрядность и частотные характеристики параллельных шин обмена данными, что возрождает применение шинных структур для организации эффективного обмена данными и, соответственно, позволяет избежать дополнительных временных затрат на реализацию сетевых протоколов при построении локальных (малых) систем по сетевому принципу.
Целью работы является обеспечение дополнительного временного ресурса систем реального времени за счет сокращения времени информационного обмена.
На основе проведенного сравнительного анализа способов организации информационного обмена в многомашинных вычислительных комплексах [7] определена возможность сокращения времени обмена за счет реализации межмашинного прямого доступа к памяти.
Межмашинный прямой доступ к памяти. Предложенные технические решения [8, 9] направлены на ускорение информационного обмена между входящими в комплекс ЭВМ.
Предложенная организация обмена позволяет сократить время обмена информацией и обеспечить доступ к памяти вычислительного устройства с отказавшим процессором, в результате чего появляются дополнительные возможности обеспечения информационно-функциональной безопасности, отказоустойчивости и живучести вычислительных комплексов и систем управления.
Суть межмашинного (двойного [7]) ПДП заключается в том, что организуется канал прямой связи между модулями памяти двух участвующих в обмене ВМ, без использования их процессоров.
Устройство, реализующее данный способ обмена, захватывает шины (магистрали) обоих участвующих в обмене ВМ. Далее устройство формирует интерфейсные сигналы управления для каналов обоих ВМ и производит последовательно-параллельную (конвейерную) передачу информации из ОЗУ-источника в ОЗУ-приёмник.
Алгоритм межмашинного (двойного) ПДП для организации обмена в
ДВК. На рис. 1 представлен алгоритм работы устройства, реализующего межмашинный (двойной) ПДП при реализации обмена данными в ДВК.
Реализация межмашинного (двойного) ПДП осуществляется в три этапа.
1. Организация режима работы.
В этом режиме в соответствующие регистры устройства записываются информация о величине передаваемого массива, а также начальные адреса источника и приемника информации. Далее устройство инициирует режим прямого доступа к памяти вычислительных модулей, участвующих в обмене. После получения от ВМ суммарного сигнала предоставления прямого доступа (ППД) устройство формирует сигнал подтверждение выбора (ПВ) для обоих ВМ, по которому оба вычислительных модуля предоставляют свои шины (каналы) в распоряжение устройства и устройство начинает режим приемо-передачи информации.
2. Запись первого слова из ОЗУ-источника информации в регистр-приемник с последующей переписью его по окончании цикла «чтения» в регистр-передатчик.
3. Непосредственная передача массива информации, состоящего из N слов.
В этом режиме первое слово из регистра передатчика записывается в ОЗУ-преемник и одновременно с этим осуществляется прием следующего слова из ОЗУ-источника в регистр-приемник с последующей переписью его по окончании цикла «чтения» в регистр-передатчик. Далее циклы приемопередачи повторяются. Окончание передачи массива данных определяется переходом регистра массива в нулевое состояние. После перехода регистра массива в нулевое состояние сигнал подтверждения выбора (ПВ) снимается, и устройство переходит в исходное состояние.
Рис. 1. Алгоритм реализации обмена в ДВК на основе двойного ПДП
Устройство, реализующее представленный алгоритм (устройство ускоренного обмена - УУО), защищено авторским свидетельством [8].
Применение в типовой структуре ДВК в качестве устройства сопряжения устройства ускоренного обмена (УУО) позволяет сократить время на обмен информацией между полукомплексами, а также обеспечить доступ к внутренним ресурсам ВМ с отказавшим процессором. Это значит, что в режиме параллельной работы сокращается время на синхронизацию работы полукомплексов. В режиме распределения нагрузки сокращается время на обмен промежуточными данными и данными контрольных точек. Обеспечение доступа к памяти вычислительного модуля с отказавшим процессором повышает доступность и сохранность используемых данных и опять же позволяет сократить время, затрачиваемое на восстановление вычислительного процесса.
Применение межмашинного прямого доступа к памяти позволяет получить дополнительные временные ресурсы, которые могут быть использованы для повышения отказоустойчивости ВК, обеспечения информационной и функциональной безопасности.
Реализация доступа к внутренним ресурсам ВМ с отказавшим процессором повышает надежность вычислительных комплексов за счет реконфигурации структуры комплекса с использованием сохранивших после отказа работоспособность блоков и результатов вычислений, полученных до возникновения отказа.
Временные характеристики межмашинного (двойного) ПДП. Как показано в работах [7, 10], полное время на передачу информационного массива с использованием УУО, реализующего межмашинный ПДП, составит: Тууо = Тор +t (Ы+1).
Для шины Q-bus Тор = 15/, где t - цикл шины (ввод/вывод), N - количество слов информационного массива.
На рис. 2 показана временная диаграмма информационного обмена посредством УУО, реализующего межмашинный ПДП.
Рис. 2. Временная диаграмма информационного обмена посредством УУО, реализующего межмашинный (двойной) ПДП
При использовании технологии RDMA Consortium для организации обмена в двухмашинных вычислительных комплексах, а также в малых (локальных) системах
время на передачу информационного массива составляет: TR
Т
-L от
R+4tN при
условии передачи данных без учета времени прохождения сигнала через канал, объединяющий сетевые адаптеры:
Т
J- m
а = TsMBm+ То
ор/пдп1;2-
Рис. 3. Временная диаграмма RDMA
На рис. 3 представлена временная диаграмма информационного обмена в режиме RDMA.
Таким образом, организация информационного обмена на основе межмашинного (двойного) ПДП при построении малых систем и двухмашинных вычислительных комплексов позволяет сократить время обмена информацией по сравнению с организацией обмена в малых системах, реализованных на основе сетевых структур с использованием удаленного ПДП (RDMA), разработанного RDMA Consortium, и, следовательно, получить дополнительные временные ресурсы для реализации различных вариантов избыточности с целью повышения качественных показателей систем управления.
Организация межмашинного ПДП через общую межмашинную магистраль. Рассмотрим применение межмашинного ПДП при организации взаимосвязи между ВМ через общую магистраль [7, 10].
На рис. 4 представлена упрощенная структурная схема УМО - устройства магистрального обмена, реализующего межмашинный (двойной) ПДП при объединении ВМ по общей магистрали.
Рис. 4. Упрощенная структурная схема УМО
На рис. 5 представлен алгоритм организации обмена в ММВК с шинной структурой на основе межмашинного ПДП.
Алгоритм работы УМО
1. Определение готовности устройства магистрального обмена (УМО). Арбитраж и захват межмашинной магистрали.
Работа начинается с определения готовности устройства магистрального обмена к работе. В случае готовности УМО к работе, в момент обращения ВМ, инициализирующего режим обмена, УМО формирует сигнал занятости магистрали (ЗМГ), который поступает по межмашинной магистрали (ММг) во все УМО, входящих в комплекс ВМ. Таким образом, все ВМ комплекса информированы о занятости ММг.
2. Программирование работы:
♦ запись информации в регистр-счётчик адреса источника данных определяет начальный адрес ОЗУ-источника данных;
♦ запись информации в регистр-счетчик адреса приемника данных определяет начальный адрес ОЗУ-приемника данных.
♦ запись информации в регистр массива определяет величину передаваемого массива данных;
♦ запись информации в регистр режима и адреса абонента определяет режим работы устройства (прием/передача) и адрес абонента.
3. Организация режима ПДП для вычислительного модуля инициатора обмена с одновременной передачей по межмашинной магистрали кода адреса и режима работы абонента.
После записи кода адреса и информации о режиме работы устройство формирует сигнал на включение формирователя режима ПДП (ФПДП), который реализует процедуру захвата магистрали ВМ, инициирующего режим обмена. В то же время код адреса устройства и информация о режиме работы по межмашинной магистрали поступают на дешифратор адреса и режима (Дш.АиР) аналогичного УМО абонента. По сигналу Дш.АиР УМО абонента инициируется ФПДП УМО абонента, который реализует захват магистрали ВМ абонента. Сигнал ПВ (подтверждение выбора), подтверждающий захват магистрали ВМ абонента, поступает в межмашинную магистраль, магистральные приемопередатчики УМО абонента включаются на передачу информации в направлении, определяемом заданным режимом. Таким образом, УМО абонента соединяет захваченный канал ВМ або-
нента с межмашинной магистралью. Магистральный сигнал ПВ поступает в УМО вычислительного модуля, инициализирующего обмен. По совокупности сигналов подтверждения захвата магистралей УМО инициатора обмена формирует интерфейсные сигналы циклов «ввод» и «вывод» для каналов обоих участвующих в обмене ВМ.
4. УМО инициатора обмена начинает режим конвейерной передачи информации.
Передача массива данных из ОЗУ-источника в ОЗУ-приемник осуществляется таким образом, что в каждом цикле производится прием слова данных из ОЗУ-источника в регистр-приемник УМО и одновременно с этим передача ранее принятого слова данных из регистра-передатчика УМО в ОЗУ-приемник. По окончании каждого цикла приемопередачи слово данных, принятое в регистр-приемник, переписывается в регистр-передатчик. Далее цикл приемопередачи повторяется. Таким образом, реализуется режим последовательно-параллельной (конвейерной) передачи массива данных из ОЗУ ВМ-источника в ОЗУ ВМ-приемника данных.
5. По окончании режима передачи информации нулевым сигналом от счетчика массива снимается суммарный сигнал ПВ и оба УМО переходят в исходное состояние.
Рис. 5. Алгоритм реализации обмена в ММВК с шинной структурой на основе межмашинного (двойного) ПДП
Устройство магистрального обмена, реализующее представленный алгоритм, защищено патентом [9].
При построении многомашинных комплексов применение устройств для организации информационного обмена, работающих по межмашинной магистрали с использованием режима прямого доступа к памяти, позволяет наиболее полно использовать вычислительные ресурсы комплекса.
При использовании технологии «система на кристалле» общая шина, используемая несколькими ядрами для обмена данными, размещается в одной микросхеме, что снимает ограничения на ее частотные характеристики и разрядность, тем самым увеличивая ее пропускную способность.
Применение межмашинного (двойного) ПДП сокращает время на передачу информации, что позволяет получить дополнительный временной ресурс, а также уменьшает вероятность искажения информации при обмене.
Предлагаемые решения по организации межмашинного ПДП могут найти применение в отказоустойчивых дублированных вычислительных комплексах [11-14] и системах распределенного управления на их основе [15-17].
Выводы. Организация межмашинного обмена на основе предлагаемого межмашинного (двойного) прямого доступа к памяти позволяет в резервированных (дублированных) комплексах и системах на их основе обеспечить высокоскоростной доступ к сохраненным при деградации системы ресурсам, что приводит к повышению устойчивости вычислительного процесса к отказам и позволяет использовать после реконфигурации структуры результаты вычислений, полученные до возникновения отказа.
Применение межмашинного ПДП позволяет сократить время информационного обмена, что уменьшает вероятность возникновения сбоя при обмене и, соответственно, повышает сохранность информации, позволяет получить дополнительные временные ресурсы для реализации различных вариантов избыточности с целью повышения качественных показателей систем управления, а также повышает скорость параллельных вычислений в двухмашинных (многомашинных) вычислительных комплексах.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Чжен Лю Ю., Гибсон Г. Микропроцессоры семейства 8086/8088. - М.: Радио и связь, 1987. - 512 с.
2. Konstantinos Karampogias. An In-Memory RDMA-Based Architecture for the Hadoop Distributed Filesystem / Master Thesis.
3. Бараш Л. Удаленный прямой доступ к памяти // Компьютерное обозрение. URL: http://ko.com.ua/ (дата обращения 19. 03.2013).
4. Булдаков. SMB Multichannel - новая возможность протокола SMB // Заметки о Windows. URL: http://windowsnotes.ru/windows-server-2012/smb-multichannel-novaya-vozmozhnost-protokola-smb-3-0 (дата обращения 19. 03.2013).
5. ВоронцовМ.В., ГондарьА.В., ДиденкоВ.Б., Кондрашин АА., ПетровА.В. Высокоскоростной межмашинный // Внутрисистемный интерфейс RDMA. mcst.ru>doc/voroncov_i_dr.doc.
6. Фельдман В.М. Система на кристалле MU,CT-R500S // Аннотация. URL: http://www.mcst.ru>doc/feldman080229.doc (дата обращения 19.03.2013).
7. Беззубов В.Ф. Сравнительный анализ методов обмена в многопроцессорных системах // Вестник компьютерных и информационных технологий. - 2006. - № 4. - С. 51-56.
8. Авторское свидетельство СССР № 1462341 G 06 F 15/16. Устройство для сопряжения ЭВМ / Беззубов В.Ф.
9. Патент СССР № 1605242 G 06 F 13/00. Устройство для сопряжения ЭВМ с магистралью / Беззубов В.Ф. и др.
10. Богатырев В.А., Иванов Л.С., Апинян В.В. Математическая модель мультипроцессорных систем с общей магистралью // Техника средств связи. Сер. Техника проводной связи. - 1985. - № 4. - С. 113-118.
11. Богатырев ВА., Алексанков С.М., Демидов Д.В., Беззубов В.Ф. Надежность резервированного вычислительного комплекса при ограниченном восстановлении // Научно-технический вестник информационных технологий, механики и оптики. - 2013. - № 3. - С. 67-72.
12. Богатырев В.А., Голубев И.Ю., Беззубов В.Ф. Организация межмашинного обмена в дублированных вычислительных комплексах // Известия вузов. Приборостроение. - 2012. - С. 8-13.
13. Богатырев В.А., Голубев И.Ю., Беззубов В.Ф. Сравнительный анализ структур отказоустойчивых дублированных вычислительных комплексов // Информационно-измерительные и управляющие системы. - 2011. - Т. 9, № 2. - С. 8-12.
14. Богатырев В.А., Беззубов В.Ф. Защищенные вычислительные системы с межмашинным прямым доступом // Сб. трудов Всеросс. науч.-техн. конф. «Теоретические и прикладные проблемы развития и совершенствования автоматизированных систем управления военного назначения / ВКА им. А.Ф. Можайского, 29-30 октября 2013 г. - Т. 1. - С. 110.
15. Bogatyrev V.A. Exchange of duplicated computing complexes in fault-tolerant systems // Automatic Control and Computer Sciences. - 2011. - Vol. 45, No. 5. - P. 268-276.
16. Богатырев В.А. Отказоустойчивость и сохранение эффективности функционирования многомагистральных распределенных вычислительных систем // Информационные технологии. - 1999. - С. 44.
17. Богатырев В.А. Маркерные методы доступа к распределенным ресурсам вычислительных систем // Автоматика и вычислительная техника. - 2000. - № 5. - С. 71-80.
REFERENCES
1. Chzhen Lyu Yu., Gibson G. Mikroprotsessory semeystva 8086/8088 [Microprocessors 8086/8088 family]. Moscow: Radio i svyaz', 1987, 512 p.
2. Konstantinos Karampogias. An In-Memory RDMA-Based Architecture for the Hadoop Distributed Filesystem, Master Thesis.
3. Leonid Barash. Udalennyy pryamoy dostup k pamyati [Remote direct memory access], Komp'yuternoe obozrenie [Computer review]. Available at: http://ko.com.ua/ (Accessed 19 March 2013).
4. Buldakov. SMB Multichannel - novaya vozmozhnost' protokola SMB [SMB Multichannel is a new feature of SMB], Zametki o Windows [Notes on Windows]. Available at: http://windowsnotes.ru/windows-server-2012/smb-multichannel-novaya-vozmozhnost-protokola-smb-3-0 (Accessed 19 March 2013).
5. Vorontsov M.V., Gondar' A.V., Didenko V.B., Kondrashin A.A., Petrov A.V. Vysokoskoro-stnoy mezhmashinnyy [High-speed machine-to-machine], Vnutrisistemnyy interfeys RDMA [Intersystem interface RDMA]. mcst.ru>doc/voroncov_i_dr.doc.
6. Fel'dman V.M. Sistema na kristalle MTsST-R500S [System on chip MCST-R500S], Annotatsiya [Abstract]. Available at: http://www.mcst.ru>doc/feldman080229.doc (Accessed 19 March 2013).
7. Bezzubov V.F. Sravnitel'nyy analiz metodov obmena v mnogoprotsessornykh sistemakh [Comparative analysis of methods of sharing in multiprocessor systems], Vestnik komp'yuternykh i informatsionnykh tekhnologiy [Bulletin of the Computer and Information Technology], 2006, No. 4, pp. 51-56.
8. Avtorskoe svidetel'stvo SSSR № 1462341 G 06 F 15/16. Ustroystvo dlya sopryazheniya EVM [Device for interfacing the computer], Bezzubov V.F.
9. Patent SSSR № 1605242 G 06 F 13/00. Ustroystvo dlya sopryazheniya EVM s magistral'yu [Device for interfacing the computer with the highway], Bezzubov V.F. i dr.
10. Bogatyrev V.A., Ivanov L.S., Apinyan V.V. Matematicheskaya model' mul'tiprotsessornykh sistem s obshchey magistral'yu [A mathematical model of multiprocessor systems with shared line], Tekhnika sredstv svyazi. Ser. Tekhnika provodnoy svyazi [Technology communication tools. Series Tech wired], 1985, № 4, pp. 113-118.
11. Bogatyrev V.A., Aleksankov S.M., Demidov D.V., Bezzubov V.F. Nadezhnost' rezervirovannogo vychislitel'nogo kompleksa pri ogranichennom vosstanovlenii [The reliability of the redundant computing system with limited recovery], Nauchno-tekhnicheskiy vestnik informatsionnykh tekhnologiy, mekhaniki i optiki [Scientific-technical Bulletin of information technologies, mechanics and optics], 2013, No. 3, pp. 67-72.
12. Bogatyrev V.A., Golubev I.Yu., Bezzubov V.F. Sravnitel'nyy analiz struktur otkazo-ustoychivykh dublirovannykh vychislitel'nykh kompleksov [Organization of machine-to-machine exchange in duplicate computer systems], Informatsionno-izmeritel'nye i upravlyayushchie sistemy [Izvestiya vuzov. Instrumentation], 2011, Vol. 9, No. 2, pp. 8-12.
13. Bogatyrev V.A., Golubev I.Yu., Bezzubov V.F. Sravnitel'nyy analiz struktur otkazoustoychivykh dublirovannykh vychislitel'nykh kompleksov [Organization of machine-to-machine exchange in duplicate computer systems], Informatsionno-izmeritel'nye i upravlyayushchie sistemy [Information-measuring and control systems], 2011, Vol. 9, No. 2, pp. 8-12.
14. Bogatyrev V.A., Bezzubov V.F. Zashchishchennye vychislitel'nye sistemy s mezhmashinnym pryamym dostupom [Protected computer systems with machine-to-machine direct access], Sb. trudov Vseross. nauch.-tekhn. konf. «Teoreticheskie i prikladnye problemy razvitiya i sovershenstvovaniya avtomatizirovannykh sistem upravleniya voennogo naznacheniya, VKA im. A.F. Mozhayskogo, 29-30 oktyabrya 2013 g. [Proceedings of all-Russian scientific-technical conference "Theoretical and applied problems of development and improvement of automated control systems military / WHC them. A. F. mozhaiskii, 29-30 October 2013], Vol. 1, pp. 110.
15. Bogatyrev V.A. Exchange of duplicated computing complexes in fault-tolerant systems, Automatic Control and Computer Sciences, 2011, Vol. 45, No. 5, pp. 268-276.
16. Bogatyrev V.A. Otkazoustoychivost' i sokhranenie effektivnosti funktsionirovaniya mnogomagistral'nykh raspredelennykh vychislitel'nykh sistem [Fault tolerance and the preservation of efficiency of functioning of mnogoperedelnyh distributed computing systems], Informatsionnye tekhnologii [Information Technology], 1999, pp. 44.
17. Bogatyrev V.A. Markernye metody dostupa k raspredelennym resursam vychislitel'nykh sistem [Marker methods of access to distributed computing resources], Avtomatika i vychislitel'naya tekhnika [Automation and computer engineering], 2000, No. 5, pp. 71-80.
Статью рекомендовал к опубликованию д.т.н., профессор В.А. Богатырев.
Беззубов Владимир Федорович - Закрытое акционерное общество «Промтехэлектроника»; e-mail: bezzubov_vf@mail.ru; 196240, г. Санкт-Петербург, ул. Костюшко, 10-65; тел.: +79043307751; к.т.н.; директор.
Музелин Юрий Николаевич - Открытое акционерное общество «Ордена Трудового Красного Знамени Всероссийский научно-исследовательский институт радиоаппаратуры»; email: yuri.muzelin@gmail.com; 199106, г. Санкт-Петербург, Шкиперский проток, 19; тел.: +79052100191; к.т.н., начальник; зам. главного конструктора.
Алексанков Сергей Михайлович - Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики; e-mail: aleksankov@mail.ru; 192007, г. Санкт-Петербург, Литовский пр.? 185, кв. 40; тел.: +79046343883; аспирант.
Демидов Даниил Валентинович - e-mail: daniil.demidov@gmail.com; 197372, г. Санкт-Петербург, Комендантский пр., 24, корп. 3, кв. 207; тел.: +79117538857; аспирант.
Bezzubov Vladimir Fedorovich - Closed joint-stock company "Promtechelectronica"; e-mail: bezzubov_vf@mail.ru; , 10-65, Kosciusko street, St.-Petersburg, 196240, Russia; phone: +79043307751; cand. of eng. sc.; director.
Muzelin Yuri Nikolaevich - Open join-stock company "ALL-Russian Scientific-Research Institute of Radio Equipment"; e-mail: yuri.muzelin@gmail.com; 19, Skipper duct; St. Petersburg, 199106, Russia; phone: +79052100191; cand. of eng. sc.; chief; deputy chief designer.
Aleksankov Sergey Mikhaylovich - Saint Petersburg National Research University of Information Technologies, Mechanics and Optics; e-mail: aleksankov@mail.ru; 185, Ligovsky Ave, fl. 40, Saint-Petersburg, 192007, Russia; phone; +79046343883; post-graduate student.
Demidov Daniil Valentinovich - e-mail: daniil.demidov@gmail.com; 24, Komendantsky prospect, building 3, fl. 207, Saint- Petersburg, 197372, Russia; phone: +79117538857; postgraduate student.
