CC BY
26
ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ № 1(19), 2014, с. 75-90
удк 004.383.3
С. М. Чудинов, С. Н. Маликов
Унифицированные электронные модули — универсальный инструмент интеграции высокоуровневых ресурсов для решения научных и инженерных задач
Аннотация. Рассматривается структура, состав и применение Унифицированных электронных модулей (изделия УЭМ) для решения задач цифровой локации в реальном масштабе времени с применением модифицированных современных алгоритмов цифровой обработки сигналов (ЦОС), а также построение масштабируемых вычислительных систем сбора и цифровой обработки информации на базе УЭМ для решения задач цифровой локации в различных областях науки и техники.
Ключевые слова и фразы: цифровая локация, изделие УЭМ, ПЛИС, модули МЦЛ, субмодули стандарта FMC, программное обеспечение, обработка изображений в медицине, геофизике, в службах МЧС.
Введение
Унифицированные электронные модули (УЭМ) разрабатывались для решения задач цифровой локации в реальном масштабе времени. Использование изделия позволит облегчить решение задач цифровой локации, в том числе в условиях перераспределения вычислительной мощности между потоками данных.
Цифровая локация включает задачи цифровой регистрации и обработки данных для решения задач определения положения, границ, формы и структуры объектов различной природы в различных областях науки и техники. Решение указанных задач связано с решением задач принятия решения по обнаружению, селекции, опознаванию и классификации объектов по совокупности признаков, сформированных в процессе локации. Интервал времени
© с. м. Чудинов, с. н. Маликов, 2014 © оао «нии супер эвм», 2014
© программные системы: теория и приложения, 2014
между регистрацией данных и принятием решения (постановкой медицинского диагноза, оценкой объемов природных запасов месторождения полезных ископаемых, выявлением опасных тенденций в изменении состава атмосферного воздуха, и т.д.) может быть осложнен множеством мешающих факторов и потребует значительного времени и привлечения дополнительных ресурсов. Изделие УЭМ способствует резкому сокращению этого времени на основе использования современных достижений математики и электроники, апробированных в других областях знаний. В цифровой локации возникает множество ситуаций, различающихся по объему и характеру вычислений. Изделие УЭМ обеспечивает эффективное выполнение локационных задач указанного множества ситуаций в реальном масштабе времени. Высокая производительность вычислительных устройств на основе УЭМ достигается использованием современных модификаций алгоритмов цифровой обработки сигналов с динамическим изменением структуры вычислительной среды, оптимально сочетающей параллельные и потоковые вычисления. Использование при необходимости переменной разрядности операндов, обеспечивающей вычисления без потери точности, позволяет надеяться на результирующий выигрыш производительности при решении задач цифровой локации за счет использования формул прямого вычисления вместо приближенных итеративных методов.
Современные научные представления позволяют обобщить задачи локации, рассматривая множество данных совокупности сенсоров как проекцию бесконечного пространства возможных событий исследуемой области. Решение локационной задачи сводится к правильной классификации конкретного события. Таким образом, возможности практического использования изделия УЭМ для решения задач цифровой локации в реальном масштабе времени могут быть значительно расширены, вплоть до изделий двойного применения.
Алгоритмы ортогональных преобразований и цифровой обработки сигналов едины для всех типов локационных устройств.
Специфика аппаратной реализации указанных алгоритмов, связанная с количеством и типом используемых сенсорных устройств, создает конечное множество вариантов и поддается унификации.
Широкие и разнообразные возможности создаваемых систем позволяют использовать их для модернизации и расширения функциональных возможностей существующего технологического оборудования. В частности, подобные системы могут оказаться полезны при внедрении новейших методов обработки изображений, переходе на технологию высокого и сверхвысокого разрешения, при переходе на технологию хранения информации на магнитных носителях. Например, комплексное решение по переходу отделов рентгенологии на полностью цифровую безпленочную технологию высокого и сверхвысокого разрешения, путем подключения к аппаратуре УЭМ, большей частью без замены всего базового технологического рентгеновского оборудования. На основе изделия УЭМ можно построить комплекс оцифровки, приема, хранения, обработки и выдачи цифровой киноинформации.
Ввод-вывод данных и управляющих сигналов может быть реализован по шине cPCI, каналам Giga Ethernet, дуплексным каналам связи на основе медных и оптоволоконных соединителей. Тем самым на расстояниях от нескольких сантиметров до сотен километров можно передавать пакеты данных со скоростью от единиц байт до десятков гигабайт в секунду.
Основные технические характеристики типовой конфигурации устройства приведены в Таблица 1.
Построение системы сбора и цифровой обработки информации на основе изделия УЭМ с возможностью использования универсальных ЭВМ представлено на РИС. 1. Основные особенности модуля МЦЛ:
• наличие универсальных функциональных групп на несущей плате (основной плате с ЭРИ);
• использование мезонинных субмодулей в произвольном сочетании для построения модуля сбора и обработки цифровой или аналоговой информации;
78
унифицированные электронные модули
• возможность обработки сигналов широкого спектра путем изменения прошивок ПЛИС в соответствии с выбранной комплектацией модуля.
1. Состав изделия УЭМ
Изделие УЭМ представляет собой набор из 3-х типов модулей с мезонинными субмодулями стандарта FMC [1].
Таблица 1. Основные технические характеристики типовой конфигурации изделия УЭМ
Конструктивный стандарт Евромеханика 6U
Количество модулей 3
Количество мезонинных плат FMC 4
Скорость потока входной информации Не менее 500 Мбайт/сек на мезо-нинную плату FMC
Количество волоконно-оптических кана- 8
лов связи (SFP+)
Количество каналов связи по медной 4
витой паре (SFP+)
Производительность модулей для опера- Не менее 125 Гфлопс
ции БПФ
Интефейсы Gigabit Et hernet ,H D MI, MiniUSB,JTAG, RS232/485
Энергопотребление Не более 150 Вт
Конструктивно все модули изделия выполнены в виде ячеек формата би и предназначены для использования в корпусе (крейте) стандарта Евромеханика 19" с объединительной платой стандарта сРС1, блоком питания АТХ и вентилятором. Каждый модуль с субмодулями занимает 1 слот в крейте. Межмодульные связи модулей МЦЛ реализуются по медным витым парам через субмодули типа 2 и дополнительно через кроссплату по шине сРС1.
Основу модулей составляет универсальная основная плата с электрорадиоэлементами (ЭРИ), рассчитанная на установку одного, двух или трех мезонинных коммуникационных субмодулей
стандарта ANSI/VITA 57.1-2008 трех типов: МЦЛ-11, МЦЛ-12, МЦЛ-13.
Печатные платы модулей и субмодулей прошли проверку на целостность сохранения сигнала на аппаратно-программном комплексе моделирования (АПКМ) разработки ОАО «НИИ супер ЭВМ». Получен прогноз работоспособности модулей на этапе разработки.
Рис. 1. Пример структуры масштабируемой вычислительной системы на основе изделий УЭМ с использованием внешней управляющей ЭВМ (HOST-компьютера)
МЦЛ-11 и МЦЛ-12 служат для организации высокоскоростных соединений посредством SFP/SFP+ трансиверов [2]. Субмодуль позволяет установить от 1 до 4-х SFP/SFP+ трансиверов со скоростью обмена до 10 Гб/с.
МЦЛ-11 рассчитан на подключение каналов:
• многомодового оптического интерфейса с использованием трансиверов SFP 1000BaseSX до 500 м, разъем LC или SFP+ 10GBase-SR до 100 м, разъем LC;
• одномодового оптического интерфейса с использованием трансиверов SFP 1000BaseLX до 10 км, разъем LC или SFP+ 10GBase-LR до 4 км, разъем LC.
МЦЛ-12 рассчитан на подключение каналов связи с использованием медных витых пар.
Субмодули содержат следующие основные элементы:
• разъем FMC для установки на основную плату с ЭРИ;
• места установки 4 трансиверов SFP/SFP+ в кожухе;
• опорный генератор.
Он позволяет сформировать опорную частоту в диапазоне 10 МГц-945 МГц и 8 светодиодов.
Субмодули используются для организации высокоскоростных дуплексных мультигигабитных каналов связи.
МЦЛ13 — Мезонинный субмодуль стандарта FMC — предназначен для передачи командных, тестовых и конфигурационных данных в ПЛИС модулей УЭМ и передачи контрольной и диагностической информации из модулей в управляющий вычислитель и при необходимости — для выполнения отдельных вычислений в процессе обработки информационных потоков [3]. Субмодуль связан с несущей платой по интерфейсу PCI Express x4. Субмодуль содержит:
• разъем FMC для установки на основную плату с ЭРИ;
• процессор TMS320DM8168 и 2 микросхемы памяти DDR3 2 GB;
• элементы сопряжения и разъемы периферийных портов процессора TMS320DM816;
• разъем JTAG и эмулятора TMDSADPEMU-20A — 20 pin ARM/14 pin TI emulator to 20 pin ARM Adapter фирмы Texas Instruments для настройки и отладки программного обеспечения процессора;
• опорные генераторы;
• источники вторичного питания для обеспечения всех номиналов напряжений субмодуля;
• элементы индикации.
В качестве управляющего элемента субмодуля используется процессор TMS320DM8168 — высокопроизводительный двухъядер-ный DSP+ARM® процессор семейства DaVinci фирмы Texas Instruments, представляющий собой высокоинтегрированную систему со всеми необходимыми функциональными возможностями многоканальной HD-видеосистемы: захват, сжатие, отображение видео, с расширенным набором видеофункций и усовершенствованным набором функций обработки 2D и 3D графики. В качестве операционной системы используется ОС Linux 2.6.37.
ОСНОВНАЯ ПЛАТА С ЭРИ. На основной плате с ЭРИ предусмотрены посадочные места для установки 3-х функциональных групп элементов. Каждая группа состоит из:
• 400-контактного разъема FMC типа HPC для установки любого мезонинного субмодуля: МЦЛ-11, МЦЛ-12, МЦЛ-13;
• ПЛИС VIRTEX-6 — XC6VLX130T-2FFG1156С (или более мощные XC6VLX240T-2FFG1156С, XC6VLX315T-2FFG1156С) фирмы XILINX с конфигурационным ПЗУ типа SPI и ПЗУ для локальных данных, к каждой ПЛИС подключено также конфигурационное ПЗУ ICR, в котором находится серийный номер модуля и другие параметры [4];
• разъема модуля SODIMM DDR3 объемом 2 или 4 GB для каждой ПЛИС (данные обработки).
Каждая функциональная группа может работать либо автономно, либо в связи с одной или двумя другими группами. На разъем FMC (вариант HPC) в группе может устанавливаться субмодуль любого типа (любой субмодуль УЭМ). Вариант работы с субмодулем определяется прошивкой ПЛИС в данной группе. Связь между ПЛИС по плате выполнена с использованием мульти-
гигабитных двунаправленных каналов обмена самих ПЛИС. Структура основной платы с ЭРИ представлена на РИС. 2.
ПЛИС содержит 20 мультигигабитных линий (дуплексных мультигигабитных каналов связи). Четыре линии (канала связи) используются для организации интерфейса PCI Express x4. Восемь линий (каналов связи) выведены на разъем FMC (вариант HPC). Восемь линий (каналов связи) используются для внутриплатных обменов с двумя другими ПЛИС на плате (по четыре линии на каждый канал связи — дифференциальные пары для приемника и передатчика).
Скорость работы определяется типом установленной ПЛИС — XC6VLX130T-2FFG1156C и может достигать 6,6 ГГц.
Взаимодействие функциональных групп между собой осуществляется с помощью двух микросхем:
• микросхемы PEX8619 — коммутатора PCI Express, чей Upstream-порт подключен к микросхеме PEX8114, а три Downstream-порта подключены к трем ПЛИС. Микросхема соответствует PCI Express Base Specification, Revision 2.0. Коммутатор позволяет выполнять по шине PCI Express x4 v2.0 независимый доступ к ПЛИС, производить обмен данными с ПЛИС и обмен данными между ПЛИС;
• микросхемы PEX8114 — моста, выполняющего преобразование сигналов шины CompactPCI во внутриплатный интерфейс PCI Express x4. Микросхема соответствует PCI Express to PCI/PCI-X Bridge Specification, Revision 1.0; PCI Local Bus Specification, Revision 3.0; PCI Express Base Specification, Revision 1.0a.
Предусмотрены 3 варианта сборки основных плат с ЭРИ: с одной, двумя или тремя функциональными группами. Основная плата с ЭРИ с одной группой и одним субмодулем используется в модуле МЦЛ1, с двумя группами и двумя субмодулями в модуле МЦЛ2, с тремя группами и тремя субмодулями в модуле МЦЛ3.
В модули МЦЛ1, МЦЛ2, МЦЛ3 устройства УЭМ могут быть установлены другие мезонинные субмодули стандарта FMC (вариант HPC), содержащие устройства ввода-вывода, такие как АЦП, ЦАП для приема и обработки аналоговых сигналов. Современные
субмодули аналогового приема позволяют выполнять аналого-цифровое преобразование сигналов от 1 до 16 каналов с разрядностью от 12 до 24 бит с максимальной частотой дискретизации до 3600 МГц.
Предусматриваются следующие варианты управления изделием УЭМ:
• от HOST-компьютера. В качестве HOST-компьютера можно использовать:
(1) одноплатный процессорный модуль стандарта cPCI формата 6U, устанавливаемый в корпус изделия с управлением модулями по шине cPCI, HOST-компьютер работает под управлением любой операционной системы по выбору потребителя: Windows, Linux или OC MCBC;
(2) внешнюю ПЭВМ с подключением к субмодулю МЦЛ-13: а) по сети GETHERNET, б) по последовательным каналам RS-232/ RS-485, в) по интерфейсу USB. К HOST-компьютеру подключаются органы управления (клавиатура, мышь) и отображения (монитор). К субмодулю МЦЛ-13 потребитель может дополнительно подключить монитор по интерфейсу HDMI и мышь по интерфейсу miniUSB. Программное обеспечение субмодуля МЦЛ-13 находится на Flash-накопителе MicroSD-карте, которая входит в комплект поставки субмодуля и устанавливается в разъем Х3 субмодуля. MicroSD-карта содержит начальный загрузчик ОС Linux 2.6.37 и тестовые программы проверки работоспособности субмодуля МЦЛ-13;
• От субмодуля МЦЛ-13. В этом варианте управления изделием УЭМ используются функции субмодуля МЦЛ-13 как автономного компьютера. Программное обеспечение субмодуля построено на базе ОС Linux и содержит в себе набор стандартных драйверов периферийных устройств процессора TMS320DM8168. Набор ПО позволяет использовать субмодуль в качестве автономного компьютера с возможностью вывода информации на HDMI монитор, подключения периферийных устройств: USB, Flash накопителей MicroSD, обмениваться данными по Ethernet 10/100/1000 и по последовательным каналам RS-232/ RS-485.
GO
TJ
s о
о
н ■a
■с я
H
■с ■а
я
о
(Я
я
о
sc
я
ь р
H
из тз S
о
■с ь
CD
яс
^
из
я
ta
Изделие УЭМ поставляется с комплектами программного обеспечения и набором тестовых прошивок ПЛИС, предназначенных для проверки работоспособности изделия потребителем. В зависимости от используемой операционной системы в HOST-компьютере, поставляются версии программ для Windows, Linux или
OC MCBC.
Потребитель может расширить возможности аппаратуры изделия путем разработки собственных прикладных программ с использованием имеющихся у него наборов библиотек, утилит и драйверов для управления модулями ввода и цифровой обработки в составе вычислительного комплекса на базе УЭМ.
Потребитель может создавать проекты для ПЛИС-модулей под свои задачи. Рекомендуется для написания проектов ПЛИС использовать САПР Xilinx ISE v13.1 и выше, а также Active-HDL v9.1 и последующие версии.
Для написания собственных прикладных программ для субмодуля МЦЛ-13 потребителю рекомендуется использовать инструментальные средства разработки CodeSourcery (Mentor Graphics) или GNU Toolchain, а также программное обеспечение фирмы Texas Instruments — «Linux EZ Software Development Kit (EZSDK) for DaVinci(TM) DM814x and DM816x Video Processors».
Вариант подключения источников данных, протоколы связи, среда передачи и число кабелей межмодульных соединений выбирается потребителем по условиям реализации оборудования для организации требуемого вычислительного процесса. Потребитель может изменять конфигурацию вычислительной системы под свои задачи с использованием от 1 до 3-х модулей УЭМ и требуемого количества субмодулей разного типа.
2. Применение изделия УЭМ
В результате использования унифицированных электронных модулей возникает возможность получать ранее не доступную дополнительную информацию в реальном масштабе времени в различных сферах деятельности.
Например, использование УЭМ медицинскими работниками увеличит процент своевременного обнаружения симптомов опасных заболеваний и облегчить их лечение. Выявление крохотных (измеряемых долями миллиметра) изменений структур тканей в теле человека (в процессе комплексного обследования) позволяет лечить ранние стадии опасных заболеваний исключительно терапевтическими методами, без вмешательства хирургов.
Наиболее развитым направлением цифровой локации в медицине на сегодня является лучевая диагностика: рентгеновские исследования и УЗИ, а также большинство томографических исследований. Пассивная локация — медицинское тепловидение с разрешением порядка одной сотой градуса находится в стадии становления. Непрерывно развиваются методы анализа электрокардиограмм и электроэнцефалограмм, которые с определенной долей допущения можно рассматривать как методы пассивной локации: исследование структуры сигналов и вариабельности сердечного ритма.
В порядке обобщения все приложения цифровой локации в медицине можно условно разделить на два больших направления: анализ функций организма и анализ структур организма. Получение панорамных и объемных динамически изменяющихся в реальном времени изображений позволяет совмещать структурные и функциональные исследования.
По рекомендациям специалистов-разработчиков медицинской аппаратуры предприятия «ИзоМед» применение методов цифровой локации в ультразвуковой медицинской аппаратуре должно быть реализовано как специализированный программно-аппаратный модуль: АРМ врача-специалиста по УЗ-диагностике, что является составной частью комплекса ввода, обработки и хранения диагностической информации. Новые ультразвуковые приборы отечественного производства на базе УЭМ могут широко использоваться для оказания высокотехнологичной медицинской помощи.
Работники кафедры биомедицинской инженерии ЮЗГУ готовы содействовать ОАО «НИИ супер ЭВМ» в применении УЭМ при
реализации проектов кафедры в интеллектуальных системах медицинского назначения, таких как создание многоканальной системы сбора и обработки данных электрофизиологических сигналов, снимаемых с поверхности кожи человека: электрокардиосигнал, фото-плетизмосигнал, квазистические потенциалы и т.д. Система предназначена для контроля функционального состояния человека. Предполагается также создание сетевой системы контроля функционального состояния человека на основе мобильных устройств, передающих данные в центр контроля и управления, построенный на базе модулей УЭМ.
Для геофизиков применение УЭМ является эффективным инструментом сокращения времени и стоимости геофизических исследований.
Сотрудники НИУ «БелГУ» и НПО «ЛЭМЗ» готовы содействовать ОАО «НИИ супер ЭВМ» в применении УЭМ в проектах, выполняющих цифровую регистрацию и обработку данных в реальном времени для получения изображений земной поверхности и задач поддержки принятия решений в автоматизированных системах обработки изображений для определения положения, границ, формы и структуры изображений земной поверхности, а также для решения задач регионального экологического мониторинга. Предполагается также создание сетевой системы контроля функционального состояния изображения земной поверхности и развития пунктов управления радиолокационной техникой на основе мобильных устройств, передающих данные в центр контроля и управления, построенный на базе модулей УЭМ.
Работникам ОТК изделие УЭМ поможет снизить процент ошибочных решений при проведении неразрушающего контроля качества изделий.
Для служб МЧС модули УЭМ позволят использовать упреди-тельные меры при выявлении и пространственной локализации участков контролируемой территории, создающих предпосылки возникновения нештатных ситуаций, в процессе мониторинга уровня безопасности гражданских и промышленных объектов. В част-
ности, раннее обнаружение тенденции к увеличению вредных примесей в атмосфере может спасти миллионы жизней.
Компания «РК- телеком», специализирующаяся на мобильных пунктах управления в интересах ГУ МЧС, готова содействовать ОАО «НИИ супер ЭВМ» в применении УЭМ при дальнейшем развитии пунктов управления для аэрокосмического и наземного мониторинга в интересах региональных структур ГУ МЧС.
Своевременное обнаружение нестандартных препятствий на маршруте следования любого транспортного средства — основа безопасности перевозок. В решении этой проблемы также могут помочь унифицированные электронные модули.
Вывод
Изделие УЭМ может рассматриваться как универсальный инструмент интеграции высокоуровневых ресурсов для решения научных и инженерных задач.
Интеграция изделий УЭМ дает возможность создания высокопроизводительных масштабируемых систем сбора и цифровой обработки информации при решении различных задач цифровой локации. Высокоуровневый вычислительный ресурс таких систем составляют различные сочетания модулей УЭМ, в которых реализуются современные модификации алгоритмов ЦОС на программируемых логических схемах (ПЛИС) фирмы ХШпх семейства VIRTEX-6 и субмодулей стандарта FMC.
Основной подход к выбору структуры изделия УЭМ потребителем состоит в определении исходных данных решаемой задачи:
• интерфейсов связи с источниками данных для решения вопроса об использовании и выборе типов субмодулей;
• количества внешних и внутренних связей;
• выбора протоколов передачи данных;
• определения объема обрабатываемых данных и алгоритмов обработки, что требует разного количества задействованных ПЛИС и их вычислительной мощности, что обуславливает выбор числа модулей УЭМ и их типов.
Список литературы
[1] Унифицированные электронные модули. Руководство по эксплуатации ВИМА.467419.002 РЭ.
[2] Нейман В.М., Маликов С.Н., Омерова Л.У. Решение о выдаче патента на полезную модель «Вычислительное устройство для обработки данных» а.з. № 2013128731 от 20.08.2013 г.
[3] Нейман В.М., Ройко Г.А., Попов В.Ф., Маликов С.Н., Решение о выдаче патента на полезную модель «Вычислительное устройство для обработки данных» а.з. № 2013143499 от 26.09.2013 г.
[4] XILINX DS 150. Virtex-6 Family Overview, Product Specification
Рекомендовал к публикации Программный комитет
Второго национального суперкомпьютерного форума НСКФ-2013
Об авторах:
Станислав Михайлович Чудинов
Доктор технических наук, профессор, заместитель генерального директора по научной работе ОАО «НИИ супер ЭВМ». Специалист по созданию автоматизированных систем управления. Дважды лауреат Государственной премии СССР. Имеет государственные награды и почетные звания: «Заслуженный деятель науки РФ», «Заслуженный Изобретатель СССР» и др. e-mail: chud35@yandex.ru
Сергей Николаевич Маликов Кандидат технических наук, с.н.с., заместитель генерального директора по научно-конструкторской работе ОАО «НИИ супер ЭВМ». Специалист в разработке аппаратно-программных комплексов обработки сигналов и изображений. Опубликовал около 70 научных работ, включая авторские свидетельства и патенты. e-mail: sergej.malikov@bk.ru
Образец ссылки на публикацию:
С. М. Чудинов, С. Н. Маликов. Унифицированные электронные модули — универсальный инструмент интеграции высокоуровневых ресурсов для решения научных и инженерных задач // Программные системы: теория и приложения: электрон. научн. журн. 2014. T. 5, № 1(19), с. 75-90.
URL: http://psta.psiras.ru/read/psta2014_1_75-90.pdf
S. M. Chudinov, S. N. Malikov. Unified electronic modules — universal tool for high-level resources integration for the purposes of scientific and engineering missions.
Abstract. The article represents the structure, composition and sphere of application of the unified electronic modules (UEM products) to be used for the purposes of real time scale digital location with usage of the modified advanced algorithms of digital signal processing (DSP), as well as the design of scalable computer systems for digital data collecting and processing based on UEM for the purposes of digital location in various areas of science and technology. (in Russian.)
Key Words and Phrases: digital location, product UEM, FPGAs, MPT modules, submodules standard FMC, software, image processing in medicine, geophysics, and services of the Civil Defense Ministry.
