CC BY
20ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
СЕМАНТИЧЕСКОЕ СЛИЯНИЕ И СОВМЕСТНЫЙ АНАЛИЗ ТЕРАГЕРЦОВОГО И ТРЁХМЕРНОГО ВИДЕОИЗОБРАЖЕНИЙ СРЕДСТВАМИ ОБЪЕКТНО-ОРИЕНТИРОВАННОГО ЛОГИЧЕСКОГО ПРОГРАММИРОВАНИЯ
1Морозов А.А., 1Сушкова О.С., ^Полупанов А.Ф., 1,2Анциперов В.Е., 1Мансуров Г.К., 1Папроцкий С.К., 1Янушко А.В., 1Петрова Н.Г., 1,2Бугаёв А.С.
Институт радиотехники и электроники им. В.А. Котельникова РАН, http://www.cplire.ru/ Москва 125009, Российская Федерация
2Московский физико-технический институт, http://www.mipt.ru/ г. Долгопрудный 141701, Московская область, Российская Федерация Поступила 27.08.2018
Представлена чл.-корр. РАЕН Я.А. Илюшиным
Целью работы является создание методов и средств терагерцового интеллектуального видеонаблюдения, то есть автоматического анализа видеоизображений в терагерцовом диапазоне частот. Терагерцовое видеонаблюдение открывает уникальные возможности в сфере обеспечения безопасности, в частности, оно позволяет дистанционно выявлять оружие и опасные предметы, скрытые под одеждой на теле человека. Вместе с тем, особенности терагерцового видеоизображения, такие как низкое разрешение, слабый контраст и низкое соотношение сигнал/шум, приводят к необходимости разработки новых методов и подходов к автоматическому анализу видеоизображений. Типичное терагерцовое видеоизображение представляет собой набор цветных или монохромных пятен. Чтобы понять терагерцовое видеоизображение, оператор системы видеонаблюдения сопоставляет его с изображениями в других диапазонах частот (видимом или инфракрасном). В терминах автоматического анализа видео это означает, что учитывается контекст наблюдаемых событий и объектов, или, другими словами, осуществляется семантическое слияние (сопоставление) терагерцового видеоизображения с видеоизображениями, полученными на основе иных физических принципов. Авторы рассматривают семантическое слияние видеоизображений как основу для реализации терагерцового интеллектуального видеонаблюдения. Описаны экспериментальные средства объектно-ориентированного логического программирования, разработанные для решения задачи семантического слияния терагерцового и трёхмерного видеоизображений.
Ключевые слова: терагерцовое видеонаблюдение, трёхмерное видеонаблюдение, интеллектуальное видеонаблюдение, объектно-ориентированное логическое программирование, Акторный Пролог
УДК 510.663; 519.68:007.5; 519.68:681.513.7; 681.3.06_
Содержание
1. Введение (329)
2. объединение возможностей тГц и 3D видео: история вопроса (331)
3. Экспериментальная установка (333)
4. калибровка измерительной системы (333)
5. Экспериментальное программное обеспечение (335)
6. заключение (336) Литература (337)
1. ВВЕДЕНИЕ
Терагерцовым (субмиллиметровым) излучением называют электромагнитное излучение с частотой в диапазоне примерно от 300 гигагерц до 3 терагерц, т.е. длиной волны от 0.1 до 1 миллиметра. Указанные границы диапазона частот являются условными, и многие исследователи используют этот термин в отношении электромагнитного излучения частотой от десятков гигагерц до 10 терагерц [1-4]. Кроме того, поскольку терагерцовое излучение находится на границе между
330 МОРОЗОВ А.А., СУШКОВА О.С., ПОЛУПАНОВ А.Ф., АНЦИПЕРОВ В.Е., ¡ли^ч/ЛОЛ ЛЛ I IMnUULIC ТСУиПППГММ МАНСУРОВ ГК., ПАПРОЦКИЙСК,ЯНУШКО А.В., ПЕТРОВА НГ.,БУГАЁВ А.С. ИНФОРМАЦИОННЫЕ 1ЕЛНОЛО1ИИ
инфракрасным излучением и миллиметровыми волнами, во многих обзорах и технических приложениях их рассматривают вместе [5-11]. Применяется также термин "субтерагерцовое излучение", если необходимо подчеркнуть, что речь идёт об электромагнитных волнах с частотой меньше одного терагерца.
Огромный интерес исследователей к терагерцовому излучению связан с тем, что оно легко проходит сквозь большинство диэлектриков, включая пластик, керамику, кирпич, дерево, картон и ткань и не является ионизирующим. Более того, терагерцовое излучение, так же как и тепловое, широко распространено в природе; живые организмы являются естественными источниками терагерцового излучения. Эти свойства терагерцового излучения делают весьма привлекательным его использование в медицине [7, 12], археологии, искусствоведении [9] и, конечно, системах безопасности [10, 11, 1324]. Пассивный приёмник терагерцовых волн, излучаемых человеческим телом, позволяет обнаруживать опасные предметы и оружие, скрытые под одеждой. Разрабатываются также активные системы терагерцового видеонаблюдения, включающие подсветку в терагерцовом диапазоне волн [25-27].
Несмотря на интенсивные исследования в области терагерцового видеонаблюдения, в настоящее время оно не получило широкого распространения, за исключением систем безопасности некоторых зданий и аэропортов. Это связано не только с техническими трудностями генерации и приёма терагерцовых волн (что отражается, в том числе, на цене разрабатываемой аппаратуры), но и с тем, что существующая в настоящее время аппаратура не позволяет в полной мере реализовать потенциальные возможности терагерцового видеонаблюдения. Получаемые терагерцовые видеоизображения характеризуются низким разрешением, низким контрастом, низким соотношение сигнал/шум и невысокой частотой кадров. Тем не менее, уже сейчас созданы коммерческие досмотровые системы, позволяющие дистанционно и незаметно для человека выявлять наличие скрытых под его одеждой предметов.
Типичное терагерцовое видеоизображение выглядит как набор размытых пятен, цветных или монохромных, в зависимости от применяемого метода визуализации данных. Одновременно с видеоизображением в терагерцовом диапазоне частот досмотровая система выводит изображение в привычном для человека видимом или инфракрасном диапазоне частот [28, 29] (рис. 1). Терагерцовое изображение может быть подвергнуто дополнительной обработке с целью увеличения контраста и выявления аномальных участков [30 34]. Это позволяет специально обученному оператору правильно интерпретировать терагерцовое видеоизображение и выявлять наличие предметов, скрытых на теле человека. Такое применение терагерцового видеонаблюдения, конечно же, не является оптимальным. В частности, оно породило мнение о неэффективности применения терагерцового видеонаблюдения для досмотра пассажиров в аэропорту, потому что сотрудника, управляющего системой видеонаблюдения, проще задействовать для ручного досмотра пассажиров. Очевидно, что массовое применение терагерцовых систем видеонаблюдения станет возможным лишь при появлении достаточно надёжных методов полностью автоматического анализа терагерцовых видеоизображений.
Рис. 1. Пример терагерцового видеоизображения. Д-ет удобства оператора видеонаблюдения терагерцовое изображение помещено на фоне видимого. Для отображения терагерцовых данных использована радужная цветовая шкала: красный цвет соответствует наиболее ярким участкам изображения, синий — наиболее холодным. Спрятанный за спиной пистолет ТТ на терагерцовом изображении выглядит как сине-зелёное пятно.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Целью данной работы является создание методов и средств терагерцового интеллектуального видеонаблюдения, то есть, автоматического анализа видеоизображений в терагерцовом диапазоне частот. В качестве основы для реализации терагерцового интеллектуального видеонаблюдения авторы рассматривают семантическое слияние (сопоставление) терагерцового видеоизображения с
видеоизображениями, полученными на основе иных физических принципов.
В статье описаны экспериментальные средства объектно-ориентированного
логического программирования, разработанные в Институте радиотехники и электроники им. В.А. Котельникова РАН для решения задачи семантического слияния терагерцового и трёхмерного видеоизображений. В разделе 2 приведён краткий обзор существующих проектов, направленных на объединение возможностей терагерцового и трёхмерного видео. В разделе 3 описана экспериментальная установка, применяемая для тестирования методов слияния терагерцового и трёхмерного видеоизображений. В разделе 4 рассмотрена проблема калибровки измерительной системы, включающей терагерцовую и времяпролётную камеры. В разделе 5 обсуждаются экспериментальное программное обеспечение, разрабатываемое для реализации метода терагерцового интеллектуального видеонаблюдения, и пример слияния разнородных видеоданных.
2. ОБЪЕДИНЕНИЕ ВОЗМОЖНОСТЕЙ ТГц И 3D ВИДЕО: ИСТОРИЯ ВОПРОСА
Идея семантического слияния видеоизображений состоит в том, что данные из разных источников видеоинформации объединяются в одно видеоизображение таким образом, что смысловое содержание одних изображений влияет на алгоритмы обработки других [35, 38]. Простейшим примером семантического слияния видеоизображений в терагерцовом и видимом диапазонах можно считать применение алгоритмов вычитания фона в видимом диапазоне, чтобы понять, где находится человек, а где фоновое изображение, и отличить (выделить разными цветами) предметы, обнаруженные под одеждой человека, и фоновое изображение (рис. 2).
Конечно, алгоритм вычитания фона не может отличить тело человека от других движущихся
объектов, однако для оператора досмотрового комплекса полученной информации достаточно, потому что он способен понять, где именно находится человек, и что может соответствовать тем или иным пятнам на терагерцовом изображении. В случае интеллектуального терагерцового видеонаблюдения для правильной интерпретации изображения этой информации, конечно же, недостаточно. Для исключения ложных срабатываний системы необходимо учесть данные о положении человека в пространстве, а также о положении отдельных частей его тела на терагерцовом изображении. В данной работе для этих целей предложено использовать средства трёхмерного зрения, а именно, карту глубины, получаемую с помощью времяпролётной камеры устройства Кинект 2, и скелетоны, вычисляемые с помощью стандартного программного обеспечения Кинект 2.
Совмещение трёхмерного машинного зрения с терагерцовым видеонаблюдением является областью интенсивных исследований и экспериментальных разработок. Принято различать пассивное и активное терагерцовое видеонаблюдение. Активное терагерцовое видеонаблюдение исторически связано с такими направлениями как радары и голография [39, 41]. В настоящее время в области активного терагерцового наблюдения для получения информации о трёхмерной поверхности
Рис. 2. Пример визуализации терагерцовых данных в промышленном досмотровом комплексе THERZ-7A (Astrohn Technology Ltd). Программное обеспечение разработано фирмой ASoft. Слева представлено изображение в видимом диапазоне. Оранжевым цветом отмечены участки на теле человека, где, по предположению системы, спрятаны какие-то предметы. Справа представлено изображение в терагерцовом диапазоне, совмещённое с видимым изображением. Положение ражения относительно видимого изображения обозначено с помощью красной рамки.
332 МОРОЗОВ А.А., СУШКОВА О.С., ПОЛУПАНОВ А.Ф., АНЦИПЕРОВ В.Е., |/ii_|/+l/'^DI\ ЛЛ I IMnUULIC ТСУиПППГММ
мансуров гк., папроцкийск,янушко ав., петрова нг.,БУГАЁВ A.c. ИНФОРМАЦИОННЫЕ 1ЬЛНЦЛЦ1ИИ
изучаемого объекта предложено использовать механическое и цифровое формирование луча [20, 42, 43], терагерцовую голографию [44, 45], времяпролётную терагерцовую томографию [46], синтезированные апертуры [47-49], кодирующие апертуры [50-54], частотную модуляцию сигнала [55], антенныизметаматериалов [56] и др.Вобласти пассивного терагерцового видеонаблюдения было предложено использовать слияние терагерцового изображения с3D-изображениями, построенными с помощью 3D-сенсоров на основе структурированного света и лидара [57, 58], а также по данным многокамерного видеонаблюдения [59]. Слияние данных радара с 3D и видимыми изображениями применяется также и в активных системах наблюдения [60, 61].
В настоящее время невозможно предсказать, какие системы терагерцового видеонаблюдения, активные или пассивные, найдут наибольшее распространение. Оба подхода имеют свои преимущества и недостатки, и, кроме того, разные способы получения терагерцовых изображений дают разную информацию о наблюдаемых объектах:
1. Считается, что активные системы, теоретически, могут обеспечить терагерцовое изображение более высокого качества, потому что обеспечивают лучшее соотношение сигнал/шум. Однако при этом надо учесть, что пассивные системы принимают и анализируют собственное излучение людей и предметов (что может быть полезно, например, для медицинской диагностики); скрытые оружие и предметы при этом хорошо видны на просвет на фоне тела человека. Активные системы принимают отражённый терагерцовый сигнал; тело человека при этом, так же как и предметы, скрытые под одеждой, создают блики, которые достаточно сложно интерпретировать. В этой ситуации задача распознавания формулируется совсем по-иному.
2. Терагерцовое излучение, в отличие от рентгеновского излучения, не является ионизирующим и потому считается безопасным для человека [62]. Вместе с тем, широкое применение активных систем терагерцового видеонаблюдения неизбежно приведёт к повышенному электромагнитному загрязнению окружающей среды, и это отрицательно отразится на здоровье людей.
3. Активная система терагерцового видеонаблюдения может быть легко обнаружена по электромагнитному излучению, поэтому активное видеонаблюдение, фактически, перестаёт быть скрытым. У пассивных систем, на современном уровне развития, также есть недостатки, мешающие использовать их для скрытого видеонаблюдения, например, шум от механической системы развёртки потока терагерцового излучения.
4. Исследования в области активных систем терагерцового 3D видеонаблюдения пока что остаются на уровне экспериментальных установок и прототипов. Эти системы пока что достаточно громоздки и уступают пассивным системам терагерцового видеонаблюдения по частоте кадров. Тем не менее, в будущем такие системы могут обеспечить получение информации о форме предметов, скрытых под одеждой, что значительно облегчит их распознавание.
5. Отдельными направлениями исследований являются терагерцовая спектроскопия и её использование для дистанционного обнаружения оружия, наркотиков и взрывчатых веществ. Формально системы терагерцовой спектроскопии можно отнести к активным системам [16, 24, 63 -65], однако в них используется терагерцовое излучение совсем другого диапазона частот. Если для просвечивания одежды целесообразно применять субтерагерцовые волны, находящиеся в окнах прозрачности одежды (0.1 ТГц, 0.25 ТГц и др.), то для терагерцовой спектроскопии необходимо использовать излучение, соответствующее спектрам поглощения исследуемых веществ (0.5 ТГц и выше) [65].
Для разработки и экспериментальной проверки метода слияния терагерцовых и 3D видеоизображений, рассмотренного в статье, были использованы промышленный пассивный терагерцовый досмотровый комплекс THERZ-7A (производитель Astrohn Technology Ltd, рабочая частота 0.23-0.27 ТГц) и времяпролётная (ToF) камера устройства Кинект 2 (Microsoft Inc). Разработанный метод может быть адаптирован также к условиям терагерцовой подсветки. В случае появления в будущем промышленных терагерцовых досмотровых систем, сканирующих 3D-поверхности в терагерцовом диапазоне, метод потребует определённой переработки, так как существующие алгоритмы вычисления скелетонов
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
людей обучены на видеоданных в ближнем инфракрасном и видимом диапазонах частот.
3. ЭКСПЕРИМЕНТАЛЬНАЯ УСТАНОВКА
Для проведения экспериментов с терагерцовым видеонаблюдением была собрана
экспериментальная установка, включающая промышленный терагерцовый досмотровый комплекс THERZ-7A и устройство Кинект 2 (рис. 3). Оба устройства передают не один, а несколько потоков данных одновременно. Пассивный терагерцовый комплекс
передаёт последовательность терагерцовых видеоизображений с разрешением 121x207 пикселей и частотой кадров 6 Гц (в проприетарном формате), а также изображение в видимом диапазоне с разрешением 576x704 пикселей и частотой кадров 25 Гц (в формате MJPEG). Устройство Кинект 2 передаёт последовательность трёхмерных кадров (координат точек в 3D-пространстве) с частотой кадров 30 Гц и размером матрицы 512x424 точек, последовательность инфракрасных изображений также с частотой кадров 30 Гц и размером матрицы 512x424 пикселей, последовательность скелетонов людей, распознанных в кадре (до 6 людей одновременно, каждый скелетон включает до 25 узлов), последовательность RGB-кадров с разрешением 1920x1080 пикселей и частотой кадров 30 Гц и другую информацию.
Во время записи данных устройства были подключены к разным компьютерам, потому что пропускной способности (по записи) жёсткого диска одного компьютера не хватает, чтобы записывать в реальном времени данные, выдаваемые обоими устройствами. Заметим, что проблема с пропускной способностью
(а) (б) (в)
Рис. 3. Экспериментальная установка, включающая пассивный терагерцовый приёмник (а), времяпролётную камеру (б) и калибровочную доску (в).
жёсткого диска связана, в основном, с большим объёмом трёхмерных данных, выдаваемым устройством Кинект 2. В условиях практического использования метода семантического слияния видеоизображений эта проблема может быть легко решена за счёт частичной предобработки и приведения частоты трёхмерных кадров к частоте терагерцовых кадров. Таймеры компьютеров были синхронизированы перед началом экспериментов, но это не решает проблему синхронизации видеопотоков, и в дальнейшем временной сдвиг между кадрами в разных видеопотоках всё равно пришлось проверять и корректировать вручную.
4. КАЛИБРОВКА ИЗМЕРИТЕЛЬНОЙ СИСТЕМЫ
Перед проведением каждой серии экспериментов осуществлялась калибровка экспериментальной установки. Калибровка установки, включающей терагерцовый детектор и времяпролётную камеру, представляет собой отдельную техническую задачу. При совмещении таких устройств возникают те же проблемы, что и при совмещении трёхмерного зрения с тепловизионной камерой [66-68], а именно, возникает необходимость в создании специальной калибровочной доски, элементы которой будут чётко различаться на изображениях, полученных при помощи обоих устройств. Дополнительной проблемой стало то, что терагерцовое изображение имеет ещё более низкое разрешение, чем то, что можно получить с помощью типичной тепловизионной камеры. При этом небольшой угол обзора терагерцовой камеры не позволяет решить проблему за счёт увеличения физического размера калибровочной доски.
Для калибровки экспериментальной установки был разработан следующий подход: 1. Для определения внутренних параметров оптической системы терагерцового комплекса и его привязки к времяпролётной камере мы воспользовались тем фактом, что терагерцовое изображение жёстко привязано к изображению в оптическом диапазоне, выдаваемом терагерцовым комплексом. Для калибровки использовались RGB-изображения, выдаваемые комплексом (рис. 4а), а для экспериментальных записей — RGB-изображения, совмещённые с терагерцовыми (рис. 1).
334 морозов а.а., сушкова о.с., полупанов а.ф., анциперов в.е., i/nirlv^div/ia i im^uuliiz xcvu/^ п/'лпу! 1у1
мансуров гк,папроцкий ск,янушко ав.,петрованг.,бугаёв ас ИНФОРМАЦИОННЫЕ 1ЬЛНОЛ 1О1ИИ
2. Устройство Кинект 2 выдаёт инфракрасные изображения, возникающие в качестве побочного продукта при построении карт глубины (см. рис. 4б). Это значительно упрощает задачу калибровки времяпролётной камеры, так как отпадает необходимость создавать рельефную калибровочную доску, видимую на карте глубины.
3. Для калибровки использовался стандартный рисунок шахматной доски размером 7x10 клеток, размер клетки 25x25 мм. Тёмные клетки доски сделаны из алюминиевой фольги, так как эта же калибровочная доска используется для тепловизионных измерений [69]. Калибровка экспериментальной установки
включает вычисление внутренних параметров оптических систем каждого из устройств, а затем вычисление взаимного положения устройств и, на основе информации о взаимном положении, дальнейшее уточнение их внутренних параметров. Для вычислений использовался программный пакет Camera Calibration Toolbox for Matlab [70], в частности, для вычисления взаимного положения камер использовался алгоритм калибровки стереопары. Пакет [70] разработан более 20 лет назад, однако, по сравнению с современным пакетом калибровки камер в системе Матлаб обеспечивает возможность калибровки стереопары, собранной из двух камер с разным размером матрицы. Вычисление внутренних и внешних параметров оптической системы представляет собой оптимизационную задачу, поэтому для получения стабильного решения необходимо правильно задать ограничения на пространство
значении параметров модели оптическом системы. Для калибровки экспериментальной установки были использованы следующие ограничения: разрешить изменение положения принципиальной точки, учитывать два коэффициента радиальной дисторсии (из трёх возможных), не учитывать тангенциальную дисторсию. Для калибровки использовалось до 45 пар калибровочных изображений (рис. 4), это обеспечило точность подгонки модели примерно 0.18 пикселей для Кинект 2 и 0.2 RGB-пикселей для терагерцового комплекса (рис. 5).
На основе данных калибровки измерительной установки были вычислены трёхмерные таблицы соответствий между облаком точек, регистрируемым времяпролётной камерой, и точками на терагерцовом изображении. В выбранной модели измерительной системы трёхмерная таблица соответствий представляет собой матрицу размером 512x424 точек (размер матрицы времяпролётной камеры), в ячейках которой записаны списки коэффициентов квадратичных полиномов для вычисления координат на RGB-изображении, выдаваемом терагерцовым комплексом. В каждой ячейке матрицы (у) записаны шесть коэффициентов Р1, Р2' Р у 42> Координаты (ху) на RGB-изображении вычисляются с помощью квадратичных полиномов, зависящих от обратной величины расстояния d(il¡) в метрах от времяпролётной камеры до точки (у) на исследуемой поверхности: х = Р ^ + Р2 + Р^ 7 = 4г (1/й02 + 42 (1/й0 + 4з.
(а) ^ (б)
Рис. 4. Процесс калибровки экспериментальной установки.
а) В&В-изображение, полученное с терагерцового комплекса.
б) Инфракрасное изображение, полученное из устройства Кинект 2. Для удобства перемещения калибровочной доски по рейсшине, она прикреплена с помощью полосок двусторонней
липкои ленты.
Рис. 5. Результаты совместной калибровки терагерцовой и времяпролётной камер как стереопары. Для вычислений использовался программный пакет Camera Calibration Toolbox for Matlab [70]. Размеры на осях указаны в миллиметрах.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Трёхмерные таблицы соответствий используются для быстрого (в темпе реального времени) слияния видеоизображений,
получаемых с разных устройств.
5. ЭКСПЕРИМЕНТАЛЬНОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
Работа с трёхмерными таблицами соответствий реализована во встроенном классе KinectBuffer объектно-ориентированного логического
языка Акторный Пролог [71-83]. Этот класс предназначен для получения данных с времяпролётной камеры устройства Кинект 2, а также для записи и чтения созданного 30-видео. Подробное описание встроенного класса KinectBuffer можно найти в [69].
Одной из функций встроенного класса KinectBuffer является построение трёхмерной поверхности на основе облака точек и проецирование на эту поверхность заданной текстуры с помощью подготовленной заранее таблицы соответствий. Мы использовали эти средства для слияния трёхмерного и терагерцового видеоизображений в наших экспериментах. Основной проблемой, которая возникает при таком способе слияния видеоизображений, является синхронизация видеопотоков с разной частотой кадров. Эта проблема осложняется тем, что частота кадров в видеопотоках не является постоянной. В частности, частота кадров потока скелетонов, выдаваемого стандартным SDK устройства Кинект 2, может не соответствовать частоте 30-кадров. Для решения проблемы синхронизации видеопотоков был разработан метод "опережающего чтения" терагерцовых видеоданных. Этот метод реализован в специальном встроенном классе Акторного Пролога Astrohn.
Встроенный класс Astrohn предназначен для получения терагерцовых и RGB-видеоданных из устройства THERZ-7A. Так же как и встроенный класс KinectBuffer, встроенный класс Astrohn поддерживает ввод данных непосредственно с внешнего устройства, а также запись видеоданных в файл и чтение видеоданных из файла. Класс Astrohn поддерживает функции преобразования терагерцовых видеоданных в цветные изображения. В частности, в виде цветных изображений могут быть представлены непосредственно терагерцовые данные (с использование псевдоцветов), RGB-данные, переданные терагерцовым комплексом,
а также RGB-данные, совмещённые с текущим терагерцовым изображением. Класс Astrohn поддерживает простейший режим синхронизации видеокадров, в котором совмещаются терагерцовые и RGB-изображения, полученные максимально близко по времени. В настоящее время класс Astrohn поддерживает более 25 цветовых шкал высокого разрешения, включая общепринятые в тепловидении цветовые шкалы Aqua, Blackhot, Blaze, BlueRed, Gray, Hot, HSV, Iron, Red (Jet), Médical, Parula, Purple, Green (Rainbow).
Для синхронизации терагерцовых
изображений с трёхмерными видеоданными в классе Astrohn реализован метод опережающего чтения терагерцовых видеоданных, идея которого состоит в следующем. Видеоданные считываются из файла и записываются во временный буфер. Каждый кадр видеоданных характеризуется временем его получения из устройства (в миллисекундах, по универсальной временной шкале, начинающейся с 1 января 1970 года). По мере заполнения буфера чтение данных приостанавливается до тех пор, пока в программе не произойдёт обращение к какому-либо кадру данных. Обращение к кадру данных можно осуществить с помощью встроенного предиката retrieve_timed_frame. Этот предикат проверяет, есть ли в буфере кадр с заданной временной меткой T, и, в зависимости от результатов проверки, выполняет следующие действия:
1. Если в буфере присутствуют два кадра с временными метками t и t+1, такими что t < T и T < t+1, то выбирается один из этих кадров, максимально близкий по времени к T. Кадр передаётся в программу для обработки, в частности, программа получает асинхронное сообщение frame_obtained, сигнализирующее о получении требуемого кадра видеоданных. Чтение видеоданных из файла возобновляется и продолжается до тех пор, пока выбранный кадр не окажется в середине буфера. По мере переполнения буфера, наиболее старые видеокадры отбрасываются.
2. Если последний по времени видеокадр в буфере имеет временную метку tE, такую что tE < T, чтение видеоданных в буфер возобновляется, а исполнение предиката retrieve_timed_frame приостанавливается до тех пор, пока не будет получен видеокадр с подходящей временной меткой.
336 МОРОЗОВ А.А., СУШКОВА О.С., ПОЛУПАНОВ А.Ф., АНЦИПЕРОВ В.Е., ¡ли^ч/ЛОЛ ЛЛ I IMnUULIC ТСУЫПППГММ МАНСУРОВ ГК., ПАПРОЦКИЙСК,ЯНУШКО А.В., ПЕТРОВА НГ.,БУГАЁВ АС. ИНФОРМАЦИОННЫЕ 1ЕХНОЛО1ИИ
3. Если первый по времени видеокадр в буфере имеет временную метку tB, такую что T < tB, исполнение предиката retrieve_timed_frame заканчивается неудачей, в логической программе происходит откат. Метод опережающего чтения видеоданных позволяет адаптивно изменять скорость считывания видеофайла и синхронизировать скорость чтения видеоданных, полученных из разных устройств. Объём трёхмерных видеоданных, получаемых с помощью времяпролётной камеры существенно выше, чем объём терагерцовых данных, поэтому целесообразным является адаптивное управление чтением терагерцовых данных, в зависимости от реально достигнутой скорости поступления трёхмерных видеокадров.
На рис. 6 приведён пример трёхмерного изображения, построенного с помощью слияния облака точек, полученного с времяпролётной камеры, и терагерцового изображения. На рис. 7 отображены те же данные, однако при этом терагерцовое изображение совмещено со скелетоном человека, вычисленного средствами стандартного SDK устройства Кинект 2. Применение трёхмерной таблицы соответствий позволяет проецировать терагерцовое изображение на трёхмерную поверхность в темпе реального времени. В частности, трёхмерное видео, показанное на рисунках, может быть повёрнуто, отмасштабировано или сдвинуто при помощи мышки непосредственно в ходе воспроизведения.
6. ЗАКЛЮЧЕНИЕ
В качестве основы для интеллектуального терагерцового видеонаблюдения предложен
Рис. 6. Пример терагерцового видеоизображения, спроецированного на трёхмерную поверхность тема человека. Терагерцовое изображение помещено на фоне видимого. Для отображения терагерцовых данных использована такая же цветовая шкала, как на рис. 1.
Рис. 7. Пример терагерцового видеоизображения, спроецированного на трёхмерную поверхность тела человека. Трёхмерная поверхность совмещена со скелетоном, отображающим положение головы, рук, ног и других частей тела человека относительно терагерцового видеоизображения.
метод семантического слияния терагерцового видео с видеоизображениями, полученными на основе иных физических принципов, в частности, с трёхмерным видеоизображением, полученным с помощью времяпролётной камеры. Для экспериментов с терагерцовым видеонаблюдением созданы средства
объектно-ориентированного логического
программирования, а именно, встроенные классы языка Акторный Пролог для ввода, записи, чтения и синхронизации видеопотоков в терагерцовом и видимом диапазонах частот, а также трёхмерного видео. Экспериментальная проверка продемонстрировала, что разработанные средства позволяют в реальном времени проецировать терагерцовое видеоизображение на трёхмерную поверхность человека, получаемую с помощью времяпролётной камеры. Эта информация может быть использована алгоритмами автоматического анализа для определения положения человека и отдельных частей его тела относительно терагерцового изображения, что позволит улучшить качество распознавания скрытых под одеждой предметов. С помощью разработанных средств были собраны образцы многоканальных гетерогенных видеоизображений людей, оружия и предметов, которые в дальнейшем будут использованы для обучения алгоритмов распознавания предметов, скрытых под одеждой. Благодарности
Авторы выражают благодарность ИА. Кершнеру и РА. Толмачёвой за участие в проводимых экспериментах, а также компаниям ЗАО «Астрон» и ООО <АСофт» за предоставленное оборудование для регистрации терагерцового излучения ТНЕЯ2-7А. Исследование выполнено при поддержке РФФИ (проект № 16-29-09626-офи-м).
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ЛИТЕРАТУРА
1. Vollmer M, Möllmann KP. Infrared Thermal Imaging. Fundamentals, Research and Applications. Weinheim, WILEY-VCH, 2010, 612 p.
2. Chan WL, Deibel J, Mittleman DM. Imaging with terahertz radiation. Reports on progress in physics. 2007, 70(8):1325.
3. Sethy PK, Mishra PR, Behera S. An Introduction to Terahertz Technology, Its History, Properties and Application. Intern, oonf on computing and communication, 2015.
4. Zhu L, Suomalainen J, Liu J, Hyyppä J, Kaartinen H, Haggren H. A Review: Remote Sensing Sensors. In: Rustamov RB, Hasanova S, Zeynalova MH, editors. Multi-purposeful Application of Geospatial Data. IntechOpen, 2018, p. 19-42.
5. Sanders-Reed JN. Applications and challenges for MMW and THz sensors. In: Micro- and Nanotechnology Sensors, Systems, and Applications VII. Proc. of SPIE, 2015, vol. 9467, p. 94672E.
6. Appleby R, Robertson DA, Wikner D. Millimeter wave imaging: a historical review. Proc. SPIE Passive and Active Millimeter-Wave Imaging XX, 2017, vol. 10189, p. 1018902.
7. Sizov FF. Infrared and terahertz in biomedicine. Semiconductor Physics, Quantum Electronics & Optoelectronics, 2017, 20(3):273-283.
8. Cherevko AG, Iljin EM, Morgachev JD, Polubehin AI. Analysis of patent activity in the field of advanced radar technology in extra-long infrared wavelength range. Vestnik SibGUTI, 2015, 2:164-173 (in Russ.).
9. Jackson JB, Bowen J, Walker G, Labaune J, Mourou G, Menu M, et al. A survey of terahertz applications in cultural heritage conservation science. IEEE Transactions on Terahertz Science and Technology, 2011, 1(1):220-231.
10. Kemp MC. A review of millimetre-wave and terahertz technology for detection of concealed threats. Proc. IEEE 33rdIntern. Conf onInfaredandMillimeterWaves,2008, p. 1-2.
11. Kemp MC. Millimetre wave and terahertz technology for detection of concealed threats — a review. Proc. IEEE Joint 32nd Intern. Conf. on Infrared and Millimeter Waves, 2007, p. 647-648.
12. Taylor ZD, Singh RS, Bennett DB, Tewari P, Kealey CP, Bajwa N, et al. THz medical imaging: in vivo hydration sensing. IEEE transactions on terahertz science and technology, 2011, 1(1):201-219.
13. Antsiperov VE. Automatic target recognition algorithm for lowcount terahertz images. Computer Optics, 2016, 40(5):746-751.
14. Astahov SP, Stroev NN, Sulimski ES. Features of the Software for Design of Research Complex Using Subteraherz Matrix Camera. Mathematical morphology, 2015, 14(1) (in Russ.).
15. Kowalski M, Kastek M, Piszczek M, Zyczkowski M, Szustakowski M. Harmless screening of humans for
the detection of concealed objects. WIT Transactions on The Built Environment, 2015, 151:215-223.
16. Angeluts AA, Balakin AV, Borodin AV, Borodin AV, Esaulkov MN, Nazarov MM, et al. Terahertz Spectroscopy and Imaging. Russian Foundation for Basic Research Journal., 2014, 83(3):21-36 (in Russ.).
17. Ozhegov R, Gorshkov K, Vachtomin YB, Smirnov K, Finkel M, Goltsman G, et al. Terahertz imaging system based on superconducting heterodyne integrated receiver. In: THz and Security Applications. Springer; 2014, p. 113-125.
18. Chrzanowski K. Testing passive surveillance terahertz imagers. Optica Applicata, 2013, 43(2):359-371.
19. Trofimov VA, Trofimov VV, Deng C, Zhao Y, Zhang C, Zhang X. Possible way for increasing the quality of imaging from THz passive device. Proc. of SPIE, 2011, Vol. 8189:81890L.
20. Cooper KB, Dengler RJ, Llombart N, Thomas B, Chattopadhyay G, Siegel PH. THz imaging radar for standoff personnel screening. IEEE Transactions on Terahertz Science and Technology, 2011, 1(1):169-182.
21. Shen X, Dietlein CR, Grossman E, Popovic Z, Meyer FG. Detection and segmentation of concealed objects in terahertz images. IEEE Transactions on Image Processing, 2008, 17(12):2465-2475.
22. Semenov A, Richter H, Böttger U, Hübers HW Imaging terahertz radar for security applications. Terahertzfor Military and Security Applications VI, 2008, vol. 6949:694902.
23. Kemp MC. Detecting hidden objects: Security imaging using millimetre-waves and terahertz. IEEE Conference on Advanced Video and Signa. Based Survei..ance, 2007, p. 7-9.
24. Federici JF, Schulkin B, Huang F, Gary D, Barat R, Oliveira F, et al. THz imaging and sensing for security applications — explosives, weapons and drugs. Semiconductor Science and Technology, 2005, 20(7):S266.
25. Spiegel W, Weg C, Henneberger R, Zimmermann R, Roskos HG. Illumination aspects in active terahertz imaging. IEEE Trans. Microw. Theory Tech, 2010, 58(7):2008-2013.
26. Friederich F, Spiegel W, Bauer M, Meng F, Thomson MD, Boppel S, et al. THz active imaging systems with realtime capabilities. IEEE Transactions on Terahertz Science and Technology, 2011, 1(1):183-200.
27. Pfeiffer UR, Zhao Y, Grzyb J, Al Hadi R, Sarmah N, Förster W, et al. A 0.53 THz reconfigurable source module with up to 1 mW radiated power for diffuse illumination in terahertz imaging applications. IEEE Journal of Soid-State Circuits, 2014, 49(12):2938-2950.
28. Kowalski M, Piszczek M, Palka N, Szustakowski M. The methodology of THz-VIS fused images evaluation. Photonics Letters of Poland, 2013, 5(1):32-34.
29. Stroev NN, Sulimski ES. Research of means of multiframes representation for application in systems
338 МОРОЗОВ А.А., СУШКОВА О.С., ПОЛУПАНОВ А.Ф., АНЦИПЕРОВ В.Е., |/ii_|/+l/'^DI\ ЛЛ I IMnUULIC ТСУиПППГММ
мансуров гк., папроцкийск,янушко ав., петрова нг.,БУГАЁВ A.c. ИНФОРМАЦИОННЫЕ 1ЬЛНЦЛЦ1ИИ
of radiovision of subterahertz range. Yugra State University Bulletin, 2016, (2):17-20 (in Russ.).
30. Trofimov VA, Trofimov VV Shestakov IL, Blednov RG, Kovalev VY. Effective algorithm based on Fourier transform for the passive THz image quality enhancement. Image Sensing Technologies:Materials, Devices, Systems, and Applications IV, 2017, vol. 10209:1020907.
31. Trofimov VA, Trofimov VV New algorithm for the passive THz image quality enhancement. Terahertz Physics, Devices, and Systems X: Advanced Applications in Industry and Defense. 2016, vol. 9856:98560M.
32. Trofimov VA, Trofimov VV, Palka N, Kowalski M. Computer Processing of Images Captured with a Commercially Available THz Camera at Long Distances. Terahertz and Mid Infrared Radiation: Detection of Explosives and CBRN (Using Terahertz). Springer, 2014, p. 167-174.
33. Trofimov VA, Trofimov VV, Kuchik IE, Zhang Cl, Deng C, Zhao Ym, et al. Computer processing of image captured by the passive THz imaging device as an effective tool for its de-noising. Infrared, Milimeter-Wave, and Terahert^ Technologies II, 2012, vol. 8562:856207.
34. Cooper K, Dengler R, Llombart N, Bryllert T, Chattopadhyay G, Mehdi I, et al. An approach for sub-second imaging of concealed objects using terahertz (THz) radar. Journal of Infrared, Millimeter, and Terahertz Waves, 2009, 30(12):1297-1307.
35. Ramasamy Ramamurthy S, Roy N. Recent trends in machine learning for human activity recognition — A survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 2018, p. e1254.
36. Vineet V, Miksik O, Lidegaard M, NieCner M, Golodetz S, Prisacariu VA, et al. Incremental dense semantic stereo fusion for large-scale semantic scene reconstruction. IEEE International Conference on Robotics and Automation, 2015, p. 75-82.
37. Oliveira L, Nunes U, Peixoto P, Silva M, Moita F. Semantic fusion of laser and vision in pedestrian detection. Pattern Recognition, 2010, 43:3648-3659.
38. Lewis JJ, O'Callaghan RJ, Nikolov SG, Bull DR, Canagarajah N. Pixel-and region-based image fusion with complex wavelets. Information fusion, 2007, 8(2):119-130.
39. Mittleman DM. Twenty years of terahertz imaging. Optics express, 2018, 26(8):9417-9431.
40. Guillet JP, Recur B, Frederique L, Bousquet B, Canioni L, Manek-Honninger I, et al. Review of terahertz tomography techniques. Journal of Infrared, Millimeter, and Terahertz Waves, 2014, 35(4):382-411.
41. Zhang XC. Three-dimensional terahertz wave imaging. Philosophical Transactions of the Royal Society of London A: Mathematical, Physical and Engineering Sciences, 2004, 362(1815):283-299.
42. Gao J, Cui Z, Cheng B, Qin Y, Deng X, Deng B, et al. Fast Three-Dimensional Image Reconstruction of a Standoff Screening System in the Terahertz Regime.
IEEE Transactions on Terahertz Science and Technology, 2018, 8(1):38-51.
43. Nowok S, Herschel R, Zimmermann R, Shoykhetbrod A, Lang SA, Pohl N. 3D Imaging System Based on a MIMO Approach at 360GHz for Security Screening. Proc. 37th PIERS: Progress In Electromagnetic Research Symposium, Shanghai, China; 2016, p. 671-675.
44. Zhou M. A Terahertz Holography Imaging System for Concealed Weapon Detection Application. School of Electronic and Engineering and Computer Science, Queen Mary, University of London, 2017, p. 219.
45. Liu W Li C, Sun Z, Zhang Q, Fang G. Three-dimensional sparse image reconstruction for terahertz surface layer holography with random step frequency. Optics letters, 2015, 40(14):3384-3387.
46. Jun Takayanagi, Hiroki Jinno, Shingo Ichino et al. High-resolution time-of-flight terahertz tomography using a femtosecond fiber laser. Optics Express, 2009, 17(9):7533-7539
47. Hao J, Li J, Pi Y. Three-Dimensional Imaging of Terahertz Circular SAR with Sparse Linear Array. Sensors (Basel, Switzerland), 2018, 18(8):2477.
48. Rezgui ND, Andrews DA, Bowring NJ. Ultra Wide Band 3D Microwave Imaging Scanner for the Detection of Concealed Weapons. Proc. SPIE Millimetre Wave and Terahertz Sensors and Technology VIII, 2015, vol. 9651:965108-1.
49. Gu S, Li C, Gao X, Sun Z, Fang G. Terahertz aperture synthesized imaging with fan-beam scanning for personnel screening. IEEE transactions on microwave theory and techniques, 2012, 60(12):3877-3885.
50. Chen S, Luo CG, Wang hQ, Peng L, Deng B, Zhuang ZW. Three-Dimensional Terahertz Coded-Aperture Imaging in Space Domain. IEEE Access, 2018, 6:32727-32736.
51. Chen S, Luo C, Wang H, Wang W, Peng L, Zhuang Z. Three-Dimensional Terahertz Coded-Aperture Imaging Based on Back Projection. Sensors (Basel, Switzerland), 2018, 18(8):2510.
52. Chen S, Luo C, Wang H, Deng B, Cheng Y, Zhuang Z. Three-Dimensional terahertz coded-aperture imaging based on matched filtering and convolutional neural network. Sensors (Basel, Switzerland), 2018, 18(5):1342.
53. Chen S, Luo C, Deng B, Wang H, ID YC. Three-Dimensional Terahertz Coded-Aperture Imaging Based on Single Input Multiple Output Technology. Sensors, 2018, 18(1):303.
54. Chen S, Hua X, Wang H, Luo C, Cheng Y, Deng B. Three- Dimensional Terahertz Coded-Aperture Imaging Based on Geometric Measures. Sensors, 2018, 18(5):1582.
55. Trontelj J, Sesek A. Electronic terahertz imaging for security applications. Terahertz, RF, Millimeter, and Submillimeter-Wave Technology and Applications IX, 2016, vol. 9747:974713.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
56. Gollub J, Yurduseven O, Trofatter K, Arnitz D, Imani M, Sleasman T, et al. Large metasurface aperture for millimeter wave computational imaging at the human-scale. Scientific reports, 2017, 7:42650.
57. Engström P, Axelsson M, Karlsson M. Microsoft Kinect for THz Sensor Management. Proc. 3rd Intern. Conf. on 3D Body Scanning Technologies, Lugano, Switzerland, Hometrica Consulting; 2012, p. 311-319.
58. Engström P, Axelsson M, Karlsson M. Combining structured light and Ladar for pose tracking in THz sensor management. Signal Processing, Sensor Fusion, and Target Recognition XXII, 2013, vol. 8745:874515.
59. Axelsson M, Karlsson M, Rudner S. A multi-camera positioning system for steering of a THz stand-off scanner. Passive Millimeter- Wave Imaging Technology XIV, 2011, vol. 8022:80220L.
60. Natour GE, Ait-Aider O, Rouveure R, Berry F, Faure P. Toward 3D reconstruction of Outdoor Scenes using an MMW radar and a monocular vision sensor. Sensors, 2015, 15(10):25937-25967.
61. Hantscher S, Essen H, Warok P, Zimmermann R, Schröder M, Sommer R, et al. LAOTSE, an Approach for Foreign Object Detection by multimodal netted 2D/3D Sensors. IEEE Tyrrhenian Intern. Workshop on Digital Communications-Enhanced Surveillance of Aircraft and Vehicles, 2011, p. 61-64.
62. Angeluts AA, Gapeyev AB, Esaulkov MN, Kosareva OG, Matyunin SN, Nazarov MM, et al. Study of terahertz-radiation-induced DNA damage in human blood leukocytes. Quantum Electronics, 2014, 44(3):247.
63. Rahman A, Rahman AK, Rao B. Early detection of skin cancer via terahertz spectral profiling and 3D imaging. Biosensors and Bioelectronics, 2016, 82:64-70.
64. Jeunesse P, Schmidhammer U. "On-the-Fly" Monitoring With a Single-Shot Terahertz Time-Domain Spectrometer. IEEE Sensors Journal, 2013, 13(1):44-49.
65. Baker C, Lo T, Tribe W, Cole B, Hogbin M, Kemp M. Detection of concealed explosives at a distance using terahertz technology. Proc. of the IEEE. 2007, 95(8):1559-1565.
66. Chernov G, Chernov V, Flores MB. 3D dynamic thermography system for biomedical applications. In: Application of Infrared to Biomedical Sciences. Springer; 2017, p. 517-545.
67. Rangel J, Soldan S, Kroll A. 3D thermal imaging: Fusion of thermography and depth cameras, robotics and autimation. IEEE Intern. Conf. on Quantitative InfraRed Thermography; 2014, pp.2311-2318.
68. Skala K, Lipic T, Sovic I, Gjenero L, Grubisic I. 4D thermal imaging system for medical applications. Periodicum biologorum, 2011, 113(4):407-416.
69. Morozov AA, Sushkova OS, Petrova NG, Khokhlova MN, Migniot C. Development of Agent Logic Programming Means for Multichannel
Intelligent Video Surveillance. Radioekktronika. Nanosistemy. Informacionnye Tehnologii (RENSIT), 2018, 10(1):101-116.
70. Bouguet JY Camera Calibration Toolbox for Matlab. Pasadena, U.S., 2015. [Online] Available from: http://www vision.caltech.edu/bouguetj/calib_doc/htmls/ref.html.
71. Morozov AA, Sushkova OS, Polupanov AF. Object-oriented logic programming of 3D intelligent video surveillance systems: The problem statement. RENSIT, 2017, 2(9):205-214.
72. Morozov AA, Sushkova OS. Real-time analysis of video by means of the Actor Prolog language. Computer Optics, 2016, 40(6):947-957.
73. Morozov AA, Sushkova OS, Polupanov AF. Towards the Distributed Logic Programming of Intelligent Visual Surveillance Applications. In: Pichardo-Lagunas O, Miranda-Jimenez S, editors. Advances in Soft Computing, Part II. Cham: Springer, 2017, p. 42-53.
74. Morozov AA. Development of a Method for Intelligent Video Monitoring of Abnormal Behavior of People Based on Parallel Object-Oriented Logic Programming. Pattern Recognition and Image Analysis, 2015, 25(3):481-492.
75. Morozov AA, Vaish A, Polupanov AF, Antciperov VE, Lychkov II, Alfimtsev AN, et al. Development of concurrent object-oriented logic programming platform for the intelligent monitoring of anomalous human activities. BIOSTEC 2014, vol. 511 of CCIS, Heidelberg, Springer, 2015, p. 82-97.
76. Morozov AA, Vaish A, Polupanov AF, Antciperov VE, Lychkov II, Alfimtsev AN, et al. Development of concurrent object-oriented logic programming system to intelligent monitoring of anomalous human activities. BIODEVICES 2014. SCITEPRESS, 2014, p. 53-62.
77. Morozov AA. Visual Logic Programming Based on the SADT diagrams. ICLP 2007, LNCS 4670, Heidelberg, Springer, 2007, p. 436-437.
78. Morozov AA. Development and Application of Logical Actors Mathematical Apparatus for Logic Programming of Web Agents. ICLP 2003, LNCS 2916, Heidelberg, Springer, 2003, p. 494-495.
79. Morozov AA. Logic Object-Oriented Model of Asynchronous Concurrent Computations. Pattern Recognition and Image Analysis, 2003, 13(4):640-649.
80. Morozov AA, Obukhov YV. An Approach to Logic Programming of Intelligent Agents for Searching and Recognizing Information on the Internet. Pattern Recognition and Image Analysis, 2001, 11(3):570-582.
81. Morozov AA. Actor Prolog: an Object-Oriented Language with the Classical Declarative Semantics. IDL-1999, Paris, France, 1999, p. 39-53.
82. Morozov AA. The Prolog with Actors. Programmirovanie, 1994, (5):66-78 (in Russ.).
83. Morozov AA, Sushkova OS. The Intelligent Visual Surveillance Logic Programming Web Site, 2018, Available from: http://www.fullvision.ru.
340 МОРОЗОВ А.А., СУШКОВА О.С., ПОЛУПАНОВ А.Ф., АНЦИПЕРОВ В.Е., |у|м/КГ|ПЛЛД1 ll/IOUII-IUIC ТСУиПППГММ
МАНСУРОВ ГК., ПАПРОЦКИЙСК,ЯНУШКО А.В., ПЕТРОВА НГ.,БУГАЁВ АС ИНФОРМАЦИОННЫЕ 1ЕЛНОЛО1ИИ
Морозов Алексей Александрович 11/7, ул. Моховая, Москва 125009, Россия
к.ф.-м.н, с.н.с. [email protected]
ИРЭ им. В.А. Котельникова РАН 11/7, ул. Моховая, Москва 125009, Россия
Папроцкий Станислав Константинович
к.ф.-м.н. с.н.с.
того2^@сРНге.ги ИРЭ им. В.А. Котельникова РАН
Сушкова Ольга Сергеевна 11/7, ул. Моховая, Москва 125009, Россия
км.н, см.с. [email protected]
ИРЭ им. В.А. Котельникова РАН „ . „
11/7, ул. Моховая, Москва 125009, Россия Янушко Александр Владимирович
^^п^а . г?Р~р(дКиоотельникова РАН
Полуианов Александр Федорович 11/7, ул. Моховая, Москва 125009, Россия
д.ф.-м.н, с.н.с. .. ' '
ИРЭ им. В.А. Котельникова РАН
11/7, ул. Моховая, Москва 125009, Россия Петрова Надежда Геннадиевна
[email protected] ждущш стциалист
Анциперов Вячеслав Евгеньевич ИРЭ им. ВА. Котельникова РАН
к.ф.-м.н, с.н.с. 11/7, ул. Моховая, Москва 125009, Россия
Московский физико-технический институт petrova@cpHre.ш
Долгопрудный, Моск. обл. 141700, Россия Бугаев Александр Степанович
[email protected] д.ф.-м.н., проф., академик РАН
Мансуров Геннадий Константинович ИРЭ им. В.А. Котельникова РАН
ведущий специалист 11/7, ул. Моховая, Москва 125009, Россия
ИРЭ им. В.А. Котельникова РАН [email protected]
SEMANTIC FUSION AND JOINT ANALYSIS OF TERAHERTZ AND 3D VIDEO IMAGES BY THE MEANS OF OBJECT-ORIENTED LOGIC PROGRAMMING
Alexei A. Morozov, Olga S. Sushkova, Alexander F. Polupanov, Gennady K. Mansurov, Stanislav K. Paprotskiy, Alexander V. Yanushko, Nadezda G. Petrova, Alexander S. Bugaev
Kotelnikov Institute of Radioengineering and Electronics of RAS, http://www.cplire.ru/ 11/7, Mokhovaya str., Moscow 125009, Russian Federation Viacheslav E. Antsiperov
Moscow Institute of Physics and Technology, http://mipt.ru/
9, Institutsky per., Dolgoprudny 141701, Moscow Region, Russian Federation
[email protected], [email protected], [email protected], [email protected], [email protected],
[email protected], [email protected], [email protected], [email protected]_
Abstract. The aim of the work is to create methods and software tools for the terahertz range intelligent video surveillance, that is, for automatic analysis of video images in the terahertz frequency range. Terahertz video surveillance provides unique prospects in the area of public safety; in particular, it allows you to remotely identify weapons and dangerous items hidden under clothing on the human body. However, such characteristics of terahertz video, as low resolution, low contrast, and low signal-to-noise ratio, lead to the need to develop new methods and approaches to automatic video analysis. To understand the terahertz video image, the operator of the industrial video surveillance system usually compares it with images in other frequency ranges (visible or infrared). The comparison of these images of different types helps the operator to interpret the colored and/or one-color spots in the terahertz image in a proper way. In terms of automatic video analysis, this means that the context of the observed events and objects is taken into account, or in other words, a semantic fusion is implemented of the terahertz range video image with video images of other frequency ranges, e.g., near-infrared, visible, etc. The authors consider the semantic fusion of the video images as a critical component of the prospective terahertz intelligent video surveillance technology. A new method of the terahertz video surveillance based on the fusion of the terahertz video with 3D video is proposed. The means of the object-oriented logic programming developed for the semantic fusion of the terahertz and 3D video images are described. The developed method provides a real-time fusion of the terahertz video acquired using the THERZ-7A (Astrohn Technology Ltd) subterahertz scanning device (0.23-0.27 THz) and 3D video data acquired using the Kinect 2 (Microsoft Inc) time-of-flight sensor. The method and software tools for the semantic fusion of the terahertz and 3D video images are developed. Keywords: terahertz video surveillance; 3D video surveillance; intelligent visual surveillance; object-oriented logic programming; Actor Prolog UDC 510.663; 519.68:007.5; 519.68:681.513.7; 681.3.06
Bibliography - 83 references Received 27.08.2018 RENSIT, 2018, 10(2):329-340_DOI: 10.17725/rensit.2018.10.329
Сдано в набор 2.10.2018. Подписано к печати 5.10.2018. Формат 60х88%. Бумага офсетная. Печать цифровая. Печ.л. 15,6. Тираж 1000 экз. 3ак.123
Компьютерный набор, верстка, графика, фотоработы — Редакция журнала РЭНСИТ. 2 НОМЕР | ТОМ 10 | 2018 | РЭНСИТ
