CC BY
33
УДК 004.932
ПРОСТРАНСТВЕННО-ВРЕМЕННАЯ ФИЛЬТРАЦИЯ ИЗОБРАЖЕНИЙ ОТ ДВИЖУЩЕЙСЯ МОБИЛЬНОЙ СИСТЕМЫ
ТЕХНИЧЕСКОГО ЗРЕНИЯ
Д.А. Колчаев, А.И. Ефимов, Д.И. Устюков
Рассматриваются методы фильтрации изображений, оцениваются результаты их работы. Приводится подход, позволяющий на основе оптического потока в автоматическом режиме производить пространственно-временную фильтрацию изображений, поступающих от мобильной системы технического зрения.
Ключевые слова: фильтрация изображений, ЗВЫЯ, оптический поток, оценка шума, медианная фильтрация, мобильная система технического зрения.
Введение. Современное состояние развития мобильных систем технического зрения (МСТЗ) позволяет получать качественную информацию об окружающем пространстве в широком диапазоне внешних условий (сложные метеоусловия: дождь, снег, туман; день, сумерки) [1]. Однако остается актуальной проблема получения качественных изображений при низкой освещенности (ночью). Существующие подходы к фильтрации изображений дают или результат фильтрации низкого качества (плохое подавление шумов или размытие значимых участков на изображениях), или пригодны для использования только в стационарных системах видеонаблюдения [2]. Это обуславливает необходимость поиска новых методов решения проблемы фильтрации шумов на видеопоследовательностях от подвижных МСТЗ.
1. Оценка шума. Для оценки шума используется классический показатель пикового отношения сигнала к шуму (РБИК). Для его определения применяется среднеквадратическая ошибка (МБЕ). МБЕ и РБИЯ вычисляются по следующим формулам:
1 Н -1Ж -1 2
М$Е =^77 2 2 \1 (^, у) - ОТ (х, у )| ,
ЖН у=о х=о
Г т \
РБЫЯ = 10 ^10
1 тах
где Ж, Н - ширина и высота изображения в пикселях; х, у - координаты пикселя; I - зашумленное изображение; ОТ - эталонное изображение; I тах - максимальная яркость пикселя (при разрядности 8 бит I тах = 255).
Использование оценок МБЕ и РБЫЯ возможно только в тех случаях, когда известно эталонное изображение (ОТ). Для отдельных кадров ОТ можно получить, меняя условия съемки на неподвижной сцене (экспозиция, межкадровая обработка) [3]. В этом случае оценку можно считать достаточно объективной, так как имеется информация об эталонном изображении.
101
Что касается оценки шума на последовательности кадров (видеоизображении) для мобильного сенсора, находящегося в движении, то создать репрезентативный набор данных для оценки на основе РБИЯ затруднительно. Хотя известна работа [4], где для оценки шума используются специальные маски, позволяющие найти оценку шума в локальных областях изображения, и на основе этих данных построить обобщённую оценку шума без использования ОТ. Такой подход можно использовать для оценки шума на видеоизображении, если заранее известен характер шума (чтобы использовать соответствующий набор масок).
На практике для мобильных сенсоров характер шума изменяется и зависит от условий съемки (внутренних параметров камеры [качество матрицы, экспозиция, разрешение матрицы]) и внешних условий (освещенность, объекты сцены, динамика движения сцены и сенсора). Компенсация шума на изображениях от мобильных сенсоров необходима, во-первых, для визуального улучшения качества изображения, а во-вторых, как предварительный этап в задачах распознавания объектов. Во втором случае возможно построение оценки шума, на основе оценки результата распознавания, на тестовых наборах данных, однако необходимо учитывать погрешность, вносимую самим алгоритмом распознавания, его робастностью. Что касается оценки шума в задаче визуального улучшения изображений, то наилучшей оценкой, остается экспертная оценка.
На рис. 1 представлено сравнение результатов работы известных пространственных фильтров, а также характеристики ЫББ, РБИЯ для каждого результата.
г д е
Рис. 1. Сравнение результатов пространственной фильтрации известными алгоритмами на изображении из тестового набора [3]: а - зашумленное изображение; б - эталонное изображение; в - медианная фильтрация; г - фильтр гаусса; д - бокс фильтр;
е - билатеральный фильтр 102
Как видно из рис. 1, большинство фильтров приводят к «размытию» объектов интереса (например, текста), что нежелательно в реальных системах технического зрения.
2. Пространственно-временная фильтрация для мобильной платформы. Пространственные фильтры используют только ту информацию, которая доступна на текущем кадре, что ограничивает результат фильтрации. Для систем, формирующих последовательность кадров (видео), большим преимуществом обладают временные или пространственно-временные фильтры. Они позволяют скомпенсировать ошибку (шум) за счет множества доступных измерений (кадров). Одной из наиболее известных технологий пространственно-временной фильтрации, является технология 3DNR от Vivotek [2], которая используется в стационарных системах видеонаблюдения. Поскольку большую часть времени камера находится в неподвижном состоянии, то область кадра делится на неподвижные участки (фон) и подвижные. Для неподвижных участков выполняется временная фильтрация на достаточно большом количестве кадров, что позволяет практически полностью подавить случайную шумовую составляющую. Применение временной фильтрации для подвижных объектов затруднительно, так как движение объектов между кадрами приведет при обычной временной фильтрации, к появлению так называемых «шлейфов» объектов. Это возникает из-за того, что усредняется информация за несколько кадров, в том числе для подвижных объектов, которые смещаются от кадра к кадру, что приводит к формированию «шлейфа». Поэтому для подвижных участков на изображении в технологии 3DNR используются пространственные фильтры, что снижает качество фильтрации в этих областях. Также применение технологии 3DNR затруднительно для подвижных платформ оснащенных системой наблюдения, так как практически всегда будет подвижен и фон, и объекты, попадающие в кадр, что приведет к работе только пространственных фильтров.
Решением проблемы динамично изменяющегося фона, а также подвижных объектов, является применение оптического потока [5].
2.1 Оптический поток. Оптический поток позволяет определить смещение (соответствие) одних и тех же точек на паре изображений (кадров, полученных в соседние моменты времени), возникающее из-за движения объектов в поле зрения камеры или движения самой камеры. Известен ряд методов нахождения оптического потока. Менее чувствительным к шуму является алгоритм Лукаса - Канаде.
Предположим, что смещение пикселей между двумя кадрами невелико. Рассмотрим пиксель р, тогда, по алгоритму Лукаса-Канаде, оптический поток должен быть одинаков для всех пикселей, находящихся в окне с центром в р. А именно, вектор оптического потока (Ух ,Уу) в точке р
должен быть решением системы уравнений, которая записана в матричной форме:
АУ = Ь,
где А
1 х(41) 1 у(41) 1 х(42) 1у(42)
1х(4п) 1 у(4п)
V =
V
х
V
у.
, Ь =
- Ь (41)
- Ь(4 2)
Ь(4п)
41,42,...4П - пиксели
внутри окна; 1х 4), 1у 4), ^ 4) - частные производные изображения I по координатам х,у и времени I, вычисленные в точки 4'.
Полученную переопределенную систему можно решить с помощью метода наименьших квадратов. Таким образом, получается система уравнений 2 х 2:
откуда
АтАУ = АТЬ,
V = (АТА)-1 АТЬ
где Ат - транспонированная матрица А.
Оригинальный алгоритм не позволяет находить большие смещения точек, так как поиск ограничивается размерами окна. Для решения этой проблемы используется пирамидальная версия алгоритма Лукаса - Канаде
[5].
Основные идеи алгоритма:
1. Использование пирамид изображений;
2. Преобразование координат изображений в соответствии с уровнями пирамиды;
2. Вычисление градиентных матриц;
3. Нахождение разниц между изображениями;
4. Вычисление оптического потока;
5. Многократные итерации по уровням пирамиды (пункты с 2 по 4), и вычислению оптического потока (пункты с 3 по 4).
Вычисление оптического потока по множеству ключевых точек, производится итерационно, для каждой точки. Результатом работы, является множество векторов смещений V, визуальное представление которых показано на рис. 2.
Предлагаемый алгоритм фильтрации основывается на формировании множества векторов смещений на каждом кадре (используя текущий кадр и предыдущий), что позволяет сформировать кортеж Р, состоящий из
значений яркости пикселя р1 на ¿-ом кадре, (¿-1)-ом кадре, ..., (¿-пр)-ом
кадре, где Пр - задает длину временного фильтра:
Р = (Р
О'-пР) 0'- пР +1)
, р
,р
(''-1), р(')).
Причем p((Xc-V у-у ) = р^у), где Ух и Уу - координаты вектора смещения (оптического потока) для пикселя р найденные на 1-м кадре. Анало-
(/-п) (/-п+1)
гично, для р) ' ч = р(х у) '.
х-Ух, у-Уу ) х, У)
Рис. 2. Визуальное представление неплотного оптического потока
На основе данных из кортежа Р формируется новое (после фильтрации) значение р(г). Аналогично, для остальных пикселей, принадлежащих изображению. В качестве временного фильтра может выступать медиана после упорядочивания кортежа Р.
2.2 Медианная временная фильтрация. Применение медианного фильтра во временной области обусловлено достаточной длиной выборки пр > 15 и устойчивостью к случайным выбросам, которые вносят значительные изменения в результат, например при использовании среднего арифметического.
Значение пикселя после фильтрации р(г) формируется, как медиана от кортежа Р. Для этого происходит упорядочивание элементов р е Р по
возрастанию интенсивности, и выбирается р с индексом равным
п
р 2
(средний элемент).
2.3 Общая схема алгоритма. На основе предлагаемых в пунктах 2.1 и 2.2 подходов, был сформирован алгоритм автоматической пространственно-временной фильтрации изображений, который представлен на рис. 3.
Рис. 3. Схема алгоритма автоматической пространственно-временной фильтрации видеопоследовательностей
Для оценки шума может использоваться классический вариант сопоставления интенсивности диагональных пикселей с центральным (в определенном окне) и интегрироваться по всему изображению, или использоваться методы, предложенные в работе [4]. В зависимости от полученной оценки, выбирается соответствующий режим работы. Пороговые значения шума определяются экспериментально и задаются заранее. В качестве пространственного фильтра рекомендуется использовать или билатеральный фильтр, дающий достаточно хороший результат по качеству итогового изображения, или использовать предложенные авторами пространственные фильтры [5, 6]. Пирамидальная версия оптического потока Лукаса-Канаде [7] используется в блоке Оптический поток, который формирует буфер данных Р (кортеж значений интенсивности одной и той же точки). На основе кортежа Р применяется временная медианная фильтрация.
5. Сравнение результатов работы. В рамках работы было произведено визуальное сравнение работы следующих алгоритмов: пространственный медианный фильтр (рис. 4, а), пространственно-временной фильтр 3DNR (рис. 4, б), и предлагаемый авторами подход пространственно-временной фильтрации (рис. 4, в).
По результатам визуального сравнения на тестовой видеопоследовательности пространственный медианный фильтр показывает низкий результат фильтрации, а увеличение размера окна приводит к ухудшению четкости изображения. Классический подход 3DNR дает хороший результат на статических участках изображения, но низкое качество фильтрации в области подвижных объектов. Предлагаемый подход пространственно-временной фильтрации дает достаточно качественный результат фильтрации, как на статических участках, так и на динамических. Схожая ситуация наблюдалась и на других тестовых наборах видеопоследовательностей.
106
а б в
Рис. 4. Сравнение результатов работы: а - медианный фильтр; б - классический 3DNR; в - предлагаемый подход
Предлагаемый подход может использоваться в составе комплексной системы улучшения изображений [8] для решения задачи компенсации помех.
Заключение. В работе рассматриваются различные варианты фильтрации изображений на видеопоследовательности. Приводятся изображения для визуального и численного сравнения результатов фильтрации по наиболее известным пространственным фильтрам. Предложен подход позволяющий производить автоматическую фильтрацию видеопоследовательности поступающей от подвижной мобильной платформы за счет связывания серии кадров по временной области оптическим потоком.
Работа выполнена в рамках гранта Президента Российской Федерации для государственной поддержки молодых российских ученых МК-661.2018.9, соглашение о предоставлении субсидии № 075-02-2018-683 от 16.11.2018.
Список литературы
1. Ефимов, А.И. Обработка изображений в многоспектральных системах технического зрения / Л.Н. Костяшкин, А.А. Логинов, Е.Р. Муратов, М.Б. Никифоров, А.И. Новиков // Вестник Рязанского государственного радиотехнического университета, 2017. № 60. С. 83-92. DOI: 10.21667/1995-4565-2017-60-2-83-92.
2. Vivotek, 2 Dimensional, 3 Dimensional Noise Redcution in Video Surveillance Cameras P. 6. [Электронный ресурс]. URL: http://download. vi-votek.com/ downloadfile/downloads/whitepaper/2dimensional_3dimensional_ noise_reduction_in_video_surveillance_cameras_en.pdf (дата обращения: 10.01.2019).
3. Abdelrahman Abdelhamed, Lin S., Brown M. S. A High-Quality De-noising Dataset for Smartphone Cameras // IEEE Computer Vision and Pattern Recognition (CVPR'18), 2018.
4. Amer Aishy, Dubois Eric. Fast and reliable structure-oriented video noise estimation // Circuits and Systems for Video Technology // IEEE Transactions on. 15. 2005. P. 113 - 118. DOI: 10.1109/TCSVT.2004.837017.
5. Устюков Д.И., Орлова И.А., Ефимов А.И. Особенности реализации пространственных фильтров изображений на FPGA // Известия Тульского государственного университета. Технические науки, 2018. Вып. 2. С. 195-206.
6. Устюков Д.И. Исследование линейных фильтров подавления белого шума на изображениях / А.И. Ефимов, А.И. Новиков // Современные технологии в науке и образовании - СТН0-2017 [Текст]: сб. тр. между-нар. науч.-техн. и науч.-метод. конф.: в 8 т. Т.3 / под общ. ред. О.В. Миловзоро-ва. Рязань: Рязан. гос. радиотехн. ун-т, 2017. C. 229-233.
7. Bouget J.Y. Pyramidal Implementation of the Lucas Kanade Feature Tracker: Description of the algorithm. Microprocessor Research Labs, Intel Corporation, 2002.
8. Колчаев Д.А., Муратов Е.Р., Никифоров М.Б. Математическое обеспечение системы динамического выбора метода улучшения изображений в реальном времени // Известия Тульского государственного университета. Технические науки, 2017. Вып. 2. С. 83-89.
Колчаев Дмитрий Алексеевич, аспирант, 3force3@.mail.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Ефимов Алексей Игоревич, канд. техн. наук, доцент, lexie 62rus@mail. ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Устюков Дмитрий Игоревич, аспирант, ustukov.mail@ya.ru, Россия, Рязань, Рязанский государственный радиотехнический университет
SPATIO-TEMPORAL FILTERING OF IMAGES FROM A MOVING MOBILE VISION
SYSTEM
D.A. Kolchaev, A.I. Efimov, D.I. Ustukov
The article discusses image filtering methods, evaluates the results of their work. An approach is presented that allows automatic spatial-temporal filtering of images based on the optical flow coming from a mobile vision system.
Key words: image filtering, 3DNR, optical flow, noise estimation, median filtering, mobile vision system.
Kolchaev Dmitry Alekseevich, postgraduate, 3force3@.mail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Efimov Aleksey Igorevich, candidate of technical sciences, docent, lexie62rus@mail.ru, Russia, Ryazan, Ryazan State Radio Engineering University,
Ustukov Dmitry Igorevich, postgraduate, ustukov. mail@ya. ru, Russia, Ryazan, Ryazan State Radio Engineering University
УДК 62-686
КЛАССИФИКАЦИЯ СПЕЦИАЛЬНЫХ СВОЙСТВ ТРАНСПОРТНЫХ СИСТЕМ НА ОСНОВЕ ОБОБЩЕННОЙ ЭНЕРГЕТИЧЕСКОЙ МОДЕЛИ
Б.В. Костров, Н.А. Суменков
Рассматривается классификация специальных свойств транспортных систем. В основе предлагаемого подхода лежит аксиоматическое утверждение об энергетической природе всех свойств транспортных систем. Физические величины, которые однозначно характеризуют соответствующую форму энергии, отождествляются с силовыми факторами на основании основных положений теории силового потока или зарядами на основании энергетической теории.
Ключевые слова: транспортное средство, тепловая, хрональная и транспортная форма энергии, классификация специальных свойств.
Любая система обладает бесконечным количеством свойств. Однако значимым для решения конкретной задачи является ограниченное количество свойств. Перечень этих свойств определяется в результате моделирования, в рамках которого разрешается противоречие между точностью (адекватностью) описания реальных процессов и сложностью реализации модели. Вместе с тем не все изученные (моделируемые) свойства целесообразно совершенствовать исходя из тактико-экономических характеристик. В этом случае необходимо разрешить противоречие между степенью влияния свойств на интегральный технический эффект и затратами на их совершенствование. Поэтому одним из значимых результатов предлагаемого подхода является научные положения по формированию перечня реализуемых специальных свойств перспективных транспортных систем в зависимости от уровня ресурсного обеспечения.
В основе предлагаемого подхода лежит аксиоматическое утверждение об энергетической природе всех свойств транспортных систем. Подтверждением этого положения являются успешные исследования ряда ученых в области энергетического метода и теории основного силового потока [1,2].
