CC BY
23
IMAGE COMPRESSION BASED ON THE TRANSFORMATION OF WALSH
IN INFORMATION SYSTEMS
S.I. Babaev, B.V. Kostrov, N.V. Lukina
This article discusses the compression of images for storage and transmission in information systems, which allows to eliminate the information redundancy of images depending on the purpose of the system as a whole and the characteristics of the recovered images.
Key words: binary image, orthogonal transformation, Walsh, compression/compression of the image.
Babaev Sergey Igorevich, Senior Lecturer, babaev. s. i@,gmail. com, Russia, Ryazan, Ryazan State Radio Engineering University,
Kostrov Boris Vasilevich, doctor of technical science, manager of department, [email protected], Russia, Ryazan, Ryazan State Radio Engineering University,
Lukina Natalia Vladimirovna, magister, notalukina@,yandex. ru, Russia, Ryazan, Ryazan State Radio Engineering University
УДК 004.932
МЕТОДЫ ОПТИМИЗАЦИИ В ЗАДАЧЕ ВЫЧИСЛЕНИЯ ОПТИЧЕСКОГО ПОТОКА В СИСТЕМЕ НА КРИСТАЛЛЕ
П.В. Беляков, М.Б. Никифоров
Производится анализ алгоритма вычисления оптического потока как задачи оптимизации модифицированным методом множителей Лагранжа для его аппаратно-программной реализации в системе на кристалле.
Ключевые слова: оптический поток, регуляризация, метод множителей Лагранжа, ADMM, оптимизация, ПЛИС.
Вычисление оптического потока активно используется в различных областях компьютерного зрения [1] для выделения объектов, сегментации, компрессии видео, 3D-реконструкции, технического зрения роботов [2]. Хотя современные подходы, основанные на глубоком обучении, показывают серьезные перспективы, большинство алгоритмов вычисления оптического потока являются развитием основополагающих подходов Лукаса-Канаде или Хорна-Шунка [3]. В отечественной литературе подобный поход вычисления поля смещения можно встретить в работах П.Р. Кузнецова [4].
Методы вычисления оптического потока, основанные на вариационных методах, строятся на предположение о постоянстве яркости:
I (х, г) = I (х + г +1), (1)
где I - яркость пикселя изображения с координатой х в момент времени г.
Оптический поток определяется как видимое поле движения пикселей между кадрами в последовательности изображений:
w = (и, у)т . (2)
Оценка оптического потока локально ограничена, что приводит к априорным предположениям о гладкости поля оптического потока w.
Функционал оценки оптического потока содержит слагаемое, определяющее предположение о постоянстве яркости и учитывает априорное предположение гладкости, как слагаемое регуляризации:
Е (и, V) = 21112 (*+и, У+у)- II (х, у)||2 +1 Уи||2 +1| Уг||2, (3)
минимизация функционала определяет оптический поток w .
Целевой функционал (3) допускает много вариаций. Например, дополнительное слагаемое постоянства градиента [5]:
VI (х, г) = VI (х + w, г +1). (4)
Функционал оптического потока может быть записан как
Е (и, V) = 2112 (х+и, У+v)-11 (х, У)|| + Яи V) + ^ V), (5)
где Яи, ^ - функции регуляризации. Для небольших смещений оптического потока этот функционал может быть выражен как
7 2 Е(и, V) = 2 I*и+^+1, + Яи V) + Яv (V). (6)
Минимизация функционала оптического потока обычно выполняется с помощью вариационного подхода и уравнений Эйлера-Лагранжа. Когда функционал не является гладким, его минимизация приводит к достаточно сложным математическим выражениям. Поэтому обычно это ограничение обходят с помощью гладкой аппроксимации слагаемого регуляризации. Минимизация (6) может быть выполнена методом последовательных приближений, при этом на каждой итерации оцениваются производные изображений I*, I и ^ и уточняется вектор оптического
потока.
В [6] показано, что вариационные подходы вычисления оптического потока эффективно работают в сочетании с современными методами оптимизации [7,8] и значительно облегчают минимизацию негладкой функции регуляризации без применения сглаживающей аппроксимации. Положим 1х = diag(Vее(I*)), 1у = diag^ее(I )), 1г = vec{It} - диагональными матрицами, где диагонали являются производными изображения
46
Ix, Iy и It. Обозначим через Dx и Dy операторы производных по
направлениям x и y. Функционал (6) теперь может быть выражен в дискретной форме как:
У 2
E(u,v) = 2 IxU+IyV+It +Ффхи, DyU) + Ф^, Dyv), (7)
2 2 1/2
где Ф(г, s) = (r + s ) - функция регуляризации [6].
Метод оптимизации Alternating Direction Method of Multipliers (ADMM) является развитием метода множителей Лагранжа и показывает высокую производительность, декомпозируя сложную проблему минимизации на более простые подзадачи [9]. ADMM может быть применен как эффективный метод минимизации функционала (7).
Рассмотрим задачу минимизации без ограничений:
min /1(x) + /2 (Dx) , (8)
x
где x g Rn переменная минимизации, D g RnXn - матрица. Введем переменную y, которая разбивает целевой функционал (8), так чтобы получить
Dx = y . (9)
эквивалентную задачу с ограничением:
Жх) + У2(у )
х у
Функция Лагранжа для задачи с ограничением (9) запишется как:
L(x, y, X, а) = / (x) + /2 (y) + XT (y - Dx) + 2 Dx-y
а
(10)
где X - вектор множителей Лагранжа, а - параметр штрафа [8].
Метод множителей Лагранжа итеративно минимизирует (10) с обновлением двойственных множителей Лагранжа d:
к+1 к+Ь
а
(^1, у^1) = а^тш /1 (х) + /2 (у) + 2 Dx-у X, у 2
ак+1 = ак - Бхк+1 + ук+1 .
Здесь одновременная минимизация х и у задача нетривиальна, так
как содержит неразделяемое квадратичное слагаемое. АОММ предоставляет естественный способ минимизации, выполняя минимизацию сначала по одной переменной, оставляя другую фиксированной, а затем наоборот:
хк+1 = аг§ тт /1(х) + -2 Бх-ук -ак
х 2
y к+1 = argmin /2 (y ) + 0] Dx k+1 - y-d k y 2
2
dk+1 = dk - Dxk+1 + yk+1
При u x = Dxu, u y = Dyu, v x = Dxv, v y = Dyv функционал (7) при
y
y
y
нимает вид:
2
7 2
Е (и, V,и х ,и у, V х,
V у ) = р^и+1у V|| +Ф(и х , иу ) + Ф( V х, V у ). (11)
Для выражения (11) метод множителей Лагранжа имеет вид:
7 2 Ь(и^, и х ,и у, V х, V у) = 2 1хи+1у V+I, +Ф(и х, и у) + Ф( V х, V у ) +
+
(12)
где а х, а у, Ь х, Ь у - векторы множителей Лагранжа, а> 0 - весовой параметр. Используя АОММ, каждая переменная минимизируется независимо, а затем обновляются множители Лагранжа:
(и к+1, V к+1) = а^тт Ь,
а + — 2 Охи -их -а х 2а + — 2 Буи - и у -а у
а + — 2 »XV - V х -Ь х 2а + — 2 -V у -Ь у
и, V
(и
к+1 к+1 к+1 к+1
х
и
у
,Vл
Vy ) = ш^тт Ь,
и х,и у,v х,v у
обновление множителей (ахк+1, аук+1, Ьхк+1, Ьук+1).
Минимизация Ь относительно (и, V), приводит к линейным урав-
нениям:
гТ
7Гх (1хи + 1у V +) + аф (DxU - и х - а х ) + (Dyu - и у - а у )) = 0
71Т (1хи + 1у V + I, ) + а^х (DxV - Vх - ьх ) + »Т (DyV - Vу - Ьу )) = 0.
Полученная разреженная система линейных уравнений может быть решена известными численными методами, например, такими как итерационные методы Гаусса-Зейделя с ослаблением. Минимизация Ь относительно (и х, и у):
и х, и у
2 2 1/2 а^тт[(и х + и у) +
их,иу
а к+1 к \2 а /Тк к+1 к \2п
+ ^(°хик+1 -ах-их) + 7(Оуик+1 -ау-иу) ]
2 а
(13)
и аналогично по (V х, V у).
Здесь функция регуляризации Ф(и х, и у) выражается в дискретной
2 2 1/2 форме как (и х + и у) .
Преимущество разделения переменных метода АОММ состоит в том, что минимизация (13) по (и х, и у) и аналогично по (V х, Vy) может
быть выполнена методом проксимальной оптимизации [8], применительно к Dxuк+1 - акх и Буик+1 - аку значительно эффективнее.
Для q имеет вид:
u X
, C =
u У _
Dxu
к+1
а,
1Х
гъ к+1 к
Dyu -аy
в R2 проксимальный оператор
(c) = argmin |q-Cl2 + INI'
c 2
но может быть выражен через мягкий пороговый выбор [8]:
(18)
c 1
Ya,/i (c) = sgn(^) •max{cll2--,0}-
1 4 2 a
В итоге алгоритм минимизация функционала (7) с использованием ADMM имеет вид:
(и к+1, V к+1) = аrgmin Ь,
u, v
u
к+1 к+1
х
, u
У
^a,/:(Dxu
к+1
к к+1 к а х, Dyu - а У),
v
к+1 к+1
а,
к+1
х
а,
, v
У
^a,/:(DxV
к+1
У'
b X, Dyv к+1 - b У),
'У
•У
к+1 к+1 Dxu + u X
а
к+1
У
а
У
к+1 к+1 Dyu +uУ
Ькх+1 = Ькх - В^к+1 + Vхк+1, Ьк+1 = ЬУ - Ву Vк+1 + Vук+1.
Здесь минимизация ЛОММ выполняется итерационно во внутреннем цикле минимизации (7), а 1х, 1у и ^ обновляются во внешнем цикле.
Декомпозиция общей задачи оптимизации на более простые подзадачи методом разделения переменных ЛОММ позволяет естественным образом организовать параллельную и независимую реализацию вычислений каждой отдельной подзадачи.
Организация подзадач оптимизации для вычисления оптического потока в системе на кристалле SoC фирмы ХШпх [10] и распределение подзадач между программными и аппаратными компонентами системы на кристалле, представлена на рис. 1.
Преимущество данного подхода заключается в реализации каждой подзадачи в виде отдельных независимых процессов, заключенных в общую конвейерную структуру [11].
Подзадача решения система линейных уравнений итерационным методом Гаусса-Зейделя для минимизации функционала относительно (и, V), представляет основную вычислительную нагрузку, но может быть
эффективно реализована аппаратно с помощью метода красно-черного переупорядочения [12].
Подзадачи проксимального отображения при минимизации относительно и х, и у, V х, V у =^а/1() и обновления векторов множителей Ла-
гранжа а х, а у, Ь х, Ь у не требуют больших вычислительных затрат и могут
быть реализованы программно.
Рис. 1. Организация подзадач оптимизации для вычисления
оптического потока
В данной работе математическая модель АОММ декомпозиции задачи вычисления оптического потока реализуется распределением вычислений между процессорной и аппаратной частями системы на кристалле, содержащую процессорную систему (ARM-процессор) и перепрограммируемую логику (ПЛИС).
Помимо аппаратно-программной организации подзадач оптимизации для эффективного вычисления оптического потока, требуется организация работы с внешней памятью [13]. Для вычисления оптического потока на используемой в данной работе архитектуре SoC Zynq предлагается двойная буферизация памяти, которая представлена на рис. 2.
Рис. 2. Организация двойной буферизации памяти для подзадач оптимизации в системе на кристалле Zynq
Пунктиром на рис. 2 обозначены программные компоненты системы, сплошной линией аппаратные.
HP0, HP2 - специализированные высокопроизводительные порты доступа к DDR3 памяти системы на кристалле SoC Zynq (HP-high performance port), позволяющие производить обмен данными посредством пря-
50
мого доступа к памяти VDMA (Video Direct Memory Access). Вся внутренняя и внешняя передача данных основана на шине AXI4 (Advanced extensible Interface), что позволяет организовать универсальный обмен между различными модулями [10].
Оценка времени выполнения проводилась только для подзадачи решения системы линейных уравнений итерационным методом Гаусса-Зейделя, реализованной аппаратно. Время выполнения было измерено для отладочной платы с пропускной способностью памяти DDR3 533 МГц x 32 бит x 2 ~ 4,2 ГБ /c и 150 МГц внутренним тактовым сигналом ПЛИС. Для изображений в уровнях серого размером 256x256 пикселей, время вычисления варьировалось от 20 us до 100 ms в зависимости от количества итераций метода Гаусса-Зейделя. Приведенные оценки свидетельствуют о возможности использования аппаратно-программной реализации методов оптимизации для вычисления оптического потока в реальном времени.
Заключение. Основываясь на прямой дискретизации целевого функционала, используя метод оптимизации ADMM, предлагается простой в реализации алгоритм оценки оптического потока, который намного проще, чем прямое решение уравнений Эйлера-Лагранжа функционала оптического потока. Применение современных методов оптимизации позволяет приблизиться к показателям производительности в реальном времени, реализуя алгоритм минимизации в системе на кристалле.
Список литературы
1. Елесина С.И., Никифоров М.Б., Логинов А.А., Костяшкин Л.Н. Совмещение изображений в корреляционно-экстремальных навигационных системах: Монография под. ред. Костяшкина Л.Н., Никифорова М.Б. М.: Радиотехника, 2015. 208 с.
2. Ларкин Е.В. Моделирование процесса дистанционного управления роботом // Известия Тульского государственного университета. Технические науки, 2016. Вып. 12. Ч. 4. С. 202-214.
3. Brun A., Wieckert J., Schnorr C. Lucas/Kanade Meets Horn/Schunck: Combining Local and Global Optic Flow Methods. Int. J. Computer Vision, 2005. Vol. 61. P. 211-231.
4. Кузнецов П.К., Мартемьянов Б.В., Семавин В.И., Чекотило Е.Ю. Метод определения вектора скорости движения подстилающей поверхности // Вестник СамГТУ. Технические науки, 2008. N 2. С. 96-110.
5. Brox T., Bruhn A., Papenberg N., Wieckert J. High Accuracy Optical Flow Estimation Based on Theory for Warping // in Proc. European Conf. Computer Vision, 2004. Vol. 4. P. 25-36.
6. Zon N., Kiryati N. An alternating direction method for optical flow estimation with lp regularization // 2016 IEEE International Conference on the Science of Electrical Engineering (ICSEE), 2016.
7. Нестеров Ю.Е. Введение в выпуклую оптимизацию. М.: МЦНМО, 2010.
8. Васильев Ф. Методы оптимизации. М.: МЦНМО, 2011.
9. Boyd S., Vandenberghe L. Convex Optimization. Cambridge University Press, 2004.
10. Официальный сайт Xilinx Zynq-7000 SoC [Электронный ресурс]. URL: http://www.xilinx.eom/products/silicondevices/.soc/zynq-7000/index.htm (дата обращения: 10.01.2019).
11. Никифоров М.Б., Муратов Е.Р., Устюков Д.И., Баранчиков А.И., Беляков П.В. Программно-аппаратные средства улучшения изображений как система на кристалле // Материалы II Всероссийской научно-технической конференции «Актуальные проблемы современной науки и производства». Рязань, 2017. С. 172-175.
12. Беляков П.В., Никифоров М.Б. Вариационный метод вычисления оптического потока в системе-на-кристалле // Цифровая обработка сигналов, 2018. №3. С. 76-82.
13. Беляков П.В., Ларкин Е.В., Никифоров М.Б. Модификация вариационного метода вычисления оптического потока для реализации на ПЛИС // Известия Тульского государственного университета, 2018. Вып. 9. С. 19-28.
Беляков Павел Викторович, аспирант, pvbel@„rambler.ru, Россия, Рязань, Рязанский государственный радиотехнический университет,
Никифоров Михаил Борисович, канд. техн. наук, доцент, [email protected], Россия, Рязань, Рязанский государственныйрадиотехниче-ский университет
OPTIMIZATION METHODS FOR SYSTEM ON CHIP OPTICAL FLOW COMPUTATION
P.V. Belyakov, M.B. Nikiforov
The questions of optical flow (OF) computation based on modern optimization methods are considered for suitable system on chip implementation.
Key words: optical flow, regularization, Lagrangian multipliers, ADMM, optimization, FPGA.
Belyakov Pavel Viktorovich, postgraduate, [email protected], Russia, Ryazan, Ryazan State Radio Engineering University,
Nikiforov Michail Borisovich, candidate of technical sciences, docent, [email protected], Russia, Ryazan, Ryazan State Radio Engineering University
