CC BY
10УДК 005, 004.021, 004.932:621.391+519.876.5
ФОРМИРОВАНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ОПТИЧЕСКИХ ИЗОБРАЖЕНИЙ, АППРОКСИМИРОВАННЫХ ОДНОРОДНЫМ, ОДНОУРОВНЕВЫМ ТОЧЕЧНЫМ ПОТОКОМ
ВОССТАНОВЛЕНИЯ
Кочегуров Александр Иванович1,
kaicc@tpu.ru
Дубинин Дмитрий Владимирович2,
dima@info.tusur.ru
Герингер Виктор3,
geringer@dhbw-ravensburg.de
1 Национальный исследовательский Томский политехнический университет, Россия, 634050, г. Томск, пр. Ленина, 30.
2 Томский государственный университет систем управления и радиоэлектроники, Россия, 634050, г. Томск, пр. Ленина, 40.
3 Баден-Вюртембергский объединенный государственный университет, Германия, 88045, Фридрихсхафен, Фалленбруннен, 2.
Рассматривается механизм моделирования оптического потока как случайного векторного поля - замкнутых областей на плоскости изображений с определёнными уровнями яркости и динамикой изменения векторного поля. Оптический поток формируется однородным, одноуровневым точечным потоком восстановления. Характеристики векторного поля на плоскости изображения получаемого оптического потока связаныI между собой формулами Пальма. Выбор типа составных элементов векторного поля - алфавита, определяющих морфологию поля на плоскости изображения, производится случайным образом. Предлагаемый подход позволит получать различные типы1 связанных между собой цифровых последовательностей изображений с горизонтальными, вертикальными и диагональными элементами, создаст предпосылки эффективно и гибко производить анализ движения на цифровых видеопоследовательностях, предоставит возможность использовать вероятностный фактор в процессе исследований алгоритмов обработки изображений и проведения детального факторного анализа для сравнения алгоритмов.
Ключевые слова: стохастическое моделирование, оптический поток, сравнение алгоритмов, обработка изображений.
Введение
С развитием цифровой вычислительной техники появилась возможность создания высокоэффективных систем, предназначенных для анализа, обработки и передачи оптической информации. В связи с этим было выполнено много работ, направленных на создание и тестирование новых алгоритмов обработки изображений. При этом одним из основных недостатков при тестировании алгоритмов является использование в качестве эталонных изображений реальных снимков. С одной стороны, это позволяет провести настройку создаваемых алгоритмов на ту или иную конкретную предметную область, однако с другой стороны, такой подход затрудняет оценку качества алгоритмов, проведение их объективной доработки и сравнение в различных областях применения.
Выходом из подобной ситуации является создание математического аппарата, позволяющего проведение анализа исследуемого алгоритма в определённых, строго контролируемых условиях и создание предпосылок для проведения факторного анализа. Ключевым моментом в этом случае является построение случайных многомерных динамических векторных полей (температурных, претерпевающих изменения яркостных полей земли, атмосферы, океана и т. п.), которые и составляют основу имитационного моделирования. Это позволяет вносить
вероятностный фактор в процесс моделирования и тем самым детализировать и обобщать предмет исследования.
Общие подходы и методика моделирования
При проведении стохастического моделирования большое значение имеет выбор адекватной математической модели, синтез на её основе имитационной - численной - модели эксперимента, подготовка и контроль исходных данных, необходимых для проведения исследования. Другими словами, необходимо создание предпосылок для проведения эффективной подготовки направленного эксперимента, целью которого является сохранение статистической достоверности результатов и достижение максимальной точности оценок исследования при минимальном количестве проведённых имитационных итераций.
Известно достаточно много методов имитации случайных полей. В общем случае все модели поля можно разделить на два класса [1]. Модели первого класса описывают поля с непрерывными распределениями. К этому классу можно отнести гауссовские и марковские случайные поля [2-4], которые часто строят либо с помощью спектральных преобразований, либо на основе методов формирующего фильтра [5, 6]. Визуальная структура этих полей не соответствует ярко выраженным контурным структурам кусочно-постоянных реальных изобра-
жений. При этом учёт физических процессов, динамики датчиков, представления данных и алгоритмов обработки, являющихся исходящей точкой специфики предметной области, приобретает особое значение в ходе моделирования. Как известно, реальным оптическим изображениям соответствуют поля яркости, близкие к кусочно-постоянным функциям двух переменных, т. е. состоящие из областей, внутри которых яркость почти не меняется и которые отделены друг от друга резкими границами [3]. В связи с этим представляют интерес модели, относящиеся ко второму классу и описывающие декомпозицию полей на составные части или области. К таким моделям относятся модели совокупности объектов на фоне [1] и мозаичные модели [7, 8], включающие мозаики, образованные семейством прямых или кривых линий, а также модели объединения точек вокруг случайных центров [9].
В данной работе рассматривается механизм получения оптического потока как случайного векторного поля - замкнутых областей на плоскости изображения с определёнными уровнями яркости и динамики изменения векторного поля от одного кадра к другому. Формирование последовательности изображений на плоскости, что мы и будем в последующем называть «оптическим потоком», происходит посредством выбора составных 3Б-элементов векторного поля. Причём характеристики векторного поля на плоскости изображения связаны между собой формулами Пальма [7, 8], а выбор составных элементов векторного поля (алфавита) и частоты их появления определяет априорно морфологию поля на плоскости изображения. Другими словами, оптический поток формируется однородным, одноуровневым точечным потоком восстановления [10]. Это позволяет управлять характеристиками генерируемого поля на плоскости изображения: морфологией, вероятностными и спектральными его свойствами [11]. Предлагаемый нами подход обобщает работы по моделированию мозаичных эталонных изображений [10-13]. Прежние подходы к построению оптических потоков не позволяли производить построение морфологий контурного рисунка с различными типами элементов, что приводило к ограниченности моделируемых яркостных полей и возможных областей применения математических механизмов генерации.
Формализация условий задачи
Рассмотрим ряд требований и необходимых условий создания оптического потока как случайного векторного поля в плоскости изображения, аппроксимированного трёхдименсиональным точечным потоком восстановления.
В процессе моделирования необходимо получить 1(ху,г) - случайную, скалярную, кусочно-постоянную функцию яркостного поля двух переменных, зависящую от дискретного времени г.X - конечное подмножество на плоскости изображений, на котором определена
I (х, у, г): 5 (г) = {5 (г), ^ (г),....., ^ (г)},
где К=|5(г)| - количество подмножеств для определённого дискретного времени, 5(г)={51(г),82(г),_5к(г)} имеет смысл К связных кусочно-линейных подмножеств на плоскости изображений 2'(г), сформированных на основе случайного векторного поля. Кусочно-линейные под-
множества 5(г) обладают определёнными свойствами и заполнены случайными яркостями, исходя из предиката однородности ЬР.
Кроме того, должны выполняться четыре основных требования:
1. Векторное поле, определяющее границы кусочно-линейных подмножеств Б(г)={Б\(г),$2(г),...БК(г)}, строится на основе трехдименсионального точечного потока восстановления, который в свою очередь гарантирует введение вероятностного фактора и замкнутость границ областей на плоскости изображений.
2. Каждая точка на плоскости изображений должна от-
К
носиться к определённой области 7'(г) = ^Б,. (г).
1=1
3. получаемая совокупность кусочно-линейных подмножеств на плоскости изображения Б(г)={Б1(г),^2(г),^БК(г)} должна быть связной и отвечать условию Б(г)пБ//)={0} ViФj.
4. с точки зрения предиката однородности ЬР должно иметь место следующее условие однородности отдельно взятого подмножества: ЬР(Б(г))=/гае V/.
Модель контуров
Анализ изображений, полученных реальными системами на основе пространственных датчиков с использованием дискретизации по времени в каналах телекому-никаций, показал, что они содержат контурные линии, которые на достаточно малых фрагментах могут считаться прямолинейными. Поэтому при формировании эталонных последовательностей изображений в многомерных пространственно-временных сетках границы объектов можно представлять отрезками прямых, ориентированных в горизонтальном, вертикальном и диагональном направлении по отношению к решётке отсчётов.
За основу модели границ объектов, их векторного описания, был взят однородный, одноуровневый трёхди-менсиональный точечный поток восстановления. Это позволило внести вероятностный фактор в условия проведения эксперимента и получить устойчивый механизм при создании векторного описания контурной структуры последовательности эталонных изображений, построении оптического потока. Непрерывность получаемых границ областей на плоскости изображений 2'(г) и изменения позиции векторного описания структуры областей Б(г) при 7'(г)—^7'(г+1) не больше чем на одну точку разрешения решётки отсчётов, гарантированы марковским свойством потока восстановления.
Рассматривая 3Б окрестность 2 (рис. 1), отметим, что границы областей в общем случае могут быть образованы лучами в направлениях («2, ¿2, С2, ^2, е2,/2, £2, ^2, ¿2; Оь ¿3, С3, й3, 63,/3, £3, Й3,¿3; а6, Ь6, с6, в6,/6, £6, й6, г6), исходящих от центра окрестности 2. Индекс определяет сторону 3Б окрестности и заимствован от традиционного игрального кубика (кости), построенного по классической схеме «1-2-3-4-5-6», где сумма чисел на диаметрально противоположных сторонах равняется 7. Как видно из рис. 1, геометрию формирования оптического потока несложно выразить через трёхмерную левостороннюю картезише систему координат. Плоскость изоб-
ражения оптического потока соответствует общеприня- изображений. Ось 2 в нашем случае описывает времен-той ориентации координатных осей (ось У направлена ную составляющую оптического потока и в последую-вниз), используемой для представления и обработки щем будет обозначатся буквой Т.
Рис. 1. Описание ЗБ-фрагмента окрестности точечного восстановления Fig. 1. 3D fragment of a point renewal neighborhood
Величины аи Ь, с, </, е ,/и я, И/ при {/ = 2, 3, 6} принимают значения «0» или «1» и означают отсутствие или наличие соответствующего контурного луча.
Для простоты демонстрации работы механизма формирования контурной структуры можно использовать алфавит, состоящий из 32 элементов, часть которых изображена на рис. 2. Формирование элементов алфавита производилось исходя из обеспечения двух условий:
1. Скорость сдвига в плоскости изображения от одного временного отсчёта к следующему не должна превышать одной точки.
2. Вектор скорости в плоскости изображения для определённого отсчёта времени / не меняет своего направления и определен только в вертикальном или горизонтальном направлениях.
Сохраняя приемлемость классификации элементов алфавита, мы предлагаем описывать отдельные литеры алфавита последовательностью трёх значений десятичного кода, например, {0; 0; 0} описывает литеру с отсутствием контурных лучей внутри области (рис. 2). Каждое значение десятичного кода описывает значение окрестности 3x3 в плоскости изображения, а литера обобщает
три таких значения. В свою очередь, значение десятичного кода определяется по формуле:
N. = а. 20 + Ь. 21 + с. 22 + 23 + е. 24 + f. 25 + я. 26 + И. 27,
} } } } } } } ^. .
где. описывает номер сечения в 3Б окрестности литеры алфавита (рис. 3).
Совокупность литер базового алфавита, используемого для построения случайного оптического потока, имеет вид: ¿1=[{136, 136, 136}, {136, 7, 0}, {136, 112, 0}, {136, 136, 201}, {136, 136, 156}, {112, 136, 7}, {7, 136, 112}, {34, 34, 34}, {34, 28, 0}, {34, 193, 0}, {34, 34, 114}, {34, 34, 39}, {28, 34, 193}, {193, 34, 28}, {170, 170, 170}, {170, 39, 34}, {170, 114, 34}, {170, 156, 136}, {170, 201, 136}, {156, 170, 201}, {39, 170, 114}, {201, 170, 156}, {114, 170, 39}, {0, 0, 0}, {0, 7, 136}, {0, 112, 136}, {0, 28, 34}, {0, 193, 34}, {0, 0, 28}, {0, 0, 7}, {0, 0, 193}, {0, 0, 112}]. Построение контуров проводится со следующими значениями финальных вероятностей: г0=0,49, /-1=0,42, г2=0,09. Введение дополнительной общности литер алфавита, например Ь+ = [{170, 199, 0}, {170, 124, 0}, {17, 160, 64}, {17, 10, 4}, ...], будет достигнута путем построения диагональных составляющих контурной структуры изображений.
Рис. 2. Построение части элементов алфавита Fig. 2. Formation of alphabet elements
Рис. 3. Структура описания окрестности отдельно взятой литеры алфавита Fig. 3. Structure of the neighborhood description for a single letter of the alphabet
Механизм получения контурной структуры поля
Построение оптического потока как случайного векторного поля проводится с помощью ряда элементарных 3Б-элементов, называемых алфавитом построения (рис. 2). Элементы выстраиваются в случайную последовательность на основе системы условных вероятностей. Изменение финальных вероятностей и ввод в группы дополнительных элементов алфавита позволит создавать различные типы контурных решёток (от простейшей прямоугольной решётки до весьма замысловатых орнаментов) в плоскости изображения. Свойства контурного рисунка определяются вероятностями Р(аьЬ ¡,с ¡$,е ¡/^¡„И,) при значениях / = 2, 3 и 6.
При моделировании оптического потока на основе алфавита Ь1 все литеры были разбиты на три группы с финальными вероятностями г0, ть т2, где г0 - вероятность появления структурных элементов {0, 0, 0}, {0, 7, 136},
{0, 112, 136}, {0, 28, 34}, {0, 193, 34}, {0, 0, 28}, {0, 0, 7}, {0, 0, 193}, {0, 0, 112}; п - элементов {136, 136, 136}, {136, 7, 0}, {136, 112, 0}, {136, 136, 201}, {136, 136, 156}, {112, 136, 7}, {7, 136, 112}, {34, 34, 34}, {34, 28, 0}, {34, 193, 34}, {34, 34, 114}, {34, 34, 39}, {28, 34, 193}, {193, 34, 28}; Т2 - {170, 170, 10}, {170, 39, 34}, {170, 114, 34}, {170, 156, 136}, {170, 201, 136}, {156, 170, 201}, {39, 170, 114}, {201, 170, 156}, {114, 170, 39}, а их сумма равна единице т0+т1+т2=1.
При построении контуров используются условные вероятности Р (( / У2 ), полученные из формулы полной вероятности [4]:
Р(У II У,)
P(VJ v2) =
S II v2)'
где вектор VI определён через [[^Иг^^], а вектор У2 определён как [а2Ь2С2Я2е/2£222Ь3с^3е/р^6е/6?6].
Заключение
Предлагаемая методика моделирования случайных оптических потоков, аппроксимированных однородным, одноуровневым 3Б точечным потоком восстановления, может быть применена для проверки и доводки методов обработки изображений, послужит основой получения качественных алгоритмов поиска и локализации границ, алгоритмов сегментации и скелетизации изображений, алгоритмов отслеживания поведения объектов на изображениях и представляет особый интерес при создании новой объективной системы оценки работоспособности
систем обработки и передачи оптической информации в целом. Формирование случайного оптического потока позволит производить поиск оптимальных условий при выборе значимых факторов, оценку и уточнение констант теоретических моделей и алгоритмов, даст возможность устранить или уменьшить систематические ошибки и их смещение, допущенное при проведении натурных исследований, позволит провести оценку не только дисперсии оцениваемых параметров, но и сопутствующих эксперименту параметров среды.
СПИСОК ЛИТЕРАТУРЫ
1. Кашкин В.Б., Сухинин А.И. Дистанционное зондирование Земли из космоса. Цифровая обработка изображений. - М.: Логос,
2001. - 264 с.
2. Глазов Г.Н., Костевич А.Г., Шелупанов А.А. Моделирование дискретных гауссовых случайных полей // Интеллектуальные системы в управлении, конструировании и образовании - Томск: SST,
2002. - Вып. 2. - С. 19-27.
3. Domínguez E., Lage-Castellanos A., Mulet R. Random field Ising model in two dimensions: Bethe approximation, cluster variational method and message passing algorithms // Journal of Statistical Mechanics Theory and Experiment. - 2015. - V. 7. - P. 1-23.
4. Крашенинников В.Р., Микеев Р.Р., Тишкин В.В. Синтез волновой модели многомерного случайного поля с заданной корреляционной функцией // Известия Самарского научного центра Российской академии наук. - 2014. - Т. 16. - № 6-2. - С. 474-478.
5. Балтер Б.М., Балтер Д.Б., Егоров В.В., Калинин А.П., Котцов В.А., Орлов А.Г., Родионов И.Д., Стальная М.В. Методика имитационного моделирования гиперспектральных изображений земной поверхности // Исследование Земли из космоса. - 2007. - № 5. -С. 21-29. EDN: IAQOPB
6. The handbook of pattern recognition and computer vision. 2nd ed. / Ed. by C.H. Chen, L.F. Pau, P.S.P. Wang. - Singapore: World Scientific Publishing Co., 1998. - P. 207-248.
7. Буймов А.Г. К статистике пальмовских полей // Автометрия. -1981. - № 6. - С. 13-18. EDN: ZIQCZN
8. Сергеев В.В., Сойфер В.А. Имитационная модель изображения и метод сжатия данных // Автоматика и вычислительная техника. -1978. - № 3. - С. 76-78. EDN: CTNXSH
9. Kaufman L., Rousseeuw P.J. Finding groups in data. An introduction to cluster analysis. - Hoboken (NJ): Wiley & Sons Inc., 2005. - 342 p.
10. Ein stochastischer Algorithmus zur Bildgenerierung durch einen zweidimensionalen Markoff-Erneuerungsprozess / D. Dubinin, V. Geringer, A. Kochegurov, K. Reif // Automatisierungstechnik. -Oldenbourg: Oldenbourg Wissenschaftsverlag, 2014. - Band 62 (Heft 1). - S. 57-64.
11. Дубинин Д.В., Кочегуров А.И., Лаевский В.Е. К статистике морфологии случайных пространственно-временных сигналов, сформированных двумерным точечным потоком восстановления // Известия Томского политехнического университета. - 2012. -T. 321. - № 5. - C. 194-198.
12. Bundled software for simulation modeling / V. Geringer, D. Dubinin, A. Kochegurov, K. Reif // Proceedings of the International Symposium on Signals, Circuits and Systems (ISSCS 2013). - Romania, Iasi: ISSCS Press, 2013. - P. 1-4.
13. An efficient method to evaluate the performance of edge detection techniques by a two-dimensional Semi-Markov model / D.V. Dubinin, V.E. Geringer, A.I. Kochegurov, K. Reif // IEEE Symposium Series on Computational Intelligence - 4 IEEE Symposium on Computational Intelligence in Control and Automation (SSCI - CICA 2014). Proceedings № 7013248. - P. 1-7.
Поступила: 12.02.2023.
Прошла рецензирование: 25.03.2023.
Информация об авторах
Кочегуров А.И., кандидат технических наук, доцент отделения информационных технологий Инженерной школы информационных технологий и робототехники Национального исследовательского Томского политехнического университета.
Дубинин Д.В., кандидат технических наук, доцент кафедры радиоэлектроники и защиты информации Томского государственного университета систем управления и радиоэлектроники.
Герингер В., кандидат технических наук, заведующий лабораториями автомобильной электроники и мехатронных систем/энергетики и экологической инженерии Баден-Вюртембергского объединенного государственного университета.
UDC 005, 004.021, 004.932:621.391+519.876.5
SEQUENCING OPTICAL IMAGES APPROXIMATED BY HOMOGENEOUS, ONE-DIMENSIONAL POINT RENEWAL PROCESS
Alexander I. Kochegurov1,
kaicc@tpu.ru
Dmitriy V. Dubinin2,
dima@info.tusur.ru
Viktor Geringer3,
geringer@dhbw-ravensburg.de
1 National Research Tomsk Polytechnic University, 30, Lenin avenue, Tomsk, 634050, Russia.
2 Tomsk State University of Control Systems and Radioelectronics, 40, Lenin avenue, Tomsk, 634050, Russia.
3 Baden-Wuerttemberg Cooperative State University, DHBW-Ravensburg, Friedrichshafen, Germany.
The paper describes a mechanism for modeling an optical flow as a random vector field - closed areas on the image plane with certain brightness and dynamics of changes in the vector field. The optical flow is formed by a homogeneous, one-dimensional point renewal process. The characteristics of the vector field on the image plane of the resulting optical flow are interconnected by the Palm's formulas. The type of the constituent elements of the vector field (the alphabet, which determines the morphology of the field on the image plane) is chosen randomly. The proposed approach will produce various types of interconnected digital sequences of images with horizontal, vertical and diagonal elements; create the prerequisites for efficient and flexible motion analysis on digital video sequences; make it possible to use the probabilistic factor in researching image processing algorithms and comparing the algorithms based on a detailed factor analysis.
Key words: stochastic modelling, optical flow, comparison of algorithms, image processing.
REFERENCES
1. Kashkin V.B., Sukhinin A.I. Distantsionnoe zondirovanie Zemli iz kosmosa. Tsifrovaya obrabotka izobrazheniy [Remote sensing of the Earth from space. Digital image processing]. Moscow, Logos Publ., 2001. 264 p.
2. Glazov G.N., Kostevich A.G., Shelupanov A.A. Modelirovanie diskretnykh gaussovykh sluchainykh poley [Gaussian random discrete field modelling]. Intellektualnye sistemy v upravlenii, konstruirovanii i obrazovanii [Intelligent systems in management, design and education]. Tomsk, STT Publ., 2002. Iss. 2, pp. 19-27.
3. Domínguez E., Lage-Castellanos A., Mulet R. Random field Ising model in two dimensions: Bethe approximation, cluster variational method and message passing algorithms. Journal of Statistical Mechanics Theory and Experiment, 2015, vol. 7, pp. 1-23.
4. Krasheninnikov V.R., Mikeyev R.R., Tishkin V.V. The synthesis wave model of multidimensional random field with a given correlation functions. Izvestia of Samara Scientific Center of the Russian Academy of Sciences, 2014, vol. 16, no. 6-2, pp. 474-478. In Rus.
5. Balter B.M., Balter D.B., Egorov V.V., Kalinin A.P., Kottsov V.A., Or-lov A.G., Rodionov I.D., Stalnaya M.V. Unified simulation methodology for hyperspectral remote sensing of Earth. Earth Research from Space, 2077, no. 5, pp. 21-29. In Rus.
6. The handbook of pattern recognition and computer vision. 2nd ed. Eds. C.H. Chen, L.F. Pau, P.S.P. Wang. Singapore, World Scientific Publishing Co., 1998. pp. 207-248.
7. Buimov A.G. K statistike palmovskikh poley [On the statistics of palm fields]. Avtometriya, 1981, no. 6, pp. 13-18.
8. Sergeev V.V., Soifer V.A. Imitation model of images and a data compression method. Automatic Control and Computer Sciences, 1978, no. 3, pp. 76-78. In Rus.
9. Kaufman L., Rousseeuw P.J. Finding groups in data: an introduction to cluster analysis. New York, John Wiley & Sons, 2005. 344 p.
10. Dubinin D., Geringer V., Kochegurov A., Reif K. Ein stochastischer Algorithmus zur Bildgenerierung durch einen zweidimensionalen Markoff-Erneuerungsprozess [A stochastic algorithm for image generation by a two-dimensional Markov renewal process. Oldenbourg scientific publisher]. Automatisierungstechnik [Automation Technology]. Oldenbourg, Oldenbourg Wissenschaftsverlag, 2014. Band 62 (Heft 1), pp. 57-64.
11. Geringer V., Dubinin D, Kochegurov A. On the statistics of space-time signals created by a two-dimensional Markov renewal process. Bulletin of the Tomsk Polytechnic University, 2012, vol. 321, no. 5, pp. 194-198. In Rus.
12. Geringer V., Dubinin D., Kochegurov A., Reif K. Bundled software for simulation modeling. Proceedings of the International Symposium on Signals, Circuits and Systems (ISSCS 2013). Romania, Iasi, ISSCS Press, 2013. pp. 1-4.
13. Dubinin D.V., Geringer V.E., Kochegurov A.I., Reif K. An efficient method to evaluate the performance of edge detection techniques by a two-dimensional Semi-Markov model. IEEE Symposium Series on Computational Intelligence - 4 IEEE Symposium on Computational Intelligence in Control and Automation (SSCI - CICA 2014). Proceedings no. 7013248, pp. 1-7.
Received: 12 February 2023.
Reviewed: 25 March 2023.
Information about the authors
Alexander I. Kochegurov, Cand. Sc., associate professor, National Research Tomsk Polytechnic University. Dmitriy V. Dubinin, Cand. Sc., associate professor, Tomsk State University of Control Systems and Radioelectronics. Viktor Geringer, Cand. Sc., head of Laboratories of Automotive Electronics, Baden-Wuerttemberg Cooperative State University.
