CC BY
5DOI УДК 621.396
ОБРАБОТКА ИЗОБРАЖЕНИЙ НА ОСНОВЕ КЛЕТОЧНЫХ АВТОМАТОВ
И КОМПОНЕНТ СВЯЗНОСТИ
Абакумов Артём Владимирович
аспирант, Муромский институт (филиал) ФГБОУ ВО «Владимирский государственный университет
имени Александра Григорьевича и Николая Григорьевича Столетовых».
E-mail: [email protected] Адрес: 602264, Российская Федерация, Владимирская обл., г. Муром, Орловская ул., д. 23.
Аннотация: В области обработки изображении крайне мало изучены возможности применения подходов, основанных на клеточных автоматах, а именно — использование набора правил для построения структур. Персистентная гомология вырастает из отдельной теоретической базы, но в конечном счёте сводится к построению так называемых компонент связности по определённым правилам. Однако обычно рассматриваются только правила, описывающие формирование компонент, но не влияние присоединяемых пикселей. В данной работе предлагается изучение и формирование простых правил, которые позволят выделить новые свойства компонент, подходящие для задач поиска шумовых областей и выделения контуров на изображении.
Ключевые слова: персистентная гомология, клеточные автоматы, обработка изображений.
Введение
Из-за бума нейронных сетей в области обработки изображений в целом [1], и сегментации в частности [2], большая часть новых работ нацелена именно на их использование [3], но это требует высокие вычислительные ресурсы [4], что мешает применять данные подходы в прикладных приложениях. Другая проблема машинного обучения — необходимость наличия большой обучающей выборки для корректной работы [5]. Эти и другие корневые проблемы побуждают продолжать исследовать классические методы, которые ещё не исчерпали себя.
Рассмотрим персистентную гомологию [6], где изображение анализируется через построение компонент связности, каждая из которых формируется путём поглощения пикселей. Причём эти компоненты обладают свойством сохранять инвариантность пока изображение остаётся таким же с точки зрения топологии.
Изменение правил поглощения пикселей изменит и содержимое компоненты (не нарушив инвариантность). Причём во время построения компоненты могут исчезать и
объединяться. По этим свойствам можно провести параллель с клеточными автоматами.
Клеточный автомат Conway's Game of Life [7] показывает, как, используя простые правила, можно получить сложные структуры. К сожалению, в прикладных алгоритмах эта теория почти не используется, но на эту тему всё-таки есть интересные публикации [8, 9, 10].
Цель данной работы заключается в выявлении новых подходов к обработке изображений на основе совмещения методов персистентной гомологии и клеточных автоматов.
Компоненты связности и ресурс пикселей
Смысл построения компонент связности (структуры) в том, что из отдельных пикселей формируется некая замкнутая область, компонента, пока её не поглотит другая компонента. Поглощение происходит, когда две разные компоненты соприкасаются, т.е. одна пытается присоединить пиксель из другой. Можно сказать, что каждая компонента стремится к максимуму, но ограничена другими компонентами. На этом классический метод заканчивается, но мы можем расширить его путём внедрения некого правила при добавлении пикселя в компоненту. Это правило не будет влиять на само построение, но добавит
новое свойство — «ресурс пикселей». Под ресурсом понимается величина, которая накаливается в пикселе и передаётся другим точкам в структуре по определённым правилам.
С точки зрения персистентной гомологии каждая компонента связности может отражать некий ограниченный контур на исходном изображении (в случае растровых изображений — ограниченный яркостью), поэтому точки, добавляемые в компоненту, имеют яркостную схожесть. При этом компонента поглощается другой компонентой при первой же встрече с ней, то есть достаточно всего одного общего пикселя. Всё это ведёт к тому, что наибольшая концентрация или отсутствие концентрации ресурса у пикселей чаще всего будет встречаться по краям структуры.
Рассмотрим набор правил, который подходит под определение «затухание ресурса пикселей». Определим их.
1. Пусть начальная точка компоненты связности содержит значение N под которым будет пониматься константа, равная начальному показателю ресурса точки и вводимая пользователем.
2. Когда компонента поглощает новую точку, происходит осмотр ближайших пикселей в компоненте и у найденных забирается половина ресурса.
Приведённые правила могут быть описаны в виде матрицы и набора формул для формирования ресурса точек. Матрица значений показателя описывается следующим образом:
Г,
R =
Л
Г
V ml
(1)
тп J
ресурсов
пикселей; пикселя с
где Я — матрица Гц — значение ресурса у координатами / и изначально равное нулю; т и п — размеры изображения.
Далее необходимо определить, как именно будет распространятся ресурс пикселя. В
предлагаемом подходе новый элемент получает половину ресурса:
ГЯ( X ,У )
CR(X X ,Y ) =
, если (X, Y) е C /ч 2 ' V ' (2)
0, иначе,
где СЯ(X,У) — ресурс, полученный от элемента компоненты (пикселя); X и У — координаты элемента; С — компонента, содержащая набор пикселей.
Сбор ресурсов происходит у точек, принадлежащих окрестности Мура первого порядка:
(X, У) = X+и+1Р), (3)
где Яш (X ,У) — ресурс добавляемого пикселя; X и У — позиция добавляемой точки. После расчёта в матрицу ресурсов Я заносится вычисленное по формуле (3) значение. При этом для каждой затронутой пары (Х,У) в (2) выполняется следующее преобразование:
Я (X ,У)
R (X ,Y) = :
2
(4)
При появлении новой компоненты (т.е. когда рядом нет других компонент) по координатам (X, У), в матрицу ^записывается начальная величина ресурса Я(Х, У) = N.
Стоит отметить, что на изображении может присутствовать множество компонент и каждая из них является отдельным множеством.
Помимо описанного подхода, были протестированы и многие другие, отличающиеся в том, как именно передаётся ресурс. Из наиболее очевидных вариантов — суммирование и отсутствие преобразования (4), а также затухание. При суммировании наблюдается эффект распространения ресурсов, что будет рассмотрено позже. В случае затухания результаты сложно классифицировать, поэтому они были отброшены.
Результаты затухания величины ресурса
Чтобы определить зависимость результата от количества начального показателя ресурса N проведём эксперимент с описанными ранее формулами.
а) Исходное изображение
б) Результат с начальным ресурсом пикселя N = 10
, .....
в) Результат с начальным ресурсом пикселя N = 100
г) Результат с начальным ресурсом пикселя N = 1000
Рис. 1. Зависимость результата от начального показателя ресурса
Было взято изображение «фотограф» и с ним выполнено персистентное разложение с учётом подсчёта ресурса. Результаты показаны на рис. 1, где чёрный цвет — это отсутствие ресурса, а белый - его максимум. В данном разделе, для лучшей читаемости рисунков, на всех результатах контрастность увеличена на 40%.
Как видно из экспериментов, ресурс пикселя накапливается в местах соприкосновения объектов. При N = 10 показатель ресурса у пикселей теряется довольно быстро, но уже после N = 100 разница заметна слабее, поэтому начальную величину ресурса можно сделать
константной большой величины N = 1000) и не принимать во внимание. Что касается полезных выходных данных, то видно, что наименьшее значение ресурса концентрируется на контурах.
Теперь рассмотрим менее зашумленный объект. На рис. 2 показано визуализация ресурса при N = 1000. Показатель отсутствует не только на контурах, но и в местах с наибольшей шумовой составляющей, что полезно при необходимости выделить шум и как-либо его убрать, например, для задач сжатия [11]. Обобщая, можно сказать, что ресурс концентрируется в местах с наименьшей шумовой составляющей.
а) Визуализация ресурса пикселей при N = 1000 и б) Детектор границ Канни при threshold1 = 100 и обработка пикселей от максимальной яркости к threshold1 = 200
минимальной
Рис. 3. Третий эксперимент
Проведём ещё один эксперимент. До этого компоненты связности строились путём обхода пикселей в порядке возрастания яркостей. Если перебирать яркости в порядке уменьшения, то ресурс распространяется уже иначе, подсвечивая иные объекты. Это показано на рис. 3, а).
Результаты напоминают детектор границ Канни [12] (его использование показано на рис. 3 (б)), который определяет границы объектов и используется для сегментации. Но, в отличии от Канни, текущий результат представляет собой отдельные пиксели. Причём по ним угадываются оригинальные силуэты, что, как минимум, показывает содержательность подхода и доказывает, что дальнейшее
развитие формирования дополнительных свойств компонент связности по простым правилам может использоваться для решения прикладных задач.
Также важно заметить, что в отрыве от более общих методов результаты сложно спрогнозировать, поскольку самостоятельно алгоритмы не устойчивы к искажениям (например, шуму), которые присутствуют на реальных изображениях.
Распространение ресурса пикселей
Теперь рассмотрим другой набор правил. Низкая зависимость метода «затухания ресурса пикселей» от начального значения N облегчает его использование на практике, так как не
а) Исходное изображение
б) Отображение компонент
в) Визуализация ресурса, где чёрный — отсутствие ресурса, а белый — максимальное количество
Рис. 4. Эксперимент с распространением ресурса пикселей на рисунке «Остров»
приходится перебирать коэффициенты. В случае же другого принципа — распространения ресурса — самый простой набор правил в этом случае — устанавливать начальную величину ресурса N у новой точки
СЯ( X ,У ) = ■
(5)
автоматически в зависимости от количества соседних пикселей в компоненте. Если же компонента новая, то N = 1. Таким образом, показатель ресурса у точки может быть от 1 до 8.
Формулы (1) и (3) сохраняют свою актуальность, но функция СЯ требует изменения и будет определяться следующим образом:
[1, если (X ,7) е С, [0, иначе,
где Я, X, У аналогичны определениям из (2).
Забегая вперёд, следует отметить, что в данном случае не важен метод построения (от максимальной или минимальной яркости), так как результат одного метода будет равен инвертированному результату другого.
Результаты распространения ресурса пикселей
Для примера рассмотрим изображение острова на рис. 4, а). Его компоненты отображены на рис. 4, б), а визуализация ресурса на рис. 4, в).
Как можно заметить по визуализации ресурса пикселей, на рис. 4, в) выстраиваются некие линии, которые похожи на контуры на исходном изображении. При этом на компонентах такие свойства не проявляются. Рассмотрим ещё два изображения: «Лена» (рис. 5) и спутниковый снимок зданий (рис 6).
Результаты показывают, что свойство с чётким выделением контуров сохраняется во всех случаях и, как показывает эксперимент на изображении острова, ресурс пикселей надёжнее отображает границы, чем компоненты. Можно сделать вывод, что при должном внимании данный подход способен давать весьма перспективные результаты в области выделения границ, но на текущий момент требуется решить задачу фильтрации шума, который остаётся вместе с границами. Но, как и в первом предложенном наборе правил, самостоятельное использование этого подхода затруднительно. Но он может использоваться как часть общей структуры
*
а) Исходное изображение
б) Визуализация ресурса пикселей Рис. 5. Эксперимент на изображении «Лена»
а) Исходное изображение
б) Визуализация ресурса пикселей
Рис. 6. Эксперимент на спутниковом снимке домов
обработки изображения, чтобы компенсировать недостатки в виде неполноты контуров.
Заключение
Формирование компонент связности само по себе является набором простых правил, приводящих к созданию топологического отображения изображения, а при внедрении дополнительного построения на уровне отдельных компонент ведёт к проявлению новых свойств. В проведённых экспериментах эти свойства выражаются в формировании областей, отражающих шумовые зоны и контуры объектов. Приведённые правила хоть и дают результат, но, из-за природы изображений (наличие шума и прочих искажений), самостоятельно они плохо
приспособлены для задач автоматического обнаружения. Гораздо эффективнее будет использовать их как этап в более комплексном методе.
По сравнению с классическими методами, предлагаемый подход обладает большей гибкостью. Правила могут быть легко уточнены под нужды задачи, когда как классические методы чётко детерминированы. Также, благодаря наследованию теории персистентной гомологии, становится доступно применение свойств, присущих компонентам связности.
Из минусов стоит отметить сильную беспорядочность результата. Выходной ресурс, как в приведённых экспериментах, может
выделять контура, но это сопровождается шумом. Не исключено, что этого можно избежать и получить более чистый результат при уточнении правил формирования ресурса пикселей.
Исследование выполнено при финансовой поддержке РНФ в рамках научного проекта № 23-21-10064.
Литература
1. Sharma P., Singh A. Era of deep neural networks: A review. // 2017 8th International Conference on Computing. Communication and Networking Technologies (ICCCNT). Delhi, India, 2017. Pp. 1-5. DOI: 10.1109/ICCCNT.2017.8203938.
2. Ying Y., Chunping W., Qiang F., Renke K., Fuyu H., Boxiong Y., Tingting Y., Mingliang G. Techniques and Challenges of Image Segmentation: A Review // Electronics. 2023. Vol. 5. DOI: 10.3390/electronics 12051199.
3. Valenteand J., Joao A., Carlos M., Jardim S. Developments in Image Processing Using Deep Learning and Reinforcement Learning // Journal of Imaging. 2023. Vol. 10, DOI: 10.3390/jimaging 9100207.
4. Bansal M., Goyal A., Choudhary A. A comparative analysis of K-Nearest Neighbor, Genetic, Support Vector Machine, Decision Tree, and Long Short Term Memory algorithms in machine learning // Decision Analytics Journal. 2022. DOI: 10.1016/j.dajour.2022.100071.
5. Alwosheel A., Sander van Cranenburgh, Chorus G. Is your dataset big enough? Sample size
Поступила 13 декабря 2023 г.
requirements when using artificial neural networks for discrete choice analysis // Journal of Choice Modelling.
2018. Pp. 167-182. DOI: https://doi.org/10.1016/ j.jocm.2018.07.002.
6. Еремеев С.В., Абакумов А.В. Классификация объектов на изображениях с учетом искажений на основе двухэтапного топологического анализа // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22. № 1. C. 939-947.
7. Getz W., Salter R. Extending Conway's Game of Life. 2022. DOI: https://doi.org/10.1101/2022.08. 30.505937.
8. Yimin G. A survey on the modeling and applications of cellular automata theory // IOP Conference Series: Materials Science and Engineering. 2017. Vol. 1, Pp. 012106. DOI: 10.1088/1757-899X/242/1/012106.
9. Peng F., Wang S., Liang S. Establishment of cellular automata image model and its application in image dimension measurement. J Image Video Proc.
2019. Vol. 14.
10. Ranjan N., Prashanta Kumar P., Amitav M. A Survey on Two Dimensional Cellular Automata and Its Application in Image Processing // International Journal of Computer Applications. 2014. Pp. 78-87.
11. Gardella M., Nikoukhah T., Y. Li, Bammey Q. The Impact of JPEG Compression on Prior Image Noise. 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Singapore, Singapore, 2022. Pp. 2689-2693.
12. Lu Y., Duanmu L., Zhai Z., Wang Z. Application and improvement of Canny edge-detection algorithm for exterior wall hollowing detection using infrared thermal images // Energy and Buildings. 2022. Vol. 274. DOI:10.1016/j.enbuild.2022.112421
Abstract: Current image processing algorithms are usually based on either classical methods or neural networks. There are studied more rarely novel approaches, e.g., persistent homology that highlights connectivity components in the image upon which objects in the image can segmented and classified. There are even fewer papers dedicated to the study of approaches that, at first glance, are not applicable to image processing tasks but their study can result in new paradigms' discovery in problem solution. Therefore, this article examines the combination of persistent homology and cellular automata theory. Cellular automata are models composed of mesh of cells, each of which can be in one of a set of states and updated pursuant to certain rules, as well as persistent homology, in conformity with simple rules is used to construct connectivity components based on dataset, including images. This paper introduces supplementary rules for connectivity
English
IMAGE PROCESSING BASED ON CELLULAR AUTOMATA AND CONNECTED COMPONENTS
Artyom Vladimirovich Abakumov — Postgraduate Student, Murom Institute (branch) "Vladimir State University named after A.G. and N.G. Stoletovs". E-mail: [email protected]
Address: 602264, Russian Federation, Vladimir region, Murom, Orlovskaya St., 23.
components' construction that describe forming of a new property - a pixel resource, which forms component-level structures. Tests performed with two sets of rules "propagation" and "attenuation" of the resource testified that new properties can be formed and applied for image processing tasks such as searching for boundaries and detecting the most noisy areas but only as part of a more general approach, e.g., with persistent topology algorithms. The results themselves are inconsistent. E.g., when detecting boundaries, a new property may accentuate contours, but it is accompanied by noise. A more operating result can be achieved with further research and rules set clarification. Keywords: persistent homology, cellular automata, image processing.
References
1. Sharma P., Singh A. Era of deep neural networks: A review. 2017 8th International Conference on Computing. Communication and Networking Technologies (ICCCNT). Delhi, India, 2017. Pp. 1-5. DOI: 10.1109/ICCCNT.2017.8203938.
2. Ying Y., Chunping W., Qiang F., Renke K., Fuyu H., Boxiong Y., Tingting Y., Mingliang G. Techniques and Challenges of Image Segmentation: A Review. Electronics. 2023. Vol. 5. DOI: 10.3390/electronics 12051199.
3. Valenteand J., Joao A., Carlos M., Jardim S. Developments in Image Processing Using Deep Learning and Reinforcement Learning. Journal of Imaging. 2023. Vol. 10, DOI: 10.3390/jimaging9100207.
4. Bansal M., Goyal A., Choudhary A. A comparative analysis of K-Nearest Neighbor, Genetic, Support Vector Machine, Decision Tree, and Long Short Term Memory algorithms in machine learning. Decision Analytics Journal. 2022. DOI: 10.1016/j.dajour.2022.100071.
5. Alwosheel A., Sander van Cranenburgh, Chorus G. Is your dataset big enough? Sample size requirements when using artificial neural networks for discrete choice analysis. Journal of Choice Modelling. 2018. Pp. 167-182. DOI: https://doi.org/10.1016/j.jocm.2018.07.002.
6. Yeremeev S. V., Abakumov A. V. Classification of objects in images taking into account distortions based on two-stage topological analysis. Scientific and Technical Bulletin of Information Technologies, Mechanics and Optics. 2022. Vol. 22. No. 1. Pp. 939-947.
7. Getz W., Salter R. Extending Conway's Game of Life. 2022. DOI: https://doi.org/10.1101/2022.08. 30.505937.
8. Yimin G. A survey on the modeling and applications of cellular automata theory. IOP Conference Series: Materials Science and Engineering. 2017. Vol. 1. Pp. 012106. DOI: 10.1088/1757-899X/242/1/012106.
9. Peng F., Wang S., Liang S. Establishment of cellular automata image model and its application in image dimension measurement. J Image Video Proc. 2019. Vol. 14.
10. Ranjan N., Prashanta Kumar P., Amitav M. A Survey on Two Dimensional Cellular Automata and Its Application in Image Processing. International Journal of Computer Applications. 2014. Pp. 78-87.
11. Gardella M., Nikoukhah T., Y. Li, Bammey Q. The Impact of JPEG Compression on Prior Image Noise. 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Singapore, Singapore, 2022. Pp. 2689-2693.
12. Lu Y., Duanmu L., Zhai Z., Wang Z. Application and improvement of Canny edge-detection algorithm for exterior wall hollowing detection using infrared thermal images. Energy and Buildings. 2022. Vol. 274. DOI:10.1016/j.enbuild.2022.112421
