БИОЛОГИЧЕСКИ-ПОДОБНЫЕ МОДЕЛИ СВЕРТОЧНЫХ НЕЙРОНОВ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ИЛЛЮЗОРНОГО КОНТУРА Текст научной статьи по специальности «Компьютерные и информационные науки»

Научная статья

УДК 004.93

DOI 10.25205/1818-7900-2022-20-1-47-56

Биологически-подобные модели сверточных нейронов в задаче распознавания иллюзорного контура

Александр Владимирович Кугаевских 1 Максим Сергеевич Берьянов 2

1 Новосибирский государственный университет Новосибирск, Россия

2 Университет ИТМО Санкт-Петербург, Россия

1 a-kugaevskikh@yandex.ru, https://orcid.org/0000-0002-6676-0518 2 berjnov.ru@mail.ru

Аннотация

Представлен результат проектирования архитектуры нейронной сети на биологически-подобных нейронах, в задачу которой входит отработка механизма распознавания иллюзорного контура на примере «фигур Кани-жа». Нейронная сеть позволила добиться инвариантности к количеству углов фигуры и не теряет в качестве распознавания при изменении размеров иллюзорного контура. Основное применение подхода может быть найдено в задаче разделения «фигура - фон» на изображениях. Ключевые слова

иллюзорный контур, нейронная сеть, биологически-подобная модель, выделение краев, нейроны конца линий, сегментация Для цитирования

Кугаевских А. В., Берьянов М. С. Биологически-подобные модели сверточных нейронов в задаче распознавания иллюзорного контура // Вестник НГУ. Серия: Информационные технологии. 2022. Т. 20, № 1. С. 47-56. БСТ 10.25205/1818-7900-2022-20-1-47-56

Bio-Inspired Models of Convolution Neurons in the Problem of Illusory Contour Recognition

Alexander V. Kugaevskikh \ Maksim S. Beryanov 2

1 Novosibirsk State University Novosibirsk, Russian Federation

2 ITMO University St. Petersburg, Russian Federation

1 a-kugaevskikh@yandex.ru, https://orcid.org/0000-0002-6676-0518 2 berjnov.ru@mail.ru

Abstract

This paper presents the result of designing the architecture of a neural network on bio-inspired neurons, whose task is to work out the mechanism for recognizing an illusory contour using the example of "Kanizsa's figures". The neural network made it possible to achieve invariance to the number of corners of the figure and does not lose recognition

© Кугаевских А. В., Берьянов М. С., 2022

quality when changing the size of the illusory contour. The main application of the approach can be found in the problem of separating "figure-background" in images. Keywords

illusory contour, neural network, bio-inspired model, edge detection, end-stopped neuron, segmentation For citation

Kugaevskikh A. V., Beryanov M. S. Bio-Inspired Models of Convolution Neurons in the Problem of Illusory Contour Recognition. Vestnik NSU. Series: Information Technologies, 2022, vol. 20, no. 1, pp. 47-56. (in Russ.) DOI 10.25205/1818-7900-2022-20-1 -47-56

Введение

Распознавание иллюзорного контура является весьма интересной проблемой. С одной стороны, она не имеет особого практического применения, с другой - механизм, лежащий в ее основе, отвечает и за разделение изображения на фигуру и фон, а также участвует в сегментации перекрытых изображений. В зрительной коре за распознавание иллюзорных контуров, помимо прочих функций, отвечают нейроны первичных зрительных зон [1].

Иллюзорный контур, простыми словами, является условно воспринимаемым контуром без присутствия его на самом деле, физически. Исследуя примеры сцен, где светлая фигура закрывает, если точнее выразиться, частично покрывает темные объекты на том же светлом фоне, светлая фигура кажется более явной, чем фон, несмотря на их совместную гармонию, следовательно, края и тело данной фигуры создают иллюзорный контур, что немаловажно, при содействии темных объектов.

Для распознавания иллюзорных контуров применялся практически весь аппарат компьютерного зрения, от фильтров Габора до марковских случайных полей. Применяют также и нейронные сети. Нейросетевые модели распознавания иллюзорного контура [2-6] основаны на выделении характеристических точек. Не прекращаются попытки создать механизм определения иллюзорного контура без выделения характеристических точек, основываясь только на статистиках естественного изображения [7].

1. Архитектура нейронной сети

Мы предлагаем использовать сверточную нейронную сеть для определения иллюзорного контура. Отличие от других работ заключается в моделях нейронов, участвующих в этом процессе. Общая архитектура представлена на рис. 1. На изображении детектируются края (US1) и фон (UB1). Информация о краях служит основной для детекции границ (UC2), концов линий (UE2) и длинных линий (UL2), которые на следующем слое уточняются (UBC3, UBE3 и UBL3). Уточнение требуется из-за особенностей функционирования нейронов, которые могут давать ошибку определения ориентации края в пределах ±20° от правильной ориентации.

Рассмотрим задачу распознавания иллюзорного контура на примере треугольника Канижа (рис. 2) и его производных. Определив края и углы имеющихся фигур, мы можем построить ребра иллюзорного треугольника, для этого служат нейроны длинных линий. Ориентация, как и количество углов у фигуры Канижа, может быть любой, поэтому нам необходимо выделять ребра разной ориентации и при этом избегать ложных срабатываний. Ориентация ребра фигуры Канижа совпадает с ориентацией луча темной фигуры (условно ее называют "Pacman"), с помощью нейрона конца линий можно подтвердить, что этот луч в определенном месте обрывается и продолжается уже на другой темной фигуре. Определив точно края, углы, концы линий и длинные линии, что расширяет представление характеристических точек, мы можем детектировать ребра фигуры Канижа (UR4), на основании которых определяются пары ребер (слой UP5) и сама фигура (слой UI6).

iSpfpn

# изображение imageo • угловые нейроны ис:

# краевые нейроны usi # нейроны конца линий ии

# фоновые нейроны ubi # нейроны длинной линии l

уточненные угловые нейроны ивсэ уточненные нейроны конца линии ивы уточненные нейроны длинной линий и

Рис. 1. Схема архитектуры нейронной сети Fig. 1. Neural network architecture

реберные нейроны им парные реберные нейроны и иллюзорные нейроны им

*

Рис. 2. Треугольник Канижа Fig. 2. Kanizsa's triangl

С ¿

2. Модели характеристических нейронов 2.1 Слой

Ранее мы подробно описывали модели нейронов детекции краев, углов и фона [8]. Для выделения краев и углов в нейросетевых моделях часто используют фильтр Габора. Мы также используем фильтр Габора для формирования матрицы весов нейронов И81. Нейроны этого слоя реагируют на линии предпочтительной ориентации 0. Фильтр Габора был выбран по двум причинам: во-первых, его функция позволяет формировать рецептивное поле простого нейрона для выделения линий определенной ориентации; во-вторых, в отличие от вейвлета «мексиканская шляпа» его постоянная компонента гораздо ближе к 0, что уменьшает паразитную активацию нейронов первого слоя. Равномерная заливка рецептивного поля такого нейрона дает очень близкое к нулю значение. Фильтр Габора позволяет выделять светлые линии на темном фоне и темные линии на светлом фоне.

Ci,2 = ехр -

х'2 + у2у'2

2 а2

со s

X

2тт- + ф л

где ф - фаза, определяющая симметричность и чередование тормозных и возбуждающих областей ядра (в радианах); о - масштаб фильтра; у - степень эллиптичности фильтра.

Для реагирования на компоненты определенной ориентации, в фильтр Габора вводятся параметры поворота координатной сетки на угол 0:

х' = хсо s в + ysin в у' = — хsin в + усо s в

Так как фильтр имеет ярко выраженную ориентационную избирательность, градус отклонения между ориентациями (Д0) влияет на выявление деталей и, как следствие, на уровень шума.

Параметр ф отвечает за симметричность ядра фильтра. Он может принимать значения -п/2 или п/2 для выявления антисимметричных компонент и -п, 0 или п для симметричных компонент; у определяет вытянутость ядра фильтра по оси ординат.

Многочисленная практика применения фильтра Габора доказала, что оптимальное значение о подбирается из соотношения о/Х, выведенного через пропускную способность:

А-ол

Для задачи выделения краев фильтр Габора имеет следующие параметры: у = 0 . 1 , в 6 [0,3 5 0] , А = 3 . В итоге фильтр Габора позволяет выделять светлые линии на темном фоне (ф = -п) и темные линии на светлом фоне (ф = 0). Карта рецептивного поля нейрона на базе фильтра Габора представлена на рис. 3.

Рис. 3. Карта рецептивного поля нейрона на базе фильтра Габора

Fig. 3. Receptive field of neuron on base Gabor filter

Нейроны слоя US 1 дают близкую по значению активацию для линий в пределах ±20° отклонения от предпочтительной ориентации. Это может создать проблему для точного определения ориентации края.

2.2 Слой UB1

Нейроны этого типа нужны для учета площади занимаемого пространства частей фигуры на изображении, посредством которой получается иллюзорный контур. Смысл в том, что внутри области действия фильтра, отклик которого является релевантным, следует вычислить описанную площадь покрытия. Достаточно близкие к максимальному значения такого расчета помогают выбрать наиболее нужные нам срабатывания нейронов при условии первоначального отсечения заведомо нерелевантных срабатываний, так как угол в общем случае покрывает наибольшую площадь частей фигуры внутри области действия фильтра.

Нейроны этого типа также описывались нами в [8] и основаны на использовании гиперболического тангенса

C = ta„h(^).

На рис. 4 показано рецептивное поле такого нейрона. Для получения нейрона фона слоя UBI выходы представленных нейронов комбинируются аналогичным UC2 способом.

Рис. 4. Рецептивное поле по формуле гиперболического тангенса Fig. 4. Receptive field of neuron on base hyperbolic tangents

2.3 Слой иС2

Слой UC2 составляют сложные клетки, реагирующие на сочетания линий, углы и многоугольники. Хотя основная функция сложных клеток в зрительной коре - это реакция на движение, мы пока не моделируем данную функцию. Нейроны второго слоя получают входы от соответствующих по типу нейронов первого слоя. Эти связи являются обучаемыми. Обучение производилось с помощью обратного распространения ошибки. Для обучения и экспериментальной проверки поведения разных фильтров были сформированы пакеты черно-белых изображений.

иС2(т) = ^ игтиБ1(т),

т ЕМ

где М - пространство связей всех пар нейронов ^ 1 слоя; \\/т - значение веса в зависимости от пары нейронов.

На обучающей выборке было получено 100 % качество выделения сочетаний линий при условии минимального отклонения углов ориентации (Д0 = 10°) и размера рецептивного поля сложной клетки - 13 пикселей, таким образом, оптимальным размером ядра простой клетки на базе фильтра Габора является 7*7 пикселей.

2.4 Слой иЕ2

Концы линий в слое UE2 выделяются с помощью разработанной нами модели [9]. Предложенная нами модель основана на принципе сложной клетки слоя UC2, но принцип формирования рецептивного поля отличается. В случае UC2 связи проводились от нейронов совпадающей фазы, в случае же нейрона конца линий - от нейронов, находящихся в противофазе (рис. 5).

Се = 1) + ^(х' + Дх,у' + Ау,(р2 = (Р! + л).

Рис. 5. Схема работы нейрона конца линий Fig. 5. Scheme of end-stopped neuron

Продолжение линии в пределах рецептивного поля нейрона, находящегося в противофазе к другому нейрону, приведет к уменьшению активации. Таким образом, максимальная активация такого нейрона будет получена на конце линии (рис. 6).

Рис. 6. Результат работы модели нейрона Fig. 6. Result of the neuron model

В отличие от популярной модели Хейтгера [10], данная модель нейрона конца линий менее сложна в вычислительном плане.

2.5 Слой UL2

Помимо выделения углов и выделения концов линий, нужно каким-либо образом понимать расстояние между частями фигуры, посредством которых создается иллюзорный контур. Для этого были разработаны нейроны, призванные реагировать на длинные линии.

Цель нейронов - определить области изображения, где имеется некоторое прерывание между частями фигур, которое в дальнейшем можно будет распознать как одну из составляющих нашего иллюзорного контура.

Для получения правильного отклика нейрона UL2 происходит построение связей между слоями, которые повторяют воздействие фильтра, строящегося практически по тому же принципу, что и блок фильтра для нейрона иЕ2. Однако существует разница, которая проявляется в том, что активная область фильтра является симметричной относительно центра, т. е., во-первых, используются два фильтра Габора малого размера 7 х 7, во-вторых, они одинаковые по фазе. Такая реализация выбрана для того, чтобы, сопоставив несколько таких нейронов друг с другом, можно было получить отклики, по существу, от некоторой линии, размер которой заведомо больше вычисляемого в слое .

и I 2 (х) = I х ах и Б 1 (х) , где X - пространство связей соединений,

{ i 1, ... , iN ■ виС2^ i^ — ... — виС2( iN), (рUC2(i— ■ ■ ■ — <РUC2(iN)> h> ■ ■ ■ > -N е Y},

где Y - пространство связей внутри большого рецептивного поля, которые сопоставляются друг с другом для построения длинных линий.

Первоначально указывается размер предполагаемой длинной линии. Он будет влиять на прокладываемые связи и их количество. Технически матричный размер фильтра предполагаемой длинной линии составляет (13 * N) х 13. Однако здесь неуместно говорить о фильтре как таковом, это сделано для упрощения представления. Как уже было сказано, конфигурация нейронов UL2 состоит в том, что к каждому нейрону данного типа определенным образом проводятся правильно выбранные связи от нейронов слоя US1. Количество таких связей для каждого нейрона UL2, как опять же было сказано ранее, равняется размеру предполагаемой длинной линии, это настраиваемое значение.

2.6 Нейроны уточнения (UBC3, UBE3 и UBL3)

Нейроны этих типов комбинируют выходы предыдущего слоя, позволяют уточнять границы краев, расположение концов линий, ориентацию длинных линий, чтобы нивелировать ошибки предшествующих нейронов.

область нейрона m UC2 слоя.

UBE3(k) — X к е к ( UB 1 (-) + UE 2 (к ) ) ,гд е i о б л аст ъ н е щ> о н а к UE2 сл оя.

UBL3(x) = ^ UBl(i)+ UL2(x), где i о нейрона х слоя UL2, то есть i

хех

о {х1;... ,xN} множественных составляющих нейрона слоя UC2.

3. Выделение иллюзорного контура 3.1 Нейроны детекции ребер (UR4)

Иллюзорный контур - это замкнутый силуэт, поэтому следует искать ребра, т. е. составляющие контура. Для реализации такого поиска можно использовать нейроны длинных линий UBL3 и нейроны конца линий UBE3.

Суть такой идеи такова, что, суммируя отклик длинной линии, которая уже является достаточно релевантной и подходит под кандидата на валидную составляющую иллюзорного контура, и отклик, по той же схеме, релевантного нейрона конца линий, совокупный эффект выдаст больший отклик, чем случай несовпадения области концов линий и области длинной линии. Более того, это также работает для описанного выше случая, когда область прерывания не перекрывается полностью. Стоит отметить, что ориентации нейронов UBL3 и нейронов UBE3 должны быть одинаковыми.

£/Д4(х) = ^ UBE3(f) + UBL3(x), где 0j = Qx,i

хех

о {хх ...xw}: составляющие нейрона t/ßL3(x).

3.2 Нейроны детекции пар ребер (UP5)

Данный слой будет содержать в себе множество соединений всех релевантных ребер в размере двух для подготовки к вовлечению влияния нейронов из UBC3 слоя для максимально корректного выделения иллюзорного контура. Таким образом, мы получим слой, в котором наибольший отклик будет у нейронов, которые сопоставимы с уже выделенными ребрами на прошлом шаге с известными ориентациями.

up5 ( v) = i v е v ur4 ( v) , где V - пространство связей пар всех нейронов слоя UR4.

3.3 Нейроны распознавания контура (UI6)

Цель нейронов этого слоя - сопоставить имеющиеся в UBC3 слое угловые отклики и отклики, фактически, угловых ребер UP5 вплоть до обеих ориентаций. Это действие заключается в выборке областей оконечных блоков вне фильтров нейронов UC2 слоя, составляющих длинные линии, и соотнесении, на основе выбранной области и двух ориентаций, нейронов UBC3 слоя с соответствующими нейронами из UP5 слоя. Смысл данной операции в том, что максимальное срабатывание получается там, где расположена именно часть иллюзорного контура с явным убеждением о том, что ребра и угол проверены срабатываниями нейронов предыдущих типов. Таким образом, при выполнении порогового отсечения нерелевантных областей, а именно тех областей, где отсутствует описанный угловой эффект, если они все еще имеются, на выходе получаются области иллюзорного контура, при складывании которых составляется общий иллюзорный контур фигуры (рис. 7).

У/6(у) = ^ £/Р5(у) + [/ВСЗ (О,

У EY

где t ^ нейрона у слоя UP5, т. е.

Нл(1>.....у"'}-К'.....у®}

пар составляющих из UP4 слоя.

Рис. 7. Рецептивное поле нейрона распознавания контура Fig. 7. Receptive field of the illusory contour neuron

4. Результаты

Проверка предложенной архитектуры проводилась на разных конфигурациях фигуры Ка-нижа, например квадрат Канижа (рис. 8). На рис. 9 представлены результаты работы нейронов разных слоев при распознавании квадрата Канижа. На рис. 10 и 11 продемонстрирована работа предложенной архитектуры на примере пятиугольника.

Рис. 8. Пример фигуры Канижа Fig. 8. Example о f a Kanizsa's figure

f 1 t 4

Рис. 9. Результат работы слоев нейронной сети (верхний ряд, слева направо - края, углы, концы линий, длинные линии; нижний ряд, слева направо - ребра, иллюзорный контур)

Fig. 9. The result of the neural network layers (top row, left-to-right - edges, corners, line ends, long lines; bottom row, left-to-right - edges, illusory contour)

Рис. 10. Пятиугольник Канижа Fig. 10. Kanizsa's pentagon

Рис. 11. Результат работы слоев нейронной сети (верхний ряд, слева направо - края, углы, концы линий, длинные линии; нижний ряд, слева направо - ребра, иллюзорный контур)

Fig. 11. The result of the neural network layers (top row, left-to-right - edges, corners, line ends, long lines; bottom row, left-to-right - edges, illusory contour)

Заключение

Представленная архитектура нейронной сети на биологически-подобных моделях нейронов распознает иллюзорные контуры типа «фигура Канижа» с любым количеством углов и на разных расстояниях. Данный метод может быть применен и в разделении «фигура -фон» на изображениях.

Отличительным достоинство предлагаемого подхода является возможность его переноса на аппаратный уровень без необходимости дообучения и калибровки в процессе эксплуатации. Также добавление других моделей нейронов, например нейрона детекции движения, может позволить выделять движущиеся иллюзорные контуры, что, в свою очередь, может помочь более качественно сегментировать перекрытые изображения.

Список литературы / References

1. Heydt R.von der, Peterhans E., Baumgartner G. Illusory Contours and Cortical Neuron Responses. Science, 1984, vol. 224, no. 4654, pp. 1260-1262.

2. Finkel L., Edelman G. Integration of distributed cortical systems by reentry: a computer simulation of interactive functionally segregated visual areas. J. Neurosci., 1989, vol. 9, no. 9, pp.3188-3208.

3. Guy G., Medioni G. Inferring global perceptual contours from local features. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York, NY, IEEE Comput. Soc. Press, 1993, pp. 786-787.

4. Williams, Hanson. Perceptual completion of occluded surfaces. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition CVPR-94. Seattle, WA, IEEE Comput. Soc. Press, 1994, pp. 104-112.

5. Gove A., Grossberg S., Mingolla E. Brightness perception, illusory contours, and cortico-geniculate feedback. Vis Neurosci., 1995, vol. 12, no. 6, pp. 1027-1052.

6. Williams L. R., Jacobs D. W. Stochastic completion fields: a neural model of illusory contour shape and salience. In: Proceedings of IEEE International Conference on Computer Vision. Cambridge, MA, IEEE Comput. Soc. Press, 1995, pp. 408-415.

7. Yankelovich A., Spitzer H. Predicting Illusory Contours Without Extracting Special Image Features. Front. Comput. Neurosci., 2019, vol. 12, p. 106.

8. Kugaevskikh A., Sogreshilin A. Analyzing the Efficiency of Segment Boundary Detection Using Neural Networks. Optoelectronics Instrumentation and Data Processing, 2019, vol. 55, no. 4, pp. 414-422. DOI 10.3103/S8756699019040137

9. Kugaevskikh A. Bio-Inspired End-Stopped Neuron Model for the Curves Segmentation. In: Proceedings of 2020 International Russian Automation Conference (RusAutoCon). Sochi, IEEE, 2020, pp. 719-724. DOI 10.1109/RusAutoCon49822.2020.9208069

10. Heitger F. et al. Simulation of neural contour mechanisms: from simple to end-stopped cells: 5. Vision Research, 1992, vol. 32, no. 5, pp. 963-981.

Информация об авторах

Александр Владимирович Кугаевских, кандидат технических наук Максим Сергеевич Берьянов, магистрант

Information about the Authors

Alexander V. Kugaevskikh, Candidate of Technical Sciences Maxim S. Berenov, Master's Student

Статья поступила в редакцию 01.02.2022; одобрена после рецензирования 21.02.2022; принята к публикации 21.02.2022 The article was submitted 01.02.2022; approved after reviewing 21.02.2022; accepted for publication 21.02.2022