CC BY
17
Научная статья
УДК 004.932.2
DOI 10.25205/1818-7900-2021-19-3-50-60
Новая модель нейрона конца линий, применимая в свёрточных нейронных сетях
Александр Владимирович Кугаевских
Институт автоматики и электрометрии Сибирского отделения Российской академии наук Новосибирск, Россия Новосибирский государственный университет Новосибирск, Россия
a-kugaevskikh@yandex.ru, https://orcid.org/0000-0002-6676-0518
Аннотация
Представлена модель комплексного нейрона конца линий. Этот тип нейронов дает максимальный отклик на конце линии и используется для уточнения выделения краев. В работе приведен обзор различных моделей нейронов конца линий и проведено сравнение их откликов. Нами предложена более простая и, в тоже время, точная С£-модель нейрона конца линий, базирующаяся на использовании фильтров Габора, находящихся в противофазе. Предложенная модель интегрирована в сверточную нейронную сеть выделения краев, описание которой также приведено в статье. Предлагаемая модель показала высокую эффективность. Ключевые слова
нейрон конца линий, выделение краев, нейронные сети, фильтр Габора, простые клетки, комплексные клетки Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 18-37-00029 Для цитирования
Кугаевских А. В. Новая модель нейрона конца линий, применимая в свёрточных нейронных сетях // Вестник НГУ. Серия: Информационные технологии. 2021. Т. 19, № 3. С. 50-60. БСТ 10.25205/1818-7900-2021-19-350-60
New End-Stopped Complex Cell Model Applicable in Convolutional Neural Networks
Alexander V. Kugaevskikh
Institute of Automation and Electrometry of the Siberian Branch of the Russian Academy of Sciences Novosibirsk, Russian Federation
Novosibirsk State University Novosibirsk, Russian Federation
a-kugaevskikh@yandex.ru, https://orcid.org/0000-0002-6676-0518
Abstract
This article is dedicated to modeling the end-stopped neuron. This type of neuron gives the maximum response at the end of the line and is used to refine the edge. The article provides an overview of different models of end-stopped neurons. I have proposed a simpler and more accurate model of an end-stopped neuron based on the use of Gabor filters
© Кугаевских А. В., 2021
in antiphase. For this purpose, the models of simple and complex cells whose output is used in the proposed model are also described. Simple cells are based on the use of a Gabor filter, the parameters of which are also described in this article. The proposed model has shown its effectiveness. Keywords
end-stopped neuron, edge detection, neural network, Gabor filter, simple cell, complex cell Acknowledgements
This paper was financially supported by the Russian Foundation for Basic Research (grant no. 18-37-00029) For citation
Kugaevskikh A. V. New End-Stopped Complex Cell Model Applicable in Convolutional Neural Networks. Vestnik NSU. Series: Information Technologies, 2021, vol. 19, no. 3, p. 50-60. (in Russ.) DOI 10.25205/1818-7900-2021-193-50-60
Введение
При построении нейронных сетей, выполняющих функцию сегментации изображений, возникает задача точного определения границ. Для этого чаще всего используют фильтр Га-бора (в частности модели HMAX [1] и LPREEN [2] используют именно фильтр Габора). При этом возникает проблема выделения кривых. Уменьшая градус отклонения между ориента-циями выделяемых линий, мы получаем повышение ошибки выделения из-за небольшого размера ядра фильтра Габора.
В качестве корректирующего механизма могут быть применены нейроны конца линий. Для зрительной коры нейроны конца линий (end-stopped complex cell) были описаны Хьюбе-лем и Вайзелем [3]. Особенность нейронов конца линий заключается в уменьшении активации нейрона при продолжении линии в пределах рецептивного поля (рис. 1). При этом помимо длины линии такие нейроны чувствительны к изменению контраста [4]. Позже выяснилось, что нейроны конца линий также участвуют в анализе движения [5], предоставляя дополнительную информацию для определения точного направления движения.
Рис. 1. Рецептивное поле нейрона конца линий (E - возбуждающий нейрон, I - тормозящий нейрон) [6] Fig. 1. Receptive field of the neuron of the end of the lines (E - excitatory neuron, I - inhibitory neuron) [6]
Моделирование нейронов конца линий в нейронных сетях не только позволит повысить точность выделения границ, в том числе кривых, но и даст дополнительную информацию для выделения движения и распознавания иллюзорного контура. В некотором смысле нейроны конца линий выполняют ту же функцию, что и детекторы ключевых точек.
1. Выделение краев
Для выделения краев мы используем двухслойную нейронную сеть (рис. 2), предложенную нами в работе [7]. Выходы первого слоя такой сети помимо своей основной функции (выделения краев) служат также основой для работы нейронов конца линий. На первом слое выделяются линии определенной ориентации. Второй слой отвечает за выделение комбинаций линий, в том числе и углов. При этом связи между слоями организованы особым образом. Каждый нейрон второго слоя (иС2) соединен только с двумя нейронами первого слоя (У51), рис. 3. Таким образом, нейроны второго слоя позволяют выделять линии и углы.
Рис. 2. Схема слоев выделения краев Fig. 2. Scheme of edge selection layers
Рис. 3. Принцип организации связей между слоями Fig. 3. The principle of the organization of links between layers
Нейроны первого слоя реагируют на линии предпочтительной ориентации в. Их рецептивные поля формируются с помощью фильтра Габора. Фильтр Габора был выбран по двум причинам: во-первых, его функция позволяет формировать рецептивное поле простого нейрона для выделения линий определенной ориентации; во-вторых, в отличие от вейвлета «мексиканская шляпа» его постоянная компонента гораздо ближе к 0, что уменьшает паразитную активацию нейронов первого слоя. Равномерная заливка рецептивного поля такого
нейрона дает очень близкое к нулю значение. Фильтр Габора позволяет выделять светлые линии на темном фоне и темные линии на светлом фоне.
Изначально преобразование Габора предлагалось для фильтрации одномерного сигнала [8]. Даугман заметил сходство работы фильтра Габора и «простых» клеток первичной зрительной коры головного мозга [9].
Ядро фильтра Габора представляет собой произведения элемента базиса Фурье и гауссиа-на. За счет элемента базиса Фурье фильтр становится чувствителен к компонентам изображения определенной ориентации и пространственной частоты. Гауссиан необходим для пространственной локализации фильтра. В этом отношении свертка с фильтром Габора напоминает оконное преобразование Фурье, где функцией окна является гауссиан.
Формула Даугмана имеет специфический вид и не очень удобна для вычислений:
G = ехр (—л [ (х — х0 ) 2а2 + (у — у0 ) 2Ъ 2 ] ) ехр (—i 2 л (u (х — х0 ) + v (у — у0) ) ), (1)
где
(х0, у0) - позиция центра окна свертки,
(u, v) - вектор, определяющий предпочтительную пространственную частоту,
а = J-, Ъ = -1 - параметры масштаба ядра фильтра.
ах ау
Наложение фильтра на изображение осуществляется путем дискретной свертки с импульсной характеристикой или ядром фильтра с помощью сдвигающегося окна, поэтому для центра окна принимают значения .
По формуле Эйлера экспоненту из формулы (1) можно переписать в виде
ехр(—i2n(ux + vy)) = cos (2tt:(ux + vy) ) + ¿sin ( 2 л (их + vy) ) . (2)
Такая запись фильтра образует квадратурную пару, состоящую из фильтров для определения симметричных и антисимметричных компонентов. При этом в большинстве случаев достаточно применения фильтра для определения симметричных компонент:
Gsym (х, у) = ехр ( — СО s ( 2 л (их + vy) ) , (3)
Gantisym (х, у) = ехр ( — sin ( 2 л (их + vy) ) . (4)
Как правило, изображение фильтруют только по х-компоненте пространственной частоты, а остальное возлагается на поворот ядра фильтра. Таким образом, принимают v = 0. Также часто переходят от вектора (u, v) к фиксированной частоте F = Vu2 + v2 (циклов / пиксель). У многих авторов вместо пространственной частоты фигурирует длина волны Л = 1 определяющая размеры элементов изображения, на которые будет реагировать фильтр.
В литературе встречается множество вариаций формулы фильтра Габора с разными масштабирующими коэффициентами. Оптимальная формула фильтра Габора должна обладать низким значением постоянной компоненты (минимизация шума), и в то же время высокой селективной способностью (более четкое выделение краев на перепаде яркости, что дает более математически высокое значение свертки). Этим требованиям соответствует формула, предложенная Петковым [10; 11].
G 1, 2 = ехр ( — * у ) со s ( 2 л j + ф) , (5)
где
ф - фаза, определяющая симметричность и чередование тормозных и возбуждающих областей ядра (в радианах), а - масштаб фильтра, у - степень эллиптичности фильтра.
Для реагирования на компоненты определенной ориентации в фильтр Габора вводятся параметры поворота координатной сетки на угол в:
X = XCOS0 + ysinö, у = —xsinö + ycosö.
(6)
Так как фильтр имеет ярко выраженную ориентационную избирательность, градус отклонения между ориентациями (Дв) влияет на выявление деталей и, как следствие, уровень шума. Параметр ф (см. (5)), отвечающий за симметричность ядра фильтра, был введен в качестве
7Г
альтернативы квадратурной паре фильтров (см. (3) и (4)). Он может принимать значения —
71 п
или — для выявления антисимметричных компонент и —я, 0 или я для симметричных компонент; у определяет вытянутость ядра фильтра по оси ординат. Параметр введен исключительно для упрощения подбора оптимального ядра без разных значений ах и ау и может быть выражен через эти параметры у =
Многочисленная практика применения фильтра Габора доказала, что оптимальное значение а подбирается из соотношения выведенного через пропускную способность. Впервые
я
эта техника была предложена в [12].
1 /1п2 2в + 1 7Г *
2 2в-1
(7)
По данным нейронауки, пропускная способность для нейронов первичной зрительной коры определяется в диапазоне В = [0.6,2.0] [13]. Зачастую принимают В = 1. В этом случае,
I ^ 056.
Для задачи выделения краев фильтр Габора имеет следующие параметры ,
[0,3 5 0] , А = 3 . В итоге, фильтр Габора позволяет выделять светлые линии на темном фоне (ф = — я) и темные линии на светлом фоне (ф = 0 ). Карта рецептивного поля нейрона на базе фильтра Габора представлена на рис. 4.
Рис. 4. Карта рецептивного поля нейрона
на базе фильтра Габора Fig. 4. Map of the receptive field of a neuron based on the Gabor filter
Нейроны первого слоя дают близкую по значению активацию для линий в пределах ±20° отклонения от предпочтительной ориентации. Это может создать проблему для точного определения ориентации признака на следующем слое.
Второй слой составляют сложные клетки, реагирующие на сочетания линий, углы и многоугольники. Хотя основная функция сложных клеток в зрительной коре - это реакция на движение, мы пока не моделируем данную функцию. Нейроны второго слоя получают входы от соответствующих по типу нейронов первого слоя. Эти связи являются обучаемыми. Обучение производилось с помощью обратного распространения ошибки. Для обучения и экспериментальной проверки поведения разных фильтров были сформированы пакеты черно-белых изображений. На рис. 5 представлена часть из 630 изображений для обучения нейрона выделения линий и углов.
Рис. 5. Часть изображений для обучения и тестирования нейронов второго слоя
на базе фильтра Габора Fig. 5. Part of the images for training and testing neurons of the second layer based on the Gabor filter
На обучающей выборке было получено 100 % качество выделения сочетаний линий при условии минимального отклонения углов ориентации (Д в = 1 0 °) и размера рецептивного поля сложной клетки - 13 пикселей, таким образом, оптимальным размером ядра простой клетки на базе фильтра Габора является 7*7 пикселей. Такие параметры соотносятся с некоторыми нейрофизиологическими данными об устройстве нейронов первичной зрительной коры [14].
2. Обзор моделей нейронов конца линий
Нейроны конца линий моделировались разными способами. В B-V модели [15] (рис. 6) для выделения концов линий использовался комплексный вейвлет Морле:
ESl(x,y) = -хе
-(kl-2iy)
(8)
Рис. 6. Результат работы B-V модели Fig. 6. The result of B-V model
Модель Родригеза и дю Баффа [16] основана на работах Вюртза [17] и Хейтгера [18] и использует разницу энергий Габора (рис. 7). Модель нейрона конца линий Хейтгера (10) использует энергию Габора (5), вычисляемую через симметричное и антисимметричное ядро фильтра Габора (3) и (4).
Я (Х,У) = J (ХУ) + С2аш ¡5ут (Х,У) , (9)
Я5 (х,у) = / (Я (х — й,у) — Я (х + й,у) ) , (10)
где / (х) = тах (х, 0 ) - функция отсечения отрицательных значений.
Рис. 7. Результат работы модели Хейтгера Fig. 7. The result of the Heitger model
В неокогнитроне [19] для моделирования поведения нейронов конца линий использована схема с тормозным окружением в связях между 8-клетками (простые нейрона) и5 и С-клет-ками (сложные нейроны) .
«с(х,у) = * Елас (п,т) щ (х + п,у + т) ] , (11)
где - размер рецептивного поля,
* (х)=т51) (12)
Матрица весов связей а с (п, т) формируется с помощью вейвлета «сомбреро». На рис. 8 приведено сравнение графиков вейвлета «мексиканская шляпа» и фильтра Габора, используемого нами.
ac(n,m) = exp (1 (13)
1,2 V (/8
/0,6 / 0 4
/ 0 2
/ 0 \
4 3 1 / / "°'2 £_q 4_ 1 \
-0.6
—•—Gaborfilter —Д—Mexican Hat wavelet
Рис. 8. Сравнение графиков фильтров Fig. 8. Comparison of filter graphs
3. Нейрон конца линий
Мы предлагаем моделировать нейрон конца линий как сложную клетку (см. (14)), связанную с двумя близко расположенными простыми клетками, основанными на фильтре Габора, с одинаковой ориентацией 0, но находящимся в противофазе (рис. 9).
Се = Gt(x ',у ',<) + Gt(x ' + Дх,у ' + Ду,< = <i + (14)
где t - индекс типа простого нейрона (=1,2).
Продолжение линии в пределах рецептивного поля нейрона, находящегося в противофазе к другому нейрону, приведет к уменьшению активации (рис. 10). Таким образом, используются данные от простых клеток выделения линий. Размер рецептивного поля нейрона конца линий также составляет 13*13 пикселей.
Рис. 10. Активация нейрона конца линий в зависимости от длины линии Fig. 10. Activation of the neuron of the end of the lines depending on the length of the line
Благодаря использованию фильтра Габора сохраняется чувствительность модели нейрона конца линий к изменению контраста.
4. Результаты
На рис. 11 представлены результаты работы СЕ-модели нейрона конца линий, предлагаемой нами. Так как в каждом пикселе изображения ищутся концы линий всех ориентаций, то на изображении показаны ориентации и выходные значения нейронов, получивших максимум активации.
Рис. 11. Результаты работы модели нейрона Fig. 11. Results of the neuron model
Заключение
Как видно из рис. 6, B-V модель не позволяет с точностью до пикселя выделять конец линии. Реакция нейрона конца линий в неокогнитроне отличается во втором знаке после запятой, что может нивелироваться колебаниями яркости пикселей на естественном изображении. Модель Хейтгера и предложенная нами модель CE близки и показывают высокую селективную способность, но модель Хейтгера более сложна в вычислительном плане. К тому же вычисление квадратурной пары фильтров Габора, необходимое для энергии Габора, оправданно для цифровой обработки сигналов, где выравнивает влияние низких частот. При работе с изображением в пространстве CIE L*a*b* в этом нет необходимости. Еще одним достоинством нашей модели является легкая интеграция со сверточными нейронными сетями, где функция рецепторов базируется на использовании фильтра Габора.
Список литературы / References
1. Serre T., Wolf L., Bileschi S., Riesenhuber M., Poggio T. Robust Object Recognition with
Cortex-Like Mechanisms. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, vol. 29, no. 3, pp. 411-426. DOI 10.1109/TPAMI.2007.56
2. Díaz-Pernas F. J., Martínez-Zarzuela M., Antón-Rodríguez M., González-Ortega D. Learning and surface boundary feedbacks for colour natural scene perception. Applied Soft Computing, 2017, vol. 61, pp. 30-41. DOI 10.1016/j.asoc.2017.07.055
3. Hubel D. H. Eye, brain, and vision. New York, Scientific American Library: Distributed by W. H. Freeman, 1988.
4. Yazdanbakhsh A., Livingstone M. S. End stopping in V1 is sensitive to contrast. Nature Neuroscience, 2006, vol. 9, no. 5, pp. 697-702. DOI 10.1038/nn1693
5. Eskikand P. Z., Kameneva T., Ibbotson M. R., Burkitt A. N., Grayden D. B. A Possible Role for End-Stopped V1 Neurons in the Perception of Motion: A Computational Model. PLOS ONE, 2016, vol. 11, no. 10, p. e0164813. DOI 10.1371/journal.pone.0164813
6. Nicholls J. G. (ed.) From neuron to brain. 5th ed. Sunderland, Mass, Sinauer Associates, 2012.
7. Kugaevskikh A. V., Sogreshilin A. A. Analyzing the Efficiency of Segment Boundary Detection Using Neural Networks. Optoelectron. Instrument. Proc., 2019, vol. 55, no. 4, pp. 414422. DOI 10.3103/S8756699019040137
8. Gabor D. Theory of communication. Journal of the Institution of Electrical Engineers, 1946, vol. 93, no. 26, pp. 429-457.
9. Daugman J. G. Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters. J. Opt. Soc. Am. A, 1985, vol. 2, no. 7, p. 1160. DOI 10.1364/JOSAA.2.001160
10. Petkov N. Biologically motivated computationally intensive approaches to image pattern recognition. Future Generation Computer Systems, 1995, vol. 11, no. 4-5, pp. 451-465. DOI 10.1016/0167-739X(95)00015-K
11. Kruizinga P., Petkov N. Nonlinear operator for oriented texture. IEEE Transactions on Image Processing, 1999, vol. 8, no. 10, pp. 1395-1407. DOI 10.1109/83.791965
12. Bovik A. C., Clark M., Geisler W. S. Multichannel texture analysis using localized spatial filters. IEEE Trans. Pattern Anal. Machine Intell, 1990, vol. 12, no. 1, pp. 55-73. DOI 10.1109/ 34.41384
13. Pollen D. A., Ronner S. F. Visual cortical neurons as localized spatial frequency filters. IEEE Trans. Syst., Man, Cybern, 1983, vol. SMC-13, no. 5, pp. 907-916. DOI 10.1109/TSMC. 1983.6313086
14. Akbarinia A., Parraga C. A. Feedback and Surround Modulated Boundary Detection. International Journal of Computer Vision, 2018, vol. 126, no. 12, pp. 1367-1380. DOI 10.1007/ s11263-017-1035-5
15. Bhattacharjee S. K., Vandergheynst P. End-stopped wavelets for detecting low-level features. In: SPIE's International Sympo sium on Optical Science , Engineering, and Instrumentation. Denver, CO, Oct. 1999, pp. 732-741. DOI 10.1117/12.366829
16. Rodrigues J., J. Buf M. H. du. Multi-scale keypoints in V1 and beyond: Object segregation, scale selection, saliency maps and face detection. Biosystems, 2006, vol. 86, no. 1-3, pp. 7590. DOI 10.1016/j.biosystems.2006.02.019
17. Würtz R. P., Lourens T. Corner detection in color images through a multiscale combination of end-stopped cortical cells. Image and Vision Computing, 2000, vol. 18, no. 6-7, pp. 531541. DOI 10.1016/S0262-8856(99)00061-X
18. Heitger F., Rosenthaler L., Heydt R. von der, Peterhans E., Kübler O. Simulation of neural contour mechanisms: from simple to end-stopped cells. Vision Research, 1992, vol. 32, no. 5, pp. 963-981. DOI 10.1016/0042-6989(92)90039-L
19. Fukushima K. Neocognitron for handwritten digit recognition. Neurocomputing, 2003, vol. 51, pp. 161-180. DOI 10.1016/S0925-2312(02)00614-8
Информация об авторе Александр Владимирович Кугаевских, кандидат технических наук
Information about the Author Alexander V. Kugaevskikh, Candidate of Sciences (Techniques)
Статья поступила в редакцию 10.06.2021; одобрена после рецензирования 01.08.2021; принята к публикации 01.08.2021 The article was submitted 10.06.2021; approved after reviewing 01.08.2021; accepted for publication 01.08.2021
