CC BY
2ISSN 1814-1196
http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 67, No. 2, 2017, pp. 55-64
Научный вестник НГТУ том 67, № 2, 2017, с. 55-64
МОДЕЛИРОВАНИЕ ПРОЦЕССОВ И УСТРОЙСТВ
MODELLING OF PROCESSES AND DEVICES
УДК 535.22
Оптико-электронный коррелятор
с временным интегрированием
И. С. ГИБИН
630090, РФ, г. Новосибирск, пр. академика Коптюга, д. 1, Институт автоматики и электрометрии СО РАН, доктор технических наук, профессор, главный научный сотрудник. E-mail: gibin@iae.nsk.su
При обработке и распознавании изображений часто применяют корреляционный анализ. Эффективное вычисление двумерных корреляционных функций сравниваемых изображений реализуется в оптических корреляторах. Однако, несмотря на высокое быстродействие оптических методов корреляционных вычислений, известные оптические корреляторы являются «жесткими», трудно перестраиваемыми устройствами, особенно в случае перебора изображений по масштабу, ориентации и преобразованиям формы.
В работе рассматриваются методы и устройства корреляционных вычислений, отличающиеся высокой гибкостью и программируемостью и основанные на временном интегрировании анализируемых изображений. Показано, что при смещении входного изображения по закону изменения контура эталонного изображения и последующем временном накоплении результирующего изображения формируется корреляционная функция сравниваемых изображений. В случае поиска и распознавания малоразмерных изображений на фоне крупноразмерного изображения обеспечивается существенный выигрыш по быстродействию, а также обеспечивается легкая перестраиваемость распознаваемых изображений при управлении от специализированных цифровых процессоров.
В работе проводится анализ предложенных методов корреляционных вычислений, рассматриваются вопросы предварительной обработки входных изображений, а также методы преобразования эталонных изображений. Приводятся структурная схема оптико-электронного коррелятора изображений с временным интегрированием, а также результаты моделирования и экспериментальных исследований.
В результате выполненной работы показано, что предлагаемые оптико-электронные корреляторы изображений с временным интегрированием перспективны для применения в гибридных специализированных комплексах обработки и распознавания изображений.
Ключевые слова: оптико-электронные системы, корреляторы, распознавание и обработка изображений, функция корреляции
DOI: 10.17212/1814-1196-2017-2-55-64
Статья получена 03 апреля 2017 г.
ВВЕДЕНИЕ
При обработке изображений одним из наиболее трудоемких преобразований является двумерный интеграл свертки или корреляции
К(£, ц) = Ц /(х + £, у + ц) ф (х, у) ёхёу, (1)
О
где / (х, у) - исходное изображение, ф (х, у) - эталонное изображение.
Этот интеграл применяется при вычислении меры близости в задачах обнаружения и распознавания изображений (например, в робототехнике, при дешифровании аэрокосмических снимков и др.).
Если в поле зрения системы расположены различные объекты, имеющие изображения /¡у (х, у) с произвольными ориентациями и положением
/^у (х - х{, у - у у), то задача определения наличия объекта, совпадающего с эталоном, ф(х, у), сводится к вычислению корреляционной функции рабочего поля /(х, у) с эталонами:
Еф-Чх - х X (у - у( ^ ч
где у - номера эталонов, —у - ориентация эталонов
К (£ - х{, ц - у у) = Ц Е / (х, у) ф- (х ± £ , у ± £ у{) ахау . (2)
ц у
Вычисленная корреляционная функция (2) должна подвергнуться нормировке и сравнению с заранее выбранным порогом. Результатом вычислений должны служить, например, сведения о наличии заданного изображения в поле зрения системы, его координаты, масштаб и ориентация. Для этого осуществляют перебор эталонного изображения по возможным масштабам и ориентациям. При распознавании нескольких объектов применяют перебор эталонов. В результате резко возрастает объем необходимых вычислений. При использовании ЭВМ легко реализуются программные алгоритмы предобработки и геометрических трансформаций изображений (вращение, изменение масштаба). Однако в силу последовательного характера ввода и обработки изображений общее время вычислений становится недопустимо большим.
1. МЕТОД КОРРЕЛЯЦИОННЫХ ВЫЧИСЛЕНИЙ
В традиционных оптических корреляторах время корреляционной обработки невелико, однако серьезной остается проблема перебора эталонов. Для решения этой проблемы применяют сравнительно медленные оптико-механические средства [1-5].
Наиболее приемлемый путь уменьшения времени обработки и распознавания изображений и повышения гибкости оптических систем состоит в
устранении механических устройств преобразования изображений и реализации оперативного синтеза фильтров пространственных частот, импульсные реакции которых соответствуют эталонным изображениям с различным масштабом, ориентацией и другими изменяемыми (корректируемыми) параметрами [6-8].
Если эталонное изображение синтезируется на ЭВМ или в спецпроцессоре и последовательно во времени вводится в систему, то ф (х, у) можно представить в параметрической форме в виде временной развертки:
ф( х, у) =
О) ] [у С)]
(3)
или
ф( х, у) = {ф(г )5 [ (х - х(г), у — у (г )]&,
0
(4)
где 8() - дельта-функция.
На рис. 1 показано контурное изображение ф(х, у), на рис. 2, а и б - развертки изображения ф (х, у) во времени по характерным точкам перегибов контура.
Такой оптико-электронный метод имеет преимущества перед компьютерной реализацией. Так, например, в случае реализации алгоритма быстрого преобразования Фурье на ЭВМ число операций
ЛГ^-1
1 23456789
Рис. 1. Изображение эталонного объекта
бзВМ 2 1°ё2 N,
где N • N - размерность обрабатываемого входного изображения. В предлагаемом оптико-электронном корреляторе число операций Qo ~ п2, где п • п -число точек контура эталона. При обработке изображения размерностью N • N = 103-103
Qэвм = 4 •1061С82103~4 -107.
—8
Если время операции 10 , то Qэвм = 0,4 с. В случае оптико-
2 3
электронного коррелятора при п ~10 и времени отклонения изображения
—5 —2
10 с количеством операций Qo = 10 с, что на порядок больше, чем на
ЭВМ.
В большинстве практических задач распознавания основную информацию обрабатываемых изображений несет контур изображения. Существуют
Т
два основных метода обнаружения контуров изображения: метод подчеркивания перепадов яркости с последующим амплитудным ограничением и метод аппроксимации контура. В первом методе с помощью некоторого пространственного оператора (Лапласа, Робертса, Собела) подчеркиваются перепады яркости, причем если последний оказывается больше определенного амплитудного порога, то считается, что в данном месте изображения находится его контур [9-10]. Метод аппроксимации заключается в поиске подходящего идеального контура, т. е. двумерной наклонной или ступенчатой функции, определенной на некоторой области изображения. Если аппроксимация достаточно точна, то считается, что контур найден.
уА
у А
J-1—I—I—I—I—I—и
_1_L_
123456789 10
1 23 456 789 10
б
Рис. 2. Параметрическое представление объекта
Задача получения «градиентного» контурного изображения осложняется наличием шумов. Эффективным способом устранения шумов при предварительной обработке изображений является медианная фильтрация [11, 12].
Медианный фильтр представляет собой скользящее окно, причем центральный его элемент в процессе фильтрации заменяется медианой всех отсчетов изображения в окне. В отличие от усредняющего сглаживающего фильтра медианный фильтр не влияет на ступенчатые изменения интенсивности, что весьма существенно при выполнении последующих операций оконтуривания. Помимо оконтуривания часто требуется подвергать обрабатываемое изображение изоморфным преобразованиям, которые включают повороты изображения вокруг произвольной точки, переносы изображения, изменения масштаба преобразования.
Необходимость в изоморфном преобразовании изображений возникает в связи с тем, что в большинстве практических случаев условия получения изображений заранее жестко не определены, их варьируют в значительных пределах. Так, например, при аэрофотосъемке масштаб снимка [13] пропорционален.
Mx = f /H(cosда-(x-f)sinда) ,
а
My = f / H (cos да- (y - f )sin да)2,
где f - фокусное расстояние объектива фотоаппарата; H - высота съемки; да - отклонение оптической оси фотоаппарата от вертикали. Видно, что в
зависимости от колебаний высоты съемки и угла наклона аппарата полученное выражение не только линейно меняет свой масштаб, но и претерпевает нелинейную деформацию.
Известно [13], что изоморфные преобразования анализируемого изображения оказывают наибольшее влияние на процесс распознавания, в то время как оптические, связанные с общими изменениями средней яркости и контрастности изображения, могут быть учтены при формировании корреляционного функционала сравнения изображений. Сущность изоморфных преобразований заключается в том, что все точки изображения ф(x, y) смещаются по определенному закону и переходят в другие точки плоскости. В частности, совокупность преобразований
x' = р (x cos у- y sin у) + £, ,
y' = р (x cos у- y sin у) + ^ ,
где р - параметр подобия, описывающий изменение масштаба изображения; у - параметр вращения; ^ - параметры параллельного переноса.
Более сложные геометрические преобразования, такие как сжатие и растяжение изображений, можно описать [14] уравнениями аффинных преобразований
x' = px + gy + £, y = rx + sy + ^,
которые описывают параллельное проецирование изображения ф(x, y) на плоскость ox'y'. В этом случае параметры p, g, r, s являются функциями не только ру, но и углов поворота на плоскости изображения вокруг осей x, y.
Такие преобразования необходимо выполнять на предварительном этапе с помощью быстродействующих специализированных цифровых вычислителей.
Собственно обработку, выполняемую интегральными операциями, из-за необходимости обеспечения высокой производительности целесообразно ре-ализовывать оптическими средствами. Апостериорная обработка, как и предварительная, выполняется поэлементными и локальными операциями. Помимо этого, для принятия решения необходимы логические и алгебраические преобразования, поэтому для реализации данного этапа процесса распознавания предпочтительнее использовать цифровые электронные средства.
2. СТРУКТУРА ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ, РЕЗУЛЬТАТЫ МОДЕЛИРОВАНИЯ
Отсюда непосредственно вытекает структурная схема ОЭС для распознавания изображений, состоящая из трех основных блоков и ЗУ эталонов.
Устройства предварительной обработки изображений, обеспечивающие улучшение качества и выделение информативных признаков, являются, как правило, необходимыми элементами систем распознавания изображений. В зависимости от конкретно решаемой задачи такие устройства должны обеспечивать повышение контраста, нелинейное преобразование уровней яркости, преобразование гистограмм, подчеркивание границ, выделение контуров изображений. Цель предварительной обработки - приведение изображений к нормализованному виду, выделение наиболее информативных признаков, адекватных вычисляемой в системе мере близости и обеспечивающих повышение надежности распознавания.
Основным звеном таких систем могут быть оптико-электронные корреляторы с временным интегрированием, обеспечивающие интегральные вычисления в соответствии с выражением (2). Схема такого коррелятора приведена на рис. 4, где показаны изображения «самолета» (а, сверху) и его автокорреляционной функции (а, снизу); изображение многоугольника (б, сверху) и его автокорреляционной функции (б, снизу).
Входное изображение /(х, у), сформированное управляющей ЭВМ, поступает в устройство обработки, где подвергается предварительной обработке (оконтуривание, координатные преобразования и т. п).
Освещающий пучок света (например, от лазерного источника) направляется на управляемый транспарант (например, на основе жидких кристаллов) и далее в двухкоординатный дефлектор (например, акустооптический).
Дефлектор отклоняет изображение / (х, у) по закону изменения эталона ф(х, у) в соответствии с законом х(^), у(^) согласно выражению (4).
Рис. 3. Блок-схема оптико-электронного коррелятора
а б
Рис. 4. Результаты корреляционного моделирования
Рис. 5. Внешний вид оптико-электронного процессора
Результат корреляционных вычислений накапливается в матричном интегрирующем фотоприемнике. На рис. 5 показан внешний вид оптико-электронного процессора изображений, в основе которого двумерный коррелятор с временным интегрированием.
ЗАКЛЮЧЕНИЕ
Таким образом, рассмотренный метод корреляционных вычислений двумерных изображений с временным интегрированием отличается высокой гибкостью и перестраиваемостью, что особенно важно при построении реальных систем обработки и распознавании изображений. Кроме того, они имеют преимущество по быстродействию перед цифровыми вычислительными системами. Такие корреляторы перспективны для применения в специализированных оптико-электронных системах обработки и распознавания изображений [15, 16].
СПИСОК ЛИТЕРАТУРЫ
1. Белоглазов И.Н., Тарасенко В.П. Корреляционно-экстремальные системы. - М.: Советское радио, 1974. - 393 с.
2. БогатыреваВ.В., Дмитриев А.Л. Оптические методы обработки информации. - СПб.: СПБ ГУИТМО, 2009. - 74 с.
3. АкаевА.А., Майоров С.А. Оптические методы обработки информации. - М.: Высшая школа, 1988. - 240 с.
4. Василенко Г.И., Цыбулькин Л.М. Голографические распознающие устройства. - М.: Радио и связь, 1985. - 310 с.
5. ЯкушенковЮ.Г. Теория и расчет оптико-электронных приборов. - М.: Логос, 1999. -
499 с.
6. Анализ параллельно-последовательного метода корреляционных вычислений в задаче распознавания / С.М. Борзов, И.С. Гибин, И.И. Разумова, В.Н. Худик // Автометрия. - 1988. -№ 2. - С. 26-32.
7. Гибин И.С., Разумова И.И. Тарков В.А. Исследование двумерного параллельно-последовательного коррелятора изображений с интегрированием во времени // Оптическая обработка изображений / под ред. С.Б. Гуревича, Г.А. Гаврилова. - Л.: Наука, 1985. - С. 51-56.
8. Гибин И.С. Применение оптико-электронных методов в робототехнических системах // Проблемы и перспективы оптических методов обработки изображений / под ред. С.Б. Гуревича, В.К. Соколова. - Л.: Наука, 1984. - С. 2-23.
9. McIlroy C.D., LinggardR., Monteith W. Edge detection in real-time // Proceedings of SPIE. -1984. - Vol. 504. - P. 445-454.
10. Nalwa V.S. Edge detector improvement by image interpolation // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1987. - Vol. 9, iss. 3. - P. 446-451.
11. BovikA.C. Streaking in medial filtered images // IEEE Transactions on Acoustic, Speech and Signal Processing. - 1987. - Vol. 35, iss. 4. - P. 493-503.
12. VovikA.C., Huang T.S., Munson D.C. The effect of median filtering on edge estimation and detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1987. - Vol. 9, iss. 2. -P. 181-194.
13. ФедоровЕ.Ф., ПермяковВ.Д. Космическое фотографирование. - М.: Недра, 1978. -
325 с.
14. Василенко Г.И. Голографическое опознавание образов. - М.: Советское радио, 1977. -
328 с.
15. Гибин И.С. Оптико-электронные процессоры изображений // Оптико-механическая промышленность. - 1991. - № 4. - С. 68-74.
16. Алешин Б.С., Бондаренко А.В., Волков В.Г. Оптические приборы наблюдения обработки и распознавания объектов в сложных условиях. - М.: ГОСНИИАС, 1999. - 140 с.
Гибин Игорь Сергеевич, доктор технических наук, профессор, главный научный сотрудник Института автоматики и электрометрии СО РАН, действительный член Академии технологических наук РФ, лауреат Государственной премии РФ. Действительный член Всероссийского оптического общества им. Рождественского. Основное научное направление: оптико-электронные системы хранения и обработки информации, инфракрасные системы. Имеет более 150 научных публикаций. E-mail: gibin@iae.nsk.su
An optoelectronic correlator with time integration
I.S. GIBIN
Institute of automation and electrometry of the Siberian branch of Russian Academy of Science 630090, Novosibirsk 90, Coptug av., 1. D.Sc. (Eng.), professor, laureate of the State Prize of Russia, chief scientific collaborator of Institute of automation and electrometry. Е-mail: gibin@iae.nsk.su t.
A correlation analysis is often used in processing and recognizing images. An efficient calculation of two- dimensional correlation functions of the images that are compared is fulfilled in optical correlators. However, despite a high correlation calculation speed of optical methods conventional optical correlators are "stiff', difficult to retune devices, especially when sorting the images according to their scale, orientation and form transformation.
The article observes methods and devices of correlation calculations distinguished by high flexibility and programmability and based on time integration of the analyzed images. It is shown that in shifting an incoming image according to the master image outline change law and in further time accumulation of the resulting image, a two-dimensional correlation function of the compared images is formed. In the case of search and recognition of small-size images against the background of a big-size image a significant advantage in speed is achieved. Besides, an easy tunability of the images being recognized under control of special digital processors is provided.
The proposed correlation calculation methods are analyzed, some issues of initial processing of incoming images are discussed, and methods of master image transformation are considered in the article.
The article proposes a structural scheme of the optoelectronic images correlator with time integration and the results of modeling and experimental research are presented.
Based on the conducted research, it is shown that the proposed optoelectronic image correlators with time integration are promising and are intended to be used in hybrid (semi-digital) specialized complexes of processing and recognition of images.
Keywords: Optoelectronic systems, image recognition, correlation function
DOI: 10.17212/1814-1196-2017-2-55-64
REFERENCES
1. Beloglazov I.N., Tarasenko V.P. Korrelyatsionno-ekstremal'nye sistemy [Correlation extremal systems]. Moscow, Sovetskoe radio Publ., 1974. 392 p.
2. Bogatyreva V.V., Dmitriev A.L. Opticheskie metody obrabotki informatsii [Optical methods of image processing]. St. Petersburg, SPB GUITMO Publ., 74 p.
3. Akaev A.A., Maiorov S.A. Opticheskie metody obrabotki informatsii [Optical methods in-formaion processing]. Moscow, Vysshaya shkola Publ., 1988. 240 p.
4. Vasilenko G.I., Tsybul'kin L.M. Golograficheskie raspoznayushchie ustroistva [Holographic recognition devices]. Moscow, Radio i svyaz' Publ., 1985. 310 p.
*
Received 03 April 2017.
5. Yakushenkov Yu.G. Teoriya i raschet optiko-elektronnykh priborov [Theorg and calculation optico-electronic devices]. Moscow, Logos Publ., 1999. 499 p.
6. Borzov S.M. Gibin I.S. Razumova I.I., Hudik V.N. Analiz parallel'no-posledovatel'nogo metoda korrelyatsionnykh vychislenii v zadache raspoznavaniya [Analisis of parallel-consequense method in a recognition tasks]. Avtometriya - Optoelectronics, Instrumentation and Data Processing, 1988, no. 2, pp. 26-32. (In Russian).
7. Gibin I.S. Razumova I.I. Tarkov V.A. Investigation of two-dimensional parallel-consequese image correlator with time integration/ Optical image processing. Proceedigs of science papers: Curevich S.B. Gavrilov G.A. - L/- Nauka.- 1985.- 51-56 p.
8. Gibin I.S. Primenenie optiko-elektronnykh metodov v robototekhnicheskikh sistemakh [Ap-pliation of optiko-elekronic methods of imaqe proiessing in robotic sysrems]. Problemy i perspektivy opticheskikh metodov obrabotki izobrazhenii [Problems and perspectives imaqe processing methods]. Ed. by S.B. Gurevich, V.K. Sokolov. Leningrad, Nauka Publ., 1984, pp. 20-23.
9. McIlroy C.D., Linggard R., Monteith W. Edge detection in real-time. Proceedings of SPIE, 1984, vol. 504, pp. 445-454.
10. Nalwa V.S. Edge detector improvement by image interpolation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, vol. 9, iss. 3, pp. 446-451.
11. Bovik A.C. Streaking in medial filtered images. IEEE Transactions on Acoustic, Speech and Signal Processing, 1987, vol. 35, iss 4, pp. 493-503.
12. Vovik A.C., Huang T.S., Munson D.C. The effect of median filtering on edge estimation and detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, vol. 9, iss. 2, pp. 181-194.
13. Fedorov E.F., Permyakov V.D. Kosmicheskoe fotografirovanie [Space photography]. Moscow, Nedra Publ., 1978. 325 p.
14. Vasilenko G.I. Golograficheskoe opoznavanie obrazov [Holographic pattern recognition]. Moscow, Sovetskoe radio Publ., 1977. 328 p.
15. Gibin I.S. Optiko-elektronnye protsessory izobrazhenii [Opto-electronic image processors]. Optiko-mekhanicheskaya promyshlennost'- Soviet journal of optical technology, 1991, no. 4, pp. 68-74. (In Russian).
16. Aleshin B.S., Bondarenko A.V., Volkov V.G. Opticheskiepribory nablyudeniya obrabotki i raspoznavaniya ob"ektov v slozhnykh usloviyakh [Optics devices for objects recognition in complicated conditions]. Moscow, GOSNIIAS Publ., 1999. 140 p.
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 67, No 2, 2017, pp. 55-64
