CC BY
122
Радиофизика
Вестник Нижегородского университета им. Н.И. Лобачевского, 2014, № 2 (1), с. 81-86
УДК 539.3
АНАЛИЗ СПЕКЛ-ИЗОБРАЖЕНИЙ ДЕФОРМИРУЕМОЙ ПОВЕРХНОСТИ НА ОСНОВЕ АЛГОРИТМОВ ОБРАБОТКИ ОПТИЧЕСКОГО ПОТОКА
© 2014 г. С.А. Минеев, А.Ю. Угольников, Л.Б. Лозовская
Нижегородский госуниверситет им. Н.И. Лобачевского sergm@nifti.unn.ru
Поступила в редакцию 17.02.2014
Рассматривается применение методов обработки оптического потока для определения неоднородных полей смещений по регистрируемым спекл-изображениям поверхности деформируемых материалов. В качестве базового алгоритма рассмотрено применение пирамидального алгоритма Лукаса-Канаде.
Ключевые слова: спекл-интерферометрия, обработка изображений, оптический поток, поле смещений.
Введение
В ряде областей прикладной физики и в различных технических приложениях актуальной является задача прецизионного измерения пространственного распределения векторов смещений структурных элементов исследуемого материала в ходе проведения эксперимента. В частности, для измерения смещений слоев жидкости в потоке и градиентов скорости турбулентных течений активно используются методы, основанные на измерении скорости смещений изображения частиц (particle image velocimetry, PIV) [1]. В исследованиях напряженно-деформированного состояния материалов и конструкций, характерных для экспериментальной (ме-зо)механики [2], актуальной является проблема восстановления полей смещений и деформаций на поверхности структурно-неоднородных материалов с пространственным разрешением, превышающим размер элемента разрешения регистрирующего устройства (субпиксельная точность). Для исследования таких сложных самоорганизующихся структур на мезоскопическом уровне оказывается недостаточно методов, разработанных в рамках микроскопического и макроскопического подходов.
Одним из важных направлений развития экспериментальных методов в данной области является автоматизация многих процессов обработки данных на ЭВМ и создание специального программного обеспечения, а также автоматизация самого процесса измерения и сбора данных на ЭВМ. С целью минимизации искажений, вносимых в результаты способом измерений, предпочтение отдается неконтактным методам диагностики, в частности использующим свойства когерентного освещения.
В настоящее время существует достаточно много оптических методов [2, 3] (муаровая, голографическая, спекл-интерферометрия), применяющихся в технологических процессах неразрушающего контроля материалов, деталей и изделий в различных областях. Данные методы позволяют решать самые разнообразные задачи, связанные как с получением геометрических параметров исследуемых объектов, например формы сложных объектов или рельефа шероховатых поверхностей, так и с изучением и оцениванием характеристик деформационных процессов, происходящих в исследуемом материале.
Целью данной работы является проверка возможности применения одного из методов обработки оптического потока - пирамидального алгоритма Лукаса-Канаде (далее - ПЛК) к обработке спекл-интерферометрических изображений и оценка вычислительной эффективности алгоритма.
Регистрация спекл-изображений поверхности
Спекл-интерферометрия является одним из оптических методов контроля и диагностики, основанным на регистрации и анализе отраженных от поверхности исследуемого образца когерентных оптических сигналов. Структурночувствительной характеристикой, контролируемой этим методом, обычно является поле смещений на поверхности образца.
Двухэкспозиционная регистрация сфокусированных изображений изучаемого объекта в диффузно рассеянном когерентном излучении, используемая в классических методах спекл-интерферометрии, приводит к пространственной
Рис. 1. Регистрация спекл-изображений поверхности образца: а) схема электронно-оптической установки; б) образец, помещенный в экспериментальную установку
модуляции получаемых изображений спекл-структурой, являющейся результатом взаимной интерференции пространственных составляющих диффузно рассеянного поля. Модулированные спекл-структурами изображения способны воспроизводить пространственный спектр объекта в его исходном и смещенном состояниях, что позволяет определять величину и характер изменений, которые претерпел объект в процессе деформирования [4].
В методе электронной спекл-интерферометрии изображения поверхности с помощью телекамеры и модуля оцифровки вводятся непосредственно в память ЭВМ с высокой степенью пространственно-энергетического разрешения. Непосредственный ввод данных в ЭВМ и их обработка на вычислительных средствах с использованием соответствующего программного обеспечения позволяют создать эффективные методы обработки спекл-интерферограмм. Существенный прогресс в развитии аппаратных средств и техники регистрации цифровых изображений (импульсные высокоэнергетические лазеры, быстродействующие ПЗС-матрицы с высоким разрешением и низким уровнем шума, системы видеозахвата и т.д.) [1], а также успехи в разработке специализированного алгоритмического программного обеспечения определяют в настоящее время высокую эффективность применения методов цифрового анализа изображений в данной области исследований.
Регистрация спекл-изображений поверхности свинцового образца в виде двойной лопатки в процессе деформирования осуществлялась с помощью электронно-оптической системы (рис. 1).
Спекл-изображения поверхности образца регистрировались методом записи серии последовательных изображений системой видеоввода.
Диаметр пятна, образованного лазерным лучом на поверхности образца, составляет 1.5-2 мм. Необходимым условием проведения эксперимента является плавность нагружения образца. Нагрузка прикладывается равными или пропорциональными этапами так, чтобы до максимальной нагрузки было не менее 8-10 этапов нагружения, считая от начальной нагрузки. Выдержка при постоянной нагрузке на каждом этапе нагружения без учета времени приложения нагрузки составляла не более 10 с. Нагружающее устройство представляет собой электромагнит, управление которым осуществляется с помощью модуля ЦАП, установленного в персональный компьютер. Экспериментально определены границы величины прикладываемой нагрузки (с учетом дополнительных статических грузов) так, чтобы деформация образца не превысила предела текучести.
Применение алгоритмов расчета оптического потока к анализу спекл-изображений
Сохранение локальных корреляций спекл-структуры при небольших смещениях участков поверхности позволяет применять в методах электронной спекл-интерферометрии для оценки полей смещений корреляционные алгоритмы и методы распознавания образов. Однако точность определения величины смещений ограничена размером элемента разрешения изображения (пикселем), а наличие масштабных искажений (деформации) рельефа поверхности и поворота приводит к значительному снижению эффективности и точности корреляционных алгоритмов.
Для достижения точности определения величины смещений (в частности, получения
изображение 1
изображение 2
Рис. 2. Пирамидальный поиск соответствия для опорных точек на изображении
субпиксельного разрешения), достаточной для последующего расчета и анализа эволюции пространственного распределения деформаций, для обработки спекл-изображений могут быть применены различные нелинейные и оптимизационные методы, в частности метод оптимизации функционала рассогласования (ОФР) [5-7]. Метод ОФР основан на использовании так называемого оптического потока, когда рассматриваются изменения яркости в узлах сетки отсчетов, то есть векторное поле скоростей движения точек яркостей последовательности изображений.
Два изображения / и /2 поверхности, зарегистрированные в исходном и деформированном состояниях, можно рассматривать как реализации отсчетов некоторого случайного процесса на п-мерной координатной сетке Пк : {/ = (Д,]г,...]п)} (к = 1, 2). Изображение /2 получено из изображения /1 путем применения некоторого функционального преобразования Т[-], при этом положение и форма сеток 0.к могут изменяться, но индексные размеры N х N х ...Ып остаются постоянными. В общем случае требуется оценить форму сетки 02 и найти преобразование П1 в 02.
Учитывая высокую степень пространственной коррелированности изображений /1 и /2 , образующий их случайный процесс в некотором приближении можно считать стационарным. Для упрощения расчетов ограничиваются случаем прямоугольных сеток с постоянным шагом, что, как правило, соответствует реальным изображениям, полученным с помощью телекамер, сканирующих устройств и т.д. При стационарности случайного процесса, образующего изображения, может быть найдена ус-
ловная совместная плотность распределения вероятностей (ПРВ) м>( fl, /2 |Т), где Т[-] - оператор преобразования координат 01 в систему координат 02. Это позволяет применить различные статистические методы оценивания пространственных деформаций, например оценки максимального правдоподобия [5]:
Т= аг§ тах ,/1> /2 \Т). (1)
При неизвестном наборе параметров преобразования Т[-] должны быть оценены координаты всех отсчетов изображения /2 в системе
01. Поэтому оператор преобразования Т[-] в общем случае содержит очень большое число параметров, а решение оптимизационной задачи (1) требует серьезных вычислительных затрат. Кроме того, многоэкстремальность оптимизируемых функционалов в (1) приводит к необходимости получения качественного начального приближения.
В качестве метода получения начального приближения (с субпиксельным разрешением оценки поля смещений), а в ряде случаев альтернативой методу ОФР могут выступать методы оценки оптического потока [8, 9], широко применяемые в системах компьютерного зрения
[10]. Особенностью данных методов является ориентация на обработку изображений в реальном времени, следовательно, их применение приводит к существенному повышению скорости обработки результатов спекл-интерферо-метрических измерений.
Как уже отмечалось выше, одним из основных требований, предъявляемых к методам расчета полей смещений по спекл-изображениям, является возможность получения субпиксель-ного разрешения. Среди методов оценки оптического потока только несколько алгоритмов
удовлетворяют данному требованию, в частности пирамидальный алгоритм Лукаса-Канаде
[11], который не только позволяет достичь суб-пиксельного разрешения, но и устойчив в условиях сильной неоднородности поля смещений.
Суть алгоритма ПЛК состоит в следующем (рис. 2). На первом изображении размером м>хЪ пикселей выделяются «опорные точки» - небольшие фрагменты изображения, удовлетворяющие некоторому критерию качества (обычно имеющие хорошие корреляционные свойства). Далее осуществляется пирамидальный поиск соответствия для опорных точек первого изображения на втором изображении на разных уровнях децимации. Уровень децимации L0 представляет собой исходное изображение, на более высоких уровнях Lx производится уменьшение размеров изображения в 2 раза за счет децимации пикселей. Обычно ограничиваются 3-5 уровнями децимации. Работа алгоритма начинается с самого высокого уровня децимации. На каждом уровне производится оценка положения опорных точек по области размером м>’хк’ на втором изображении, которая затем используется в качестве начального приближения при выполнении поиска на нижнем уровне. Процедура поиска опорных точек построена на линеаризованных алгоритмах оптимизации и допускает интерполяцию изображений для обеспечения субпиксельного разрешения.
В данной работе использовалась реализация алгоритма ПЛК из библиотеки ОрепСУ версии 2.4.6 - метод calcOpticalFlowPyrLK0. Применение метода требует настроить ряд параметров алгоритма ПЛК: размеры анализируемых изображений, вектор опорных точек (массив координат точек первого входного изображения, для которых необходимо найти соответствия на втором входном изображении), размер области поиска вокруг опорных точек, количество уровней децимации, условие выхода из итеративного процесса поиска соответствий и ряд других. На выходе получаем массив координат точек на втором изображении, соответствующих точкам на первом входном изображении, статус (удалось / не удалось установить соответствие) и оценку пространственной ошибки определения вектора смещения опорных точек.
В качестве входных данных для расчета векторов смещений использовались спекл-изобра-жения поверхности, зафиксированные в последовательные моменты времени (рис. 3а-в) при одноосном растяжении свинцового образца, размером 512x512 пикселей.
При обработке данных изображений использовались следующие параметры алгоритма: уровень децимации 5, максимальное количество итераций 30, минимальная точность 0.01, условие выхода по достижении максимального количества итераций или минимальной точности.
По приведенным данным были построены методом ПЛК поля смещений при различных значениях входных параметров алгоритма. Результаты расчетов приведены на рис. 4. Вычисления выполнялись на ПЭВМ с процессором Intel Core i7-2600 (тактовая частота 3.7 ГГц) и 8 ГБ оперативной памяти.
Поля смещений, представленные на рис. 4а, б, рассчитаны по последовательным спекл-изобра-жениям (рис. 3а, рис. 3б и рис. 3б, рис. 3в соответственно), при расчете размер области поиска составлял 64 пикселя, количество векторов опорных точек 17x17. На рис. 4в, г приведен результат расчета полей векторов смещений с более высоким пространственным разрешением. Использовались те же пары спекл-изображений, размер области поиска составлял 32 пикселя, количество векторов опорных точек 34x34. Время расчета в первом случае составило 4 мс, во втором случае - 16 мс. Значения векторов смещений характеризуются субпик-сельной точностью.
Заключение
В работе рассмотрено применение методов обработки оптического потока, в частности пирамидального алгоритма Лукаса-Канаде, для определения неоднородных полей смещений по регистрируемым спекл-изображениям поверхности деформируемых образцов. При выполнении работы расчеты выполнялись с использованием специализированного программного обеспечения из состава библиотеки компьютерного зрения OpenCV 2.4.6. Примененная в данной работе реализация алгоритма Лукаса-Канаде доступна на большинстве современных операционных систем.
В целом полученное поле смещений отражает характерное поведение деформируемого образца при одноосном растяжении и соответствует результатам обработки спекл-изобра-жений корреляционными методами. Результаты экспериментов показали высокое быстродействие алгоритма: время расчета 34x34 векторов смещений для двух спекл-изображений 512x512 не превышало 16 мс. Высокая вычислительная эффективность алгоритма позволяет применять его в системах контроля/диагностики, работающих в реальном времени.
в) г)
Рис. 4. Поля смещений, рассчитанные методом ПЛК по спекл-изображениям
Список литературы
1. Scarano F. Iterative image deformation methods in PIV // Measurement Science and Technology. 2002. № 13. P. R1-R19.
2. Панин В.Е., Егорушкин В.Е. Физическая мезо-механика и компьютерное конструирование материалов. Новосибирск: Наука, 1995. Т. 1. 320 с.
3. Кирилловский В.К., Ле Зуй Туан. Оптические измерения. Инновационные направления в оптиче-
ских измерениях и исследованиях оптических систем. СПб.: Изд-во ГУ ИТМО, 2008. Ч. 6. 131 с.
4. Клименко И.С. Голография сфокусированных изображений и спекл-интерферометрия. М.: Наука, 1985. 222 с.
5. Морозов О.А., Минеев С.А., Сотникова О.В., Гущина Ю.Ю. Построение функции деформации на поверхности образца по топографическим данным сканирующей зондовой микроскопии // Поверхность. Рентгеновские, синхротронные и нейтронные исследования. 2000. № 7. С. 96-98.
6. Семенова О.В., Морозов О.А. Метод прецизионного уточнения полей неоднородных смещений и деформаций на поверхности материалов // Физическая мезомеханика. 2003. Т. 6. № 3. С. 99-105.
7. Семенова О.В., Зашивалова И.А., Морозов О.А. Метод определения неоднородных полей смещений с заданным разрешением на поверхности деформируемых материалов для задач физической мезомеханики // Письма в ЖТФ. 2008. Т. 34. Вып. 14. С. 32-39.
8. Fleet D., Weiss Y. Optical flow estimation // Handbook of Mathematical Models in Computer Vision. Springer, 2006. Р. 239-256.
9. Ташлинский А.Г. Оценивание параметров пространственных деформаций последовательностей изображений. Ульяновск: УлГТУ, 2000. 139 с.
10. Bradski G.R., Davis J.W. Motion segmentation and pose recognition with motion history gradients // Machine Vision and Application. Springer-Verlag, 2002. Р. 174-184.
11. Bouguet J.Y. Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm. Technical report. Intel Corporation, Microprocessor Research Labs. Santa Clara, CA, USA. 2000. P. 1-9. URL: http://robots.stanford.edu/cs223b04/algo_tracking.pdf.
SPECKLE-IMAGING TECHNIQUE TO STUDY A DEFORMABLE SURFACE BY OPTICAL FLOW ALGORITHMS
S.A. Mineev, A.Yu. Ugolnikov, L.B. Lozovskaya
The article considers the application of optical flow processing techniques to determine inhomogeneous displacement fields by surface speckle images of deformable materials. The Lucas-Kanade pyramidal algorithm is chosen as a basic one.
Keywords: speckle interferometry, image processing, optical flow, displacement field.
References
1. Scarano F. Iterative image deformation methods in PIV // Measurement Science and Technology. 2002. № 13. P. R1-R19.
2. Panin V.E., Egorushkin V.E. Fizicheskaya mezo-mekhanika i komp'yuternoe konstruirovanie materialov. Novosibirsk: Nauka, 1995. T. 1. 320 s.
3. Kirillovskij V.K., Le Zuj Tuan. Opticheskie izmere-niya. Innovacionnye napravleniya v opticheskih izmere-niyah i issledovaniyah opticheskih sistem. SPb.: Izd-vo GU ITMO, 2008. CH. 6. 131 s.
4. Klimenko I.S. Golografiya sfokusirovannyh izobraz-henij i spekl-interferometriya. M.: Nauka, 1985. 222 s.
5. Morozov O.A., Mineev S.A., Sotnikova O.V., Gushchina Yu.Yu. Postroenie funkcii deformacii na poverhnosti obrazca po topograficheskim dannym skaniruyushchej zon-dovoj mikroskopii // Poverhnost'. Rentgenovskie, sinhro-tronnye i nejtronnye issledovaniya. 2000. № 7. S. 96-98.
6. Semenova O.V., Morozov O.A. Metod precizionno-go utochneniya polej neodnorodnyh smeshchenij i defor-
macij na poverhnosti materialov // Fizicheskaya mezomek-hanika. 2003. T. 6. № 3. S. 99-105.
7. Semenova O.V., Zashivalova I.A., Morozov O.A. Metod opredeleniya neodnorodnyh polej smeshchenij s zadannym razresheniem na poverhnosti deformiruemyh materialov dlya zadach fizicheskoj mezomekhaniki // Pis'ma v ZHTF. 2008. T. 34. Vyp. 14. S. 32-39.
8. Fleet D., Weiss Y. Optical flow estimation // Handbook of Mathematical Models in Computer Vision. Springer, 2006. R. 239-256.
9. Tashlinskij A.G. Ocenivanie parametrov pro-stranstvennyh deformacij posledovatel'nostej izobrazhenij. Ulyanovsk: UlGTU, 2000. 139 s.
10. Bradski G.R., Davis J.W. Motion segmentation and pose recognition with motion history gradients // Machine Vision and Application. Springer-Verlag, 2002. R. 174184.
11. Bouguet J.Y. Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm. Technical report. Intel Corporation, Microprocessor Research Labs. Santa Clara, CA, USA. 2000. P. 1-9. URL: http://robots.stanford.edu/cs223b04/algo_tracking.pdf.
