CC BY
108
РАЗВИТИЕ АЛГОРИТМОВ ВЫЧИСЛЕНИЯ ОПТИЧЕСКОГО ПОТОКА В ЗАДАЧЕ ОЦЕНКИ ДЕФОРМАЦИИ ТВЁРДЫХ ТЕЛ
Любутин П.С.
Институт физики прочности и материаловедения СО РАН, Томский политехнический университет (национальный исследовательский университет)
Аннотация
В работе рассматривается развитие алгоритмов вычисления оптического потока в задаче измерения деформации, направленное на снижение вычислительных затрат алгоритмов и повышения их помехоустойчивости. Предложены модификации алгоритмов, основанные на инкрементном подходе к оценке перемещения участков на серии изображений, а также использовании подхода трёхмерного рекурсивного поиска (3DRS). Проведено исследование помехоустойчивости и быстродействия алгоритмов, и показано преимущество предложенных модификаций.
Ключевые слова: поле векторов перемещений, инкрементный подход, обработка изображений.
Введение
На сегодняшний день в литературе получил широкое распространение термин «оптический поток» ("optical flow"): кажущееся движение яркостной картины, наблюдаемое при движении объектов перед камерой, или движение камеры в неподвижной окружающей обстановке. Исходя из предположения, что в обычном случае оптический поток несущественно отличается от поля движения, можно оценивать перемещения в серии изображений, изменяющихся во времени. Достаточно полный обзор различных методов определения оптического потока и их количественное сравнение приведено в работе [1], где выделяют корреляционный [2], дифференциальный [3 - 5], фазовый (частотный) [6] и другие подходы.
Алгоритмы определения оптического потока широко используются в различных научных направлениях и практических задачах. В частности, для оценки полей скоростей течения потоков жидкости или газа с использованием метода цифровой трассерной визуализации (PIV - Particle Image Velocimetry) [7], сжатия видеоданных [8], в роботизированных системах управления транспортными средствами [9].
Метод корреляции цифровых изображений (DIC) является одним из перспективных подходов для изучения процессов деформации и разрушения структурно-неоднородных материалов. В основе принципа его действия лежит построение векторов перемещений, основанное на определении оптического потока, с последующим расчётом компонент деформации, реализуемое с использованием процедуры численного дифференцирования.
При исследовании деформационного поведения образцов конструкционных материалов методом вычисления оптического потока [10] одним из основных факторов, лимитирующих получение оценки деформации, является приращение внешней нагрузки, обусловливающее изменение рельефа на поверхности. В случае, когда изменение оптического образа рельефа между двумя изображениями достаточно велико, сопоставить участки изображений не представляется возможным. В связи с этим применение традиционных
алгоритмов определения перемещений становится нереализуемым, так как нет возможности корректно построить поле векторов перемещений либо отдельные векторы на нём. Известны работы в этом направлении [11, 12], авторы которых решают схожие проблемы. Так, в работе [11] для нахождения оптического потока предложены два подхода - reference-frame approach (RFA) и incremental difference approach (IDA).
Не менее важной является проблема быстродействия алгоритмов. Широкое распространение в литературе по обработке изображений и техническому зрению получили многомасштабные подходы, использующие разложение изображения в пирамиду Гаусса и позволяющие заметно сократить время вычислений. Также известны подходы, основанные на применении аппарата параллельных вычислений и использовании многопроцессорных вычислительных систем [13 - 15]. В то же время известно сравнительно мало работ, посвящённых непосредственно алгоритмической оптимизации вычислений при определении оптического потока. В частности, следует отметить работу [16], в которой получил развитие метод трёхмерного рекурсивного поиска (3D recursive search - 3DRS) блочной оценки перемещений, учитывающий пространственную и временную связь соседних векторов перемещений.
В настоящей работе решаются задачи повышения помехоустойчивости алгоритма определения перемещений на изображениях, характеризующихся заметным изменением рельефа, а также исследования возможности применения алгоритма 3DRS при построении векторов перемещений в задаче оценки деформации материалов. Проведение сопоставительных исследований помехоустойчивости функционирования данных алгоритмов проводилось на сериях модельных и экспериментально полученных оптических изображений.
1. Описание алгоритмов
Базовым алгоритмом, на котором основаны предложенные в работе модификации, является комбинированный алгоритм. В алгоритме применены классический корреляционный подход для определения перемещений с пиксельной точностью [17] и алгоритм
Lucas-Kanade [4, 5] для уточнения перемещения до долей пиксела. Такое сочетание обусловлено, прежде всего, хорошей помехоустойчивостью корреляции-онного алгоритма при нахождении больших перемещений и точностью дифференциального алгоритма Lucas-Kanade при нахождении перемещений с субпиксельной точностью. Определение перемещения корреляционным алгоритмом основано на установлении экстремума взаимно-корреляционной функции участков двух изображений. В качестве экстремума принимается максимум либо минимум в зависимости от используемой меры близости участков изображений. К первому случаю относится использование коэффициента корреляции:
ZNCC =
X (F - F)(G - G)
i<=B_
JX (F - F)2X (G - G)2
V isB ieB
(1)
где Fj, Gj - яркости двух изображений в точке i участка изображения B, F, G - среднеарифметическая яркость участков. Ко второму случаю относится сумма абсолютных разностей
SAD = X|F - Gj . (2)
ieB
Алгоритм Lucas-Kanade относится к дифференциальным алгоритмам вычисления оптического потока. Алгоритм вычисляет движение между двумя изображениями, взятыми в момент времени t и t + 5t, в каждом пикселе. Дифференциальные алгоритмы основаны на приближении сигнала рядом Тейлора. Таким образом, они используют частные производные по времени и пространственным координатам:
I (х, y, t) и I (х + 5х, y + 5y, t + 5t) и
т. ,, dl 5 dl 5 dl (3)
и I (х, y, t)+ — 5х +—5y + — 5t.
dx dy dt
Алгоритм Lucas-Kanade основан на предположении, что в локальной окрестности каждого пикселя значение оптического потока одинаково, таким образом можно записать основное уравнение оптического потока для всех пикселей окрестности и решить полученную систему уравнений методом наименьших квадратов:
X i2J XV.
ieB ieB
X i i . X I\
/ У х,. y,i / У y,i
-X i i
¿а х,. t,i
ieB
-X Iyjt,i
(4)
_ ieB ieB
где !х, 1У, I - частные производные яркости изображения по координатам х, у и времени V, Vx, Vy - искомое смещение.
В процессе приложения нагрузок к объекту измерения на его поверхности образуется рельеф, кроме того, объект может сильно деформироваться, удлиняться, сжиматься. В результате этого изображения поверхности объекта в текущий момент времени имеют значительные отличия от изображения его начального состояния. При этом соседние по времени изображения в серии могут иметь незначительные
изменения. Для устранения ошибок определения перемещений, связанных с формированием деформационного рельефа и других процессов на поверхности материала, предложено оценивать перемещение участков соседних изображений в серии с учётом таковых, найденных для предыдущих пар изображений. Это обеспечило возможность слежения за перемещением одного и того же участка поверхности не только в пространстве, но и во времени, что позволило улучшить помехоустойчивость определения перемещений. Был предложен инкрементный подход к определению перемещений. Положение искомого участка на предыдущем изображении (относительно текущего в серии) определяется с субпиксельной точностью, поэтому необходимо найти значения яркости пикселов этого участка, что осуществляется с использованием интерполирования B-сплайном.
Классический корреляционный алгоритм обеспечивает вычисление каждого коэффициента взаимно-корреляционной функции, что приводит к большим вычислительным затратам. Поэтому дальнейшая модификация алгоритма была направлена на снижение вычислительных затрат, для чего было предложено использовать метод трёхмерного рекурсивного поиска (3DRS) [16]. Подход 3DRS получил широкое распространение при обработке видеопотоков данных, и с его помощью становится возможным значительно снизить время построения поля векторов перемещений [16]. Построение каждого вектора перемещений производится на основании выбора из набора векторов-кандидатов с использованием процедуры поиска минимума меры подобия, в качестве которой используется сумма абсолютных разностей (SAD) фрагментов изображений - текущего и предыдущего. Метод имеет вероятностный характер - векторы-кандидаты указывают предположительное направление перемещения участков изображения. Набор векторов-кандидатов содержит как временную (вектор перемещения данного участка на предыдущем изображении), так и пространственные составляющие (соседние вектора), а также векторы обновления, формирующиеся из пространственных векторов перемещений (рис. 1) [16].
S2
S1 С
Т
Рис. 1. Расположение векторов-кандидатов: C - вектор перемещения текущего участка изображения, S1, S2 - пространственные вектора-кандидаты, T - временной вектор-кандидат
Векторы обновления задаются как сумма случайных векторов в небольшом диапазоне (например -2.. 2 по х и y) с векторами перемещений, определённых для предыдущих соседних участков S1 и S2. Для каждого из векторов-кандидатов вычисляется мера подобия SAD. Минимальное значение SAD будет определять
-1
У
вектор перемещения. Таким образом, количество вычислений меры SAD значительно сокращается.
Вычисление поля векторов перемещений осуществляется построчно слева направо с верхнего левого участка изображения. При достижении правого нижнего участка изображения направление обработки изображения изменяется на обратное (справа налево и снизу вверх). Так осуществляется несколько проходов (обычно задаётся 5-10 проходов). В каждом последующем проходе смещение каждого участка уточняется с учётом смещений, вычисленных на предыдущем проходе.
С учётом возможностей, обеспечиваемых описанными подходами, в настоящей работе оценивались вычислительные затраты и помехоустойчивость определения полей векторов перемещений для следующих алгоритмов: инкрементный алгоритм (I); 3DRS с мерой подобия SAD (3DRS); инкрементный алгоритм с 3DRS (I3DRS).
2. Методика тестирования алгоритмов Оценку вычислительных затрат, а также помехоустойчивости построения векторов перемещений исследованных алгоритмов проводили на модельных и экспериментально полученных изображениях. Для оценки ошибки построения векторов перемещений на модельных изображениях использовали соответствующие модельные поля векторов перемещений.
В ходе проведения экспериментов, помимо непосредственно формоизменения поверхности объекта измерения (сжатия, растяжения и т.п.) может также меняться отражательная способность её участков вследствие формирования деформационного рельефа и других процессов. Очень часто образцы материала, а также реальные объекты вследствие конструкционных особенностей имеют концентраторы напряжений (надпилы, отверстия). При наличии таких концентраторов напряжений в хрупких материалах в поле наблюдения могут формироваться трещины, которые, в свою очередь, приводят к разрывам в поле перемещений.
Перечисленные выше процессы ухудшают условия, в которых работает алгоритм вычисления оптического потока, и являются помехами для определения перемещений. Исходя из этого, были сформированы серии модельных изображений для количественной оценки помехоустойчивости алгоритмов.
Серии модельных изображений Формирование исходного изображения поверхности. Модельное изображение получали из заданного количества слоёв псевдослучайных отсчётов яркости; при этом каждый слой соответствует определённой пространственной частоте. Подобно описанию, приведённому в [18], имея начальный слой размером 4*4 пиксела, после проведения 8 итераций было получено модельное изображение 1024*1024 пикселов (рис. 2а).
Двухосное растяжение. С целью моделирования изменений, происходящих при нагружении поверх-
ности по схеме двухосного растяжения, задавали перемещение каждой точки модельной поверхности (рис. 2б). При этом яркость каждого пиксела изображения пересчитывается для заданного приращения деформации с помощью В-сплайн интерполирования.
Двухосное растяжение и изменение рельефа поверхности (серия 1). Для одновременного учёта изменений, связанных с двухосным растяжением и изменением рельефа, была создана серия, каждое изображение в которой формируется из пары исходных. Расчёт значений пикселов изображений серии производится по следующей формуле
P = (1 - k) • P + k • P2
(5)
где P\, P2 - значения пикселов исходных изображений; k - весовой коэффициент, изменяющийся от 0 до 0,5, с шагом, равным обратному значению количества изображений в серии. В результате формируется серия, состоящая из 25 изображений и отражающая деформацию по схеме двухосного растяжения с конечным приращением 5 = 80 пикселов.
Рис. 2. Модельные изображения и поля векторов перемещений
Изображения из 4 фрагментов с разрывами поля перемещений (серия 2). Важным тестом помехоустойчивости построения полей векторов перемещений является анализ изображений, отражающих разрывы перемещений. С этой целью было промоделировано двухосное растяжение изображений, состоящих из 4 фрагментов. Каждое изображение серии формировалось из четырёх фрагментов, которые компоновались (рис. 2в) таким образом, чтобы обеспечить максимальное количество вариантов комбинаций направлений векторов перемещений на границах фрагментов (рис. 2г).
Серия экспериментальных изображений
Серия экспериментальных оптических изображений была получена при растяжении образцов из по-
рошка меди, спечённого в вакууме электронным лучом (рис. 5а). Спецификой анализируемых изображений было существенное изменение рельефа на поверхности при деформировании, что накладывало особые требования к алгоритмам построения векторов перемещений. Регистрацию изображений проводили по методике, описанной ранее в [19].
Оценка быстродействия и помехоустойчивости алгоритмов
Быстродействие алгоритмов оценивали по удельному времени расчёта t одного вектора перемещения, т. е. отношения полного времени построения поля векторов перемещений к количеству векторов в нём. Для проведения расчётов использовали ПЭВМ со следующими характеристиками: процессор Intel(R) Core(TM) i3 CPU M 350, объём оперативной памяти 2 Гб, операционная система Windows 7. Для исследования быстродействия и помехоустойчивости алгоритмов были использованы описанные ранее серии изображений.
Для количественного сравнения помехоустойчивости определения перемещений с применением тестируемых алгоритмов использовали коэффициент корреляции полей расстояний векторных полей Kr.
K, =
Y (D1 - D1)(D2 - D2)
Л (D1 - D1)2 X (D2 - D2)2
(6)
где D1, D2 - поля расстояний соответствующих векторных полей, которые необходимы для перехода от двухкомпонентных данных векторного поля к одно-
компонентным; D1, Б2 - среднеарифметические значения соответствующих полей расстояний. Каждый элемент поля расстояний определяли следующим образом [20]:
V И
°а = ХХ (| ха - хи\+\Уц - Ун |Х' = ^ ] =1И, (7)
к=1 1=1
где х, у - соответствующие компоненты вектора, V И - ширина и высота поля векторов перемещений.
3. Результаты тестирования
Тестирование на модельных изображениях
Анализ величин времени расчёта одного вектора перемещения показал сохранение примерно на постоянном уровне значения t для всех алгоритмов вне зависимости от величины варьируемых параметров для всех исследуемых модельных серий изображений.
Для всех исследованных серий изображений наименьшее t зафиксировано для 3DRS и I3DRS алгоритмов, которое в ~10 раз меньше, чем для инкре-ментного I алгоритма (рис. 3а). Зависимость времени расчёта всего поля векторов перемещений от количества векторов в поле приведённая на рис. 3б, имеет линейный характер. Отношение времени работы инкрементного I и 3DRS (I3DRS) алгоритмов сохраняется независимо от количества векторов в поле.
t, мс
21-
а) 0
t, с 400300200 100
б) о
3DRSQ3DRS)
Nv
20000 40000
Рис. 3. Зависимость времени расчёта одного вектора (а) и времени расчёта полного векторного поля от количества векторов в поле (б) для инкрементного I, 3DRS, 13ВЕЯ алгоритмов
Для количественного сравнения помехоустойчивости определения перемещений исследованными алгоритмами использовали поля векторов перемещений, построенные при обработке модельных серий изображений. Для этого рассчитывали значения Кг (6) подобно тому, как описано в предыдущем разделе (рис. 4).
кг /(ШЭД?)
а) 0 Кг 0,80,60,40,2-
0,1 0,2 0,3 0,4 0,5 k
I3DRS
8, пике
б) 0 15 30 45 60 75
Рис. 4. Зависимость коэффициента корреляции векторных полей от весового коэффициента (серия 1) (а), приращения двухосной деформации фрагментированного изображения (серия 2) (б) для инкрементного I, 3DRS, I3DRS алгоритмов
График изменения Кг от «весового коэффициента» к (5) для серии 1 приведён на рис. 4а. Видно, что алгоритм 3DRS, не основанный на инкрементном подходе, не позволяет достоверно построить всё поле векторов перемещений: для 3DRS величина Кг начинает снижаться при к > 0,1, что связано с невозможностью установить соответствие участков изображений. В то же время инкрементные алгоритмы (I, I3DRS) показывают значение Кг, близкое к единице.
Снижение Кг характерно для всех алгоритмов при тестировании на серии 2 (рис. 4б). Низкие значения Кг в начале серии для инкрементного алгоритма связаны с наличием ошибочно построенных векторов
перемещений, которые по абсолютной величине много больше среднего значения длины корректно определённых векторов по всему полю векторов перемещений; к середине серии количество ошибочных и корректных векторов перемещений становится примерно равным. Общее снижение Кг для всех алгоритмов связано с ростом величины смещений вдоль границ фрагментов (разрывов поля перемещений). Таким образом, наилучшую помехоустойчивость показал алгоритм I3DRS.
Тестирование на экспериментальных изображениях
Результат исследований алгоритмов на экспериментальной серии изображений (рис. 5а, б) показал, что для алгоритмов 3DRS и I3DRS время расчёта t также имеет меньшее значение, чем для инкремент-ного алгоритма. Для сравнения помехоустойчивости алгоритмов (рис. 5в) в качестве «истинных» полей векторов перемещений были взяты результаты, полученные с применением I3DRS алгоритма (на основании результатов тестирования алгоритмов на модельных изображениях).
V + i ф ф i
■V -If ф ф ф Ф
■V ф Ф ф ф ф ф
ф Ф ф ф ф ф ф
ф ф ф ф ф ф ф
ф ф ф ф ф ф ф
ф ф ф ф ф ф ф
ф ф ф ф ф ф ф
ф ф ф ф ф ф ф
ф ф ф ф ф ф ф
3DRS
Ы, кадр
О 5 10 15 20 25
Рис. 5. Оптическое изображение образца (а) и поле векторов перемещений (б), полученное из экспериментальных изображений; зависимость Кг от номера изображения (степени деформации) для инкрементного I и 3DRS алгоритмов по результатам обработки серии экспериментальных изображений (в)
Видно, что инкрементный алгоритм значительно уступает алгоритму 3DRS, а рост значения Кг аналогичен таковому для данного алгоритма для модельной серии 2 (рис. 5в). График для алгоритма 3DRS также имеет характер изменения, схожий с изменениями для
данного алгоритма для модельной серии 2 (рис. 5е): наблюдается постепенное снижение величины Kr с ростом варьируемого параметра. Таким образом, результаты тестирования алгоритмов на экспериментальных и модельных изображениях согласуются.
Выводы
В работе предложен алгоритм построения полей векторов перемещений, основанный на инкремент-ном подходе к оценке перемещения участков на серии изображений. Также в работе предложена модификация инкрементного алгоритма, основанная на 3DRS подходе. Проведены сравнительные исследования на модельных и экспериментальных данных, которые показали, что разработанный алгоритм эффективен при оценке перемещений на поверхности материала в условиях значительных приращений деформации. В отличие от классического корреляционного алгоритма, в котором оценка перемещений производится без учёта изменений на поверхности материала, предложенный алгоритм обладает достаточной помехоустойчивостью для оценки перемещений во всём диапазоне приращения деформации.
Показана эффективность применения подхода 3DRS с позиции уменьшения вычислительных затрат. В этом случае время, затрачиваемое алгоритмом I3DRS на построение поля векторов перемещений, в 10 раз меньше по сравнению со временем работы ин-крементного алгоритма I.
Таким образом, из исследуемых комбинаций наилучшей по вычислительным затратам и помехоустойчивости для нахождения полей перемещений в оптическом методе оценки деформации является сочетание инкрементного и 3DRS подходов. Последний позволяет существенно уменьшать вычислительные затраты, одновременно увеличивать помехоустойчивость построения векторов перемещений по сравнению с применением отдельно инкрементного и 3DRS алгоритмов.
Благодарности Работа выполнена при частичной поддержке программы фундаментальных научных исследований государственных академий наук на 2013-2020 годы, гранта РФФИ №13-07-00009, а также гранта № СП-816.2012.5.
Литература
1. Barron, J.L. Performance of optical flow techniques / J.L. Barron, D.J. Fleet, S.S. Beauchemin // International Journal of Computer Vision. - 1994. - Vol. 12. - P. 43-77.
2. Sutton, M.A. Image correlation for shape, motion and deformation measurements: basic concepts, theory and applications / M.A. Sutton, J.-J. Orteu, H. Schreier. - Springer, 2009. - 321 p.
3. Horn, B.K.P. Determining optical flow / B.K.P. Horn, B.G. Schunck // Artificial Intelligence. - 1981. - Vol. 17. -P. 185-203.
4. Lucas, B.D. An iterative image registration technique with an application to stereo vision / B.D. Lucas, T. Kanade // Proceedings of the 7th international joint conference on Artificial intelligence. - 1981. - Vol. 2. - P. 674-679.
5. Lucas, B.D. Generalized Image Matching by the Method of Differences / B.D. Lucas. - Doctoral dissertation, tech. report. - Robotics Institute, Carnegie Mellon University, July, 1984. - 167 p.
6. Fleet, D.J. Phase-based disparity measurement / D.J. Fleet, A.D. Jepson, M.R.M. Jenkin // CVGIP: Image Understanding. - 1991. - Vol. 53. - P. 198-210.
7. Raffel, M. Particle Image Velocimetry: A Practical Guide / M. Raffel, C.E. Willert, S.T. Wereley, J. Kompenhans. - 2nd ed. - Springer, Berlin, 2007. - Vol. XX. - 448 p.
8. Беляев, Е.А. Алгоритмы оценки движения в задачах сжатия видеоинформации на низких битовых скоростях / Е.А. Беляев, А.М. Тюрликов // Компьютерная оптика. -2008. - Т. 32, № 4. - С. 403-412.
9. Giachetti, A. The use of optical flow for road navigation / A. Giachetti, M. Campani, V. Torre // IEEE Transactions on Robotics and Automation. - 1998. - Vol. 14, Is. 1. - P. 34-48.
10. Сырямкин, В.И. Оптико-телевизионный метод исследования поведения и диагностики состояния нагруженных материалов и элементов конструкций / В.И. Сырямкин, С.В. Панин // Вычислительные технологии. - 2003. - Т. 8, специальный выпуск. - С. 10-25.
11. Wang, C.-M. Estimating Optical Flow by Integrating MultiFrame Information / C.-M. Wang, K.-C. Fan, C.-T. Wang // Journal of Information Science and Engineering. - 2008. -Vol. 24, Issue 6. - P. 1719-1731.
12. Irani, M. Multi-Frame Optical Flow Estimation Using Subspace Constraints / M. Irani // Seventh International Conference on Computer Vision (ICCV'99). - 1999. - Vol. 1. -P. 626-633.
13. Tao, M. Simple Flow: A Non-iterative, Sublinear Optical Flow Algorithm / M. Tao, J. Bai, P. Kohli, S. Paris // Computer Graphics Forum. -2012, May. - Vol. 31, Issue 2/1. -P. 345-353.
14. Marzat, J. Real-time dense and accurate parallel optical flow using CUDA / J. Marzat, Y. Dumortier, A. Ducrot // Proceedings of the 7th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG). -2009, 2-5 Feb. - P. 105-111.
15. Durkovic, M. Performance of Optical Flow Techniques on Graphics Hardware / M. Durkovic, M. Zwick, F. Obermeier, K. Diepold // IEEE International Conference on Multimedia and Expo. - 2006. - P. 241-244.
16. Braspenning, R.A. True-motion estimation using feature correspondence / R.A. Braspenning, G. de Haan // SPIE, Proceedings of Visual Communications and Image Processing. -2004, Jan. - Vol. 5308. - P. 396-407.
17. Любутин, П.С. Исследование точности и помехоустойчивости построения векторов перемещений при оценке деформаций оптико-телевизионным методом / П.С. Лю-бутин, С.В. Панин // Вычислительные технологии. -2006. - Т. 11, № 2. - С. 52-66.
18. Панин, С.В. Применение фрактальной размерности для оценки изображений поверхности, получаемых различными датчиками / С.В. Панин, Ю.А. Алтухов, П.С. Любутин, А.В. Бяков, С.А. Хижняк // Автометрия. - 2013. -Т. 49, № 1. - С. 42-49.
19. Панин, С.В. Исследование деформации и разрушения по данным акустической эмиссии, корреляции цифровых изображений и тензометрии / С.В. Панин, А.В. Бяков, П.С. Любутин, О.В. Башков, В.В. Гренке, И.В. Шаки-ров, С.А. Хижняк // Заводская лаборатория. Диагностика материалов. - 2011. - Т. 77, № 9. - С. 50-59.
20. Воскобойников, Ю.Е. Нелинейные алгоритмы фильтрации векторных сигналов / Ю.Е. Воскобойников, В.Г. Бе-лявцев // Автометрия. - 1999. - Т. 35, № 5. - С. 48-57.
References
1. Barron, J.L. Performance of optical flow techniques / J.L. Barron, D.J. Fleet, S.S. Beauchemin // International Journal of Computer Vision. - 1994. - Vol. 12. - P. 43-77.
2. Sutton, M.A. Image correlation for shape, motion and deformation measurements: basic concepts, theory and applications / M.A. Sutton, J.-J. Orteu, H. Schreier. - Springer, 2009. - 321 p.
3. Horn, B.K.P. Determining optical flow / B.K.P. Horn, B.G. Schunck // Artificial Intelligence. - 1981. - Vol. 17. -P. 185-203.
4. Lucas, B.D. An iterative image registration technique with an application to stereo vision / B.D. Lucas, T. Kanade // Proceedings of the 7th international joint conference on Artificial intelligence. - 1981. - Vol. 2. - P. 674-679.
5. Lucas, B.D. Generalized Image Matching by the Method of Differences / B.D. Lucas. - Doctoral dissertation, tech. report. - Robotics Institute, Carnegie Mellon University, July, 1984. - 167 p.
6. Fleet, D.J. Phase-based disparity measurement / D.J. Fleet, A.D. Jepson, M.R.M. Jenkin // CVGIP: Image Understanding. - 1991. - Vol. 53. - P. 198-210.
7. Raffel, M. Particle Image Velocimetry: A Practical Guide / M. Raffel, C.E. Willert, S.T. Wereley, J. Kompenhans. - 2nd ed. - Springer, Berlin, 2007. - Vol. XX. - 448 p.
8. Belyaev, E.A Motion estimation algorithms for low bit-rate video compression / E.A. Belyaev, A.M. Turlikov // Computer Optics. - 2008. - Vol. 32(4). - P. 403-412. - (In Russian).
9. Giachetti, A. The use of optical flow for road navigation / A. Giachetti, M. Campani, V. Torre // IEEE Transactions on Robotics and Automation. - 1998. - Vol. 14, Is. 1. - P. 34-48.
10. Syryamkin, V.I. Television-optical technique for materials investigation and diagnostics of state of loaded materials and structure parts / V.I. Syryamkin, S.V. Panin // Computational Technologies. - 2003. - Vol. 8, Special issue. - P. 10-25. -(In Russian).
11. Wang, C.-M. Estimating Optical Flow by Integrating MultiFrame Information / C.-M. Wang, K.-C. Fan, C.-T. Wang // Journal of Information Science and Engineering. - 2008. -Vol. 24, Issue 6. - P. 1719-1731.
12. Irani, M. Multi-Frame Optical Flow Estimation Using Subspace Constraints / M. Irani // Seventh International Conference on Computer Vision (ICCV'99). - 1999. - Vol. 1. -P. 626-633.
13. Tao, M. Simple Flow: A Non-iterative, Sublinear Optical Flow Algorithm / M. Tao, J. Bai, P. Kohli, S. Paris // Computer Graphics Forum. -2012, May. - Vol. 31, Issue 2/1. -P. 345-353.
14. Marzat, J. Real-time dense and accurate parallel optical flow using CUDA / J. Marzat, Y. Dumortier, A. Ducrot // Proceedings of the 7th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG). - 2009, 2-5 Feb. - P. 105-111.
15. Durkovic, M. Performance of Optical Flow Techniques on Graphics Hardware / M. Durkovic, M. Zwick, F. Obermeier, K. Diepold // IEEE International Conference on Multimedia and Expo. - 2006. - P. 241-244.
16. Braspenning, R.A. True-motion estimation using feature correspondence / R.A. Braspenning, G. de Haan // SPIE, Proceedings of Visual Communications and Image Processing. - 2004, Jan. - Vol. 5308. - P. 396-407.
17. Lyubutin P.S. Investigation of accuracy and error rate performance of the displacement vector construction in evaluation of strains using TV-optical technique / P.S. Lyubutin, S.V. Panin // Computational Technologies. - 2006. - Vol. 11, Issue 2. - P. 52-66. - (In Russian).
18. Panin, S.V. Application of the fractal dimension for estimating surface images obtained by various detectors / S.V. Panin, Yu.A. Altukhov, P.S. Lyubutin, A.V. Byakov, S.A. Khizh-nyak // Optoelectronics, Instrumentation and Data Processing. - 2013. - Vol. 49, Issue 1. - P. 34-40.
19. Panin, S.V. Study of Deformation and Fracture Using Data of Acoustic Emission, Correlation of Digital Images and
Strain-Gauging / S.V. Panin, A.V. Byakov, P.S. Lyubutin, O.V. Bashkov, V.V. Grenke, I.V. Shakirov, S.A. Khizhnyak // Industrial Laboratory. - 2011. - Vol. 77, Is. 9. - P. 50-59.
20. Voskoboinikov, Yu.E. Nonlinear algorithms for vector signal filtering / Yu.E. Voskoboinikov, V.G. Belyavtsev // Optoelectronics, Instrumentation and Data Processing. - 1999. -Vol. 35, Issue 5. - P. 29-38.
DEVELOPMENT OF OPTICAL FLOW COMPUTATION ALGORITHMS FOR STRAIN MEASUREMENT OF SOLIDS
P.S. Lyubutin
Institute of Strength Physics and Materials Science of Siberian Branch Russian Academy of Sciences, Tomsk Polytechnic University (National Research University)
Abstract
This paper deals with the improvement of optical flow algorithms for strain measurements. The aim of the research is to reduce the computational effort and improve the robustness of the algorithms. The proposed modifications of the algorithms are based on the incremental approach to the estimation of the subsets displacement on the image subsequence, as well as on a three-dimensional recursive search (3DRS). An investigation of the robustness and performance of the algorithms shows the advantage of the proposed modifications.
Keywords: displacement vector field, incremental approach, image processing.
Сведения об авторе
Любутин Павел Степанович, 1981 года рождения. В 2004 году окончил Томский политехнический университет (ТПУ). В 2009 защитил диссертацию на соискание степени кандидата технических наук. В настоящее время занимает должность постдок в Томском политехническом университете и работает по совместительству младшим научным сотрудником в Институте физики прочности и материаловедения СО РАН. Область научных интересов: обработка изображений и сигналов, оценка оптического потока, параллельное программирование, неразрушающий контроль.
E-mail: [email protected].
Pavel Stepanovich Lyubutin (b. 1981) graduated from Tomsk Polytechnic University in 2004, received his PhD in Technical Sciences in 2009. At present he is postdoc in Tomsk Polytechnic University and researcher in Institute of Strength Physics and Materials Science of Siberian Branch Russian Academy of Sciences. His research interests are related to image and signal processing, optical flow, parallel programming, nondestructive testing.
Поступила в редакцию 7 августа 2014г.
