CC BY
56
Поэтому необходима разработка мероприятий, направленных на снижение этих погрешностей. К таким мероприятиям можно отнести, например, сглаживание экспериментальных зависимостей и расчет обобщенных масс без использования измерений действительной составляющей перемещений вблизи собственных частот конструкции.
Библиографические ссылки
1. Смыслов В. И. Некоторые вопросы методики многоточечного возбуждения при экспериментальном исследовании колебаний упругих конструкций // Учен. записки ЦАГИ им. Н. Е. Жуковского. 1972. Т. 3. № 5. С. 110-118.
2. Жаров Е. А., Смыслов В. И. Точность определения колебательных характеристик упругой конструкции при резонансных испытаниях с многоточечным возбуждением // Учен. записки ЦАГИ им. Н. Е. Жуковского. 1976. Т. 7. № 5. С. 88-97.
3. Бернс В. А. Особенности определения характеристик собственных тонов при многоканальном возбуждении и измерении колебаний // Аэродинамика и прочность конструкций летат. аппаратов: тр. Всерос. науч.-техн. конф., посвящ. 60-летию отделений аэроди-нам. летат. аппаратов и прочности авиац. конструкций (15-17 июня 2004 г.). Новосибирск, 2005. С. 295-297.
4. Вентцель Е. С. Теория вероятностей. М. : Наука, 1969.
V. A. Bems
ASSESSMENT OF DETERMINATION ACCURACY OF EIGENTONES CHARACTERISTICS IN THE PRESENCE OF RANDOM ERRORS IN THE EXPERIMENTAL DATA
Assessment of determination accuracy of natural frequencies, generalized masses and damping coefficients of eigentones of structures based on resonant tests were made. It was assumed that there are random errors of measurement in the values of real and imaginary components of the structure points’ displacement. Studies were carried out by the method of statistical modeling.
Keywords: resonant tests, measurement errors, statistical modeling.
© Бернс В. А., 2010
УДК 004.932
М. В. Дамов, А. Г. Зотин
ПОСТРОЕНИЕ ИЗОБРАЖЕНИЯ СЦЕНЫ СОВМЕЩЕНИЕМ ПОСЛЕДОВАТЕЛЬНЫХ КАДРОВ
Представлена концепция построения изображения сцены при помощи совмещения кадров видеопоследовательности или серии фотоснимков. Построение сцены выполняется на основе карты смещений, отображающей векторы перемещений блоков.
Ключевые слова: реконструкция видеопоследовательности, совмещение изображений, построение сцены, карта смещений.
Уровень развития современной вычислительной техники позволяет решать задачи большой вычислительной сложности, к которым относится обработка видеопоследовательностей. Построение изображения сцены видеопоследовательности относится к классу задач, которые необходимы для выполнения реконструкции видеопоследовательности. Реконструкция видеопоследовательностей является актуальным направлением в связи с возрастающей потребностью потенциальных заказчиков в таких специалистах, как специалисты по работе с видеоархивами, специалисты в области производства и реставрации кино, специалисты по подготовке телепрограмм к эфиру, а также специалисты по анализу визуальных данных, полученных различными методами, а именно аэрофотосъемкой, спутниковой фотографией, лазерной локацией и другими системами датчиков. Но в общем случае под сценой видеопоследовательности понима-
ется часть кинофильма или последовательность изображений, снятых с одного ракурса в течение некоторого времени. В работе [1] приведен один из алгоритмов разделения видеопоследовательности на сцены.
Картой смещений (disparity map) называется двумерный массив, элементами которого являются двумерные векторы. Каждый вектор задает сдвиг от точки на первом изображении до соответствующей точки на втором изображении. Эта информация используется для построения изображения сцены на основе нескольких соседних кадров. Таким образом, алгоритм построения относится к пространственно-временному типу. Существуют три основных подхода к определению параметров глобального движения: подход с использованием аппарата особых точек; подход с использованием векторов движения блоков; глобальный поиск. В данной статье рассматривается подход с использованием векторов движения блоков или окрест-
ностей. Преимуществом предлагаемого подхода является использование пирамиды детальности. Сначала карта смещений ищется для сильно уменьшенных копий изображений. Найденные значения являются начальными для карт смещений для более детальных копий и т. д. Таким образом, на каждом уровне детальности требуется лишь обновить карту смещений, что значительно сокращает время вычисления и вероятность нахождения ложных значений. Вместе с тем алгоритм предполагает наличие на сцене достаточно крупных объектов, т. е. кусочно-гладкую карту смещений. Приведем алгоритм поиска карты смещений.
Имеется пара изображений, для которой требуется построить карту смещений. Строятся две пирамиды детальности - для каждого изображения. Под пирамидой в области обработки изображений подразумевается представление исходного изображения в множестве изображений меньшего разрешения, дополнительно обработанных одним из фильтров сглаживания. Формирование пирамиды происходит путем сглаживания изображения на предыдущем уровне и выбором точек с шагом более одного пикселя при помощи билинейной интерполяции. Полуширина а функции Гаусса связана с отношением k ^ > 1) размеров изображений пирамиды на соседних уровнях:
k = ал/2, (1)
где под полушириной функции Гаусса понимается расстояние между двумя крайними значениями независимой переменной, для которых значение функции равно половине ее максимального значения.
Такой выбор, с одной стороны, оставляет в сглаженном изображении только те частоты, которые будет содержать уменьшенное изображение, а с другой стороны, не приводит к потере деталей. Также происходит формирование пирамиды детальности для карты смещений. Процесс поиска карты смещений происходит постепенно, начиная с вершины пирамиды детальности. Обработка изображений вблизи вершины пирамиды и вблизи основания различна. Для изображений вблизи вершин пирамид (сильно уменьшенные изображения) ищется геометрическое преобразование (аффинное, проективное) изображения в первой пирамиде детальности, совмещающее его в целом с изображением на том же уровне второй пирамиды детальности. Поиск преобразования представляет собой модификацию алгоритма, приведенного в работе [2], и описан ниже. Найденное преобразование между изображениями на заданном уровне пирамиды детальности позволяет вычислить карту смещений на том же уровне. При переходе к следующему уровню детального разрешения, изображение в первой пирамиде преобразуется согласно карте смещений для текущего уровня, таким образом, на следующем уровне ищется только уточнение карты смещений.
Начиная с некоторого уровня, в пирамиде детальности более нельзя найти простое геометрическое преобразование, совмещающее изображения. Изображение разбивается на квадраты предопределенного размера (со стороной от 8 до 16 пикселей), и для
каждого ищется геометрическое преобразование (обычно сдвиг) и карта смещений тем же способом, который применялся для всего изображения. Очевидно, что поиск преобразования уместен только в том случае, если один квадрат не захватывает объекты на разном расстоянии от камеры, в противном случае разные части квадрата должны испытывать разный сдвиг. С целью уменьшения скачков смещений на границах квадратов необходимо проводить усреднение смещений. Чем больше степень перекрытия квадратов, тем более сглаженной получается карта смещений, но вместе с тем возрастает время работы.
В качестве входных данных рассматривается пара
изображений /1(х), 12(х) и карта смещений d(х, ю).
Вектор ю есть вектор параметров, задающий модель карты смещений. Ниже рассматриваются две модели карты смещений: сдвиг и преобразование подобия.
Сдвиг:
ю = , ty), (2)
d (х, ю) = И
(3)
где х - некоторые известные координаты пикселя в изображении; /х, ґу - смещение пикселя между изображениями по координатам.
Преобразование подобия:
ю = (4, , ^ d(х, ю) = (1+ Х)R х + її - х .
cos ф Sin ф
- sin ф cos ф
(4)
(5)
(6)
где X - коэффициент масштабирования изображения; ф - угол поворота изображения.
Параметр I вводится для обезразмеривания компонент ю и приведения их значений к одному порядку величины так, что каждая компонента не превосходит нескольких десятых. Его численное значение полагается равным размеру диагонали изображения:
ї = 4™г+н2
(7)
где V и h - ширина и высота изображения соответственно. В обоих случаях
d(х,0) = 0 .
(8)
Поиск карты смещений сводится к поиску ю . Пу сть е(ю) обозначает интеграл от квадрата разности второго и преобразованного первого изображений:
е(ю) = | 111 (х + d(х, ю))- 12 (х)) dX,
е(ю) = | (11 (х + d(х, ю))-12 (х)) dX, (9)
где О - размеры изображения.
Ниже используется обозначение
у = х + d(х, ю). (10)
Требуется найти ю , минимизирующий є(ю):
§= 2|о(/,(у)-/, (х^§* = 0. 00
Ниже используются обозначения
-г _ д/1 (у)
ду
Y _ ду дй(х, ю) дю дю
(12)
(13)
В предположении сглаженности /1 (х), малого отличия х от у и с учетом (8) с точностью до членов первого порядка получается:
Я (У) = 8 (X), (14)
(15)
(16)
/і(у) = /і(х)+(й,у - х), у - х = Y ю .
Используя (15), (16), уравнение (11) переписыва-
ц2 _-
2
< п > 8яст4
(21)
оценить ц2. Зная модель искомого преобразования и оценку (21), можно оценить минимальное сингулярное число матрицы А:
=Ц2/2.
(22)
Сингулярные числа матрицы А, меньшие ^т1П, должны быть обнулены при вычислении псевдооб-ратной матрицы. В случае оценки минимального сингулярного значения при работе с фрагментом переменными w, И, I в выражении (22) обозначены размеры фрагмента.
Приведем конкретные модели карт смещений и алгоритм совмещения изображений, полученные на основе аналитических выкладок.
Сдвиг:
Y = I 1 0 I. (23)
0 I
Преобразование подобия:
Y =
I 0 х - у
0 I у - х
(24)
ется в виде
|а( /,(х) - 12(х) + gTYti) gTYdX =0. (17)
И з (17) получается линейная система относительно ю:
Аю = Ь , (18)
где
Л = |п YTggTYTdX , (19)
Ь = ^( 12(X) -/,(X)) YTgdX . (20)
Поиск решения системы (18) требует аккуратности, так как изображение (или его фрагмент) может не обладать достаточно выраженной текстурой для достоверного определения о . Идея состоит в том, чтобы оценить погрешность матрицы A по априорному значению шума п на изображении и радиусу сглаживания с исходных изображений. Далее система (18) решается с применением SVD-разложения и сингулярные числа меньшего порогового обнуляются [2]. Для оценки порогового сингулярного числа матрицы А рассмотрим случайное изображение с дисперсией интенсивности пикселей <п2> и нулевым средним значением: <п> = 0. В случае отсутствия границ в локальной области для с ^1 выполняется оценка для дисперсии производных рассматриваемого изображения [2]:
Оценка (21) может быть легко получена путем перехода в спектральную область. Рассматриваемое изображение можно представить в виде спектра однородной и случайной функции, дисперсия которой может быть вычислена из теоремы о равенстве интеграла от квадрата модуля сигнала интегралу от квадрата его спектра. Дифференцирование изображения сводится к умножению его спектра на соответствующую производную функции Гаусса, что позволяет
Алгоритм совмещения изображений:
Вход: первое изображение /ь второе изображение
^2.
Выход: преобразование, переводящее первое изображение во второе изображение.
Шаг 1. Вычислить производные первого изображения путем свертки с функцией Г аусса. Полуширина функции Гаусса должна быть порядка ожидаемых значений в карте смещений.
Шаг 2. Составить матрицу А системы согласно выражению (19).
Шаг 3. Составить правую часть Ь в соответствии с выражением (20) и решить систему уравнений (18).
Шаг 4. Преобразовать второе изображение согласно обращенному преобразованию, построенному из ю . Это исключает необходимость пересчета А на каждой итерации.
Шаг 5. Если модуль вектора ю не превышает заданной величины, то перейти к шагу 7.
Шаг 6. Перейти к шагу 3.
Шаг 7. Конец алгоритма.
Как можно видеть из тестов (см. рисунок), для кусочно-гладких поверхностей алгоритм работает удовлетворительно. Неверные значения получаются вблизи границ объектов. Время работы алгоритма пропорционально числу пикселей на изображениях.
Рассмотренный алгоритм имеет два слабых места: во-первых, на границах объектов находятся неправильные значения смещений, во-вторых, предлагаемый подход в принципе неприменим в случае наличия мелких, расположенных близко к камере объектов. Это связано с тем, что на «низких» разрешениях о б ъе кт пропадает, а при высоком разрешении сдвиг объекта получается слишком большой, чтобы предлагаемый алгоритм мог его зафиксировать. Однако анализ разностного кадра может выявить подобные проблемные объекты, и для них возможно применение других методов в качестве пост-обработки.
2
<
>
Изображение сцены тестовой видеопоследовательности после работы алгоритма (слева); один из кадров тестовой видеопоследовательности до работы алгоритма (справа)
Следует отметить также, что в результате работы алгоритма получены взаимно-однозначные соответствия между парами пикселей первого и второго изображения, верные для значительного количества точек изображения (исключая области затенения, occlusions). Это создает возможность использовать устойчивые методы для нахождения фундаментальной матрицы в эпиполярной геометрии. Таким образом, возможен второй проход алгоритма, выполняемый при наложенных эпиполярных ограничениях.
Необходимо отметить, что в качестве исходных данных для построения карты смещений также можно использовать данные, полученные с помощью аппарата особых точек или с использованием аппарата глобального поиска. Недостаток алгоритмов, использующих как основу особые точки, - низкая производительность, что обусловлено высокой вычислительной сложностью операций по поиску (Feature Selection) и сопровождению (Feature Tracking) особых точек [3]. Преимущество подобных алгоритмов заключается в высокой надежности определения локального движения. Алгоритмы глобального поиска определяют оптимальное преобразование без использования информации о локальном движении [4]. Вычислительная сложность этих алгоритмов чрезвычайно высока, что практически исключает возможность их применения для решения реальных задач.
Таким образом, на этом этапе имеются два частично перекрывающихся изображения I1 и I2; карта смещений, представляющая собой массив векторов смещений (Ат, Ау); а также преобразование, переводящее первое изображение во второе (преобразование подобия или сдвига).
Массив векторов, найденный алгоритмом определения движения, имеет некоторые характерные свойства, а именно: вектор движения с большой вероятностью найден неверно, если: 1) ошибка определения вектора движения велика (поскольку это означает, что сопоставленные блоки мало похожи); 2) вектор движения значительно отличается от соседних векторов (следует из гладкости поля векторов движения); дисперсия окрестности мала (как правило, в этом случае блок мало отличается от соседних окрестностей). Исходя из этого, следует ввести оценку качества или доверия, учитывающую особенности поля векторов.
В работе [5] для определения надежности векторов движения предлагается ввести функцию доверия следующего вида:
(
А, у =
b
a'£х’у + d 2 V т, у
(25)
где а, Ь, с - параметры; еху - ошибка определения
вектора движения (сумма абсолютных разностей яркостей пикселей окрестностей вектора в позиции (х, у) из текущего кадра и сопоставленной окрестности из предыдущего кадра; dxy - дисперсия окрестности в
позиции (х, у) из текущего кадра; стх у - среднеквадратичное отклонение вектора движения в позиции (х, у) от соседних векторов (26):
ст*.у 4
4•£ £ (о
4 /=-1 j=-1х
~px+i, у+ j ) +(pl, у
j )2), (26)
где рху , ргху - проекция вектора движения в позиции (х, у) на ось абсцисс и ординат соответственно. В работе [5] приводятся следующие значения параметров функции доверия: а = 0,25; Ь = 32; с = 1, полученные экспериментальным путем. Вектора движения с малым значением функции доверия отбрасываются, остальные вектора составляют множество надежных векторов.
При формировании изображении сцены Iследует принимать во внимание особенности карты смещения. Карта смещения отображает только вектора для сходных (подобных) точек, находящихся на перекрывающихся изображениях 11 и 12. В связи с этим для точек, вновь появившихся или исчезнувших объектов, вектора смещений будут отсутствовать. На карте смещения отображение таких точек будет иметь вид вектора нулевого размера.
Для генерации сцены на основе карты смещения возможно использование двух подходов. Суть первого подхода заключается в том, что осуществляется достройка начального кадра, в ходе которой происходит расширение границ и заполнение новых блоков информацией по данным с вновь считанного кадра и претерпевшим определенные преобразования. Второй подход заключается в том, что для каждого нового кадра изменение размера происходит путем добавления так называемого шлейфа, полученного в резуль-
-1
*>У
тате трансформации граничной информации с предыдущих кадров, и сопоставлением.
Поскольку при построении полного изображения сцены для нас наибольший интерес представляет область на границах кадра, то для повышения быстродействия целесообразно использовать граничные данные для анализируемого кадра. Принимая во внимание возможность неравномерного движения на границах кадра, нужно проводить расчет параметров смещения для анализируемых регионов, однако внутри самого региона может также существовать неравномерность. Исходя из вышесказанного, в качестве базиса для формирования изображения сцены решено применять информацию о векторах локального движения для сегментов и данные о преобразованиях подобия и сдвига.
Общий алгоритм для формирования изображения сцены на основе карты смещения будет состоять из следующих шагов.
Шаг 1. Формирование предварительных граничных сегментов. На данном шаге в зависимости от размера анализируемой области формируются граничные сегменты с шириной и высотой соответственно х де'й, вычисляемыми из размерности кадра путем деления на 8, и происходит генерация карты сегментов М8ебт, учитывающих их пространственное положение в соответствии с начальным делением.
Шаг 2. Расчет векторов локального движения из кадра 1 в кадр /2. В ходе этого шага происходит расчет среднего, максимального и минимального векторов движения для каждого сегмента. Для расчета среднего вектора движения можно выбрать следующие пути получения значения VSsi: как среднего арифметического или медианного значения из соответствующих элементов массива смещений.
Шаг 3. Анализ векторов локального движения и формирование векторов смещения. На этом шаге для каждого сегмента анализируются локальные вектора движения из кадра 1 в кадр 12 и вычисляются расстояния от сопоставимого сегмента для кадра 12 с границами кадра 12.
Шаг 4. Анализ полученных векторов смещения для всех сегментов и формирование карты расширения М8са1е. Данная карта формируется как прямоугольная область, учитывающая максимально возможное смещение для каждого сегмента. По завершении генерации карты расширения производится разметка неиспользуемых областей, т. е. тех областей, в которых движение однозначно не определено.
Шаг 5. Заполнение изображения сцены на основе карты расширения и векторов смещения с учетом
возможного преобразования. Для каждого вектора смещения (Ат, Ау) окрестности (т, у), не равного нулю, перенести эту окрестность в изображение сцены. Для каждого вектора смещения (Ат, Ау) окрестности (т, у), равного нулю, проанализировать соседние векторы. Используя данные соседних векторов, вычислить местоположение такой окрестности в изображении сцены. Затем поместить окрестность в изображение сцены, используя вычисленное местоположение.
После работы алгоритма формирования сцены имеется изображение сцены некоторой высоты и ширины в виде массива пикселей. Достоверность этого изображения, построенного на основе нескольких соседних кадров одной сцены видеопоследовательности, можно оценить визуально с помощью экспертной оценки. На рисунке приведен результат работы алгоритма после обработки сцены тестовой видеопоследовательности, а также найденное поле векторов движения.
Таким образом, результатом исследовательской работы является алгоритм формирования изображения сцены на основе соседних кадров сцены видеопоследовательности. Предлагаемый алгоритм применим для решения многих актуальных задач, например, для построения панорамного изображения, стабилизации и сжатия видеопоследовательности, а также реконструкции видеопоследовательности в системах видеоредактирования и электронных видеоархивах.
Библиографические ссылки
1. Дамов М. В. Восстановление фона в областях кадра с объектами малого размера в видеопоследовательности // Вестник СибГАУ. 2010. Вып. 1(27). С. 52-56.
2. Моулер К., Форсайт Дж., Малькольм М. Машинные методы математических вычислений : пер. с англ. М. : Мир, 1980.
3. Making good features to track better / T. Tomma-sini, A. Fusiello, E. Trucco, V. Roberto // Proc. of IEEE Computer Society Conf. on Computer Vision Pattern Recognition. 1998. P. 145-149.
4. Litvin A., Konrad J., Karl W. C. Probabilistic Video Stabilization Using Kalman Filtering and Mosaicking // Proc. of SPIE Conf. on Electronic Imaging, 2003. Р. 663-674.
5. Солдатов С. А., Стрельников К. Н., Ватолин Д. С. Быстрое и надежное определение глобального движения в видеопоследовательностях // Материалы 16-й Междунар. конф. по компьютер. графике и ее приложениям. 2006. С. 430-437.
M. V. Damov, A. G. Zotin SCENE IMAGE CONSTRUCTION BY WAY OF IMAGE SEQUNCE SUPERPOSITION
In paper it is presented concept of scene image construction by way of video sequence frames or photo shot series superposition. Frame superposition based on construction of disparity map imaged vectors of shift blocks
Keywords: video sequence reconstruction, image superposition, scene construction, disparity map.
© flaMOB M. B., 3othh A. r., 2010
