CC BY
58
УДК 681.518.3
метод отождествления многоматричной видеокамеры с полученными ею снимками
Б. В. Мартемьянов,
канд. техн. наук, доцент
Самарский государственный технический университет
Излагается метод определения мультиматричной видеокамеры, сформировавшей данное для идентификации изображение, применимый относительно видеокамер, сконструированных на базе матричных фоточувстви-тельных приборов с зарядовой связью.
Ключевые слова — мультиматричные видеокамеры, фоточувствительные приборы с зарядовой связью, сшивка изображений, метод функционализации параметров изображений.
Введение
Основу современной техники, предназначенной для получения цифровых растровых изображений, составляют фоточувствительные приборы с зарядовой связью (ФПЗС). Для регистрации изображений с разрешением в десятки тысяч пикселей по ширине кадра видеосистемы конструируются по технологии компоновки в нее некоторого множества блоков ФПЗС. Примером такой видеосистемы являются оптико-электронные преобразователи (ОЭП) бортового базирования, например ОЭП мобильных платформ наблюдения (МПН).
На МПН могут базироваться несколько ОЭП. При этом в процессе съемки участка местности используются одновременно все ОЭП либо некоторые из них.
В ходе эксплуатации сложных технических систем, к которым относятся МПН, вероятно возникновение нештатных ситуаций. Нештатная ситуация на борту МПН может привести к потере информации об источнике (ОЭП), с помощью которого получено данное изображение. Соотнесение изображения к конкретному источнику (идентификация ОЭП) помогает в таких случаях локализовать и выявить причину нештатной ситуации.
В статье излагается разработанный автором и апробированный на практике метод идентификации ОЭП источника изображения. Метод показал почти 100%-ю достоверность результата идентификации. Высокая степень достоверности объясняется тем, что метод основан на извлечении из изображения информации о взаимном располо-
жении матриц, составляющих ОЭП источника изображения. То есть из изображения извлекается информация, которая отображает как бы «отпечатки пальцев» ОЭП, являющиеся уникальными для каждого ОЭП.
Особенности структур мультиматричных ОЭП
В статье рассматриваются ОЭП с мультима-тричными ФПЗС. Для определенности будем считать, что в составе ОЭП имеется 6 матриц ФПЗС (в конкретной системе таких матриц может быть в несколько раз больше, что в рамках рассматриваемого метода позволит только увеличить достоверность результатов решения рассматриваемой задачи). Обычно эти ФПЗС располагаются в фокальной плоскости ОЭП, по структуре ассоциируемой с «коленчатым валом» (рис. 1), в которой матрицы ФПЗС располагаются в два параллельных ряда.
Набор матриц ФПЗС интегрируется в ОЭП механической сборкой. Поэтому взаимное расположение любой пары соседних матриц будет несколько отличаться от взаимного расположения любой другой пары соседних матриц. Эти различия могут составлять микроны, но они обязательно есть. Причем в каждой сборке матриц последо-
| Матрица I _____| Матрица 3 |____| Матрица 5 |______
[Матрица21 [Матрица4[ [Матрица6 |
■ Рис. 1. Ступенчатое расположение матриц ФПЗС в ОЭП
вательность взаимных сдвигов соседних матриц является уникальной, так же, как уникальны отпечатки пальцев человека. Чем больше матриц имеется в составе видеокамеры, тем больше отличий имеют различные сборки матриц.
Предлагаемый метод идентификации ОЭП источника изображения основан на выявлении геометрических особенностей сборки матриц в ОЭП (взаимного геометрического расположения отдельных матриц). Эти особенности выявляются в результате высокоточной (субпиксельной) обработки изображений.
Идеализированная модель расположения матриц в ОЭП
Последовательность фоточувствительных ячеек ПЗС (пикселей) матрицы, расположенных горизонтально относительно положения матриц на рис. 1, назовем строкой матрицы. Условимся, что вдоль строки матрицы изменяется координата X пикселей. В направлении, ортогональном оси X и расположенном в фокальной плоскости, изменяется координата Y пикселей. Строки матрицы пронумерованы (матрица может состоять и из одной строки пикселей).
При решении задачи выявляются только особенности взаимного расположения матриц в горизонтальном направлении — в направлении изменения координаты X. При этом предполагается, что матрицы расположены в двух строго параллельных рядах. Игнорирование имеющейся на самом деле непараллельности расположения матриц вносит несущественные искажения в получаемые результаты обработки.
Метрикой расстояний определим расстояние между центрами соседних ПЗС-ячеек матриц. Такое расстояние задает размер пикселя изображения на фокальной плоскости оптической системы.
Будем считать, что относительно каждой видеокамеры известен вектор Xi, задающий взаимное расположение соседних матриц вдоль оси X: Xi = (х1, ..., xn), где xi — расстояние в пикселях между крайними ПЗС-ячейками соседних матриц (рис. 2). Для структуры с рис. 1 Xi = (x1, x2,
x3, x4, х5~).
Для конкретной сборки вектор Xi может быть получен разными способами:
| • Матрица і « ' Матрица І + 2 •
Матрица і + 1
<—> -> *г + 1
• — крайние ПЗС-ячейки строк матриц
■ Рис. 2. Взаимное расположение матриц по оси X
— в результате достаточно точных измерений на готовой сборке;
— на основании результатов статистической обработки достаточного количества изображений, полученных на этапе функционирования системы до возникновения нештатной ситуации;
— по результатам обработки изображения специального полигона, для объектов которого известно точное расположение.
Постановка задачи сопоставления ОЭП изображению
Считаем, что имеется информация об особенностях сборки мультиматричных ОЭП одинаковой структуры, представленная набором векторов Xi.
Дано изображение, снятое одним из ОЭП, следующей структуры:
— каждая матрица порождает полосу изображения шириной w, равной количеству ПЗС-ячеек в строке матрицы;
— полосы изображений от разных матриц «склеены» в единое изображение по следующему принципу: справа к j-й строке пикселей, полученной от ¿-й матрицы, приклеена j-я строка пикселей, полученная от (I + 1)-й матрицы. В результате «собранное» изображение содержит в строке w х п пикселей, где п — количество матриц в сборке.
Считаем, что динамика изменения углов ориентации носителя оптической системы за время формирования изображения достаточно слаба.
Требуется определить, какой конкретно ОЭП сформировал данное изображение.
Сопоставление ОЭП полученным им снимкам
Ось оптической системы, перпендикулярную фокальной плоскости, назовем осью рыскания, а угол поворота оптической системы относительно этой оси — углом рыскания.
Взаимное перекрытие соседних матриц (см. рис. 1) порождает вектор Xi и приводит к тому, что в склеенном изображении полос, порожденных отдельными матрицами, справа и слева от границ склеивания имеются пиксели, отображающие одни и те же объекты. То есть в склеенном изображении имеются лишние пиксели, которые в результате обработки должны быть выявлены и удалены. Совокупность этих лишних пикселей, расположенных вдоль данной границы склеивания полос, назовем швом. Количество лишних пикселей в данной строке назовем шириной шва. Задачу вычисления шва и реализующую ее процедуру назовем сшивкой полос [1].
Во время формирования изображения угол рыскания Т может иметь различные значения и даже изменяться в процессе съемки (рис. 3).
Поэтому ширина данного шва может быть разной не только для разных изображений, но и для разных строк данного изображения. Если wi — ширина і-го шва, а у — номер строки изображения, то Т = Т(у) и wi = wi(xi, Т(у)), где хі — это хі с рис. 2.
В приведенном рассуждении выделен угол рыскания потому, что его изменения влияют на ширину шва значительно сильнее других углов ориентации.
Сложная функциональная зависимость ширины шва приводит к тому, что прямое определение по одному изображению вектора Xi в общем случае невозможно. Поэтому в основу метода решения поставленной задачи положим наблюдения, которые можно сделать по рис. 3.
На рис. 3 показаны два варианта ориентации проекций У1 и У2 вектора скорости движения носителя оптической системы на фокальную плоскость относительно матриц ОЭП. Ориентация этих векторов относительно строк матриц однозначно определяет угол рыскания Т. При этом углу Т = 0 соответствует вектор У1, ориентированный по нормали к строкам матриц.
Формирование ширины двух соседних швов при разных направлениях вектора У также иллюстрирует рис. 3. Очевидно: wi(V1) > Wi(V2); Wi + і(Уі) < wi + і(У2). Но из элементарных геометрических соотношений ясно: при условии, что матрицы располагаются в параллельных рядах, при изменении направления вектора У сохраняются значения сумм:
Wi(Vl) + Wi + і(Уі) = Wi(V2) + Wi + і(У2). (1)
Таким образом, суммы из (1) не зависят от вектора У, т. е. не зависят от угла рыскания Т.
Несложно заметить, что должны сохраняться значения сумм ширины любых двух швов, в которых при изменении направления вектора скорости ширина одного шва уменьшается, а другого — увеличивается. Поэтому для структуры ОЭП (см. рис. 1) должны сохраняться значения следующих шести сумм:
Wl + W2 — Хі + Х2;
w1 + w4 — х1 + х4;
Матрица і Г Матрица і + 2
1 Матрица і + 1 ^+1^)
Матрица і +*- А\2 ^ М атрица і + 2
// Матрица / +1 / С+1^2)
ч >/ і
■ Рис. 3. Смежные швы при разных углах рыскания
W2 + Wз — Х2 + Х3;
W2 + Wg — Х2 + Х5;
Wз + W4 — Х3 + Х4;
w4 + w5 — х4 + х5, (2)
где х1, х2, х3, х4, х5 — константы для данной сборки матриц — компоненты вектора Хі — (х1, ..., х5).
Значения сумм вида wi + Wj из (2) можно вычислить, решая задачу сшивки полос изображения. Значения сумм вида хі + ху из (2) вычисляются по данным об особенностях сборки каждого из ОЭП. Таким образом, поставленная задача определения ОЭП, сформировавшего данное изображение, решается выбором того ОЭП, для которого все суммы вида хі + Ху из (2) наиболее точно совпадают с суммами вида wi + Wj из (2), вычисленными при решении задачи сшивки полос изображения.
Можно использовать различные меры совпадения сумм из (2). При этом можно ограничиться числовой обработкой данных, не используя какие-либо визуальные представления результатов обработки. Для большей наглядности демонстрации конкретных результатов решения задачи обработки изображения:
— используем представление сумм из (2) в виде диаграмм;
— примем, что имеется п ОЭП одинаковой структуры, каждый из них содержит в себе т блоков матриц, изображенных на рис. 1, и эти блоки «склеены» в один ряд, сонаправленный со строками матриц;
— каждый ОЭП при съемке формирует т файлов изображений — один файл от каждого блока.
В таких условиях ОЭП источник изображения определяется по совокупности т файлов изображений. Наличие отдельного файла изображения от каждой сборки не является обязательным. Все т изображений могут быть склеены в одном файле.
Предлагаемый метод состоит из следующих шагов.
1. Для каждого у-го блока матриц (ує{1, т}) і-го ОЭП (іє{1, п}) на основе известного для данного блока вектора Ху — (х1, ..., х5) вычисляется вектор — (х1 + х2, х1 + х4, х2 + х3, х2 + х5, х3 + + х4, х4 + х5).
2. Каждый вектор 8уі отображается диаграммой DjOEPi, характеризующей геометрические особенности сборки у-го блока і-го ОЭП.
3. Для каждого из т исследуемых изображений вычисляются с субпиксельной точностью (с точностью доли пикселя) по 5 протоколов Рук (ує{1, ..., т}, £є{1, ..., 5}) сшивки полос [1] — один протокол для каждой пары соседних полос изображения. Каждый протокол содержит значения ширины шва, выраженные в пикселях, с привяз-
БлОЕРл иБ,
Б0ОЕРЛ ий,
“I--------1-------1------1-------Г
1 2 3 4 5 6
Б1ОЕР2 иВ1
22.50
21.50
20.50
19.50
22.50
21.50
20.50
19.50
23.50
22.50
21.50
20.50
19.50
■ Рис. 4. Примеры совмещения диаграмм
У\ :;::2Гд
--Г-Г-г-г-Т-1_ 20,00-1-1-1-л/т-1-
БгОЕР1 и_03
24,00- 22,00- АД
1 1 1 1 1 1 2 3 4 5 ( ВгОЕРг иВ1 20,00- 24,00- , Л/ 1 2 3 4 5 6 В2ОЕРг и В2 -Л д—
А 11111 22,00- 20.00-
123456 123456
В9ОЕР9: и ЛцОЕР? иД,
22,25
21,75
21,25
—I------1---------1------1-----1—
1 2 3 4 5 6
ЛпОЕРп ий,
кой к строкам изображения. Конкретный способ вычисления протоколов сшивки полос в рамках предлагаемого метода не имеет значения. Можно, например, использовать режим ручного задания (в окрестности склеивания соседних полос изображения) пикселей, отображающих одни и те же объекты. Но при этом необходимо уточнить положения соответствующих точек на смежных полосах для обеспечения точности в доли пикселя. Такое уточнение можно сделать, используя, например, взаимную корреляцию фрагментов полос в окрестности указанных вручную пикселей. Автор вычислял протоколы сшивки [1] автоматически с помощью программы, обеспечивающей точность протокола до 0,2 пикселя и лучше. Программа создана на основе метода функциона-лизации параметров изображений совместно с его разработчиком П. К. Кузнецовым [2].
4. Вычисляются на основе полученных протоколов Р^к (£е{1, ..., 5}) сшивки полос, среднестатистические по каждому ]к-му шву значения шести сумм из (2), представленные в виде вектора Wj = (w1 + w2, w1 + w4, w2 + w3, w2 + w5, w3 + w4,
W4 + W5).
5. Каждый из векторов Wj отображается в виде диаграммы Dj, у'е{1, ..., т}.
6. На заключительном шаге набор диаграмм Dj, у'е{1, ..., т} сравнивается с каждым из наборов DjOEPi ¿е{1, ..., п}. Для этого каждая диаграмма Dj совмещается с каждой диаграммой DjOEPi в общей системе координат.
Визуальный поиск ¿-го набора диаграмм с наименьшими отличиями в совмещенных диаграммах (между DjOEPi и Dj, у'е{1, ..., т}) решает поставленную задачу определения ОЭП, сформировавшего данное изображение (набор из т изображений).
На рис. 4 светлыми линиями представлены диаграммы DjOEPi, отображающие параметры (векторы Sji) девяти реальных блоков, входящих в состав трех ОЭП. Темными линиями представлены диаграммы Dj, отображающие векторы Wj, вычисленные в результате обработки реальных изображений в процессе автоматического вычисления протоколов сшивки полос с субпиксельной точностью с помощью авторской программы. Каждый из трех векторов Wj представлен на трех диаграммах.
По рис. 4 наглядно видно, что в каждом столбце диаграмм наибольшие совпадения приходятся на диаграммы 2-й строки. Все они соответствуют блокам матриц 2-го ОЭП. Поэтому можно сделать уверенный вывод: обработанные изображения (3 файла) получены с помощью 2-го ОЭП.
Заключение
Предложен простой и надежный метод определения мультиматричного ОЭП, которым получено данное для идентификации изображение (набор изображений).
На диаграммах рис. 4 по осям ординат числа задают расстояния (компоненты векторов Sj¿
и Wj) в пикселях. Видно, что наибольшие различия между диаграммами во втором ряду составляют доли пикселя. Это говорит о высокой точности результатов обработки изображений, выполненной авторской программой.
Разнообразие диаграмм DjOEPi подтверждает справедливость утверждения, что геометрические параметры взаимного расположения матриц, а именно компоненты векторов Sji, несут в себе информацию об ОЭП, аналогичную информации об отпечатках пальцев человека.
Имеющиеся в парах диаграмм второго ряда различия (см. рис. 4) могут быть вызваны разнообразными причинами, например:
— не абсолютной точностью вычисления протоколов сшивки полос;
— методической погрешностью, связанной с допущением, что матрицы в блоках располагаются строго в два ряда и параллельно друг другу. При непараллельном расположении матриц равенства (2) становятся приближенными;
Уважаемые подписчики!
Полнотекстовые версии журнала за 2002-2009 г. г. в свободном доступе на сайте журнала (http://www.i-us.ru) и на сайте РУНЭБ (http://www.elibrary.ru). Печатную версию архивных выпусков журнала за 2003-2009 г. г. Вы можете заказать в редакции по льготной цене.
Журнал «Информационно-управляющие системы» выходит каждые два месяца. Стоимость годовой подписки (6 номеров) для подписчиков России — 3600 рублей, для подписчиков стран СНГ — 4200 рублей, включая НДС 18 % и почтовые расходы.
На электронную версию нашего журнала (все выпуски, годовая подписка, один выпуск, одна статья) вы можете подписаться на сайте РУНЭБ (http://www.elibrary.ru).
Подписку на печатную версию журнала можно оформить в любом отделении связи по каталогу:
«Роспечать»: № 48060 — годовой индекс, № 15385 — полугодовой индекс, а также через посредство подписных агентств:
«Северо-Западное Агентство «Прессинформ»»
Санкт-Петербург, тел.: (812) 335-97-51, 337-23-05, эл. почта: [email protected], [email protected], сайт: http://www.pinform.spb.ru «МК-Периодика» (РФ + 90 стран)
Москва, тел.: (495) 681-91-37, 681-87-47, эл. почта: [email protected], сайт: http://www.periodicals.ru «Информнаука» (РФ + ближнее и дальнее зарубежье)
Москва, тел.: (495) 787-38-73, эл.почта: [email protected], сайт: http://www.informnauka.com «Гал»
Москва, тел.: (495) 603-27-28, 603-27-33, 603-27-34, сайт: http://www.artos-gal.mpi.ru/index.html «ИНТЕР-ПОЧТА-2003»
Москва, тел.: (495) 500-00-60, 580-95-80, эл. почта: [email protected], сайт: http://www.interpochta.ru Краснодар, тел.: (861) 210-90-00, 210-90-01, 210-90-55, 210-90-56, эл. почта: [email protected] Новороссийск, тел.: (8617) 670-474
«Деловая пресса»
Москва, тел.: (495) 962-11-11, эл. почта: [email protected], сайт: http://delpress.ru/contacts.html «Коммерсант-Курьер»
Казань, тел.: (843) 291-09-99, 291-09-47, эл. почта: [email protected], сайт: http://www.komcur.ru/contacts/kazan/ «Урал-Пресс» (филиалы в 40 городах РФ)
Сайт: http://www.ural-press.ru «Идея» (Украина)
Сайт: http://idea.com.ua «ВTL» (Узбекистан)
Сайт: http://btl.sk.uz/ru/cat17.html и др.
— чрезмерно большими угловыми скоростями вращения видеосистемы и резким изменением высоты рельефа снимаемого участка местности.
Литература
1. Мартемьянов Б. В. Оценка качества алгоритма сшивки изображений, основанного на методе функ-ционализации // Вестник Самар. гос. техн. ун-та. Сер. Технические науки. Самара, 2009. № 3 (25). С. 88-95.
2. Кузнецов П. К., Мартемьянов Б. В., Семавин В. И., Чекотило Е. Ю. Метод определения вектора скорости движения подстилающей поверхности // Вестник Самар. гос. техн. ун-та. Сер. Технические науки. Самара, 2008. № 2 (22). С. 96-110.
