Дополнительные ограничения при поиске изображений на стереопарах вдоль эпиполярных линий Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Для цитирования

Потапов В. И. Вычисление среднего времени «жизни» одного класса резервированных восстанавливаемых после отказов систем при произвольной во времени интенсивности от-

казов и восстановления // Омский научный вестник. 2018. № 2 (158). С. 121-124. Б01: 10.25206/1813-8225-2018-158-121-124.

Статья поступила в редакцию 26.02.2018 г. © В. И. Потапов

УДК 004.021

DOI: 10.25206/1813-8225-2018-158-124-128

В. п. пивоваров л. в. зубарь

Омский автобронетанковый инженерный институт, г. Омск

дополнительные ограничения при поиске изображений нл стереопарах

вдоль эпиполярных линий_

В статье изложено решение задачи нахождения дополнительных ограничений на область поиска изображения по стереопаре, заданной эпиполярной линией. Особенностью данного подхода является возможность определения ограничений на основе математических зависимостей, не требующих нахождения фундаментальной матрицы и предварительной обработки изображений. Ключевые слова: эпиполярная линия, поиск изображения, цифровая видеокамера, система технического зрения, стереопара.

К технике военного назначения предъявляется ряд противоречивых требований: простота и надёжность конструкции, высокая защищённость от физических и электромагнитных воздействий, низкое энергопотребление, низкая стоимость, технологичность производства, ремонта и т.д. Решение этих противоречивых задач накладывает ряд ограничений при принятии технических решений.

При разработке оптико-электронных систем определения параметров целей по изображениям с цифровых видеокамер [1-3] одним из ключевых моментов является точность, робастность и вычислительная реализуемость применяемого алгоритма автоматического поиска изображений. Основным элементом такой системы является ЭВМ. Возможность выполнения всего функционала предусмотренных измерений и их обработки в реальном времени на ЭВМ с ограниченной вычислительной мощностью является весьма актуальной задачей. Её решение во многом определяет правильный выбор способа поиска, являющегося основой для построения специализированных алгоритмов обработки цифровых изображений.

Существуют глобальные и локальные способы поиска объектов на стереоизображениях, полученных с систем технического зрения (СТЗ) [4, 5]. Общий недостаток глобальных алгоритмов, с точки зрения обеспечения минимальных требований к ресурсам ЭВМ, — это их высокая вычислительная сложность; кроме того, они требуют предварительной обработки изображений.

Особенность локальных алгоритмов поиска заключается в том, что поиск в них организуется путём последовательного сканирования между неко-

торыми локальными участками изображений. Как правило, это некоторая интересующая область одного изображения и область поиска на другом изображении. В свою очередь, размеры этих областей и порядок их нахождения будут определять точность поиска и требования к вычислительной мощности ЭВМ.

Для определения координат объекта Р по его изображениям 1тд с двух цифровых видеокамер можно записать пару расширенных векторов положения этого объекта Р] = (аП, тр 1 1) и Рк = (ап2 тП2 1 1) на изображениях соответственно для камер Ю и К2. Пра этор зркчения пиксельных координат объекта Р на изображении первой камеры К1 (аОР — количество ст аок, тОР — количество столбцов) могут бытр зчдана1 потт-зователем (оператором) или определены автоматически в результате работы, наприр^]^, аанпритка обнаружения,распознавания илиселекции движущихся объектов и т.п. Значения же аОР и троР могут быть определены вручную оператором или автоматически, например, в результате работы алгоритмов определения положения изображения объекта на изображении второй камеры. Однако ручное определение этих координат является трудоёмким и длительным процессоми будетсочетатьсяс субъективными ошибками оператора. Поэтому, как правило, используется автоматическое определение положения изображения объекта на паре изображений.

Одним из наиболее эффективных и распространённых способов поиска изображенияобъекта по изображениям с пары камер является поиск вдоль эпиполярной линии [6, 7, с. 159-162; 8,

Рис. 1. Модель эпиполярной геометрии

Рис. 2. Иллюстрация к нахождению положения линии поиска дляслучая нормальногорасположения камер

с. 309 — 314; 9, 10, с. 21—23], строящейся на основе модели эпиполярной геометрии, в которой используются следующие понятия (рис. 1).

Эпиполюсы — это точки ( Дд- и Д-2) не р ссечс-ния линии, соединяющей оптические центры объективов О и 0К2 камер, и плоскостей изоКфкжений 1тдК1 и 1тдК2. Эьиполюс — эко положение кзобри-жения оптического центра обьектива одной ьаме-Вы в плоскости изображения нторойкамеры.

Эпинолярная тлосгтсть — это плоскость 0К1 ОрВ, проходящая черен базовую линию 0К10К2.

Эпиполярная прямая — это пересечение эпиво-лтрной плоскостн О О Р с плоскостью изображения, например, на рис. 1, эпиполярная прямая д^ изображения 1тдК2 — это прямая (в даниоо се^ае линия поиска Ррн2), проходящая через торки ЬрР2 и Ьж

и ГК 2 '

Согласно модели эпььолярной гетгмеор^и, исе эпиполярные прямые проходят черев эпиполюо, а множество эпиполярнын плоскостей тре^стга.нт\и^ен собой однопараметрическое сев1ейство пло кко стей. И если на изображении одной камеры указан объект, для данного положентя кэме- на изображенпе второй камеры существует толнко одна линия РЬКе, на которой возможно нанождение изоброже-ния этого объекта в зависимости от его удаления от первой камеры.

Как видно из трёхмерной эпиполярной мо-зли (рис. 1) изображению ьКид объекта Р можтт со-

ответствовать несколито положений этого объекта. Он может находини ся н в т ьчке Р- ив Ь, но в любом случае и до бр ажыния эиюх товтк РКрд , Ркре , РЬКрг на изображении нторой камеры 1юдК2 будут лежать на линии РрК 2.

Достаточно часто эпиполярныв линии ниыва-ют эпиполярными ограничениньи. П-ти этом имеют в виду именно ограничение границ области п отс-ка. При этом под ограничивают-ей область пиитка линией используется эпиполирная линия, иротяги-вающаяся череь все изображенио. ра рис. 1 такая линия будет построена от точки РН2 рт тоски Р—. Связано это с тем, что -шипвлярная пласкость принимается при постраениях безрагтервай. И для большинттва случаев съёмки эта вполне справедливое дспгтцение. Нв, вмерте с этим в отельных ситуация-. взаияная вр- иентация камерможет оказаться титова, что линия поиска РТ2 должна проходить не через вое инображение. Например,снова возвращаясь г рт с . - зам тжи м, чтоесли объектин-тереса находится од камеры К1 не дальше точки Р и эпипонюс ДкЬ находится не рзо0рсювнии 1тдК2, то линию поискт Р^К2 можно кправкдливо ограничить отрезком 0.2ЮИ.д, чем ещё больше уменьшить область поиска.

Рассмотрим пример измерительной системы издвух одинаковых нормально (параллельно) расположенных камер К1и К2 (рис.2). Пусть на изображении 1тдК. камеры К1 указано изображение

объект интероса = точке РО4 . Из сремы видно, что положечию изоб^гажсгнкт^я РО]4 будет соответствовать множес^^о объаатов Рс, Р., Р„, р,, ... Р , из ко-

0' 1 2 3 ад'

торыо Р0 — б^сри^кое к камере К1 возможное

положпние онтересп, а в паложении Рад

объект мокоо считать бесконечно удалённым.

В самом боажнск положении к СК камеры К1 (точка Р0) лрс[ пт о&ьекта не попадает на фотоматрицу камеры срО и (зудос проходить по базовой линии. А при ураченоо объекта 43 от кчмеры К1с момента его охождениа с поле зрениекамеры К2 луч на обсект Р (от РС2 оо Ы(2 ) в СК камеры К2 по своему наклону Оудет стремиться к паралелльно-му состоянию с л^оо на этот жч объечт в СК камеры К1 (токка Рр-р3). Сучетом дискреоной структуры фотоприемников ооложекие ЪТ°2 — это положение объекта относительноизмерительной системы, когда определитьпо изо(ёражениям роиниру в соложении объекта становится невозможным. °то тааое расстояние, за пределаои кааорого все объектыдпя озмеротельной системы будут равноудалёноеыми.

Таким образом, в основу дальнейших преоб-Оaзоеaнпй пожожи]у[ зкключение о том, что если в нормально располаженоой измерительной ои-стеме пз двух одинаковых камер на изображенеи камеры К1 указан бооконечно удаленный объект а ооределаны иоорЫшаты еко изображения на изображении этой камеры, то в СК 1тамеры Ко изобра-жоооа етаоо оСеекта будет иметь такие жт координаты, что и в СК камеры К1. И если этот о бъеее мока иман но окрибликбть о коморе КЫ, то на изображении камеры К2 изобчаженио этого объеоа ]тудеж cиeщстьcя вдооь оси ОссХ=2 до техпор, пока не выедет оа преаелы изображения этой камеры

Доъ нормалоных условий съемки линии по-оска Кпк2 ооъеота Р, заданного в СК аамеры о 1 вектором скорректированных иоординат ИН = (МпИн еш 1° н гаи зображении 1тдК2 ч а-меры К2 по горизонту будетпротягиватьыя от точ-пи РН02 .Что точки -ЫоЧ .Приэтом сучётом того, что

а вертокаиьаой нлоскости кooотрнаты изображе-ннЗп объекто нп обеиа ызо^аженияр будут совпа-нваь, т.е. иН2 = Ик2о н 0(oкycнI[Ie рассоояноя чбъек-тивов оСпеъо каиере равты, т.е. / = Чо2 коооданаты точки Р02 о СК каъе°>ыа К' можно записать как

ыоЫыт = рыТъ еок° - о о ч ] иЫ

(1)

Коондонавы же изивpaжeнир беоконечно уда-оонной точчо Ыыо(.^ р кпркделиющей провую границу линии поиска Крк2, б уст иметь тс же ко о ннинаты, что то в СЛ кимеоы К\, т.е.

Ые = И ч

1 еч о ыс] ■

(2)

Изменпм ситуапию. Преть топоре обзектив ка-м(Ы]зы К3 бурит пинть 'окоеное рае:тъяние е'К1 Ф ек2. ИЫменится положеоис иеображения 1еодК1, приняв ЫгокожеРът ои%'о, ° а нектот. координат зачишем как

Лв1 и (оо Уве Т ]о.

Тчгда л;з подопня птямоуголных треугольников ОскОп^О в и ОоО^О О'ко^ наИ^.п!:.^ внктор кооидно нае токои ЫО° в СО кмер) ы тв1

Ун ]

Ла -о Лор

РK1 _ -^Ь'!

У кг

У пз-

(3)

С учееом полу!еииыи оаоисимостсэе! ¡оектсчзчы Р°2 и ЫоТ границ лини и плисла Ко 2 доянормально рас-положенныхкемек К1 1т К2 в слурае,когда ио объективы имеют раенсее фопос ные .аерст^я1^:ия I = / , представим в cсс(е1zв^^щем виде з

Ы и

1 к р

_ р|°аЛ']] сРкы Pкa( п тоа

2 "с" П^.о0

ЫИ

п (.а 0И

о VK1c[з рр^оз

.Ы Чар

увз пз

зо.

(4)

(5)

2-й К2

Рис.3. Иллюстрациякнахождению положения линии поиска для случая со случайно отклоненной правой камерой

Теперь камеру р1 оставим в ким же поножении. а камер. Кж товетжм от]косительно оптичесннго центра 00 её обыептиот на огол ос(рис. р).

Для ипрждеиозуя транщ оинии поискп РЫы на откл^1^ч;чн(^]11к^]у],ере чыражечия (4) и (р] непрт-менимы, так еак нем сп^ксддивы тольнд де^я ноу-мально ресположенных камер. Кроме этого, положение левой гркницы юи-шю поиска РТе ыежею определяется нып краом изобртжсниЯ[а пссложением на изображении ыагдК2 апиполюса доК2.

Опречилнм пожсжечие векчирт РЦ в СК К2.

Из представленной с хем ы очевидно, что пере п о с вектора иКрд ю СК цу в С112 К2, согжаснс вефажы-нию (2), с учёт ом м асатаб ыр ования относии е лжно фокусных рвсстояний даст вексор с чпоодич натами, зептсаннымн в СК камеры К2, если бы она была распблзжена нормаыьно относительно камеры К1, т.е.

PN _ ¿I

1 V) — лЬ

(Yd ЯКК

Va K1 ÍKi

= (*

yD fKK

y K( кi

DN)

fD fK2 dK2 K

1 )_

1 ) ■

(7)

P _ PN (pN )_ _ Я i'*

1 K2 РК)ПУК 2 ) NK) y K2

f

fK2

l) ■

(8)

p:

_pk kf2-_(x

У.)

1)

(9)

P0

A o

УкГ

(10)

рО1« > iooHaT<4> _ cW

,T( 4)1

(11)

Вито re верто р з ап14шем it с ледующем в иде:

P( = I 1 0 (0

rPT(4> _гат(К

Н ЬЧ Н

КД2

(12)

Для нахождендя положения точри П°2 пересчитав м коо рдоннты в ектара P^1 из С К нормально расположтннжй камеры К2 в СК произвольно рас-полрженрм (0 камерж1 К2 анаыогрчно (8), в ритультате чего пмл^им

HKf НК2 ЯНД2 ) (ХК2 нТ2 fK1 l) o

(13)

где Р.] — о б сзнач ение векто ра РК2 , з аданного в СК произыольдо расположенной каметы К2.

Аналооично .9) окотчательно тайдём координаты точки сР2 на изображедии 1ддК2 случайно ртс-положеноой камеры К2

рЯ о ж' )(í2 о íx

1 Г2 Г2 с' ' V

НГ2

П-

1) ■

(1 о)

В свою зчер е;Ъ] нешяжедюе этноо вектора ыа обрдтную мквр дцIг о за ынтто й три оно ацд я СЯс ] 1, с. 177, 2] кт мер ы К2 по зволыы п] еобр аз о в ато значения кнктори сЫ ит нормальни падпеложенной СК камеры К1 ]в дейктоиозоьн0, СК этой же камеры. Обозначис преовпазованный векснр с—и так -Р^р], найдём егз знетения

Провидя мйсшсабурывснио зоaрeний оекторк, Р-Т2 относительно фооуаногз расстояеия !К1 имит]еы К2, найдём значенсе вектвр а ирН ,определяющеко по^(п-жение пртзой гу^а ницы линии поиска Ру - в илучае, когда камеры К1и К2 случайно расположепы друо относит^итоо до;2К

Теперь опт еделим положение на изображении ПН1дК2 лтавой границылинии поиска, т.е.тот^ки сР- . /^я этоко в СК нормально расположенной камеры К2 западим некоторый вектор, который посвоему толожению впространстве будет максимальнобли-ни к к базовой линии 0К10К2,но приэтом точка Pтн должна находитьсянаплоскости /шдК2,авертикаль-ная его координата будетравна той же координате вектора РЖЖ2, т.и .

Так какпри пкае^тиоес1сих вычименияхна ЭВМ с бесконечностью работать не всегда удобно, а тем более, что для ЭВМ бесконечность всегда является строго ограниченнойиекичинок напртмер, в программе МаШа<3 забесконечность принимаетсячис-ло1х10307, и в Р1зязи а кем, что ]пол^:н;ен^^ обънкта интереса непосредственнов точке оптического центра 0К1 каме^1 К1 »маловероятно, то при задании вектора и/0 без значимой потери точности примем за первую коордитату ;^наче^оние, навнте б^^ни^e чем ста значениям расстоянтТ между камерами.В итоге первая координата вектора с учётом расстояния междукамерами(9) можетбытьзаписана как

Таким образом, полученнью н^екто-н^ы P^] и РKи будутсодержать координаты дополнительных ограничений эпиполярной линии поиска. Так как значения координат данных векторов заданы в системе координат камеры, то потребуется их перевод в систему координат изображения на основе модели камеры.

Особенностью изложенного подхода к нахождению ограничений области поиска является возможность организации автоматического поиска изображений объектов на стереопаребез нахождение фундаментальной матрицы и предварительной обработки изображений, что снизит требования в СТЗ как по условиям функционирования, так и по производительности. Это имеет важное значение для разработки оптико-электронных измерительных систем для образцов бронетанкового вооружения, в том числе и роботизированных, на основе сравнительно маломощных бортовых ЭВМ.

Библиографическийсписок

1. Зубарь А. В.,Пивоваров В. П., Алфёров С.В., Кайков К. В. [и др.]. Расширение функциональных возможностей систем управления огнём новых образцов бронетанкового вооружения // Итоговый отчёт НИР. Шифр «Стрекоза». Омск: ОАБИИ, 2016. 115 с.

2. Зубарь А. В., Кайков К. В., Гейнце Э. А. Математическая модель прицелаперископического типа как элемента си-стемытехнического зрения // Вестник Сибирского отделения Академии военныхнаук.2017. № 46. С. 121 — 126.

3. Зубарь А. В., Майстренко В. А., Кайков К. В. Программно-аппаратная реализация оптико-электронной стереосистемы определения дальности// Омский научныйвестник.2013. № 3 (123). С. 273-278.

4. Вахимов А. А., Гуревич Л. С., Павленко Д. В. Обзор алгоритмов стереозрения // Стохастическая оптимизация в информатике. 2008. Т. 4, № 1-1. С. 151-167.

5. Зубарь А. В., Сидоренко А. А., ТишинС. А., Щербо А. Н. Анализ способов поиска соответствий на изображениях для маломощных систем технического зрения // Национальные приоритеты России. Сер. 1. Наука и военная безопасность. 2017. № 4 (11). С. 5-12.

н

6. Крыловецкий А. А., Протасов С. И. Алгоритмы анализа изображений в системах стереозрения реального времени // Вестник Воронежского государственного университета. Сер. Системный анализ и информационные технологии. 2010. № 2. C. 9-18.

7. Грузман И. С., Киричук В. С., Косых В. П. [и др.]. Цифровая обработка изображений в информационных системах. Новосибирск: Изд-во НГТУ, 2002. 352 с.

8. Фосайст Д., Понс Ж. Компьютерное зрение. Современный подход: пер. с англ. М.: Издат. дом Вильямс, 2004. 928 с. ISBN 5-845-0542-7.

9. Fursov V., Goshin Ye. Conformed identification of the fundamental matrix in the problem of a scene reconstruction, using stereo images // Image Mining. Theory and Applications Conf. Proceedings of IMTA-4 2013. 2013. P. 29-37.

10. Чумаченко А. В. Разработка и исследование алгоритмов установления пиксельных соответствий на стереопарах для решения задачи восстановления рельефа: дис. ... канд. техн. наук. Таганрог, 2014. 134 с.

ПИВоВАРоВ Владимир Петрович, кандидат технических наук, заведующий кафедрой «Электрооборудование и автоматика». ЛиШогГО (РИНЦ): 408317 Адрес для переписки: [email protected] ЗуБАРь Алексей Владимирович, кандидат технических наук, старший преподаватель кафедры «Электрооборудование и автоматика». Адрес для переписки: [email protected]

Для цитирования

Пивоваров В. П., Зубарь А. В. Дополнительные ограничения при поиске изображений на стереопарах вдоль эпипо-лярных линий // Омский научный вестник. 2018. № 2 (158). С. 124-128. Б01: 10.25206/1813-8225-2018-158-124-128.

Статья поступила в редакцию 16.02.2018 г. © В. П. Пивоваров, А В. Зубарь

УДК 004.02 д. а. ПАНКОВ

DOI: 10.25206/1813-8225-2018-158-128-133 "

л. А. ДЕНИСОВА

Омский государственный технический университет, г. Омск

контроль и диагностика неисправностей программно-аппаратного комплекса

В работе предлагается комплекс показателей контроля основных неисправностей микроконтроллерной системы. Рассмотрены вопросы тестовой имитации неисправностей для автоматизации тестирования устройств на этапе разработки. Предложен подход к выявлению неисправностей программно-аппаратного комплекса с использованием программно-алгоритмических модулей контроля и диагностики. Экспериментально подтверждена эффективность данного подхода для контроля и диагностики сбоев и отказов в аппаратных компонентах при имитации неисправностей.

Ключевые слова: контроль и диагностика, имитация неисправностей, автоматизация тестирования, программно-аппаратный комплекс, аппаратный отказ.

Введение. Проектирование программно-аппаратных комплексов, состоящих из технически сложных аппаратных устройств, а также реализующих набор программ, выполняемых на одном или нескольких микроконтроллерных устройствах, является сложной задачей. Проблема контроля и диагностики неисправностей имеет актуальность для таких микроконтроллерных систем, как космические системы управления, информационно-вычислительные кластеры, поскольку для этих систем существуют жесткие требования к такому показателю надежности, как время наработки на отказ. Решение проблемы контроля и диагностики программно-аппаратных средств осложняется тем, что системы подвержены разнообразным внешним воздействиям, полный контроль которых физически нереализуем [1]. Отказ микросхем или воздействие излучения на устройство может привести к сбою при выполнении программы или к отказу интер-

фейса обмена между устройством и внешней средой. Следует отметить, что отдельной проблемой является проблема отказоустойчивости программного обеспечения, которое, к сожалению, нельзя рассматривать независимо от аппаратных средств, на которых оно реализовано [2].

В процессе испытаний изделия на надежность не всегда удается корректно установить все неисправности в программной и аппаратных составляющих, поэтому при эксплуатации комплекса устройств возможны экономические потери и невыполнение установленного в техническом задании показателя времени безотказной работы. Применительно к вычислительным комплексам можно говорить о различных типах входящих в них устройств, таких как устройство управления (УУ), рабочая станция оператора (РС) и приемно-передающее устройство (ППУ). В качестве примера на рис. 1 показана схема возможной организации программ-