CC BY
81
УДК 004.932.2
С.Ю. Желтое1,2, Ю.В. Визильтер1
1 Государственный научно-исследовательский институт авиационных систем
2 Московский физико-технический институт (государственный университет)
Перспективы интеллектуализации систем управления ЛА за счёт применения технологий машинного зрения
Статья посвящена применению технологий машинного зрения в задачах интеллектуализации систем управления ЛА. Описана общая проблематика построения автоматических и автоматизированных подсистем машинного зрения в перспективных системах управления ЛА. Рассмотрены типы датчиков, используемых в таких системах. Перечислены основные требования, предъявляемые к алгоритмам машинного зрения. Описан модульный подход к построению систем машинного зрения, используемый при разработке практических систем. Приведено краткое изложение ряда теоретических результатов, полученных в ГосНИИАС в области разработки перспективных методов машинного зрения. Описаны: метод анализа свидетельств на изображениях, методика автоматизированного конструирования процедур анализа изображений, оригинальные морфологические методы анализа цифровых изображений, метод оценки движения видимых объектов в движущемся видимом поле, оригинальные методы и средства совместного анализа данных различной физической природы.
Ключевые слова: системы управления, машинное зрение, обработка и анализ изображений.
Современные системы управления предназначены для управления сложными многофункциональными объектами, действующими в сложной окружающей обстановке. Это в полной мере относится к системам управления современными летательными аппаратами (ЛА). Информационное обеспечение таких систем управления предполагает наличие датчиков, обеспечивающих в каждый момент времени необходимую информацию о текущей ситуации, а также системы обработки информации, преобразующей «сырые» данные таким образом, чтобы их можно было непосредственно использовать при формировании управления. Создание нового поколения датчиков и быстродействующей вычислительной техники привело к тому, что на повестку дня стал вопрос об автоматизации ряда традиционных функций человека-оператора по обработке информации, ранее считавшихся принттипи-ально недоступными для автоматических систем. Прежде всего, речь здесь идёт о создании автоматических и автоматизированных систем технического зрения. Это предпочтение определяется следующими основными факторами. Во-первых, канал зрительного восприятия является одним из наиболее важных источников инфор-
мации в традиционных человекомашинных системах управления ЛА. Во-вторых, использование в современных автоматических системах цифровых видеодатчиков с высоким разрешением (размер получаемых изображений порядка 106 элементов и более) позволило существенно приблизить информативность искусственных зрительных устройств к соответствующим характеристикам человеческого гла-
за. В-третьих, аппаратные возможности, предоставляемые последними достижениями электроники и вычислительной техники, настолько высоки, что вычислительные мощности перспективных бортовых ЭВМ уже сегодня вплотную приближаются к характеристикам «вычислительных мощностей», используемых для обработки изображений в мозгу. Таким образом, на пути к осуществлению некогда фантастической мечты будущего — созданию полностью автономных автоматических ЛА, способных самостоятельно выполнять любые самые сложные боевые или хозяйственные задания, сегодня в значительной степени стоит необходимость решения лишь одной технической задачи — разработки методов и алгоритмов «понимания» изображений, получаемых от различных датчиков, осуществляющих информацион-
ное обеспечение современного ЛА. Однако именно эта задача во многих случаях оказывается и наиболее трудной.
Удивительная сложность проблемы «понимания» изображений может быть объяснена тем обстоятельством, что её интеллектуальная (алгоритмическая) составляющая оказалась во многом более сложной, чем традиционные задачи типа компьютерной игры в шашки или шахматы, которые долгие годы служили полем приложения методов «искусственного интеллекта» (ИИ). Это связано, по-видимому, со сложностью основного предмета, находящегося в центре внимания данной дисциплины, а именно — двумерного изображения. В отличие от большинства одномерных сигналов содержание изображения не возникает под действием сколько-нибудь простых физических законов, описываемых стандартными математическими уравнениями. Информационное наполнение изображения проявляется в виде бесконечного разнообразия яркостно-гео-метрических структур, модели порождения которых заранее неизвестны и могут просто отсутствовать. В этом смысле достаточно сложной задачей является «понимание» даже отдельных объектов, присутствующих в сцене наблюдения. Обнаружение и идентификация многих типов таких объектов, например, зданий и дорог на аэрофотоснимках, превратились в отдельные направления исследований. Так, только проблеме выделения зданий на изображениях в последние годы были посвящены несколько крупных международных конференций, поставивших лишь ряд новых проблем в дополнение к существующим [1-3]. Видимо, необходимо признать, что вопреки энтузиазму, царившему некогда в области ИИ, общая теория «понимания изображений» за последние 30-40 лет так и не вышла из начального возраста, и то её состояние, которое может быть зафиксировано на текущий момент, — это сочетание ряда нерешённых в общем виде теоретических задач, с одной стороны, и большого числа идей и подходов, далеких от окончательного вида хорошо разработанной теории, с другой. Между тем, во всем мире задача создания практических интеллектуальных систем технического зрения ЛА чрезвычайно ост-
ро стоит на повестке дня, и её необходимо решать уже сегодня.
Специфика разработки конкретных подсистем машинного зрения для перспективных систем управления ЛА определяется следующими основными особенностями. Во-первых, при разработке подсистем информационного обеспечения ЛА требуется решать не общую проблему автоматического понимания изображения произвольной сцены, а гораздо более определённую и узкую задачу проблемно-ориентированной интерпретации изображения. Часто эта задача сводится к обнаружению и идентификации на изображении некоторого набора объектов заранее известных типов, присутствие которых может повлиять на формирование управления. Во-вторых, к алгоритмам обработки изображений в подсистемах информационного обеспечения предъявляются специальные требования, связанные с назначением и конкретными характеристиками разрабатываемой или уже существующей системы управления. В зависимости от специфики конкретной задачи система автоматического управления предъявляет к подсистеме анализа изображений такие требования, как робастность, локализация и вычислительная реализуемость в рамках заданной аппаратной архитектуры. При этом одна из центральных проблем, отличающих область обработки изображений, например, от теории обработки сигналов, заключается в разработке методов обнаружения объектов, слабо чувствительных к разнообразным видам изменчивости, характерным только для изображений, таким как различные типы искажений оптических сенсоров, блики, затенения, загораживания, искажения формы, ракурсные искажения, шумовые компоненты. В то же время необходимо отметить, что существенное расширение возможностей подсистем технического зрения ЛА может быть достигнуто при совместном использовании датчиков различной физической природы (ДРФП). При этом финальная эффективность решения задачи управления будет зависеть как от используемого набора и характеристик датчиков, так и от характера алгоритмов обработки и комплекси-рования информации.
Настоящая работа посвящена применению технологий машинного зрения в зада-
чах интеллектуализации систем управления ЛА. Работа имеет следующую структуру. В первом разделе обсуждается общая проблематика построения автоматических и автоматизированных подсистем машинного зрения в перспективных системах управления ЛА. Во втором разделе рассматриваются типы датчиков, используемых в перспективных системах управления ЛА. Третий раздел посвящен требованиям, предъявляемым к алгоритмам машинного зрения в подсистемах машинного зрения ЛА. Обсуждаются такие требования как робастность, локализация и вычислительная реализуемость. В четвертом разделе кратко характеризуются основные группы современных методов машинного зрения, используемые при построении практических систем. Пятый раздел посвящен краткому изложению ряда теоретических результатов, полученных в ГосНИИАС в области разработки перспективных методов машинного зрения в задачах интеллектуализации систем управления ЛА. Описаны: метод анализа свидетельств на изображениях, методика автоматизированного конструирования процедур анализа изображений, оригинальные морфологические методы анализа цифровых изображений, метод оценки движения видимых объектов в движущемся видимом поле, оригинальные методы и средства совместного анализа данных ДРФП. В заключении кратко рассматриваются области приложения описанных методов и технологий машинного зрения.
I. Автоматические и автоматизированные подсистемы машинного зрения в перспективных системах управления ЛА
На сегодняшний день элементы технологии машинного зрения в области управления и информационного обеспечения ЛА используются при решении следующих двух принципиально различных задач:
1) задачи автоматической навигации и целеуказания в автономных системах управления;
2) задачи комплексной информационной поддержки принятия решений челове-
ком-оператором в автоматизированных системах.
Назначение автономной системы навигации и целеуказания сводится к максимально эффективному обнаружению определённых объектов на местности, их классификации (идентификации) в пределах установленных классов и выдаче соответствующих директив исполнительной системе управления. В автоматизированной системе те же задачи решаются челове-ком-оператором на основании информации, предоставленной ему системой обработки и комплексирования информации. При этом основные функции систем машинного зрения и состав необходимых алгоритмов анализа изображений оказываются в обоих случаях достаточно сходными. Действительно, с учётом относительно невысокой скорости обработки человеком сложной и быстро меняющейся многоканальной информации, информация, предоставляемая человеку-оператору видеоподсистемой современного ЛА, должна быть не «сырой», а в максимальной степени переработанной, подготовленной. Это ведёт к необходимости включать в состав систем информационной поддержки пилотируемых ЛА интеллектуальных элементов предварительного анализа сцены (обнаружения и распознавания объектов), характерных для автоматических систем управления. Особенно существенен данный момент для информационных систем, использующих наборы данных различной физической природы, поскольку в силу «спектральной ограниченности» человеческого зрения информацию от каналов «дополнительных» диапазонов в любом случае необходимо специальным образом интерпретировать, кодировать и представлять оператору в удобной для него интегральной форме вместе со всей остальной графической и текстовой информацией.
Для зарубежных исследований в области технологии автоматического обнаружения целей (АТИ) было характерно чередование относительных успехов и неудач примерно до 1987 г., когда научно-технический комитет МО США окончательно признал её перспективной в рамках программы LANTIRN. В ходе реализации этой программы были преодолены трудности, связанные с распознаванием воздушных и крупных стационарных целей в условиях
отсутствия или наличия незначительных местных помех. В настоящее время исследования технологии АТИ ведутся главным образом с точки зрения её применения в оптико-электронных системах, РЛС и системах с комбинацией датчиков. Именно в этих направлениях сосредоточены усилия научных лабораторий и промышленных фирм, причём основное внимание уделяется усовершенствованию алгоритмов, датчиков и процессоров.
Анализ разработок зарубежных фирм в области создания систем АТИ показывает, что практическое применение находят четыре основных группы алгоритмов распознавания цели:
— алгоритмы согласованной фильтрации с проверкой совпадения, использующие шаблоны для целей, которые необходимо обнаружить;
— алгоритмы статистического распознавания образов, предусматривающие выборку изображений целей с учётом их конкретных характерных признаков;
— алгоритмы технического зрения на основе моделей, с помощью которых сравниваются характерные признаки наблюдаемой цели с хранящимися в памяти ЭВМ моделями данного изображения;
— нейросетевые алгоритмы, предполагающие обучение на примерах искусственной нейронной сети, имитирующей структуру мозга человека.
Выбор того или иного способа распознавания целей, так же, как и разработка системы АТИ в целом, требует четко определённой основы, предусматривающей ответы на следующие вопросы:
— каковы требования к выполнению задачи данным ЛА?
— насколько сложна классификация целей для разрабатываемой системы?
— потребуется ли для выполнения поставленной задачи дедуктивный или индуктивный ход рассуждений?
— если в процессе принятия решений предусматривается участие человека, какова должна быть степень подробности «подсказок «со стороны машины?
— какие характеристики датчиков являются в данном случае ключевыми?
— как совмещать разнородную информацию от датчиков, установленных, на различных платформах, имеющих разную
внутреннюю геометрию и представленных в различных форматах?
Фирмы Martin Marietta и Texas Instruments ведут разработку подсистем обнаружения и алгоритма распознавания целей для системы самонаведения крылатых ракет (КР), предназначенных для автономного поиска и уничтожения особо важных объектов. Подсистема фирмы Martin Marietta включает РЛС миллиметрового диапазона и систему FLIR. Фирма Texas Instruments в качестве средства обнаружения избрала лазерный локатор LADAR и систему FLIR. Алгоритмы распознавания целей обеих конкурирующих фирм используют сопоставление их трёхмерного изображения с моделью, введённой в память системы обработки данных, или же их сигнатур, полученных под различными углами обзора. Весь процесс распознавания занимает доли секунды. В случае недостатка данных КР может сойти с маршрута, сблизиться с объектом и совершить его облет. По заявлению представителей фирмы Texas Instruments, разработанный фирмой алгоритм ATR позволяет различать пусковые установки ЗРК и ракет класса поверхность-поверхность или же транспортные автомашины и подвижные пункты связи. По утверждению фирмы Martin Marietta разработанный ею алгоритм с вероятностью 85% обеспечивает распознавание трёх типов армейских транспортных средств с примерно равными размерами и сходной конструкцией.
Алгоритмы распознавания целей с использованием нейронных сетей разрабатываются в США управлением DARPA. В центре исследований — отработка алгоритмов на основе абстрактного представления целей вместо использования детальных изображений. Это особенно важно в тех случаях, когда возникает необходимость в усовершенствовании систем ATR с включением изображений новых целей, так как значительно сокращает время на сбор информации и отработку алгоритма.
В 1999 году на вооружение палубной авиации ВМС США поступила тактическая крылатая ракета Boeing AGM-84H SLAM-ER — первая американская система оружия, обладающая способностью автоматического распознавания целей (режим ATR — Automatic Target Recognition). По сравнению с режимом автоматического
захвата цели (АТА — Automatic Target Acquisition), реализованным ранее в ряде авиационных средств поражения, в режиме ATR изображение потенциальной цели, получаемое бортовыми датчиками, в реальном масштабе времени сравнивается с её цифровым образом, заложенным в память БЦВМ, что позволяет осуществлять автономный поиск объекта, его идентификацию и нацеливание ракеты при наличии лишь приблизительных данных о местонахождении цели. Автономные ЛА типа КР JASSM также снабжаются комбинированной системой наведения — инерциально-спутниковой на маршевом участке полета и тепловизионной, с режимом автоматического распознавания цели — на конечном. Такая комбинированная система позволяет, в частности, реализовать режим перенацеливания в полете.
Однако несмотря на явный прогресс в области разработки систем ATR, за рубежом по-прежнему наблюдается большой интерес к созданию автоматизированных человекомашинных систем управления ЛА с элементами технического зрения. Авиационные специалисты не торопятся переходить на полностью автоматические системы целеуказания. На наш взгляд, такая осторожность во многом оправдана, и это связано с двумя следующими основными факторами. Во-первых, решение о нанесении удара по цели слишком ответственно, и потому необходима гораздо более высокая степень уверенности обнаружения и распознавания, чем та, которая обеспечивается в настоящее время лучшими системами ATR. Во-вторых, в условиях постоянно обновляющейся номенклатуры изделий, принимаемых на вооружение (как в нашей стране, так и за рубежом), для поддержания боеспособности систем ATR в каждой из них необходимо создать и постоянно обновлять банк моделей объектов, подлежащих точному распознаванию, что является достаточно тяжёлой задачей в техническом, в экономическом и в организационном плане. Поэтому на настоящем этапе представляется более целесообразным ориентироваться на включение элементов ATR в системы информационной поддержки автоматизированных систем управления ЛА. При этом требования к надежности распознавания немного смягчаются, посколь-
ку окончательное решение принимает человек-оператор, который может проигнорировать или уточнить информацию, если она покажется ему недостаточно достоверной. В этом случае оператору в обязательном порядке должна быть доступна и «сырая» информация от датчиков, которую он мог бы интерпретировать самостоятельно, «в обход» системы АТИ. В автоматизированных системах снижаются и требования к «разрешению» распознающих алгоритмов. Системе информационной поддержки достаточно привлечь внимание оператора к определённому участку сцены, после чего распознавание точного типа объектов и принятие решения о необходимости тех или иных действий осуществит сам оператор. При такой постановке задачи нет необходимости поддерживать сверхподробную базу моделей возможных целей, как это имеет место в случае «чистого» АТИ. База моделей может включать лишь общее описание крупных классов целей. В то же время, уменьшение подробности выдаваемых оператору «подсказок» позволяет резко увеличить скорость обработки информации, что ведёт к высвобождению вычислительных ресурсов для решения других задач управления ЛА.
В заключение данного раздела необходимо отметить, что задача автоматического или автоматизированного обнаружения целей является безусловно базовой, но все же частной технологической задачей по отношению ко всему комплексу основных целевых задач машинного зрения перспективных ЛА, которые в общих чертах могут быть сформулированы следующим образом:
— обнаружение объектов и изменений в сцене наблюдения;
— высокоточные измерения элементов сцены;
— слежение за объектами;
— самоориентация и самопозициониро-вание ЛА;
— реконструкция наблюдаемых поверхностей и обнаружение трёхмерных структур;
— описание сцены и идентификация объектов.
II. Типы датчиков, используемых в перспективных системах управления ЛА
Как в процессе функционирования автономной системы машинного зрения, так и в работе человека-оператора автоматизированной системы управления, многие проблемы возникают вследствие естественной низкой различимости целей на оптическом изображении (дождь, туман и т. д.), либо возможного присутствия активных видов противодействия (маскировка, пиротехнические средства, прожекторы и т. п.). Значительную роль в снижении характеристик обнаружения играют также шумовые компоненты сигналов, образующиеся из-за особенностей применяемых датчиков и неидеальности каналов передачи данных. Большинство разработчиков перспективных систем управления ЛА видят основной путь борьбы с этой группой проблем в совместном использовании датчиков различной физической природы.
Изображения, получаемые от различных ДРФП, имеют свои характерные яр-костно-геометрические особенности, которые обусловлены как физикой формирования самого изображения, так и характеристиками оптико-электронных трактов. Данные особенности в значительной степени определяют выбор алгоритмов предварительной обработки и распознавания. Так, существенные сложности при обработке изображений в оптическом диапазоне представляют затемненные участки, на которых теряют эффективность локальные и градиентные алгоритмы. В то же время изображение в ИК диапазоне обладает свойством отсутствия теней, что даёт возможность выделить тени на оптическом изображении в случае совместной обработки изображений, получаемых от ТВ и ИК датчиков. Изображения, получаемые в миллиметровом диапазоне, характеризуются хорошим качеством в условиях дождя, тумана, облачности, однако геометрические размеры объектов сцены на таких изображениях значительно отличаются от действительных. Таким образом, комплексная обработка изображений в различных спектральных диапазо-
нах предоставляет дополнительные возможности при автоматизации обработки и распознавания.
Табл. 1 обобщает основные характеристики и наиболее известные признаки восьми двумерных датчиков, обладающих существенной разделительной способностью по отношению к типовым объектам интереса ЛА. Все перечисленные датчики могут практически использоваться при решении задач управления и выпускаются серийно по существующим технологиям.
Изображения, получаемые от различных датчиков, имеют существенную корреляцию, поскольку имеются естественные взаимосвязи между физическими величинами, которые измеряются этими датчиками. Это означает, что со статистической точки зрения данные, формируемые различными каналами многоканальных систем дистанционного наблюдения, не могут рассматриваться как независимые источники свидетельств об объектах сцены наблюдения. Тем не менее каждый диапазон несет и определённую специфическую информацию об объекте наблюдения, что позволяет системам машинного зрения, использующим несколько различных датчиков, демонстрировать лучшие результаты по сравнению с системами, основанными на одном спектральном диапазоне.
Комплексирование данных различной физической природы может осуществляться на основе логического или вероятностного объединения поканальных решений, полученных в ходе раздельного анализа информации, поступающей от каждого датчика. Известны также схемы комплек-сирования, основанные на классификации объединённых наборов признаков, формируемых по совокупности признаков, выделяемых в ходе анализа изображений разных каналов. Однако большинство современных подходов к построению многоканальных систем машинного зрения предполагают уже не «комплексирование» многозональной информации в прежнем узком смысле, а сложный многоэтапный процесс совместного анализа данных, на различных этапах которого в центре рассмотрения оказываются изображения от различных датчиков, происходит их перекрёстный опрос, запрашиваются различного рода подтверждения и уточнения и т. д. и т. п. При этом собственно алгоритмы
анализа изображений (двумерных информационных полей) различных диапазонов обладают достаточной общностью и универсальностью, что позволяет с единых по-
зиций рассмотреть требования к таким алгоритмам и основные группы методов, используемые в подсистемах машинного зрения существующих и перспективных ЛА.
Таблица 1
Тип датчика Формат представления данных Полезные признаки
Тепловизионный • 2Б-тепловое изображение • форма, max/min эмисия, количество и расположение горячих пятен, окружение (среда)
Радар мм-волн • Ш-отражённый профиль • Ш или 20-поляри-зационные изображения • 2Б-поле скоростей • распределение и степень протяженности рассеивателей • чётный и нечётный номер и расположение упругих рассеивателей • частоты пульсации и ширина пучка рассеивания
Лазерный локатор • ЗБ-изображение • доплеровская модуляция (вибрация) • 2Б-поле скоростей • размер, ЗО-форма, расположение объектов • пульсация, структурная и поверхностная частоты • пространственное распределение движущихся участков сцены
Локатор с синтетическим рас-крывом • 2В-изображение • размер и расположение объектов
Телевизионный • 2 О-полутоновое видеоизображение • форма, размеры, текстура, внутренняя структура объектов, окружение
Микроволновый Р&Д&Р • доплеровская модуляция • 2В-изображение • скорость, частота пульсации и ширина пучка • размер, формат, количество и расположение объектов
Акустический датчик • отражённый звуковой сигнал • частоты пульсации, гармоники отношения частот, источники специфического шума
Интерферометр • спектральная и временная зависимость микроволнового излучения • частота, частотная модуляция, амплитудная модуляция, продолжительность пульсации, интервалы пульсации
III. Требования к алгоритмам машинного зрения
в подсистемах машинного зрения ЛА
Рассмотрим требования к методам и алгоритмам машинного зрения в системах управления ЛА на примере наиболее специфической группы алгоритмов — алгоритмов обнаружения объектов на изображениях. При этом будем рассматривать три основных области, в которых предъявляются следующие требования:
— робастность;
— локализация;
— вычислительная реализуемость.
111.1. Робастность
Алгоритмы технического зрения часто отрабатываются на математических моделях характерных целей, которые могут быть получены искусственным путём с помощью ЭВМ. Этот метод считается более быстрым и даёт возможность отрабатывать алгоритмы в отношении объектов, реальные изображения которых отсутствуют. Однако создаваемые алгоритмы должны работать не только на модельных, но и на реальных изображениях. Между тем каждый, кто конструировал алгоритмы обработки реальных изображений, хорошо знает, насколько изменчивы и неформали-зуемы могут быть факторы, влияющие на качество реальных изображений от датчиков и соответственно — на вероятность об-
наружения и распознавания объектов на этих изображениях.
Перечислим эти факторы более подробно:
— шумовые эффекты — имеют десятки видов источников возникновения, к числу которых можно отнести несовершенство сенсоров приемо-передающей аппаратуры, аппаратуры оцифровки изображений, трудные условия съёмки, недостаток освещения и ряд других;
— сложный текстурированный фон, на котором должно происходить обнаружение объектов, например, обнаружение штриховой наклейки на газетной странице и т. п.;
— эффекты загораживания (заслонения) одних объектов другими объектами, как правило, не определённой заранее формы, например, — облако на космофотоснимке и т. п., загораживающие помехи;
— искажающие оптические эффекты в виде различных расфокусировок и дистор-сий, ракурсные искажения и др.;
— эффекты резкой смены освещения, блики, тени, особенно в динамически меняющихся сценах;
— разнообразие или изменчивость самих объектов обнаружения — переменная структура (как у штриховых кодов), дефекты, временные изменения формы, вегетационные циклы для растительности и т. п.;
— эффекты изменения среды между сенсорами и объектами наблюдения — задымления, атмосферные осадки, пыль, искусственные помехи и многие другие;
— несинхронная запись и обработка данных в динамических задачах обнаружения, связанная с ограничениями компьютерных средств хранения и анализа изображений, особенно критическими для приложений с требуемыми высокими временами реакции системы обнаружения объектов. Сюда можно отнести также сбои в компьютерных программах обработки.
Даже беглый анализ приведённых факторов демонстрирует практическую невозможность их полного формального математического описания — вероятностного, радиометрического или геометрического. Отсутствие формализованного описания ключевых факторов, вносящих неопреде-лённость в процесс обработки, приводит к тому, что говорить о существовании един-
ственного оптимального алгоритма для решения той или иной задачи обработки изображений в подобных задачах будет невозможно ещё многие годы. Представим себе, что существует несколько алгоритмов, достигающих примерно одинаковых результатов на «идеальных» (неискажённых) изображениях. Тогда возникает естественный вопрос, как сравнить эти алгоритмы по качеству их работы. При разработке реальных алгоритмов в настоящее время стандарт «де факто» состоит в проверке эффективности работы сконструированных алгоритмов на огромных выборках реальных данных или изображениях, содержащих по возможности все неприятные ситуации. Такие алгоритмы, которые обладают устойчивостью к значительным искажениям и меняющимся факторам, принято называть робастными. Робастность следует отнести к основным практическим требованиям, предъявляемым при разработке алгоритмов обнаружения объектов и других алгоритмов машинного зрения.
111.2. Локализация
Важное отличие, присущее собственно проблеме обнаружения объектов на изображениях по сравнению с задачами распознавания или интерпретации заранее сегментированного образа заключается в том, что обнаружение в практических задачах всегда связано с процедурой поиска объекта.
Именно реализация процедуры поиска объекта связана с угрозой взрывообразного роста необходимого числа вычислений. Проиллюстрируем это на примере простой задачи поиска объекта путём сравнения текущего изображения сцены с растровым эталоном или шаблоном формы объекта. Если построить какой-либо функционал соответствия между объектом размером М х М и фрагментом М х М из изображения размера N х N, то простой перебор фрагментов требует количества вычислений не менее чем М2N2 операций, что, например, при размере объекта 50 х 50, а изображения — 2000 х 2000 элементов составляет 10 миллиардов операций. Даже с учётом значительного увеличения мощности современных БЦВМ такие объёмы вычислений по-прежнему далеко выходят
за пределы возможностей реализации бортовых систем реального времени, предназначенных для таких задач, как навигация и наведение ЛА. Более того, реальные задачи обработки визуальной информации, как правило, изобилуют дополнительными степенями свободы, когда искомая яр-костно-геометрическая структура на изображении может иметь не только произвольные положение, угловую ориентацию и масштаб, но и подвергаться разным преобразованиям, не только аффинным или проективным, но и гораздо более сложным, таким как различные «резиновые» модели или «коробление» (warping). Все это катастрофически увеличивает потребное для корреляционного перебора время расчётов и требует применения качественно иных идей по организации процесса обнаружения.
В связи с этим второе важнейшее свойство, которым должны, как правило, обладать алгоритмы обнаружения объектов на изображениях, можно определить как точную локализацию. Это понятие означает, что необходимо не только обнаружить объект, но и точно указать в системе координат изображения (или сцены) его положение в каком-либо смысле. Несколько неясное толкование понятия «локализации», приведённое выше, связано с тем, что по сравнению со своей эталонной моделью объект на реальном изображении может быть заметно искажен геометрически, причём аналитическая модель искажения может отсутствовать. В этих случаях локализация объекта является нетривиальной задачей. В более простой ситуации при аналитически известной с точностью до параметров геометрии искажений под точной локализацией можно понимать знание о положении какой-либо характерной точки объекта и параметрах геометрии искажения (углы поворота, элементы проективного преобразования и т. п.). При этом встречающиеся случаи ошибок локализации целесообразно разделить на две группы — нормальные и аномальные ошибки.
Нормальная ошибка — это правильная локализация объекта с некоторой позиционной или параметрической неточностью, характеризуемой количественными оценками. Для объектов, характеризуемых габаритными размерами, большими 3 X 3 ... 5 X 5 элементов изображения, позицион-
ные нормальные ошибки могут быть значительно меньше размера элемента изображения, уменьшаясь с величиной объекта. В этом случае принято говорить о возможности субпиксельной локализации. Это особенно важно для задач стерео обнаружения, так как при малых параллаксах 3D-объектов субпиксельная локализация самым существенным образом определяет точность их пространственного положения.
К аномальным ошибкам следует отнести ситуацию перепутывания объектов или возникновение артефактов (ложных объектов) на фоне, что связано с фатальными количественными ошибками позиционирования или просто ложным обнаружением. Требования по исключению или ограничению уровня аномальных ошибок составляют очень важную часть требований к алгоритмам обнаружения, так как ошибочное целеуказание непосредственно приводит к формированию неэффективного управления.
Ш.Э. Вычислительная реализуемость
Несмотря на отмеченный ранее колоссальный прогресс вычислительной техники и создание обширной специализированной процессорной базы для обработки изображений, для основной массы бортовых приложений реального времени характеристики вычислителей и их свойства все ещё далеки от желаемых. Даже в случае реализации простейших алгоритмов оконной фильтрации изображения с минимальной апертурой 3 х 3 элемента, объём вычислений составляет десятки операций на точку изображения. При обработке более высокого уровня необходимый объём вычислений колеблется в пределах от сотен до тысяч операций на пиксель. Если размер анализируемого изображения составляет порядка 1000 х 1000 элементов, что не является чем-либо необычным для современных видеодатчиков (можно вспомнить, что бытовые цифровые фотоаппараты давно превзошли отметку 2 мегапикселя в ПЗС матрице), мы получим оценку количества потребных вычислений порядка нескольких гигабайтов операций на кадр. Между тем для приложений реального
времени необходимо выполнять эти вычисления в темпе кадровой развёртки (не менее 25 кадров в секунду), что приводит к оценке быстродействия около 50 Gflop/sec. Сами по себе эти оценки сегодня не являются запредельными для ЭВМ последнего поколения, однако следует учесть, что в случае создания систем управления перспективных ЛА массогабаритные характеристики конструируемых вычислительных устройств должны быть весьма ограничены.
Таким образом, вычислительная реализуемость алгоритмов по-прежнему относится к числу наиболее важных факторов, учитываемых при их разработке.
IV. Современные методы машинного зрения
В настоящее время последовательность процедур обработки изображений принято рассматривать в соответствии с так называемой парадигмой Марра [4]. Эта парадигма, предложенная Д. Марром на основе длительного изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений опирается на несколько последовательных уровней восходящей информационной линии «ико-ническое представление объектов (растровое изображение, неструктурированная информация) — символическое представление (векторные и атрибутивные данные в структурированной форме, реляционные структуры)» и должна осуществляться по модульному принципу посредством следующих этапов обработки:
— предобработка изображения;
— первичная сегментация изображения;
— выделение геометрической структуры видимого поля;
— определение относительной структуры и семантики видимой сцены.
Связанные с этими этапами уровни обработки обычно называются соответственно обработка нижнего уровня, среднего уровня, высокого уровня. В то время как алгоритмы обработки нижнего уровня (фильтрация простых шумов, гистограмм-ная обработка) могут рассматриваться как хорошо проработанные и детально изученные, алгоритмы среднего уровня (сег-
ментация) продолжают сегодня оставаться центральным полем приложения исследовательских усилий. За последние годы значительный прогресс был достигнут по отношению к проблемам сопоставления точек и фрагментов изображений (matching) [5, 6], выделения признаков внутри малых фрагментов [7-9], высокой точности SD-позиционирования точек [10, 11], что подразумевает соответствующее моделирование и калибровку датчиков и их комбинаций, выделение простых яркостно-геометрических структур типа «точка», «край», «пятно», «прямая линия», «угол» [12-16]. Эти «первичные» особенности изображения, также называемые характерными чертами (ХЧ), играют базовую роль и при составлении яркостно-геометрических моделей объектов и разработке робастных алгоритмов их выделения. Ввиду высокой значимости характерных черт для разработки алгоритмического обеспечения задач управления ЛА, в ГосНИИАС были проведены исследования свойств различных типов ХЧ на типичных сюжетах — авиационных снимках местности.
На рис. 1 приведена классификация характерных черт (ХЧ), которые могут присутствовать на изображениях. Характерные черты на изображении имеют следующие виды атрибутов.
1. Положение: концы отрезка, центр отрезка, центр тяжести области, вершины многоугольников.
2. Геометрические атрибуты: ориентация, длина, кривизна, площадь, периметр, ширина линии, минимальный и максимальный диаметр области, оси симметрии, число и положение особых точек, показатель компактности, и др.
3. Радиометрические атрибуты: контраст, статистика распределения яркости, знак и величина края, автокорреляция.
4. Текстурные атрибуты: матрица
смежности, показатель однородности, энергия, энтропия, статистика градиентов текстуры, результаты применения текстурных фильтров, моменты.
5. Топологические атрибуты: связ-
ность, соседство, общие точки, пересечение, параллельность, перекрытие, включение.
6. Цветовые/многозональные атрибуты: вектор атрибутов для каждого канала.
7. Динамические атрибуты: атрибуты статических и движущихся объектов.
8. Временные атрибуты: функции изменения атрибутов со временем.
Выбор конкретных ХЧ и их атрибутов для построения алгоритмов обнаружения должен основываться на следующих основных критериях.
1. Присутствие/плотность: наличие
данных ХЧ на всех используемых изображениях, достаточная плотность ХЧ для покрытия интересующего района.
2. Редкость/уникальность: редкость
конкретной ХЧ на изображении, уникальность ХЧ в окрестности.
3. Инвариантность/устойчивость: робастность по отношению к геометрическим и радиометрическим искажениям, нечувствительность к шуму.
4. Локализация: возможность точной локализации.
5. Интерпретация: возможность быстрого распознавания и интерпретации.
6. Скорость: время выделения данного класса ХЧ из исходного изображения.
Рис. 1. Классификация характерных черт
При работе с реальными изображениями перечисленные критерии являются противоречивыми. Поэтому конкретный выбор ХЧ и их атрибутов зависит от доступной вычислительной мощности и от минимальной требуемой робастности описания модели объекта в терминах ХЧ.
Методы обработки высокого уровня, относящиеся собственно к «пониманию изображений», находятся ещё в начальной фазе развития и по-прежнему представляют собой «вызов» для сообщества исследователей в области компьютерного зрения и искусственного интеллекта. Безусловно, перспектива создания будущих поколений интеллектуальных систем управления в основном зависит от дальнейшей разработки именно этого круга алгоритмов.
Если говорить о методах и алгоритмах обнаружения сложных объектов, то одна из центральных проблем, отличающих методы обработки изображений от хорошо изученной теории обработки сигналов, заключается в разработке методов обнаружения объектов, слабо чувствитель-
ных к разнообразным видам изменчивости, характерным лишь для изображений. Такими специфическими видами изменчивости являются ракурсные и радиометрические искажения, а также различные виды искажений, несводимые к вероятностным моделям (шумы формы). На пути борьбы с ними были предложены как огромное множество эвристических алгоритмов обнаружения конкретных типов объектов, так и ряд подходов, обладающих большей общностью: методы корреляционного обнаружения [17-19], преобразование Хафа [20-23], морфологические подходы Пытьева [24-25] и Серра [26-28]. Значительный вклад в разработку методов и алгоритмов обработки изображений и машинного зрения применительно к обсуждаемым задачам обнаружения внесли работы Л.П. Ярославского, В.К. Злобина, В.Л. Лёвшина, Р. Харалика, Е. Дэвиса, Р. Неватиа, Е. Дикманнса, В. Фёрст-нера и многих других. Однако несмотря на достигнутые результаты, общее состояние проблемы выделения и идентифика-
ции сложноструктурированных объектов на моноскопических изображениях можно охарактеризовать как неудовлетворительное. Ещё сложнее выглядит задача обнаружения трёхмерных структур на стереоскопических изображениях. Здесь только намечаются подходы к более общим постановкам.
V. Разработка перспективных методов машинного зрения
На протяжении последних десятилетий в ГосНИИАС ведутся регулярные исследования и разработки, связанные с созданием перспективных систем машинного зрения. За это время, помимо ряда прикладных систем машинного зрения, был создан и ряд новых теоретических подходов к построению как алгоритмов анализа изображений, так и систем машинного зрения в целом. Ниже приводится краткое описание нескольких разработок в данной области, осуществленных в ГосНИИАС с участием авторов данного доклада.
У.1. Метод анализа свидетельств на изображениях
Для непосредственного описания и разработки алгоритмов обнаружения сложных структурированных объектов был предложен обобщённый метод совместного анализа свидетельств на изображениях [29-30]. Данный метод изначально основан на теоретико-вероятностном подходе, причём обнаружение сводится к проверке гипотезы о нахождении изображения объекта на реальном изображении. При этом любой яркостно-геометрической модели объекта ставится в соответствие некоторая экспертная вероятностная модель, описывающая статистические зависимости между различного рода особенностями изображения и гипотезой о принадлежности наблюдаемого объекта данной яркостно-геометрической модели. Полученная вероятностная модель используется уже на этапе обнаружения объекта, непосредственно в ходе низкоуровневого анализа конкретного предъявляемого изображения. При этом каждая обнаруженная особенность данного изображения (характерная черта) рассматривается как
событие, свидетельствующее в пользу гипотезы (ряда гипотез) о наличии и характеристиках искомого объекта. Инвариантность (робастность) обнаружения к условиям регистрации обеспечивается за счёт соответствующего выбора типа используемых свидетельств (ХЧ), таких, что их связь с оцениваемыми параметрами регистрации не зависит или слабо зависит от значений параметров, которые на этапе обнаружения не оцениваются.
Было показано, что обобщённый метод анализа свидетельств определяет следующие основные возможности повышения вычислительной эффективности алгоритмов детектирования: независимое аккумулирование свидетельств, декомпозиция вектора параметров, редукция вектора параметров, загрубление модели объекта. Соответствующая модульная схема обобщённого алгоритма обнаружения объектов содержит, по крайней мере, три основных процедуры, применяемые последовательно: обработка изображения по схеме голосования с целью выделения объектов или их составляющих; анализ аккумулятора с целью определения положения и/или ориентации объектов; повторный анализ изображения с целью проверки природы обнаруженных объектов и уточнения их параметров. Для реализации процедур анализа свидетельств в виде модульных алгоритмов обработки изображений предложена формальная последовательность шагов разработки алгоритмов обнаружения, позволяющая разрабатывать эффективные процедуры инвариантного детектирования конкретных классов объектов на изображениях.
Рассматривая практические приложения данного метода, необходимо прежде всего отметить, что, в отличие от общих вероятностных, информационных, алгебраических, нейросетевых и т. п. подходов, предложенный в ГосНИИАС метод анализа свидетельств имеет четко очерченную область применения в задачах обнаружения и локализации сложных структурных объектов на статических цифровых изображениях. Данный метод предполагает наличие яркостно-геометрической модели двумерного образа искомого объекта, исходя из которой он позволяет стандартным образом порождать необходимые яркостно-геометрические модели подлежа-
щих обнаружению характерных черт («событий») и устанавливать их геометрическую связь с параметрами модели объекта для последующей локализации и идентификации объекта на изображении. При этом о содержательной яркостно-геомет-рической модели объекта можно говорить только в том случае, если существует определённая неоднородность внутри самого изображения объекта, которая позволяет выделить внутри него некоторые характерные черты и затем выявить их пространственные отношения, которые послужат основой для локализации объекта.
V.2. Методика автоматизированного конструирования процедур анализа изображений
Как было отмечено, условием применимости метода анализа свидетельств на изображениях является наличие известной яркостно-геометрической модели объекта. В литературе описан широкий спектр таких моделей — от простейших признаковых описаний до высоко специализированных и изощренных структурных моделей. Однако общий метод составления работоспособных моделей для новых классов объектов до сих пор неизвестен. Отсюда следует, что разработка и использование яркостно-геометрических моделей, пригодных для эффективного решения задачи обнаружения соответствующих объектов, в значительной степени остаётся на грани науки и искусства, то есть требует особого «know-how» или, другими словами, знания предметной области, отражающего многолетний опыт исследований по решению частных задач. В связи с этим в ГосНИИАС была поставлена задача разработки методики полностью автоматического конструирования модульных алгоритмов анализа изображений на основе моделей, включая и автоматическую генерацию самих исходных моделей на основе базы эталонных изображений объекта.
В рамках данного направления была разработана методика автоматизированного конструирования процедур анализа изображений в задачах обнаружения и идентификации объектов на основе их структурно-вероятностного описания [31-32]. Методика основана на преобразованиях исходных модельных описаний
к модельным описаниям, соответствующим метаалгоритмам известных схем анализа изображений, и опирается на описанный выше подход к анализу изображений, основанный на анализе выделяемых из изображения свидетельств. Также в рамках данного направления была разработана методика автоматизированного конструирования близких к оптимальным модульных процедур обнаружения и идентификации объектов на изображении с использованием генетических алгоритмов. Метод основан на «генетическом отборе» информативных элементов эталонных изображений в процессе обучения. Критерием отбора является функция качества, вычисляемая по значениям точности, надежности и времени работы процедуры на изображениях обучающей выборки.
Разрабатываемые в рамках данного направления методики позволят в будущем существенно упростить и ускорить цикл разработки алгоритмического обеспечения при создании различных систем компьютерного и машинного зрения.
У.Э. Метод оценки движения видимых объектов в движущемся видимом поле
Системы технического зрения, использующие технологии анализа движения, как правило, предполагают выделение подвижного объекта на неподвижном (относительно датчика) фоне. Между тем, для мобильных технических средств (ЛА, автомобили, поезда, мобильные роботы и т. п.) фон изображения сцены также изменяется со временем за счёт относительного движения приёмника изображения. Разработанный в ГосНИИАС подход к выделению движущихся объектов по признаку их движения [36] характеризуется следующими основными особенностями: быстрая корреляционная привязка фона по пирамиде изображений либо по набору динамически выделяемых особых точек; пы-тьевское морфологическое проецирование яркости; сравнение текущей межкадровой разности с накопленной разностной матрицей; опора на несколько динамически формируемых базовых кадров. Разработанные алгоритмы обеспечивают автоматическую оценку и компенсацию движения камеры относительно сцены наблюдения.
Для адаптивной настройки алгоритмов на крупно-, средне- и мелкоразмерные объекты в зависимости от задачи наблюдения, поля зрения и текущих настроек камеры предложен так называемый «модифицированный метод оптических потоков». В рамках данного метода на этапе предобработки используются временные разностно-накопительные схемы, оптический поток вычисляется по разности накопленных изображений, движущиеся элементы изображения определяются на основе оценки накопленного оптического потока. Для задачи оценивания параметров видимого движения и размеров объектов на изображениях разработана процедура повторной сглаживающей авторегрессионной фильтрации. Для вычислительно эффективной реализации процедуры анализа оптических потоков предложен способ исследования пиксельного временного сигнала на базе вычисления так называемый кратнорегрессионных псевдоспектров [44].
У.4. Разработка методов и средств совместного анализа данных ДРФП
В рамках данного направления проводились исследования, связанные с созданием теоретических, алгоритмических и технических средств комплексирования данных, получаемых от датчиков различной физической природы в информационных системах наведения высокоточного оружия. В ходе работ были получены следующие основные результаты [37-38]. Создана экспериментальная установка для многозональной съёмки реальных сцен различными датчиками оптического диапазона — ЛЛ, ИК и видеодатчиками. Предложена оригинальная структурная платформа обработки многозональной информации (ПОМИ), позволяющая в едином ключе описывать, анализировать и разрабатывать схемы обработки и комплексирования информации на трёх основных уровнях абстракции данных: пиксельном, признаковом и объектовом. На основе предложенной в ГосНИИАС методологии фрейм-ори-ентированного программирования (ФОП) разработана специальная программная архитектура для реализации систем комплексной обработки изображений ДРФП.
Проведённые теоретические и экспериментальные исследования показали, что
комплексирование двух и более различных каналов действительно позволяет на практике принимать решения об обнаружении целей даже в тех случаях, когда из-за высокого уровня помех ни по одному из каналов в отдельности такое решение принять нельзя.
У.5. Разработка современных морфологических методов анализа цифровых изображений
Морфологический подход к задачам анализа данных отличается от других схем анализа данных тем, что в качестве обязательного этапа предполагает обоснованное (то есть в некотором смысле оптимальное) построение модельного описания гипотетического (скрытого) прообраза наблюдаемых данных. Иными словами, обязательным этапом решения любого типа задач здесь является модельная сегментация данных, допускающая их последующую полную или частичную реконструкцию. Легко заметить, что морфологический подход не является ни единственно возможным, ни наиболее объём-лющим по отношению к остальным методам анализа данных, однако на сегодня он представляется единственным универсальным, то есть функционально полным подходом, обеспечивающим возможность единообразного решения всех типов задач обработки и анализа данных, возникающих в реальных технических приложениях, а именно: фильтрации (преобразования) данных, сжатия/декомпрессии (сегментации/реконструкции) данных, классификации данных (тестирования гипотез, распознавания образов), обнаружения объектов (локализации гипотез в пределах одного наблюдения), обучения алгоритмов анализа данных (автоматического конструирования моделей).
В последние годы в области математической морфологии и морфологического анализа изображений вновь наметился существенный прогресс, и во многом он связан с теоретическими и практическими разработками, ведущимися в ГосНИИАС.
В рамках математической морфологии Серра был предложен ряд принципиально новых направлений [33-35]. Предложен формализм «монотонной математической морфологии» (МММ), представляю-
щий собой схему построения новых операторов математической морфологии Сер-ра на базе произвольных неморфологических операторов при помощи специального оператора «монотонизации». Разработана конструктивная методика построения монотонных морфологических фильтров. Предложена математическая морфология в смысле Серра, построенная на базе преобразования Хафа и его модификаций (Хаф-морфология), а также её обобщение на случай полутоновых изображений.
В ходе дальнейших исследований был разработан метод анализа морфологических свидетельств [39], объединяющий в рамках единого математического формализма процедуры анализа свидетельств и процедуры морфологического анализа изображений и, таким образом, позволяющий в едином ключе конструктивно и содержательно описывать логико-вероятностные и яркостно-геометрические составляющие таких подходов к анализу изображений, как преобразование Хафа, обобщённое преобразование Хафа, математическая морфология Серра, морфологическое сравнение изображений Ю.П. Пы-тьева. Разработана теория проективных морфологических разложений, опирающаяся на однородные структурные модели, представляющие изображения в виде объединения независимых линейных проекций на образующие (структурные примитивы) из некоторого набора, причём коэффициенты линейной связи образующих и анализируемого образа составляют регулярный вектор морфологического разложения, характеризующий данный образ. Определены морфологические корреляционные меры и соответствующие схемы сравнения и яркостно-геометрической привязки изображений на основе их морфологических разложений. Предложен единый подход к построению алгоритмов структурной фильтрации, сжатия и сегментации цифровых изображений, а также обнаружения и идентификации объектов на изображениях, основанный на проективных морфологических разложениях [40, 41, 45]. Предложен и обоснован новый широкий класс проективных морфологий на базе структурной интерполяции [42].
Наконец, в качестве наиболее общего на сегодняшний день морфологическо-
го формализма был предложен математический аппарат критериальной проективной морфологии, позволяющий использовать как однородные, так и неоднородные модели данных, накладывающие определённые дополнительные условия на связи между элементами структурной яркостно-геометрической модели. Предложена и исследована схема построения критериальных морфологических операторов анализа изображений на основе критерия максимальной достоверности, включающего критерий соответствия проекции и проецируемого образа, модельный критерий проекции, характеризующий её принадлежность модели, и структурирующий параметр, обеспечивающий компромисс между требованиями соответствия и качества. Определены достаточные условия проективности критериальных морфологических операторов. Показано, что структурирующий параметр морфологического критерия определяет морфологическую сложность соответствующей модели. Разработаны эффективные реализации критериальных морфологических фильтров на основе метода динамического программирования [44].
Результаты данного направления находят практическое применение в таких задачах как: автоматическое и полуавтоматическое обнаружение искусственных объектов при дешифрировании аэро- и космофотоснимков, информационное обеспечение автономных движущихся систем и ряде других.
VI. Заключение
Данная работа была посвящена применению технологий машинного зрения в задачах интеллектуализации систем управления ЛА. Работа касалась преимущественно общих, методических и теоретических аспектов проблемы. При этом за рамками обсуждения оказались следующие два существенных аспекта современного машинного зрения и его развития в ГосНИИАС в последние десятилетия.
Во-первых, необходимо упомянуть о том, что все упомянутые в данной работе технологии являются технологиями двойного назначения. Они могут применяться не только при создании систем ATR или систем информационного обеспечения ЛА,
но и при решении множества других задач в самых различных областях науки и техники. Наиболее перспективными конверсионными направлениями, также развиваемыми в последние годы в ГосНИИАС, являются:
— разработка фотограмметрических методов технических бесконтактных измерений;
— разработка фотограмметрических методов анализа авиационных и космических изображений с целью реконструкции трёхмерных моделей местности, построения орфтофотопланов и полуавтоматического выделения объектового состава;
— разработка биометрических методов персональной идентификации человека на основе выделения и распознавания человеческих лиц на цифровых изображениях;
— разработка методов технического зрения в задаче автоматизированного управления наземным транспортным средством;
— разработка робастных методов и алгоритмов автоматического выделения и распознавания разнообразной цифробуквенной и штрихкодовой машиночитаемой информации;
— разработка различного рода медицинских систем анализа изображений (радиологических, микроскопических и т. п.);
— разработка систем интеллектуального видеонаблюдения.
Во-вторых, в данной работе практически не рассматривались примеры конкретных систем машинного зрения, разработанных в ГосНИИАС и демонстрирующих практическую применимость описанных методов и технологий. За последние годы было создано значительное число таких систем как в области интеллектуализации систем управления, так и во всех перечисленных конверсионных областях. Описание большого количества приложений просто не могло поместиться в заданный объём доклада, однако в качестве примера создания системы, реализующей многие базовые технологии и разработки в области машинного зрения, можно привести здесь краткое описание разработанной в ГосНИИАС системы реального времени для обнаружения препятствий на дороге, являющейся частью интеллектуальной системы управления автомобилем повышенной безопасности АБУ-П (Япония,
2001). Работа системы основана на анализе цифровых стерео изображений, получаемых при помощи двух CCD-видеокамер. Обнаружение препятствий осуществляется внутри собственной полосы движения автомобиля в масштабе реального времени. Система обеспечивает устойчивое обнаружение различных типов препятствий на расстоянии до 100 м. Алгоритмическое обеспечение этой системы включало: алгоритмы обнаружения разметки на дороге, реализующие методы анализа морфологических свидетельств, алгоритмы первичного обнаружения препятствий по стерео изображениям, алгоритмы вторичного обнаружения (анализа движения, фильтрации и оценивания параметров первичного обнаружения), алгоритмы ориентирования стереосистемы камер (оценки пространственного положения автомобиля) и другие. Специально для данной системы был разработан оригинальный метод обнаружения контрастных пространственных объектов, не принадлежащих заданной поверхности, по стереопаре изображений (метод «дифференциального ортофото»). Главная идея метода заключается в сведении трёхмерной задачи обнаружения к обнаружению характерных двумерных «угловых» структур, возникающих в разностных ортоскопических изображениях, спроецированных на вспомогательную плоскость из исходной стереопары. Проведённое фотограмметрическое обоснование метода показало его высокую потенциальную чувствительность для навигации мобильных робототехнических систем. Так, при использовании стандартных видеокамер телевизионного формата с базисом съёмки 1 м и высотой над поверхностью 1 м, обеспечивается возможное обнаружение объектов высотой 10 см на дальности 50 ми дальше. В целом система продемонстрировала высокую надёжность работы вплоть до скоростей движения 110-120 км/ час.
Таким образом, описанные в работе методы и технологии машинного зрения действительно находят практическое применение в самых различных областях приложения.
Литература
1. Forstner W. Mid-level vision processes for automatic building extraction, Automatic
Extraction of Man-Made Objects from Aerial and Space Images. — Birkhauser Verlag, Basel, 1995.
2. Huertas A., Nevatia R. Detecting buildings in aerial images // Computer Vision, Graphics and image processing. — 1988.
3. Zheltov S.Yu., Blochinov Yu.B., Stepanov A.A., Sibiryakov A.V. Computer 3D Site Model Generation Based On Aerial Images // SPIE Proceedings. — 1997. — V. 3084.
4. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. — М.: Радио и связь, 1987. — 400 с.
5. Gruen A., Baltsavias E. Geometrically constrained multiphoto matching // PERS. — 1988. — V. 5.
6. Schenk. Automatic Generation
of DEM‘s, Digital Photogrammetry: An Addentum to the Manual of
Photogrammetry // American Society
for Photogrammetry & Remote Sensing. -1996.
7. Grimson W.E.L. Object Recognition
by Computer: The Role of Geometric
Constraints. — MIT Press., 1990.
8. Marr D., Hildreth E. Theory of edge detection // Proc. R. Soc. (London). — 1980. — B. 207. — P. 187-217.
9. Mumford D. The problem of
robust shape descriptors // Proc. First Int’l. Conf. Computer Vision. — 1987. — P. 602-606.
10. Gruen A., Baltsavias E. Adaptive least squares correlation with geometrical constraints // SPIE. — 1985. — V. 595.
11. Haralick R.M., Chu Y.H. Solving camera parameters from the perspective projection of a parameterized curve // Pattern Recogn. Lett. — 1984. — N. 17(6). — P. 637-695.
12. Burns J., Hanson A., Riseman E. Extracting straight lines // IEEE Trans. On Patt. Analysis and Machine Intel. — 1986. — V. 8, № 4.
13. Canny J. A computational approach to edge detection // IEEE Trans. Pattern Anal. Mach. Intell. — 1986. — № 8. — P. 679-698.
14. Kithen L., Rosenfeld A. Gray-level corner detection // Pattern Recogn. Lett. — 1982. — № 1. — P. 95-102.
15. Marr D., Hildreth E. Theory of edge detection // Proc. R. Soc. (London). — 1980. — B. 207. — P. 187-217.
16. Seeger U., Seeger R. Fast corner detection in grey-level images // Pattern Recogn. Lett. — 1994. — № 15(7). — P. 669-675.
17. Василенко Г.И., Цибулькин Л.М. Голографические распознающие устройства. — М.: Радио и связь, 1985. — С. 312.
18. Левшин В.Л. Биокибернетические оптико-электронные устройства автоматического распознавания изображений. — М.: Машиностроение, 1987. — С. 176.
19. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. — М.: Радио и связь, 1987. — С. 296.
20. Davies E.R. Machine Vision: Theory, Algorithms, Practicalities // Academic Press., 2-nd Edition. — San Diego, 1997. — P. 750.
21. Duda R.O., Hart P.E. Use of the Hough transformation to detect lines and curves in pictures // Comm. ACM. — 1972. — 15, 11-15. — P. 11-15.
22. Hough P.V.C. Methods and Means for Recognizing Complex Patterns. — U.S., Patent 3069654, 1962.
23. Illingworth J., Kittler J. The adaptive Hough transform // IEEE Trans. Pattern Anal. Mach. Intell. — 1987. — V. 9. — P. 690-698.
24. Пытьев Ю.П. Морфологический анализ изображений // Доклад АН СССР. — 1983. — Т. 269, № 5. — С. 1061-1064.
25. Пытьев Ю.П. Задачи морфологического анализа изображений // C6. «Математические методы исследования природных ресурсов Земли из Космоса.». — М.: Наука, 1984. — С. 41-83.
26. Matheron. Random Setsand Integral Geometry. — John Wiley & Sons, 1975.
27. Serra J. Image Analysis and Mathematical Morphology. — Academic Press, 1982.
28. Serra J. Introduction to mathematical morphology // Computer Vision, Graphics and Image Processing. — 1986. — V. 35, № 3.
29. Visilter YU., Zheltov S., Stepanov A. Object Detection and Recognition using Events-based Image Analysis // SPIE Proceedings, International archives of
photogrammetry and remote sensing, 2823. — 1996. — P. 184-195.
30. Vilsiter YU., Zheltov S., Stepanov A. Events-based Image Analysis for Machine Vision and Digital Photogrammetry // SPIE Proceedings, International archives of photogrammetry and remote sensing. — 1996. — V. XXXI, part V.
31. Буряк Д.Ю., Визильтер Ю.В. Возможности применения генетических алгоритмов для автоматизированного конструирования процедур анализа изображений. 6-я Международная конференция «Распознавание образов и анализ изображений: новые информационные технологии» (РОАИ-6-2002). Великий Новгород, Российская Федерация. 21-26 октября 2002 г. Труды конфренции. НовГУ им. Ярослава Мудрого. — Великий Новгород, 2002. — С. 87-92.
32. Буряк Д.Ю., Визильтер Ю.В. Автоматизированное конструирование близких к оптимальным процедур идентификации и обнаружения объектов на изображении с использованием генетических алгоритмов. Материалы 12 Международной Конференции по Компьютерной Графике и Машинному Зрению Графикон’2002. — Нижний Новгород. — С. 292-298.
33. Visilter Yu. Image Analysis Using Select-Only Morphological Operators // SPIE Proceedings. — Boston, 2000. — V. 4197. — P. 107-118.
34. Visilter Yu. Design of Morphological Operators Based on Selective Morphology // SPIE Proceedings. — Sun Jose, 2002. — V. 4667. — P. 215-226.
35. Визильтер Ю.В. Метод компьютерного анализа изображений, основанный на объединении морфологических свидетельств // Труды ГосНИИАС, серия «ИТ». — 2005. — № 2.
36. Визильтер Ю.В., Лагутен-ков А.В., Ососков М.В., Выголов О.В., Блохинов Ю.Б. Выделение и межкадро-вое прослеживание движущихся объектов при регистрации изображений сложных пространственных сцен произвольно движущимися двумерными сенсорами // Вестник компьютерных и информационных технологий. — 2006. — № 3. — С. 34-39.
37. Stepanov A.A., Visilter YU.V, Morzeev YU.V, Zheltov S.YU. The object-oriented frame approach to image processing and data management in the multisensory remote sensing // SPIE Proceedings. — 1995. — V. 2587.
38. Stepanov A.A., Visilter YU.V., Morzeev YU. V., Zheltov S. YU. Frames based analysis of multisensor image sequences // ISPRS Proceedings, International archives of photogrammetry and remote sensing. — Vienna, Austria, 1996. — V. XXXI, part B2.
39. Визильтер Ю.В. Применение метода анализа морфологических свидетельств в задачах машинного зрения // Вестник компьютерных и информационных технологий. — 2007. — № 9. — С. 11-18.
40. Визильтер Ю.В., Желтов С.Ю. Сравнение и локализация фрагментов изображений с использованием проективных морфологий // Вестник компьютерных и информационных технологий. — 2008. — № 2. — С. 14-22.
41. Визильтер Ю.В. Структурная фильтрация цифровых изображений с использованием проективных морфологий // Вестник компьютерных и информационных технологий. — 2008. — № 3. — С. 18-22.
42. Визильтер Ю.В. Проективные морфологии на базе интерполяции // Вестник компьютерных и информационных технологий. — 2008. — № 4. — С. 11-18.
43. Визильтер Ю.В., Вишняков Б.В. Исследование поведения авторегрессионных фильтров в задаче выделения и анализа движения на цифровых видеопоследовательностях // Вестник компьютерных и информационных технологий. — 2008. — № 8. — С. 2-8.
44. Визильтер Ю.В. Обобщенная проективная морфология // Компьютерная оптика. — 2008. — Т. 32, № 4.
45. Визильтер Ю.В., Желтов С.Ю. Проективные морфологии и их применение в структурном анализе цифровых изображений // Изв. РАН. ТиСУ. 2008. — № 6. — С. 113-128.
Поступила в редакцию 15.09.2009.
