Научная статья на тему 'Комплексная система автоматического составления коллажа'

Комплексная система автоматического составления коллажа Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
138
56
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Ярославцева Е.Л., Фаворская М.Н.

Рассматривается алгоритм автоматического составления коллажа, основные этапы его реализации: интеллектуальный отбор кадров видеопоследовательности, автоматическое выделение области интереса на изображении, оптимальное размещение сегментов коллажа и применение метода «бесшовной стыковки».

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Комплексная система автоматического составления коллажа»

Актуальные проблемы авиации и космонавтики. Информационные технологии

Довольно нетривиальным и оригинальным развитием текстурирования для преодоления вышеназванных проблем стала так называемая «мегатек-стура» (англ. MegaTexture) - это графическая технология, разработанная Дж. Кармаком, техническим директором «Id Software». Суть ее состоит в следующем: весь ландшафт покрывается одной большой текстурой вместо множества мелких текстур, что облегчает рендеринг открытых пространств [2]. «Мегатекстура» обладает следующими особенностями и характеристиками:

- «Мегатекстура» сохранена на жестком диске и подгружается при необходимости в оперативную память, позволяя создавать большое количество деталей и разновидностей ландшафта и при этом сравнительно мало использует ресурсы оперативной памяти.

- Ближайшие к камере пиксели заменяются текстурой высокого качества, содержащей только небольшой участок «мегатекстуры».

- Последующие пиксели заменяются текстурой меньшего качества с небольшим разрешением.

- Самые дальние пиксели являются основной текстурой в уменьшенном разрешении [2].

Учитывая эти особенности можно выделить достоинства и недостатки рассмотренной технологии текстурирования. К достоинствам «мегатекстуры» следует отнести следующие факты:

- не требуется использование тайлинга и тайл-сетов;

- нет необходимости делать альфа-смешивание разных текстур для формирования конечного рисунка в реальном времени;

- художник может просто рисовать любую часть ландшафта, не учитывая особенности геометрии;

- визуально реализм создаваемого ландшафта может быть значительно увеличен4

- геометрия ландшафта может быть представлено как регулярной сеткой, так и сеткой состоящей из треугольников различного размера;

- отсутствует необходимость разбивать сцену на геометрические фрагменты для целей текстури-рования.

В качестве недостатков данной технологии можно отметить следующее:

- объем текстуры для всего ландшафта очень велик и занимает много места на жестком диске;

- для подготовки текстуры могут потребоваться специальные инструменты и мощные компьютеры [1].

Также недостатком, по крайней мере, на сегодняшнем этапе развития данной технологии, является тот факт, что в силу своей новизны и закрытости коммерческих проектов существует малое количество конкретных методологических материалов, что в какой-то мере усложняет развитие технологии и разработку реальных приложений, в основу которых положена технология «мегатекстуры».

В настоящее время технология «мегатекстуры» достаточно перспективна в области игровой индустрии, где часто требуется создавать ландшафтные модельные сцены [3]. Требования к современным проектам индустрии таковы что, эти ландшафты должны быть максимально реалистичными, и можно с уверенностью сказать, что качество компьютерной графики в данной сфере будет непрерывно повышаться, также нельзя забывать про программные средства генерации ландшафтов, где рассмотренная технология также может иметь место. Следует отметить, что вопросы улучшения, оптимизации, модернизации и развития данной технологии требуют изучения и совершенствования. Таким образом, рассмотренная техника текстурирования уже в ближайшем будущем может стать основной при создании различных ландшафтов большой площади.

Библиографические ссылки

1. Головин Е. Использование мегатекстур (megatexture, clipmaps). URL: http://www.gamedev .ru/code/articles/Megatexture.

2. Википедия - свободная энциклопедия. URL: http://ru.wikipedia.org/wiki/Мегатекстура.

3. Richard Connery MegaTexture in Quake Wars. URL: http://www.beyond3d.com/content/articles/95/!.

4. Microsoft Research Asia TextureMontage: Seamless Texturing of Arbitrary Surfaces From Multiple Images // ACM Transactions on Graphics. SIGGRAPH, 2005. Р. 1148-1155.

© Яковлев Д. С., Фаворская М. Н., 2010

УДК 004.932.4

Е. Л. Ярославцева Научный руководитель - М. Н. Фаворская Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева, Красноярск

КОМПЛЕКСНАЯ СИСТЕМА АВТОМАТИЧЕСКОГО СОСТАВЛЕНИЯ КОЛЛАЖА

Рассматривается алгоритм автоматического составления коллажа, основные этапы его реализации: интеллектуальный отбор кадров видеопоследовательности, автоматическое выделение области интереса на изображении, оптимальное размещение сегментов коллажа и применение метода «бесшовной стыковки».

Результатом составления цифрового коллажа является создание наглядного и визуально привлекательного выходного изображения из набора цифровых фотографий или кадров видеопоследовательно-

сти. Как следствие автоматическое составление коллажей в силу емкости визуальных решений и эффектности получаемых конечных изображений широко востребовано во многих областях, в том числе

Секция «Информатика и автоматизированные системы»

и коммерческих - таких как дизайн и реклама. В настоящее время сложилось целое искусство создания фотоколлажа с использованием инструментов фотомонтажа. Предполагается, что разрабатываемая система помимо выполнения стандартных задач при создании коллажа, т. е. совмещения нескольких изображений в одной плоскости, должна использовать в своей работе некоторые приемы фотомонтажа: автоматическое выделение области интереса (ОИ) на изображении, использование метода «бесшовной стыковки» сегментов коллажа и применение разнообразных фильтров и графических эффектов.

Алгоритм автоматического составления коллажей можно разбить на несколько шагов:

1. Интеллектуальный отбор входных изображений (при работе с видеопоследовательностями).

2. Выделение области интереса на изображении.

3. Оптимальное размещение сегментов коллажа.

4. Бесшовная стыковка сегментов коллажа.

На первом этапе используется интеллектуальный отбор кадров видеопоследовательности, который позволяет не только исключить получение вырожденных кадров, но, более того, осуществить поиск интересующих объектов на кадрах видеопоследовательности, например человеческих лиц. Для решения задач интеллектуального отбора кадров по содержимому могут использоваться разнообразные методы, в зависимости от поставленной задачи, от простого текстурного анализа (для удаления «пустых» кадров) до применения систем искусственного интеллекта (для поиска объектов, лиц и пр.) [6; 7]. Главной задачей при реализации интеллектуального отбора является максимальная оптимизация скорости выполнения всех методов анализа для получения приемлемого времени обработки видеоряда и автоматического создания коллажа.

Для создания визуально привлекательного коллажа целесообразно исключать неинформативные области изображений. Для решения данной проблемы используется метод выделения ОИ на изображении, результаты которого используются в выполнении двух последующих этапах создания коллажа. Этот метод реализуется посредством интеллектуальной пороговой бинаризации изображения [2], в основу которой положен принцип наличия контраста между фоном и объектом интереса.

На этапе размещения сегментов коллажа найденная ОИ аппроксимируется прямоугольной областью и в дальнейшем используется как дополнительный критерий оптимизации размещения сегментов.

На этапе «бесшовной стыковки» используется полигональная аппроксимация ОИ, на основе которой создается нечеткая маска, позволяющая сформировать наиболее естественные границы размытия области [3]. Для более тонкого выбора ОИ пользователю предоставлена возможность ручного выделения границ объекта.

Третий этап - оптимизация размещения сегментов коллажа - заключается в минимизации площади пустых областей и областей перекрытия сегментами друг друга [4]. Кроме того, при оптимизации дополнительно учитывается описанный на предыдущем

этапе критерий перекрытия неинформативных областей сегментов коллажа. Таким образом, на данном этапе необходимо решить вопросы сбалансированности между оптимизацией размещения сегментов, оптимизацией областей их перекрытия и оптимизацией размеров самих сегментов. В данном направлении наиболее прогрессивными являются «жадные» алгоритмы, методы эволюционных вычислений и «муравьиные» алгоритмы [1].

С целью создания целостности получаемой картины необходимо осуществить плавные переходы от одного сегмента коллажа к другому. Решение данной задачи заключается в применении метода, получившего название «бесшовная стыковка» (seamless blending) [5]. Для его алгоритмической реализации необходимо создать взаимопроникающие границы у соседних сегментов с учетом найденных ОИ и применить эффект градиентного размытия и полупрозрачности к граничным областям. Для создания наиболее естественных границ соседних сегментов рассматривается применение кривых Безье с аппроксимацией найденной полигональной ОИ.

В результате исследования разработана система автоматизированного составления коллажа цифровых фотографий и кадров видеопоследовательности. В данном программном продукте реализован интеллектуальный отбор кадров видеоизображения, алгоритм оптимального размещения сегментов коллажа по ряду критериев, метод «бесшовной стыковки», позволяющий добиться эффекта целостности конечного изображения. Кроме того пользователю представлена возможность ручного размещения коллажа, выделение ОИ, применения различных графических фильтров как к отдельному сегменту, так и ко всему коллажу в целом. В дальнейшем функциональность программы планируется расширить за счет реализации алгоритма автоматического выделения ОИ.

Библиографические ссылки

1. Ярославцева Е. Л. Автоматическое составление коллажей: актуальные направления исследований // В материалах XIII Междунар. научн. конф. «Решетневские чтения», Сиб. гос. аэрокосмич. ун-т. Ч. 2. Красноярск, 2009. С. 551-552.

2. Liu T., Sun J., Zheng N.-N., Tang X., Shum H.-Y., Learning to detect a salient object, in Proc. CVPR, 2007.

3. Liu T., Wang J., Sun J., Zheng N.-N., Tang X., Shum H.-Y., Picture milage, IEEE Transactions on Multimedia, Volume 11, Issue 7, Nov. 2009. Р. 1225-1239.

4. Murata H., Fujiyoshi K., Nakatake S., Kajitani Y., Rectanglepacking-based module placement in Proc. ICCAD '95, Washington, DC, 1995. Р. 472-479.

5. Rother C., Bordeaux L., Hamadi Y., Blake A., Autocollage in Proc. SIGGRAPH '06, New York, 2006. Р. 847-852.

6. Xueliang L., Tao M., Video Collage // EUSIPCO-2007, Poland, 2007. Р. 461-462.

7. Yeung M. M., Yeo B. L., Video visualization for compact presentation and fast browsing of pictorial content. IEEE Trans. on Circuits and Systems for Video Technology, Oct 1997. Р. 771-785.

© Ярославцева Е. Л., Фаворская М. Н., 2010

i Надоели баннеры? Вы всегда можете отключить рекламу.