CC BY
59
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2016 Том 16 № 4 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2016 Vol. 16 No 4 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 519.25, 004.93
ТОЧНОСТЬ, СКОРОСТЬ И СЛОЖНОСТЬ УСТРОЙСТВ КОДИРОВАНИЯ
ИЗОБРАЖЕНИЙ ПО ОП ОРНЫМ ТОЧКАМ М.М. Альмахрук", А.И. Бобровскийь, М.М. Еида, Ю.М. Соколов3, А. Салема, Ш.С. Фахмиа,с
a Санкт-Петербургский государственный электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация
ь Научно-исследовательский институт прикладных проблем (НИИ ПП), Санкт-Петербург, 191167, Российская Федерация
с АО «НИИ Телевидения», Санкт-Петербург, 194021, Российская Федерация Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 21.05.16, принята к печати 15.06.16 doi: 10.17586/2226-1494-2016-16-4-678-688 Язык статьи - русский
Ссылка для цитирования: Альмахрук М.М., Бобровский А.И., Еид М.М., Соколов Ю.М., Салем А., Фахми Ш.С. Точность, скорость и сложность устройств кодирования изображений по опорным точкам // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 4. С. 678-688. doi: 10.17586/2226-1494-2016-16-4-678-688
Аннотация
Предмет статьи. Предложены метод, алгоритмы и устройства кодирования и декодирования опорных точек объектов изображений без перехода в спектральную область сигнала, с целью определения информационных показателей качества систем обработки изображений. Формализованный учет сложности кодирующих устройств, стимулированный созданием и развитием новой базы вычислительной техники в виде систем на кристалле, требует пересмотра понятия «эффективное кодирование», поскольку в круг учитываемых величин, связанных с кодированием источника, входит не только точность передачи (ошибка) и скорость передачи, но и сложность. Метод. Предлагаемый подход основан на использовании: во-первых, пространственно-рекурсивного способа разбиения изображений на полигоны различной формы и размера при поиске опорных точек объектов изображений; во-вторых, регулярных и нерегулярных алгоритмов триангуляции на этапе восстановления результирующего изображения. Основные результаты. В результате моделирования алгоритмов кодирования и декодирования изображений по опорным точкам получены трехмерные графики сравнения информационных показателей качества - ошибки, скорости передачи и сложности устройств кодирования и декодирования по опорным точкам - с другими известными алгоритмами кодирования изображений. Практическая значимость. Предложенные алгоритмы разбиения изображений и поиска опорных точек при малой значимости сложности позволяют: во-первых, уменьшить скорость передачи в 1,5-2 раза по сравнению с стандартными алгоритмами спектрального преобразования; во-вторых, иметь компактное представление видеоинформации в виде одномерного динамического массива опорных точек с возможностью семантического анализа и перейти от стандартных форматов передачи и хранения видеоданных к специфическим формам, ориентированным на решение конкретных проблем. Ключевые слова
рекурсия, полигон, опорные точки, кодирование, точность, скорость и сложность.
PRECISION, SPEED AND COMPLEXITY OF DEVICES FOR IMAGE CODING
BY CONTROL POINTS M.M. Almahrouq", A.I. Bobrovskyb, M.M. Eida, Y.M. Sokolov3, A. Salem", Sh.S. Fahmia,c
a Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation b S&R Institute for Applied Problems (NII PP), Saint Petersburg, 191167, Russian Federation c Television Research Institute, Saint Petersburg, 194021, Russian Federation Corresponding author: [email protected] Article info
Received 21.05.16, accepted 15.06.16 doi: 10.17586/2226-1494-2016-16-4-678-688 Article in Russian
For citation: Almahrouq M.M., Bobrovsky A.I., Eid M.M., Sokolov Y.M., Salem A., Fahmi Sh.S. Precision, speed and complexity of devices for image coding by control points. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, vol. 16, no. 4, pp. 678-688. doi: 10.17586/2226-1494-2016-16-4-678-688
Abstract
Subject of Research. We have proposed a method, algorithms and devices for image coding and decoding by control points without switching to the spectral domain of the signal in order to determine information quality indicators of image processing systems. Formalized consideration of the coding devices complexity stimulated by the creation and development of VLSI and systems on a chip requires revision of "efficient" encoding concept, since not only the transmission accuracy (error) and the transmission speed, but also complexity enters the circle of considered variables taken into account at the source encoding. Method. The proposed approach is based on the application of: firstly, spatial-recursive method of partitioning the images into polygons of various shape and size when searching the reference feature points of the images; secondly, regular and irregular triangulation algorithms at the recovery phase of the resulting image. Main Results. As a result of the simulation of image coding and decoding algorithms based on control points we have obtained three-dimensional graphic comparison of data quality indicators: error, transmission speed and complexity of devices for coding and decoding by control points with the other known image coding algorithms. Practical Relevance. The proposed algorithms for images partition and search of control points along with low significance of difficulty give the possibility: firstly, to reduce the transmission rate by 1.5-2 times as compared to standard algorithms for spectral conversion; secondly, to have a compact representation of video information in the form of one-dimensional dynamic array of control points with the possibility of semantic analysis and the transition from standard formats for video data transmission and storage to specific forms, focused on solving specific problems. Keywords
recursion, polygon, control points, encoding, precision, speed and complexity
Введение
Часто на практике основной целью кодирования изображений является минимизации скорости передачи видеоинформации при сохранении требуемого качества изображений. При этом воспроизведение и просмотр на этапе декодирования возможны только тогда, когда все видеоданные будут переданы. Такой способ оказывается непрактичным, особенно при передаче видео. С другой стороны, поскольку не все устройства могут отобразить исходное изображение с нужным разрешением, стало актуальным передавать изображение необходимого, а не произвольного разрешения.
В связи с этим возникла необходимость в решении проблемы постепенного восстановления результирующего изображения по мере поступления сжатых видеоданных, т.е. частичного восстановления изображения по частичным видеоданным (например, по опорным точкам) [1, 2]. Требуются также сравнительная оценка информационных показателей качества устройств кодирования изображений по опорным точкам (ОТ) и выявление взаимосвязи скорости передачи и сложности кодера.
На основе вышесказанного в настоящей работе рассматривается пирамидально-рекурсивный метод кодирования и декодирования изображений по ОТ [3, 4].
В связи с огромным объемом видеоданных, в частности, для анализа и передачи спутниковых снимков, а также ассоциативного поиска в базах аудио- и видеоданных по семантическому содержанию, возникла необходимость в адаптивно-динамической структуризации. Поскольку основной целью является не столько представление видеоинформации, сколько последующий семантический анализ, необходимо перейти от стандартных форматов передачи и хранения данных к специфическим формам, ориентированным на решение конкретных проблем [3].
В работе поставлены задачи развития предложенного ранее в работе [5] метода кодирования и декодирования изображений по ОТ, а именно:
- пространственно-рекурсивное разбиение на полигоны различных форм и размеров на этапе кодирования;
- построение регулярных (пирамидально-рекурсивные сетки) и нерегулярных сеток (триангуляция Делоне) по взаимосвязанным соседним ОТ;
- аппроксимация яркостей результирующего изображения по ОТ;
- исследование информационных показателей качества и выявление взаимосвязи скорости передачи со сложностью кодирующих устройств по ОТ.
Метод кодирования и декодирования изображений по опорным точкам
В работе [3] используется подход, в котором конструирование контекстно-значимых фрагментов и придание им интегрированных по изображению характеристик осуществляется за счет выбора переменных порогов отсечки.
Предложенный авторами метод отличается тем, что на этапе анализа исходного изображения (рис. 1, а) выполняются следующие функции:
- поиск ОТ осуществляется путем рекурсивного разбиения изображения на полигоны различной формы и размера, в зависимости от статистических свойств областей изображения: деление на 2 (рис. 1, б), деление на 3 (рис. 1, в) и деление на 4 (рис. 1, г);
- построение рекурсивных пространственных сеток для поиска ОТ при делении на 3 (рис. 1, д) и делении на 4 (рис. 1, е);
- нахождение ОТ объектов изображения по заданным признакам (форма, цвет, контуры и др.);
представление (структурирование) ОТ с помощью неравномерных сеток пирамиды (рис. 1, д, е); сохранение и передача ОТ, несущих семантическую нагрузку, в виде одномерного динамического массива, что позволяет осуществить эффективное кодирование в двоичном представлении при передаче этих точек по каналу связи;
применение триангуляции ОТ, регулярной (рис. 1, ж) и классической по Делоне (рис. 1, з), с последующей аппроксимацией яркостей вершин треугольников на этапе восстановления.
ж з и
Рис. 1. Исходное изображение (а); деление на 2 (б), на 3 (в), на 4 (г); рекурсивная пространственная сетка при делении на 3 (д) и при делении на 4 (е); регулярная триангуляция опорных точек (ж) и нерегулярная
(з) (Делоне) результирующего изображения (и)
Локализация и идентификация объектов на изображении традиционно сводится к описанию набора характерных точек искомого объекта. Наиболее сложной проблемой при этом является выявление и локализация границ объектов, несущих семантическое содержание. В предлагаемом методе рассматривается возможность выделения характерных точек объектов изображения путем его рекурсивного деления на полигоны по заданному порогу (отклонение по яркости - р).
Метод кодирования и декодирования изображений по ОТ реализуется поэтапно. Сначала исходное изображение разбивается на определенные полигоны различной формы и размера (квадраты, прямоугольники или треугольники). Далее процедура разбиения повторяется для каждого вновь полученного полигона до тех пор, пока отклонение по яркости элементов в пределах полигона (Ду) не будет превышать заданного порога. Затем в каждом полигоне производится поиск одной или множества ОТ, в зависимости от заданной точности обнаружения признаков объекта и специфики поставленной прикладной задачи.
Полигон изображения - это фрагмент пространственной структуры, содержащий множество пикселов, составляющих определенную площадь и представляющих геометрическую форму фрагмента изображения. Полигоны могут быть трех типов: значимые, составные и пустые.
Значимый полигон - это полигон, содержащий максимальное количество коррелированных отчетов (пикселов), представляющих локальную область исходного изображения с семантически значимой информацией (объекты). Данные полигоны являются объектом исследований настоящей работы, и в них производится поиск ОТ изображения.
Составной полигон представляет собой область исходного изображения, имеющую семантическую нагрузку в виде различных объектов с различными признаками и характеристиками. Эти полигоны всегда подвергаются разбиению для получения из них значимых или пустых полигонов.
Пустой полигон - это область изображения, не содержащая особо значимую информацию и представляющая в некотором смысле фон, не сливающийся с объектами.
Представление данных, полученных в результате рекурсивного разбиения, осуществляется путем последовательного размещения видеоданных одного уровня (I) иерархии в одномерный динамический массив. Достоинство такого подхода заключается в возможности создания формата представления изображений с постепенным «проявлением» изображения в процессе загрузки. А рекурсия позволяет осуществить распараллеливание алгоритмов на этапе кодирования и декодирования. Основные достоинства триангуляции заключаются в следующем:
- триангуляционная сетка естественным образом подстраивается под данные - там, где ОТ разрежены, треугольники крупнее, а там, где есть сгущение - мельче (рис. 1, ж, з). Это делает данный подход универсальным почти для всех классов изображений [6];
- число треугольников не превышает удвоенного числа ОТ;
- у прямоугольной сетки для адекватного отображения достаточно изменчивых поверхностей, необходимо сильно измельчать сетку, что требует больших вычислительных мощностей на этапе восстановления и ведет к неустойчивости. Этот недостаток отсутствует в случае треугольной сетки.
Регулярность пирамидальных структур позволяет создавать эффективные видеосистемы обработки изображений из-за возможности распараллеливания алгоритмов. Однако развитие пирамидально-рекурсивных методов сдерживалось несколькими факторами:
- не разработан адекватный аппарат оперирования с данными, представленными в таком виде;
- нерешенными остаются многие вопросы реализации пирамидальных представлений на существующих ЭВМ как параллельного, так и последовательно типа;
- отсутствует четкое определение понятий полезной информации (опорные точки на исходном изображении) и критерия разбиения.
С учетом вышесказанного авторами предложены новые алгоритмы поиска ОТ, позволяющих улучшить качество триангуляции при восстановлении результирующего изображения (рис. 1, и).
Алгоритмы поиска и нахождения опорных точек изображения
В работе предложены три основных алгоритма поиска ОТ на основе пространственно-рекурсивного разбиения изображения на полигоны различной формы и размера (рис. 2). При этом общим критерием для всех предложенных алгоритмов является минимизация среднеквадратической ошибки (СКО) при передаче видеоинформации.
Алгоритм № 1. Данный алгоритм основан на переборе всех вершин триангуляции и анализе статистических характеристик пикселов в пределах каждого треугольника. Алгоритм включает следующие основные этапы (рис. 2, а):
1. перебор всех треугольников (Т„ где /=1,..,п);
2. если пиксели одного треугольника отличаются от пикселов смежного треугольника, то вершина раздваивается на две индивидуальные для каждого нового треугольника (Т') по отдельности (рис. 2, а);
3. аппроксимация яркостей триангуляционной сетки;
4. если точность ошибки передачи видеоинформации равна заданной, то конец алгоритма, иначе переход на п. 2.
Алгоритм № 2. Данный алгоритм основан на известном в математической статистике методе наименьших квадратов (МНК) отклонений значений признаков генеральной совокупности от средней величины по совокупности [5].
Алгоритм включает следующие основные этапы (рис. 2, б):
1. после завершения процесса разбиения исходного изображения на полигоны и получения неравномерной сетки выполняется перебор каждого полигона;
2. для текущего полигона методом наименьших квадратов находится уравнение плоскости регрессии (5) в пространстве (х, у, V);
3. определяются две наиболее отдаленные от плоскости опорные точки;
4. чтение очередного полигона и переход к п. 2;
5. если полигон последний, то конец, иначе переход к п. 2.
Если имеются более одной опорной точки, одинаково удаленной от плоскости (Дтах), то берется та точка, которая ближе к центру полигона.
Алгоритм № 3. Данный алгоритм является итерационно-точным с точки зрения достижения минимума ошибки передачи видеоинформации. Однако это преимущество достигается путем трехкратного увеличения сложности кодера.
Алгоритм включает следующие основные этапы:
1. после завершения процесса разбиения исходного изображения на полигоны и получения неравномерной сетки выполняется перебор каждой грани триангуляционной сетки (рис. 2, в);
2. анализируются пиксели, находящиеся на отрезке;
3. если имеется перепад по яркости (или контур), то добавляются две (или более) опорные точки по обе стороны перепада (или контура) с целью восстановления границы объектов;
4. строится триангуляция Делоне и оценивается ошибка кодирования;
5. если ошибка удовлетворяет заданному условию задачи, то конец алгоритма, иначе переход к п. 5.
Устройства кодирования и декодирования изображений
Поскольку в вышеупомянутых алгоритмах имеются рекурсивные процедуры и их вызовы независимы, т.е. каждый из них работает над своей частью общих данных, то для разработки устройств кодирования по ОТ может использоваться рекурсивный параллелизм. Рекурсия является одной из фундаментальных парадигм в логических и функциональных языках программирования [7-9].
Устройство кодирования и декодирования изображений по ОТ конструктивно состоит из процессоров (Пр) трех типов: процессор управления (Прупр), процессор-диспетчер (Прдп.) и набор элементарных процессоров (Прзп). Процессоры связаны высокоскоростным интерфейсом, который используется для обмена данными и управляющими сигналами в процессе функционирования.
(а)
Исходное изображение 2
(б)
Запись в буфер 1
Чтение задания 4
Прием массива ОТ
2
| Чтение ОТ ^
Триангуляция 4
5
Формирование
новых заданий
.....
Запись в буфер 2
Восстановление результирующего изображения
7
8
Поиск ОТ
Массив ОТ и передача
Рис. 3. Обобщенные блок-схемы алгоритмов кодирования (а) и декодирования (б) изображений по опорным точкам
Управляющий процессор получает исходное изображение (первое задание нулевого уровня I =0) и формирует список заданий в буфере 1. Задание представляет собой фрагмент (полигон) изображения для анализа на разбиение для поиска ОТ (блок 7, рис. 3, а).
В процессе функционирования устройства любой процессор может обрабатывать несколько заданий различных уровней (1). Для сохранения структуры и порядка потока данных, связанного с разными уровнями, имеются два буфера данных.
«Задание» содержит следующую информацию:
- номер полигона;
- номер уровня;
- координаты полигона (вершины и размер и яркости пикселов). Например, для квадратного полигона -координаты левого верхнего угла и размер;
- ссылки на сводные элементы массива ОТ;
- флаги состояний задания (0 - не выполнено, 1 - выполнено);
- номер элементарного процессора.
Алгоритмы работы процессоров. Рекурсия является основой предлагаемых авторами алгоритмов, так как они включают в себя рекурсивную процедуру разбиения (блок 5, рис. 3, а) изображения на полигоны. Каждый полигон, в свою очередь, обрабатывается и разбивается далее на последующие полигоны меньшего размера. Обработка полигона заключается в вычислении его статистических характеристик (среднеквадратическое отклонение, радиус корреляции, дисперсия и т. д.) в зависимости от поставленной задачи. Очевидно, что количество шагов последовательного вычисления рекурсии имеет порядок п, а параллельного- 1ogn N где N - общее число полигонов.
Алгоритмы разбиения и поиска ОТ (блок 7, рис. 3, а) и восстановления (блок 4, рис. 3, б) видеоинформации реализуются с использованием параллельных алгоритмов, учитывающих специфику рекурсивной обработки видеоинформации (РОВ).
Процесс аппаратной реализации параллельной системы РОВ включает три этапа.
1. Разработка параллельной схемы функционирования устройств РОВ (рис. 3).
2. Экспериментальные исследования информационных показателей качества системы РОВ.
3. Оценка производительности системы.
В большинстве случаев выполнение каждого из этих двух этапов оказывает влияние на два других. Выбор структурной организации систем РОВ основывается на учете возможностей распараллеливания решаемых задач (параллельный процесс подсказывает целесообразную структуру системы РОВ) [10-12]. С другой стороны, построение требует наглядного представления динамики протекания параллельных процессов в системах РОВ.
Наиболее широкое распространение в мировой практике построения аппаратуры на принципах цифровой обработки сигналов получили сигнальные процессоры на основе технологии систем на кристалле [13, 14]. Прежде всего, это объясняется тем, что в этих приборах за счет удачных архитектурных
1
1
решений удалось совместить собственно цифровую обработку с возможностью обеспечить разнообразный интерфейс и реализацию программно-аппаратных алгоритмов обработки видеоинформации.
Память
<=
Буфер кадров
ая к
м е т о К О
Пру
Буфер:
Прэ:
Прэ:
Прэ.
Прд
Буфер2
1
Задания
| Массив ОТ
Блок передачи
Память изображений
А
Дисплейный процессор
А
Системная шина
Канал связи
Пру
Прэ
Рис. 4. Устройства кодирования (а) и декодирования (б) изображений по опорным точкам
Характерной чертой любой цифровой системы обработки сигналов является использование общих ресурсов системы. Эта особенность приводит к определенной потере производительности отдельно взятых процессоров, входящих в ее состав, из-за конфликтов доступа к общим ресурсам. Наиболее специфичной частью кодирующих устройств, определяющей производительность, является так называемое ядро [13-15]. Ядро включает совокупность процессорных модулей, модули оперативной памяти и схемы коммутации их между собой (рис. 4).
Функционирование ядра видеосистемы интерпретируется как обработка макросов, поступающих от основных обрабатывающих узлов к устройствам хранения информации и проходящих по системной шине (рис. 4) через схемы коммутации различных типов. Соответственно можно выделить несколько причин снижения производительности видеосистемы:
- возникновение «аппаратных конфликтов», т.е. ситуаций, при которых два или более потребителей аппаратных ресурсов системы единовременно требуют один и тот же ресурс (например, одновременное обращение двух процессоров к общему блоку памяти или интерфейсной магистрали). Физически аппаратные конфликты означают нахождение процессоров в состоянии ожидания освобождения требуемого ресурса;
- конфликты, связанные с особенностями реализации межмодульных связей. Межмодульные связи могут быть реализованы:
- на основе полной взаимной коммутации всех модулей (любой процессор взаимодействует с памятью);
- посредством системной шины (магистрали), к которой подключаются все или часть компонентов ви-
деосистемы односвязный интерфейс);
- посредством нескольких общих шин, к каждой из которых подключаются все процессоры и модули памяти;
- посредством нескольких групп частных шин.
Распараллеливание алгоритмов кодирования и декодирования видеоинформации осуществляется следующим образом [16]. Трудоемкие функции анализа (блоки 4 и 5 на рис. 3) текущего полигона передаются Прэл. в составе системы РОВ, выполнение функции управления, синхронизации и передачи (или приема) - Прупр., функции организации очереди и формирование новых заданий (блоки 6 и 7 на рис. 3, а) - Пр^..
Взаимодействие процессоров (рис. 4) осуществляется посредством передачи сообщений через два буфера межпроцессорной связи: «Буфера - для заданий на разбиение, содержащий информацию о полигонах, и «Буфер2» - буфер формирования массива ОТ. Такая организация межпроцессорной связи мини-
а
б
мизирует общее время выполнения задания (анализ полигона на разбиение), так как наличие очереди заданий на обслуживание является наилучшим способом управления загрузкой Прэл в которых выполняется наибольшая часть вычислений.
Функционал информационных показателей качества
Формализованный учет сложности кодирующих устройств, стимулированный созданием и развитием новой базы вычислительной техники в виде систем на кристалле, требует пересмотра понятия «эффективное кодирование», поскольку в круг учитываемых величин, связанных с кодированием источника, входит не только точность передачи (ошибка) и скорость передачи, но и сложность. Эти величины взаимосвязаны, и выбор кодирующих устройств надо делать (минимум) по трем параметрам - по битовой скорости, по искажению и по вычислительной сложности. В развитие этой идеи, предложенный в работе [1, 2], критерий эффективности кодирования учитывает не только меру приближения к эпсилон-энтропии источника, но и то, какими информационными средствами достигнуто данное приближение, в первую очередь - какой сложностью кодирующих устройств.
Для оценки взаимосвязи информационных показателей качества был использован обобщенный показатель эффективности Р, включающий взвешенную сумму {Р,} совокупности частных информационных показателей качества кодера, которые связаны с ошибкой передачи е:
- потери полезной информации А/;
- скорости передачи R;
- сложности W декодера;
- сложности WH кодера.
Вектор весовых коэффициентов {с,} при них называют «вектором концепции системы» [17]. Для обеспечения общего информационного подхода к решению задачи синтеза системы связи все частные информационные показатели качества Р,(е) приведены к виду, имеющему единую размерность информации (например, бит):
Р =Ес Р ,(е) =соД/(е)+с^(е)+С2Гк(е)+сзГд(е)^ш1п. (1)
Для выявления основных свойств критерия качества рассмотрим его частный случай при с3 = 0, характерный для бортовых телевизионно-измерительных систем, акцентирующих внимание на сложности кодера. Опуская индекс при обозначении сложности декодера, формулу (1) можно представить в следующем вид:
Р =Ес Р ,(е) =с0Д/(е)+с^(е)+с2Гк(е)^-ш1п. (2)
Введенный критерий позволяет объективно сравнивать произвольные кодеры, отличающиеся по всем параметрам - ошибке передачи, скорости передачи и сложности, если зафиксировать выборку испытательных сигналов.
Формула эпсилон-энтропии, связывающая нижнюю границу скорости передачи сигнала Не с его известным спектром амплитуд {1к} и с задаваемой ошибкой е, вычисляется как конечная сумма n логарифмов спектрального отношения дисперсий 1к к порогу 6:
1 n 1
Яе = 2Е"б, прие = 6n + £ К . (3)
2 к-1 6 к- n+1
Известно, что для широкого класса задач требуемая сложность We вычислений (эпсилон-сложность, т.е. минимальное количество операций, необходимое для кодирования изображений с точностью е) логарифмически связана с задаваемой ошибкой: We~log(1/e). С точностью до констант, учитывающих возможные затраты на энтропийное кодирование и восстановление сигналов в ходе итерационного кодирования, также как и эпсилон-энтропия, эпсилон-сложность представлена суммой логарифмов спектрального отношения сигнал/ошибка:
n
We = 1 Е l°g f.
2 к-1 6
Исходя из одинакового влияния на ошибку передачи скорости передачи R и сложности W кодера (аналогично передаче от дискретного источника по дискретному каналу), в анализ кодеров введено понятие о нижней границе для скорости передачи при ограничении сложности Н™. При этом эпсилон-энтропия Не является пределом эпсилон-энтропии с ограничением сложности Hew и эпсилон-сложности We:
lim Hew = lim W = He.
W^ ж Hew^ ж
Для формализации взаимообмена скорости передачи и сложности кодера предложен функционал взаимосвязи эпсилон-энтропии с ограничением сложности Hew и сложности W кодирования, отличающийся от гармонического среднего отсутствием множителя числа слагаемых (рис. 5):
н: -WH^. (4)
е W - н
или,
Запретна область
1
у/и,
Рис. 5. Взаимообмен скорости и сложности кодера
Уменьшение назначаемой ошибки в соответствии с формулами (3) и (4) ведет к увеличению эпсилон-энтропии и сдвигу границы реализуемых кодов на рис. 5 вправо и вверх.
Учет взаимообмена скорости передачи информации и сложности кодера, формализуемый формулой (4), позволил найти минимум в обобщенном критерии (2), который приводится к виду
р = е0М+((+7^2 )2 ие.
Потеря полезной информации, составляющая
Д/ = 2 £ 1ом- ""к
к=1
£
(5)
(6)
мин к
и кодовая эпсилон-энтропия зависят от минимальной ошибки ем
1 п
и, = 2 £юв-
^ 7,-1 С
Хк
_ (7) ' к=1 ""к ,минк
Из обобщенного критерия эффективности кодера (5) с учетом формул (6) и (7) получено минимальное значение ошибки передачи:
, с
°мин 0__(8)
, = -
с0 _
Выражение (8) показывает, что, несмотря на монотонный характер возрастания ошибки из-за сжатия непрерывного сигнала, существует конкретное значение коэффициента сжатия (скорости передачи) и качества сигнала, которые определяются вектором концепции системы.
Исследование информационных показателей качества системы
Для исследования информационных показателей качества системы выполнялась следующая последовательность действий. Моделирование тракта сжатия и восстановления и оценка информационных показателей качества системы было выполнено над шестью изображениями различных классов из компактно-представительной выборки сюжетов, опубликованной в [6].
График зависимостей (рис. 6) для предложенных трех алгоритмов построен путем усреднения по трем показателям: точность восстановления (е), скорость передачи (Я) и сложность устройства (У) кодирования и декодирования. Далее выполнялось моделирование тракта сжатия и восстановление изображений при изменении значения порога (р). Затем осуществлялась оценка качества результирующего изображения. Моделирование было проведено над компактной представительной выборкой сюжетов, предложенной в [6]. Для сравнения использовались следующие алгоритмы кодирования и декодирования изображений (рис. 6):
- дискретное косинусное преобразование (ДКП).
- дискретное вейвлет-преобразование (ДВП);
- дискретное пространственное преобразование (ДПП) - предложенные алгоритмы кодирования по опорным точкам;
- триангуляционное кодирование (ТрК) опорных точек.
Трехмерный график информационных показателей качества (рис. 6), иллюстрирует взаимосвязь трех важнейших величин: ошибки передачи, скорости передачи и сложности. Эта взаимосвязь относится к фундаментальным положениям теории кодирования: для канала с аддитивным белым гауссовским шумом и с неограниченной полосой частот вероятность ошибки пропорциональна экспоненте от произведения скорости передачи Я на длину блока Т [18]: Ре и 2_ЯТ [18].
1
Рис. б. Результаты экспериментов и области применения кодирующих устройств: изображения 1-3 характеризуются малой степенью нестационарности; изображения 4-6 - большой
степенью нестационарности
Заключение
По результатам исследований, приведенным в работе, можно сделать следующие выводы.
1. Синтез кодирующих устройств изображений должен опираться на критерий эффективности кодера, учитывающий взаимосвязь потери полезной информации, скорости передачи и вычислительной сложности кодера:
- для устройств, предназначенных для решения задач анализа и распознавания, т.е. с малой значимостью сложности, приемлемыми являются алгоритмы кодирования и декодирования по опорным точкам;
- для устройств типа беспилотных аппаратов, т.е. с высокой значимостью сложности, эффективными являются алгоритмы на основе дискретного косинусного преобразования.
2. Получен трехмерный график взаимосвязи информационных показателей качества, обеспечивающий выбор соответствующего алгоритма кодирования и декодирования изображений в зависимости от решаемой прикладной задачи.
3. Предложены новые, относительно простые алгоритмы нахождения опорных точек на основе пространственно-рекурсивного разбиения изображения и эффективная реализация с применением процессоров трех типов: процессор управляющий, процессор диспетчер и элементарные процессоры.
Литература
1. Цыцулин А.К., Адамов Д.Ю., Манцветов A.A., Зубакин И.А. Твердотельные телекамеры: накопление качества информации. СПб.: СПбГЭТУ "ЛЭТИ", 2014. 271 с.
2. Березин В.В., Фахми Ш.С., Цыцулин А.К. Начальный этап проектирования видеосистем на кристалле // Оптический журнал. 2012. Т. 79. № 11. С.76-83.
3. Александров В.В., Кулешов С.В., Цветков О.В. Цифровая технология инфокоммуникации. Передача, хранение и семантический анализ текста, звука, видео. - СПб.: Наука, 2008. 244 с.
4. Sakthi Bharathi D., Manimegalai A. 3D digital reconstruction of brain tumor from MRI scans using Delaunay triangulation and patches // ARPN Journal of Engineering and Applied Sciences. 2015. V. 10. N 20. P. 92279232.
5. Фахми Ш. С. Кодирование и декодирование видеоинформации // Вопросы радиоэлектроники. Серия: Техника телевидения. 2007. № 2. С. 43-51.
6. Зубакин И.А., Фахми Ш.С. Классификация нестационарных изображений и разработка методики оценки алгоритмов кодирования источника // Научно-технический вестник СПбГУ ИТМО. 2010. № 2(66). С. 54-59.
7. Zhang N.A Novel parallel prefix sum algorithm and its implementation on multi-core platforms // Proc. 2nd Int. Conf. on Computer Engineering and Technology. Chengdu, China, 2010. V. 2. P. V266-V270. doi: 10.1109/ICCET.2010.5485315
8. Zhang N. Working towards efficient parallel computing of integral images on multi-core processors // Proc. 2nd Int. Conf. on Computer Engineering and Technology. Chengdu, China, 2010. V. 2. P. V230-V234. doi: 10.1109/ICCET.2010.5485338
9. Blelloch G.E. Prefix sums and their applications / In: Synthesis of Parallel Algorithms. Ed. J.H. Reif. San Francisco: Morgan Kaufmann Publ., 1990. P. 35-60.
10. Бабурин В. А., Костикова Е.В., Фахми Ш.С. Разработка архитектуры видеоинформационной системы кодирования и декодирования на основе пространственно-рекурсивного метода // Журнал университета водных коммуникаций. 2012. № 1. С.89-97.
11.Misra J. Powerlist: a structure for parallel recursion // ACM Transactions on Programming Languages and Systems. 1994. V. 16. N 6. P. 1737-1767. doi: 10.1145/197320.197356
12. Смолов В.Б., Барашенков В.В., Байков В. Д. Специализированные ЦВМ. М.: Высшая школа, 1981. 279 с.
13.Zhao J., Zhu S., Huang X. Real-time traffic sign detection using surf features on fpga // IEEE High Performance Extreme Computing Conference (HPEC). Waltham, USA, 2013. Art. 6670350. doi: 10.1109/HPEC.2013.6670350
14. Wang W., Huang X. An fpga co-processor for adaptive lane departure warning system // IEEE Int. Symposium on Circuits and Systems (ISCAS). Beijing, China, 2013. P. 1380-1383. doi: 10.1109/ISCAS.2013.6572112
15. Березин В.В., Золотухо Р.Н., Фахми Ш.С. Отладка аппаратно-программного обеспечения реконфигу-рируемых систем на кристалле // Компоненты и технологии. 2003. № 33. С. 118-122.
16. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002. 608 с.
17. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981. 488 с.
18. Шеннон К. Работы по теории информации и кибернетике. М.: Иностранная литература, 1963. 832 с.
Альмахрук Мухиб Махмуд — аспирант, Санкт-Петербургский государственный
электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация, [email protected] Бобровский Алексей Иванович — кандидат технических наук, доцент, начальник отдела, Научно-
исследовательский институт прикладных проблем (НИИ ПП), Санкт-Петербург, 191167, Российская Федерация, [email protected] Еид Муса Мухамад — кандидат технических наук, доцент, доцент, Санкт-Петербургский
государственный электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация, [email protected] Соколов Юрий Михаилович — кандидат технических наук, доцент, доцент, Санкт-Петербургский
государственный электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация, [email protected] аспирант, Санкт-Петербургский государственный
электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация, [email protected] доктор технических наук, доцент, профессор, Санкт-Петербургский государственный электротехнический университет «ЛЭТИ», Санкт-Петербург, 197376, Российская Федерация; ведущий научный сотрудник, АО «НИИ Телевидения», Санкт-Петербург, 194021, Российская Федерация, [email protected]
postgraduate, Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, [email protected] PhD, Associate professor, Department head, S&R Institute for Applied Problems (NII PP), Saint Petersburg, 191167, Russian Federation, [email protected]
PhD, Associate professor, Associate professor, Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, [email protected]
PhD, Associate professor, Associate professor, Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, [email protected]
postgraduate, Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, [email protected] D.Sc., Associate professor, Professor, Saint Petersburg Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation; leading scientific researcher, Television Research Institute, Saint Petersburg, 194021, Russian Federation, [email protected]
Салем Али
Фахми Шакиб Субхиевич
Muhib M. Almahrouq Alexei I. Bobrovsky
Musa M. Eid
Yuri M. Sokolov
Ali Salem Shakeeb S. Fahmi
