CC BY
41
инжЕнерия
программного
□Беспечения
Граничим Олег Николаевич, Павленко Дмитрий Валентинович
РАНДОМИЗАЦИЯ ДАННЫХ И ^-ОПТИМИЗАЦИЯ
Аннотация
В последнее время активно развивается новая парадигма кодирования/декодирования многоразрядных сигналов, имеющих «разреженное» (sparse) представление в некотором базисе. Она опирается на идеи рандомизации измерений и ^-оптимизации. Предложенные недавно новые методы получения и представления сжимаемых данных в англоязычной литературе называются «Compressive Sensing» (опознание по сжатию.
Ключевые слова: рандомизированные измерения, ^-оптимизация, восстановление разреженных сигналов.
1. ВВЕДЕНИЕ
В XX веке слово «информация» стало термином во множестве научных областей, получив особые для них определения и толкования. Для обсуждения приведем некоторые из широкоиспользуемых [5].
Информацией (от лат. informatio - «научение», «сведение», «оповещение») называется опосредованный формами связи результат отражения изменяемого объекта изменяющимся с целью сохранения их системной целостности. В материальном мире информация материализуется через свой носитель и благодаря ему существует. Материальный носитель придает информации форму. В процессе формообразования производится смена носителя информации.
Данные (от лат. data) - это представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе. Данные - это выделенная (из системы, благодаря обособленности существования носителя) информация.
© О.Н. Граничин, Д.В. Павленко, 2010
4
Знание - в философском смысле: понимание осознанного чувства; в широком смысле: совокупность понятий, теоретических построений и представлений, адекватно отражающих объективные закономерности реального мира.
Фундаментальная проблема - связать воедино понятия информация, данные, знания. Одна из формулировок этой проблемы следующая: как получить знания, обеспечивающие восстановление необходимой субъекту информации х по имеющимся данным у. Достаточно часто можно упрощенно считать, что существенная информация об исследуемом явлении х е X связана с имеющимися данными у е ¥ через понимание закономерностей явления - знание (оператор) Ф : X ® ¥:
у = Фх (= Ф(х)). Если оператор Ф обратим, то он обеспечивает исчерпывающие знания для полного восстановления х по у.
При линейной зависимости у, х е и невырожденной N х N матрице Ф из матричной алгебры хорошо известно, что х = Ф-1у.
Для открытых систем типичным является случай, когда данные подвержены влиянию неконтролируемых возмущений у = Ф X +
Выделение слагаемого X с философской точки зрения подчеркивает влияние на данные у других явлений вне определяемых х. Даже при отсутствии прямого внешнего воздействия последнее соотношение более естественное с практической точки зрения. Обычно получение данных - процесс взаимодействия х с некоторой измерительной системой, у которой есть свои характеристики, совокупное влияние которых объединяет X
При незначительном уровне внешних возмущений X (или при их затухающем характере) задача о восстановлении х по у сводится к проблеме обращения оператора Ф, что обычно достигается за счет увеличения количества наблюдений: при х е выбирают т > N и у е Мт.
При существенных внешних возмущениях X обычно используется статистическая постановка задачи, возможности решения которой при т >> N детально изучены в рамках традиционной математической теории планирования экспериментов [7]. При этом обычно внешние возмущения считают реализацией некоторой последовательности независимых случайных величин с нулевым средним значением. Однако в приложениях это допущение часто нарушается, что может сильно сказываться на работе традиционных оценочных процедур. На первый взгляд, это кажется удивительным, но задача о восстановлении х может быть эффективно решена и в случае нецентри-рованных, коррелированных и даже неслучайных помех [6; 16] за счет случайного выбора матрицы Ф. Идея использования случайных регрессоров для устранения эффекта смещения была выдвинута Р. Фишером [15] в виде рандомизированного принципа планирования эксперимента. Помимо задачи планирования эксперимента, в которой рег-рессоры могут быть рандомизированы экспериментатором, случайные входы возникают во многих задачах идентификации, фильтрации, распознавания и т. д.
В монографии [6] делаются общие выводы о том, что рандомизация процесса измерений позволяет
- устранить эффект смещения и
- уменьшить количество итераций, а значит, и наблюдений.
Какова размерность N в типичных случаях? Считается, что современная теория информации берет начало со знаменитой Теоремы1 Котельникова [10] (Найквиста-Шеннона в англоязычной литературе), которая гласит, что, если аналоговый сигнал x = {f(t) : t е R} е L2(R) имеет ограниченный спектр, то он может быть восстановлен однозначно и без потерь по своим дискретным отсчетам, взятым с частотой более удвоенной максимальной частоты спектра wmax, или (формулируя иначе) по отсчетам, взятым с периодом меньше полупериода максимальной частоты спектра wmax
f (t )=Х yiSjnC (п((°тах! - i ))'
ieZ
где yi = f (i/ wmax) - отсчеты функции f (t)
(мгновенные значения функции, значения дискретизированного сигнала в каждый из
ч / \ sint) моментов времени ijamx ), sine(t) = —— .
В XXI веке резко увеличились объемы обрабатываемой информации. В значительной степени это связано с массовым переходом к обработке потоков двумерных (2-D) и трехмерных (3-D) данных.
В современных приложениях для цифровых фото и видеокамер традиционное требование о необходимой частоте измерения настолько высоко, что слишком большое количество получающихся данных надо существенно сжимать перед хранением или пересылкой. В других приложениях, включая системы отображения (медицинские сканеры и радары) и быстродействующие аналого-цифровые конвертеры, увеличение частоты измерений очень дорого.
Сложность традиционных методов квантования сигналов возрастает по экспоненциальному закону с ростом размерности. Квантование 1-D сигналов при N = 103 отсчетов соответствует 106 в случае 2-D, а в 3-D - 109, что уже слишком велико.
С практической точки зрения чрезвычайно интересно исследовать возможности восстановления x е RN по у е Rm при
m << N,
что, конечно же, нереализуемо в общем случае. Но в последнее время на смену традиционной теории обработки сигналов приходит новая парадигма Compressive Sensing (CS, «опознание по сжатию»), позволяющая достаточно точно восстанавливать «разреженную» (sparse) информацию x [12; 14]. Англоязычный термин compressive sensing за последние пять лет стал уже об-щеупотребимым. В [9] предложен перевод на русский язык - сжатые измерения. Б.Т. Поляк на одном из научных семинаров в ИПУ предложил использовать термин опознание, который, по нашему мнению, точнее отражает специфику нового подхода.
Основная цель этой статьи - разъяснить читателям эту новую парадигму, основанную на сохраняющих структуру сигнала неадаптивных рандомизированных (случайных) линейных проектированиях, по результатам которых информация восстанавливается, используя методы /1-оптимизации: x находится как решение оптимизационной задачи следующего вида
|| х 11 = ^ х[[] | ® min: y = Fx.
J
Новая методика базируется на определенном (обычно рандомизированном) выборе матрицы измерений и том, что получающийся в результате ^-оптимизации вектор х имеет не более m ненулевых компонент, то есть - сильно разреженный. Последний факт был установлен в студенчес-
кой курсовой работе одного из авторов при решении проблемы о построении 11 оптимального стабилизирующего регулятора не-минимальнофазового объекта, первоначально представленной в [3], позже в журнале «Автоматика и телемеханика» было дано развернутое объяснение с детальной геометрической интерпретацией [1]. Через три года похожий результат был опубликован в «IEEE Trans. on Automat. Control» [13].
Статья организована следующим образом. После введения в следующем разделе дается формализованная постановка задачи. В третьем разделе описываются возможные способы решения и анализируются возникающие проблемы. Далее разбираются практические примеры и в заключении обсуждаются перспективы. Структура статьи во многом следует [4].
Представленные в статье идеи могут использоваться для иллюстрации связей между получением данных, сжатием, сокращением размерности и оптимизацией в учебных курсах на разных уровнях при подготовке выпускников в областях цифровой обработки информации, статистике и прикладной математике.
2. ПОСТАНОВКА ЗАДАЧИ
В достаточно общем виде можно считать, что интересующая исследователя информация x генерирует некоторый сигнал1 f, взаимодействие которого с регистрирующими приборами можно наблюдать, и получать данные у, по которым исследователь может пытаться восстанавливать (оценивать) x (см. рис. 1). Во многих практических приложениях исходное понятие информации x
Рис. 1. Схема получения и обработки данных
1 Использование термина сигнал из области телекоммуникаций - дань традиции. В действительности речь может идти о данных любой природы.
может быть описано существенно проще, чем фактически наблюдаемые исследователем сигналы /. Например, для принятия решения в некоторой системе управления надо знать, что в регистрирующем канале появился сигнал в виде некоторой акустической или электромагнитной волны. Интересен просто ответ на вопрос да/нет -один бит, в то время как поступающий сигнал может иметь сложную форму и быть распределенным во времени и пространстве - многоразрядный вектор. Учет именно такого рода специфики лежит в основе новой парадигмы обработки информации СБ, активно развивающейся в последнее время.
Сжимаемые сигналы. Рассмотрим вещественный одномерный дискретный сигнал / конечной длины. Его значения составляют N X 1 вектор-столбец в М' с элементами / [п], п = 1, 2, ..., N. (Будем рассматривать 2Э-изображения или данные больших размерностей векторизованными в длинный одномерный вектор.) Любой сигнал в М' может быть разложен по некоторому базису из векторов { Уj } ^=1 размерности N X 1. Для простоты предположим, что этот базис ортонормированный. Используя NXN матрицу базиса ¥ = (у1,у2, ) со столбцами из векторов { }, сигнал / может быть выражен как N
/ = ¥х = £х [ ]у , (1)
] =1
где х - N X 1 вектор-столбец весовых коэффициентов х[]] = ^х,у^ =У)Х и Т обозначает транспонирование.
Очевидно, что / и х - эквивалентные представления одной и той же информации. Обычно / называют представлением во временной (или пространственной) области, а х - в ¥ -области.
Сигнал / называется я-редким (з-зратзв), если он является линейной комбинацией только ^ базисных векторов, то есть только ^ коэффициентов х [ ] ] в (1) отличны от нуля, а остальные (И - £) - нули.
Интересен случай, когда s << N. Для таких s-редких сигналов можно считать, что их представление в соответствующей Y -области и является той существенной информацией, которую они в себе несут. Эта информация однозначно определяется двумя наборами из s натуральных (индексов) и вещественных (значений) чисел.
Наряду с определением s-редких сигналов будем использовать и более общее понятие сжимаемого сигнала. Сигнал f называется сжимаемыш, если у него есть представление в виде формулы (1), в которой только несколько коэффициентов x [ j ] достаточно велики, а большинство остальных - малы.
Трансформирующее кодирование и его неэффективность. Тот факт, что сжимаемые сигналы хорошо аппроксимируются s-редкими представлениями, лежит в основе трансформирующего кодирования, с которым многие уже сталкиваются даже в быту, используя JPEG, MP3, MPEG форматы представления изображений, мелодий и видео. В системах получения данных (например, цифровые фото и видеокамеры) трансформирующее кодирование играет центральную роль: по полученной полной N-выборке сигнала f комплект коэффициентов преобразования {x [ j ]} вычисляется через x = Y Tf, после чего из x локализируют s больших компонент, а остальные N - s отбрасывают. В итоге кодируются s значений и номера их мест. К сожалению, эффективность этого подхода «сначала полная выборка - потом сжатие» страдает тремя врожденными недостатками.
Во-первых, начальный размер выборки N может быть чрезвычайно большим, даже если размер s получаемого набора компонент является малым.
Во-вторых, все N коэффициентов преобразования {x [ j ]} должны быть вычислены даже при том, что от большинства кроме s из них в результате откажутся.
В-третьих, дополнительно должны быть закодированы местоположения s больших коэффициентов.
Задача опознания по сжатию (Compressive Sensing). Перечисленные выше недостатки трансформирующего кодирования снимаются при использовании нового подхода опознания по сжатию (Compressive Sensing, CS) за счет прямого получения сжатого представления сигнала без промежуточной стадии получения N-выборки.
Рассмотрим общий линейный процесс измерения, который вычисляет m < N внутренних скалярных произведений между f и
некоторой коллекцией векторов { a. } :
y=a, f >.
Соберем результаты yi в m X 1 вектор-столбец y, а из транспонированных векторов измерений aj сформируем строки матрицы A размерности m X N. Подставляя Y из (1), выражение для y можно переписать в виде
y = A f = A Y x = Ф x, (2)
где Ф = A Y - матрица m X N. Матрица A фиксирована и не зависит от сигнала f (процесс измерения неадаптивен).
Задача опознания по сжатию (Compressive Sensing) состоит в проектировании
- такой универсальной матрицы измерений A, что существенная информация о любом s-редком (или сжимаемом сигнале) не будет повреждена при сокращении размерности от f е RN к y е Rm;
- алгоритма реконструкции, восстанавливающего x (а следовательно, и f) только по m ~ s измерениям (или по примерно такому же числу измерений, как передаваемое число коэффициентов при традиционном трансформирующем кодировании).
3. РЕШЕНИЕ
Проектирование универсальной матрицы измерений. Матрица измерений A должна позволять реконструкцию сигнала f длины N по меньшему числу измерений m < N (по вектору у). Поскольку m < N, то эта задача - плохообусловленная. Если, однако, f - s-редкий вектор и местоположения s отличных от нуля коэффициентов в
х известны, то задача может быть разрешимой при т > s. Необходимое и достаточное условие разрешимости такой упрощенной задачи состоит в том, чтобы для некоторого 0 < 1 < ¥ и для любого вектора г, у которого выделяются те же я ненулевых компонент, как и у х, выполнялись неравенства
l
-1|
z\|2 <||Fz||2 <Я||z\|2 .
(3)
То есть матрица Ф = A Y должна сохранять длины таких специфических s-редких векторов. (Здесь и далее
I|z||р = (N=1| z [j ]| р )р , р = 1, 2). Конечно,
в общем случае местоположения s вхождений отличных от нуля компонент в x неизвестны. Однако, выполнение условия (3) для произвольных 2s-редких векторов z является достаточным для обеспечения возможности стабильного решения задачи для любого s-редкого вектора x. В справедливости этого легко убедиться, проведя доказательство «от противного». В качестве однозначного правила декодирования можно выбрать следующее: среди всех векторов x, таких, что y = Ф x, выбираем тот, у которого меньше всего ненулевых коэффициентов. Пусть у задачи есть два различных решения x и x . Очевидно, что каждое из них имеет не более, чем s ненулевых компонент. Вектор x = x - x является 2s-ред-
/ rr тх
ким, так как вектора x , x - s-редкие. Но в силу линейности Fx = Fx' - Fx' = 0, а, значит, в силу (3), имеем x = 0, то есть x = x". Получили противоречие.
Свойства, похожие на (3), в литературе называют «ограниченной изометрией» ( RIP, Restricted Isometry Property). Условия RIP для 2s-редких векторов неробастные в том смысле, что их выполнения недостаточно для восстановления
- произвольного s-редкого сигнала при наблюдениях y с помехами
или
- сжимаемого сигнала с малыми, но ненулевыми (N - s) компонентами.
В этих случаях достаточными являются условия RIP для 3s-редких векторов в том смысле, что
-x < const
x - x
где x - результат восстановления x, a x -вектор, полученный из x обнулением всех кроме s наибольших по модулю компонент.
Наряду с условияти RIP в CS используется условие малости взаимной зависимости Y) строк {ai} матрицы A и столбцов { yj} матрицы Y , называемое «неко-герентностю» A и Y, выполнение которого требует, чтобы строки матрицы A не могли редко представлять столбцы Y (и наоборот). В CS широко используется факт, что случайные матрицы A сильно некогерентны с любым фиксированным базисом Y .
Прямое построение матрицы измерений A такой, чтобы Ф = A Y обладала свойством RIP требует проверки выполнения условия
N!
(3) для каждой из CN = —-г- возмож-
N s! (N - s)!
ных комбинаций вхождений s отличных от нуля компонент в вектор z длины N. Однако оказалось, что выполнение свойства RIP может быть достигнуто с высокой вероятностью просто за счет выбора случайной матрицы в качестве A (рандомизации процесса наблюдения). При этом вектор результатов измерений y представляет собой просто набор m различных линейных комбинаций компонент f со случайно выбранными весами.
Случайная m X N матрица измерений A c независимыми и одинаково распределенными (i.i.d.) элементами a[i, j] с нормальной плотностью распределения с нулевыми средними и дисперсией 1/m имеет два интересных и полезных свойства:
1) если
m > cls log(N/s), (4)
то матрица A удовлетворяет RIP с вероятностью > 1 - 2e_cm , где c1, c2>0 - малые постоянные (следовательно, s-редкие и сжимаемые сигналы длины N могут быть с высокой вероятностью восстановлены только по m << N случайным измерениям);
2) матрица A универсальна в том смысле, что не только существенная информация о любом s-редком (или сжимаемом сиг-
нале) не будет повреждена при сокращении размерности от f е RN к y е Rm, но и матрица Ф = A Y будет случайной матрицей с нормально распределенными i.i.d. элементами, и, таким образом, Ф будет обладать свойством RIP со столь же высокой вероятностью независимо от выбора орто-нормированного базиса Y .
Результат о выполнении с высокой вероятностью условия RIP из свойства (4) случайной матрицей A во многом опирается на существенно более ранние работы [8; 2].
Для CS можно использовать и другие случайные матрицы измерений:
- случайная выборка i.i.d. элементов ai j по симметричному распределению Бер-
нулли P(a. . = ±l/Vm)= ) ;
- случайная выборка i.i.d. элементов
ai j, когда a. ^ е {о, ±д/3/ m } с одинаковой
вероятностью 1/3;
- равномерная случайная выборка N столбцов на единичной сфере в Rm;
- случайная выборка проектора P и его
нормализация A = — P . Выполнение RIP V m
обеспечивается условием (4) со своей постоянной c1, зависящей от выбранного способа генерации случайной матрицы A. На практике достаточно часто хорошо работают системы с m » 4s.
С ростом N существенной трудностью становится хранение m X N элементов матрицы A, требующей O(mN) единиц памяти. Другими примерами матриц, удовлетворяющих условиям RIP, являются
- случайные «вырезки» по m строк из N X N матриц дискретного преобразования Фурье (DFT)
- или матриц Вандермонда, соответствующих интерполяции в различных N точках. Для таких случайных матриц размер требуемой памяти может быть сокращен до O (m log N). Если строки матрицы A являются случайной выборкой из транспонированных столбцов ортонормированного базиса, полученного после ортогонализации N случайных векторов равномерно и неза-
x
1
висимо выбранных из единичной сферы RN, то для выполнения с высокой вероятностью свойства RIP достаточно выбрать m: m > Cs (log N)4.
Наиболее существенным недостатком свойства RIP является его труднопроверяе-мость при больших m. В настоящее время предпринимаются активные попытки по его замене на более конструктивные.
Проектирование алгоритма реконструкции сигнала. Алгоритм реконструкции сигнала должен по m измерениям (по вектору у), случайной матрице измерений A (или по случайному закону, который ее генерировал) и базису Y восстановить сигнал f длины N или, эквивалентно, соответствующий ему разреженный вектор коэффициентов x. Так как m < N в (2), то для
s-редких сигналов имеется бесконечно мно-/
го векторов x , которые удовлетворяют Fx' = y . Это объясняется тем, что если Fx = y , то F(x + r)= y для любого вектора г из нулевого подпространства Ы{ Ф) матрицы Ф . Поэтому цель алгоритма реконструкции сигнала - найти вектор коэффициентов разреженного представления сигнала в (N - m)-размерном сдвинутом нулевом подпространстве Н = N( Ф) + х.
Реконструкция через 12-минимизацию. Классический подход к решению обратных задач рассматриваемого типа состоит в том, чтобы найти в сдвинутом нулевом подпространстве Н вектор с наименьшей нормой (энергией) l2:
x = argmin||x'||2 : Fx' = y . Решение этой оптимизационной задачи может быть записано в удобной форме метода
наименьших квадратов x = Фт (ффt )-1 y . К сожалению, результат /2-минимизации почти никогда не будет s-разреженным вектором, а будет содержать много элементов отличных от нуля.
Реконструкция через 10-минимизацию. Поскольку /2-норма измеряет энергию сигнала, а не его разреженность, то можно рассмотреть задачу /0-минимизации, в которой ищется вектор x : F x = y с миниму-
мом ненулевых компонент. По результату решения такой оптимизационной задачи можно восстановить я-редкий сигнал точно с высокой вероятностью, используя только т = я + 1 ы.ё. случайных измерений. К сожалению, задача ^-оптимизации невыпуклая и относится к комбинаторному типу, вычислительные процедуры по ее решению численно неустойчивы и NP-сложные, требуя огромного перебора всех Сьы возможных вариантов размещения ненулевых элементов в х.
Реконструкция через минимизацию. Удивительно, но оптимизация, основанная на /1-норме:
х = а^шт|| х'| 1: Фх' = у . с высокой вероятностью позволяет точно восстанавливать я-редкие сигналы и хорошо приближать сжимаемые сигналы, используя только т > с^ log(N/s) случайных измерений. Это задача выпуклой оптимизации, которую можно свести к задаче линейного программирования.
Для решения можно использовать метод внутренней точки (вычислительная сложность порядка О или симплекс-метод (теоретически экспоненциальная сложность), который на практике оказывается относительно быстрым.
Геометрическая интерпретация. Геометрическое представление задачи СБ в М' помогает визуализировать, почему восстановление через решение задачи /2-оптими-зации проваливается при поиске разреженного решения, которое может быть идентифицировано при реконструкции по ^-оптимизации.
Набор всех я-редких векторов х в М' является сильно нелинейным пространством, состоящим из всех я-мерных гиперплоскостей, которые простираются по координатным осям, как показано на рис. 2 а. Сдвинутое нулевое подпространство И = Л'"( Ф) + х ориентировано под случайным углом, задаваемым рандомизацией в матрице Ф, как показано на рис. 2 Ь. (На практике N, т, я >> 3 и трехмерные интуитивные рассуждения не должны вводить в
Рис. 2. а) Пространство 2-редких векторов в Е3 состоит из трех плоскостей, содержащих по две координатные оси;
b) ^-минимизация находит неразреженный вектор х, далекий от х;
c) ^-минимизация находит разреженную точку х контакта /1-шара с гиперплоскостью Ч, с высокой вероятностью совпадающую с х
заблуждение.) Результат минимизации 12- нормы - ближайшая к началу координат точка на Н, которая может быть найдена расширением гиперсферы (/2-шара) до касания 'Н. Из-за случайной ориентации 'Н эта самая близкая к началу координат точка х с высокой вероятностью будет далеко от осей координат и, следовательно, не будет ни я-редкой, ни близкой к правильному ответу х. Напротив, /1-шар на рис. 2 с является выпуклой комбинацией точек, лежащих на осях координат. Поэтому при расширении /1-шара в трехмерном пространстве в контакт со сдвинутым двумерным нулевым подпространством Н сначала войдет точка, лежащая на осях координат (я = 1), которая в точности совпадает с точкой расположения искомого разреженного вектора х.
4. ПРИМЕРЫ
1. Предположим, что исследуется спектрально разреженный сигнал со сверхширокой полосой пропускания
N
/ ()=Е х [/ ]ехр] , * =0, ..., N - 1,
] =0
где N - очень большое число, но количество ненулевых компонент х [ ] ] меньше либо равно ^ (которое будем предполагать сравнительно малым: я << Щ. На рис. 3
приведен пример соответствующего сигнала при s = 5 с дополнительными случайными нормально распределенными помехами с единичной дисперсией.
В рассматриваемой задаче неизвестно, какие частоты активны, и мы не знаем их амплитуд. Так как набор активных частот совсем необязательно является подмножеством последовательности целых чисел, теория Котельникова/Найквиста/Шеннона совершенно бесполезна (так как нельзя априори ограничить возможную ширину полосы пропускания, то следует считать, что все N значений нужны). Но новая парадигма CS гарантирует получение с высокой вероятностью точной информации о частотах и амплитудах по сравнительно небольшой m ~ s log (N/s) выборке значений f (t). Более того, эти значения не должны как-то специально выбираться, алгоритм восстановления будет эффективно работать с почти любым их набором соответствующего размера. Иллюстрирующий пример восстановления при m = 320 приведен на рис. 4.
2. В [11] рассмотрен интересный пример однопиксельной сжимающей цифровой камеры, которая непосредственно получает m случайных линейных измерений без предварительного сбора значений всех N пикселей исходной картинки. Исходящие от картинки f световые волны отражаются от
Рис. 3. 5-редкий сигнал с помехой
специального устройства цифровых микрозеркал и собираются второй линзой, фокусируясь на один фотодиод (один пиксель).
Каждое микрозеркало может независимо ориентироваться или к фотодиоду (соответствует 1) или в сторону от фотодиода (соответствует 0). Для того, чтобы собрать измерения, с помощью генератора случайных чисел устанавливаются псевдослучайные ориентации микрозеркал, создающие измерительный вектор а1 из 1/0. Итоговое напряжение на фотодиоде равняется величине у1, которая является внутренним произведением между а1 и изображением /. Процесс повторяется т раз для получения всех компонент у.
3. При использовании СБ для сжатия/ восстановления картинок или видео полезно то свойство, что алгоритмы сжатия гораздо менее ресурсоемки, нежели алгоритмы реконструкции. Такая ситуация прямо противоположна той, которая в настоящее время сложилась в области сжатия видео. Новая парадигма СБ позволяет, например,
о -С'
30
Amplitude Spectrum / * - Reconstructed Spectrum
ii 20
10
.........¥........ г........i.........
...... S? ¥
!
100
200 300 Frequency (Hz)
400
500
Рис. 4. Определение частот и амплитуд 5-редкого сигнала
так организовать передачу информации между мобильными устройствами ограниченной вычислительной мощности: сжать на мобильном устройстве, передать на сервер, там с помощью мощных ресурсов сервера восстанавить и заново сжать информацию, но уже классическими алгоритмами трансформирующего кодирования, после чего передать на другое мобильное устройство.
4. В задачах обучения оказывается, что при решении вопроса об отнесении входного сигнала к тому или иному классу, можно в случае априорной информации о разреженности сигналов не проводить операции восстановления сигнала, а ограничиться решением аналогичной задачи в пространстве существенно меньшей размерности.
5. ЗАКЛЮЧЕНИЕ
Получение сигнала, основанное на CS, может быть более эффективно, чем традиционное осуществление выборки для редких или сжимаемых сигналов.
В Compressive Sensing хорошо известная оценка метода наименьших квадратов (МНК) неадекватна для хорошей реконструкции сигнала, и потому используются другие типы выпуклой оптимизации.
В статье обсуждения фокусировались на дискретных сигналах /, но парадигма Compressive Sensing (Compressive Sampling) применяется и к ^-редким (или сжимаемым) аналоговым сигналам fit), которые могут быть представлены или приближены использованием только s из N возможных элементов некоторого непрерывного базиса или словаря
{ ¥ / (') 1 /=1 ■ В то время, как каждый базисный элемент у/ .(t) может иметь большой разброс частот, аналоговый сигнал fit) имеет только s степеней свободы и, таким образом, также может быть измерен в существенно меньшем количестве точек.
Литература
1. Барабанов А.Е., Граничин О.Н. Оптимальный регулятор линейного объекта с ограниченной помехой // Автоматика и телемеханика. 1984. № 5. C. 39-46.
2. Гарнаев А.Ю., Глускин Е.Д. О поперечниках евклидова шара // Докл. АН СССР. Т. 277. 1984. № 5. С. 200-204.
3. Граничин О.Н. Оптимальное управление линейным объектом с нерегулярными ограниченными помехами // В сб.: Тезисы докладов и сообщений Всесоюзной конференции «Теория адаптивных систем и её применения». М.-Л., 1983. C. 26.
4. Граничин О.Н. Рандомизация измерений и ^-оптимизация // Стохастическая оптимизация в информатике. Изд-во С.-Петерб. ун-та. 2009. Вып. 5. С. 3-23.
5. Граничин О.Н., Кияев В.И. Информационные технологии в управлении. М.: Бином. 2008. 336 с.
6. Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. М.: Наука, 2003. 293 с.
7. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1987. 320 с.
8. Кашин Б.С. Поперечники некоторых конечномерных множеств и классов гладких функций // Изв. АН СССР. Сер. Матем. Т. 42. 1977. № 2. С. 334-351.
9. Кашин Б.С., Темляков В.Н. Замечание о задаче сжатого измерения // Мат. заметки. Том 82. 2007. № 6. C. 829-837.
10. Котельников В.А. О пропускной способности эфира и проволоки в электросвязи // Всесоюзный энергетический комитет. Материалы к I Всесоюзному съезду по вопросам технической реконструкции дела связи и развития слаботочной промышленности. 1933. Репринт статьи в журнале УФН. 176:7. 2006. C. 762-770.
11. Baraniuk R.G. Compressive Sensing // IEEE Signal Processing Magazine. Vol. 52. № 2. July 2007. P. 118-120, 124.
12. Candes E., Romberg J., Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information // IEEE Trans. Inform. Theory. Vol. 52. № 2. Feb. 2006. P. 489-509.
13. Dahlem M., Pearson J.B. ^-optimal feedback controllers for MIMO discrete systems // IEEE Transactions on Automatic Control. Vol. 32. № 4. 1987. P. 314-322.
14. Donoho D. Compressed sensing // IEEE Trans. Inform. Theory. Vol. 52. № 4. Apr. 2006. P. 1289-1306.
15. Fisher R.A. The Design of Experiments. Edinburgh: Oliver and Boyd. 1935.
16. Granichin O.N. Linear regression and filtering under nonstandard assumptions (Arbitrary noise) // IEEE Trans. Automat. Contr. Vol. 49. oct. 2004. P. 1830-1835.
Abstract
Recently a new paradigm has been developing for the coding/decoding of multidimensional signals having sparse representation in some basis. It is based on ideas of measurement's randomization and ^-optimization. Recently proposed new methods of obtaining and representation of the compressible data are referred to as Compressive Sensing.
Keywords: randomized measurements, ^-optimization, sparse signals reconstruction.
Граничин Олег Николаевич, доктор физико-математических наук, профессор кафедры Системного программирования математико-механического факультета СПбГУ, oleg_gran ichin @mail. ru,
Павленко Дмитрий Валентинович, аспирант СПбГУ, [email protected]
© Наши авторы, 2010. Our authors, 2010.
