CC BY
39
НАУЧНО-ТЕХНИЧЕСКИМ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ июль-август 2018 Том 18 № 4 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS July-August 2018 Vol. 18 No 4 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.932.2
ПРИМЕНЕНИЕ МЕТОДА ПРОСТРАНСТВЕННОЙ ИНТЕРПОЛЯЦИИ В ЗАДАЧЕ СИНТЕЗА ПРОМЕЖУТОЧНЫХ КАДРОВ ВИДЕОП ОСЛЕДОВАТЕЛ ЬНОСТИ
Н.С. Немцев", М.Р. Гильмутдиновь, А.И. Веселовь
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
ь Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, 190000, Российская Федерация
Адрес для переписки: nicknemcev@gmail.com Информация о статье
Поступила в редакцию 13.04.18, принята к печати 11.05.18 doi: 10.17586/2226-1494-2018-18-4-623-629 Язык статьи - русский
Ссылка для цитирования: Немцев Н.С., Гильмутдинов М.Р., Веселов А.И. Применение метода пространственной интерполяции в задаче синтеза промежуточных кадров видеопоследовательности // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 4. С. 623-629. doi: 10.17586/2226-1494-2018-18-4-623-629
Аннотация
Предмет исследования. Проведено исследование существующих методов синтеза промежуточных кадров видеопоследовательности, базирующихся на процедуре оценки и компенсации движения. Предложен метод синтеза промежуточных кадров видеопоследовательности, базирующийся на техниках пространственной интерполяции изображений и процедуре оценки и компенсации истинного движения видеопоследовательности. Метод. В статье описан подход, используемый для синтеза промежуточных кадров видеопоследовательности, основанный на принципе оценки истинного движения и использующий процедуру пространственной интерполяции отдельных областей синтезированного кадра. В основе подхода лежит итеративная иерархическая процедура уточнения элементов векторного поля и подход для пространственной интерполяции отдельных регионов кадра, базирующийся на техниках закраски областей изображений. Основные результаты. Результаты сравнения предложенного подхода с существующими современными аналогами показали его более высокую эффективность при синтезировании кадров видеопоследовательностей, содержащих объекты со сложным характером движения. Практическая значимость. Предложенный подход может быть использован на практике в задаче кодирования видеопоследовательностей и повышения их кадровой скорости. Ключевые слова
обработка визуальных данных, оценка истинного движения, модель истинного движения, временная интерполяция визуальных данных, пространственная интерполяция, глобальная оценка движения, ЕМ-алгоритм
APPLICATION OF SPARTIAL INTERPOLATION METHOD IN SYNTHESIS OF VIDEO SEQUENCE INTERMEDIATE FRAMES N.S. Nemcev", M.R. Gilmutdinovb, A.I. Veselovb
a ITMO University, Saint Petersburg, 197101, Russian Federation
ь Saint Petersburg State University of Aerospace Instrumentation, Saint Petersburg, 190000, Russian Federation Corresponding author: nicknemcev@gmail.com Article info
Received 13.04.18, accepted 11.05.18 doi: 10.17586/2226-1494-2018-18-4-623-629 Article in Russian
For citation: Nemcev N.S., Gilmutdinov M.R., Veselov A.I. Application of spartial interpolation method in synthesis of video sequence intermediate frames. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 4, pp. 623-629 (in Russian). doi: 10.17586/2226-1494-2018-18-4-623-629
Abstract
Subject of Research. We have carried out the research of existing synthesis methods of the video sequence intermediate frames based on the procedure of motion estimation and compensation. A method for the video sequence intermediate frames
synthesis is proposed based on the techniques of images spatial interpolation and the procedure for true motion estimation and compensation of the video sequence. Method. The paper describes the approach for the synthesis of video sequence intermediate frames based on the true motion estimation principle. The approach is based on the iterative hierarchical refinement procedure for the elements of the vector field and the approach for spatial interpolation of particular regions of the frame based on the image area fill techniques. Main Results. ^mparison results of the proposed approach with existing modern analogs show its higher efficiency in synthesizing frames of video sequences containing objects with complex motion. Practical Relevance. The proposed approach can be used in practice in the task of video sequences encoding and increasing of their frame rate. Keywords
visual data processing, true motion estimation, true motion model, visual data temporal interpolation, spatial interpolation, global motion estimation, EM-algorithm
Введение
Эффективность, надежность и отказоустойчивость систем обработки визуальных данных в значительной мере достигается методами и алгоритмами восстановления поврежденных или утерянных кадров видеопоследовательности, реализуемых при временной интерполяции кадров [1, 2], что в ряде случаев требует резервирования структуры и вычислительных процессов обработки [3, 4], хранения и передачи данных [5-7].
Процедура синтеза промежуточных кадров видеопоследовательности - один из наиболее важных элементов современных систем обработки визуальной информации. Данная процедура широко используется в задачах увеличения кадровой скорости видеопоследовательности, восстановления поврежденных или утерянных кадров, а также декомпрессии видеоданных, кодированных на низких битрейтах с уменьшением количества кадров.
Любой современный алгоритм временной интерполяции кадров можно условно разделить на два основных модуля (рис. 1) - оценки движения и компенсации движения.
Рис. 1. Упрощенная структура алгоритма синтеза промежуточных кадров видеопоследовательности
Одним из основных методов, применяемых при временной интерполяции, является оценка и компенсация истинного движения объектов в видеопоследовательности. Задачей оценки движения является построение векторного поля, показывающего смещение объектов следующего кадра относительно предыдущего. Модель истинного движения базируется на двух основных допущениях о характере соответствующих ей векторных полей:
1. кусочная гладкость векторного поля (векторы, соответствующие пространственно близким областям, не расположенным на границе, высоко коррелированы);
2. зарегистрированное движение объектов должно соответствовать реальному.
С точки зрения теории модель истинного движения хорошо формализована, и существуют алгоритмы, явно учитывающие эту модель при поиске движения [8]. Однако при обработке реальных данных многие допущения, принятые в модели истинного движения, не выполняются, что вызывает потребность в разработке эвристических алгоритмов, нацеленных в первую очередь на улучшение визуального качества интерполированных кадров. Важнейшую роль в задаче улучшения визуального качества синтезированных кадров играет также и используемая процедура компенсации движения.
В настоящей работе предложен алгоритм компенсации движения, учитывающий информацию о топологии поля векторов движения и используемый для решения задачи синтеза промежуточных кадров видеопоследовательности. В работе приводятся результаты сравнения предложенного комплекса с известными существующими реализациями алгоритмов синтеза промежуточных кадров видеопоследовательности.
Теоретические основы
Разработанный алгоритм синтеза кадров базируется на подходе, описанном в [9], и использует пару соседних кадров оригинальной видеопоследовательности Fг■_1 и Fг■+1 для оценки векторного поля V, описывающего смещение объектов между этими кадрами. Кадры Fг■_1 и Fг■+1 будем называть базовыми или опорными кадрами. Кадр Fг■ будем называть интерполированным (синтезированным) или промежуточным кадром. Модель векторного поля для задачи оценки истинного движения может быть введена как
результат минимизации сглаживающего функционала Тихонова в методе регуляризации при фиксированных кадрах Ем и Е/+1 [1]:
V * = агрпшуеоЕ( F¿_1, ¥м, V ), (1)
где ^ - пространство всех возможных векторных полей и
Е(¥-1, ¥1+1, V ) = Ег(¥-1, ¥1+1, V ) + a£2(V). (2)
Слагаемое Ег характеризует энергию разностного кадра, полученную с использованием опорных кадров Ем и Е/+1 и некоторого векторного поля V, слагаемое Е2 характеризует уровень гладкости векторного поля V, а >0 - коэффициент регуляризации между слагаемыми, определяющий требования модели к гладкости поля V (чем больше а, тем глаже V).
Следует отметить, что существуют алгоритмы, которые позволяют искать значения коэффициента а и минимумы функции (2) в явном виде [10]. Однако следует отметить, что с помощью формулы (2) описывается только модель движения, и векторные поля, соответствующие локальным и глобальным минимумам этой модели, не обязательно точно отражают истинное движение объектов на кадрах. Например, модель не учитывает тот факт, что на границах объектов гладкое векторное поле не может точно передать истинное движение. В связи с этим более хорошие результаты с точки зрения визуального качества достигаются с использованием подоптимальных алгоритмов, рассматривающих оптимизацию (1) неявно.
Рассматриваемая процедура решает задачу синтеза промежуточного кадра по двум опорным кадрам и базируется на принципах билатеральной интерполяции. Задача синтеза промежуточного кадра с использованием большего количества опорных кадров в данной работе остается без рассмотрения, однако необходимо отметить, что использование дополнительных опорных кадров позволяет получить более точную информацию о характере движения объектов и построить процедуру компенсации движения, базирующуюся на принципах бикубической интерполяции, что в общем случае способствует повышению качества синтезированного кадра [11].
Предложенный подход для синтеза промежуточных кадров
В разработанном алгоритме, схема которого представлена на рис. 2, для увеличения визуального качества получаемого промежуточного кадра задача оценки движения условно разделена на три последовательно решаемые подзадачи (оценка глобального движения, оценка локального движения, уточнение векторного поля), а компенсация движения выполняется билатерально с учетом информации о характере движения объектов.
поля
Рис. 2. Схема разработанного алгоритма
Информация о глобальном движении помогает значительно уменьшить сложность последующих этапов алгоритма оценки движения и более точно описать смещения быстро движущихся объектов.
На этапе оценки локального движения генерируется поле векторов движения объектов кадра. Сначала с использованием информации о глобальном движении строится начальное векторное поле. После этого элементы этого поля классифицируются и уточняются с использованием итеративной иерархиче -ской процедуры предсказания движения, аналогичной подходам, предложенным в [9, 12, 13].
Для переопределения векторов движения, расположенных в нетекстурированных областях и областях со сложным движением, предлагается итерационная процедура, основанная на принципах ЕМ-алгоритма (англ. expectation-maximization) [14].
Синтез промежуточных кадров выполняется билатерально в два этапа. На первом этапе генерируется начальная версия промежуточного кадра и строится карта областей перекрытия объектов и областей с неопределенным характером движения. На втором этапе происходит закраска данных областей с использованием техники inpainting [15].
Оценка движения
Первым этапом оценки движения объектов кадра является глобальная оценка движения, т.е. оценка сдвига камеры и смещения крупных объектов кадра, модуль оценки глобального движения использует метод случайных выборок (RANSAC, RANdom SAmple Consensus) [16] и осуществляет поиск моделей движения, описывая их с помощью набора глобальных векторов движения Vg. Подробное описание используемой процедуры оценки глобального движения и оценка ее эффективности приведены в [17].
К0)"
После нахождения набора глобальных векторов Vg: < п [ для каждого блока пикселей в кадре
№Ji=1
F, на основе их значений с использованием поиска градиентным спуском строится так называемое базо-
(fVX\
вое векторное поле V: •{ I )
(VKy/yJ i=o,..,h-l
j=0,..,w-l
Для увеличения гладкости поля векторов V и увеличения точности передачи движения на границах объектов кадра используется иерархическая итеративная процедура обновления векторного поля, практически идентичная процедуре, описанной в [13]. Отличие заключается в том, что для оценки надежности используется информация о контурах объектов, полученная с помощью детектора границ Кенни. Таким образом, расчет метки надежности для вектора V^, соответствующего блоку g^, осуществляется по следующему правилу:
1, если ef- > errThr
(h) Г. . =
У
2, если C?}>Caf и If = 0
3, если Cfh>>Ca(h> и if = 1
4, если
C^Ch и ff = 0
5, иначе
где df и Cafhj являются характеристиками локальной гладкости поля и рассчитываются в соответствии с работой [13]; eff - ошибка сопоставления блоков; - индикаторная функция, показывающая принадлежность блока к области границ объектов. Детальное описание предложенной процедуры и оценка ее эффективности приведены в [18].
Для уточнения движения в областях со сложным движением используется итеративная процедура, базирующаяся на принципах EM-алгоритма [14], похожая по своей структуре на подход, описанный в [19].
В качестве входных данных используется информация о поле векторов движения V, поле оценок надежности векторов r, характеристиках моделей движения Vg и непосредственно о пикселях базовых кадров F;-1 и Fi+1, выходом процедуры является обновленное векторное поле V.
На подготовительном этапе процедуры строится поле меток L, определяющих принадлежность вектора к определенной модели движения на основе вычисления евклидова расстояния между вектором поля V и векторами моделей движения Vg.
На первом этапе для каждого пикселя промежуточного кадра вычисляется функция ошибки принадлежности к определенной модели:
EkО, x)=wk(y, x)Dl(y, x) +wk(y, x) logwk(y, x) - ц ^ W(y, x; m, n)Wk(y, x)wk(m, n) -
m,n£y,x
-Yrk(У, x) + т x)) Vc(L(y, x), L(s)),
где Ek(y, x) - энергия ошибки сопоставления пикселя с координатами у, х с моделью движения под номером k6[1,...,d], d - количество моделей движения; ц, т и у - регуляризационные коэффициенты, значения которых получены методом подбора; wk(y, x) - весовой коэффициент ЕМ-алгоритма [15]; W(y, x; m, n) -величина, учитывающая пространственную схожесть пикселей (расположенные рядом похожие пиксели, скорее всего, относятся к одному объекту, и их движение можно описать одной моделью движения) и описанная в [19]; rk(y, x) - метка надежности вектора модели к, помещенного в векторное поле V на позицию (y, x); Vc(L(y, x), L(s)) используется для учета пространственной структуры поля меток L, так называемая клика [20]; L(y, x) - метка класса текущего вектора; L(s) - метка класса соседнего с ним пикселя.
Вычисление обновленной метки модели движения для пикселя Fi+1(y,x) можно описать с помощью следующей оптимизационной задачи: L(y, х) = argmin^j.^O, х).
После обновления поля меток L производится обновление векторов, соответствующих измененным меткам. Обновление производится с помощью процедуры градиентного спуска, в качестве начальных сдвигов используются значения глобального вектора, соответствующие текущей метке.
После обновления векторного поля V в соответствии с реализацией ЕМ-алгоритма, описанного в [15], производится вычисление новых значений Vg.
Оценка эффективности предложенной процедуры уточнения векторного поля приведена в [21].
Компенсация движения
Компенсация движения является финальным этапом алгоритма и представляет собой процедуру билатеральной интерполяции с последующей постобработкой регионов с некорректно распознанным движением. На первом этапе строится бинарная карта регионов O, содержащих искажения, значение которой для вектора движения с координатами (у, х) можно вычислить как 0(у х) = если А0(У,х) > thr
I 0, иначе '
где
AD(y,x) = — ^vx(y,x),y — ^vy(y,x^j — Fi+1(x +^vx(y,x),y + ^vy(y,x)^)\.
Далее значения пикселей кадра F; с координатами (у,х), для которых 0(у,х) = 0, вычисляются согласно выражению
F; (у, х) = i (Fi1 (х -1 vxfy, х), y -1 vy(y, x^J + F+ (x+1 vx(y, x), y+ 2 vy(y, x))),
где F;(y, x) - пиксель промежуточного кадра, vx, vy E V.
Пиксели промежуточного кадра, помеченные как регионы искажений, заменяются с использованием алгоритма закраски, принципы работы которого описаны в [15]. Однако в отличие от классического подхода закраски [15], базирующегося на поиске подходящих «заплаток» для пустых областей синтезированного кадра F; непосредственно в его же пиксельном поле, закраска производится с использованием пиксельных полей опорных кадров F;-1 и F+ и информации о глобальном движении объектов Vg. При этом области поиска Ni—1 (у, х) и N+ (у, х) для пикселя с координатами (х,у) будут вычисляться как
N- (у, х) = {{Fi-! (к, l)\k E Y',lE X'}} , N1+1(y,x) = {{F1+1(n,m)\n E Y'',m E X''}}, где Y' = (max (y - 1 Vygs)-r, 1), max (y -1 Vygs)-r, 1^ + 1,.., min (y -1 Vygs) +r, #)}, X' = (max (x — ^ Vx^ — r,1^, max (x — ^ Vx^ — r,1^ + 1,.., min (x — ^ Vx^ + r,
Y'' = (max (y +1 Vygs)-r, i), max (y + 2 Vygs)-r, i) + 1,.., min (y+1 Vygs)+r, я)},
\Vx №
X'' = (max (x+1 Vxgs)-r, 1), max (x+1 Vxgs)-r, 1) + 1,.., min (x+1 Vxgs) +r, w)}, | v | eVg, r - некоторый предустановленный радиус поиска.
Оценка эффективности предложенного алгоритма синтеза промежуточных кадров
Оценка эффективности интерполяции проводилась в соответствии со следующей процедурой:
- из исходных кадров видеопоследовательности были удалены кадры с нечетными номерами;
- удаленные кадры были синтезированы с использованием оставшихся кадров;
- для оценки эффективности алгоритма использовалось среднее значение Y-PSNR, которое рассчитывается между исходными кадрами, удаленными из видеопоследовательности, и соответствующими им синтезированными кадрами.
При оценке эффективности интерполяции среднее арифметическое PSNR вычисляется в соответствии с выражением
Y — psNRav=^PSNR(Y; ,
avy N ■>
где PSNR(Yi, Y;)- пиковое значение соотношения сигнал-шум; Y - компонента удаленного из видеопоследовательности кадра; Y - компонента интерполированного кадра; N - количество кадров. Чем выше полученное значение PSNR, тем более похожи кадры Y и "У, что соответствует более высокому качеству интерполяции.
Результаты объективного сравнения результатов интерполяции представлены в таблице.
Алгоритм Среднее по видеопоследовательности PSNR
Bus Foreman Footbal Soccer
SUAI-FRC [13] 27,10 35,58 23,63 30,50
MSU-FRC [22] 28,18 35,08 22,52 29,94
MVTools [23] 27,85 35,03 23,54 30,83
MME-TE-FRC [24] 28,32 35,35 24,04 -
Modified-EM FRC [21] 26,96 35,64 25,94 30,63
Предложенный подход 26,97 35,72 26,41 30,84
Таблица. Объективное сравнение результатов интерполяции
Из представленных результатов можно сделать вывод, что предложенный алгоритм пространственной интерполяции отдельных областей синтезированного кадра позволяет существенно повысить эффективность алгоритма синтеза промежуточных кадров видеопоследовательности.
Заключение
Предложенный в данной статье метод пространственной интерполяции используется для синтеза промежуточных кадров видеопоследовательности. В алгоритме интерполяции кадров с компенсацией движения используется эта процедура и несколько дополнительных методов, таких как глобальная оценка движения и уточнение векторного поля с использованием модифицированного ЕМ-алгоритма для анализа областей со сложным движением. Предлагаемый алгоритм синтеза промежуточных кадров превосходит современные методы временной интерполяции, особенно в тестовых видеопоследовательностях, содержащих быстродвижущиеся объекты.
10.
11.
Литература
De Haan G., Biezen P., Huijgen H., Ojo O.A. True-motion estimation with 3-D recursive search block matching // IEEE Transactions on Circuits and Systems for Video Technology. 1993. V. 3. N 5. P. 368-379. doi: 10.1109/76.246088 Haan G. Motion Estimation and Compensation. PhD thesis. Delft University of Technology, 1992.
Богатырев В.А., Богатырев С.В. Резервированная передача данных через агрегированные каналы в сети реального времени // Известия высших учебных заведений. Приборостроение. 2016. Т. 59. № 9. С. 735-740. doi: 10.17586/0021-3454-2016-59-9-735-740
Bogatyrev V.A. Fault tolerance of clusters configurations with direct connection of storage devices // Automatic Control and Computer Sciences. 2011. V. 45. N 6. P. 330-337. Богатырев В.А., Богатырев С.В. Критерии оптимальности многоустойчивых отказоустойчивых компьютерных систем // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики. 2009. № 5(63). С. 92-97.
Богатырев В.А., Богатырев А.В. Функциональная надежность систем реального времени // Научно-технический вестник информационных технологий, механики и оптики. 2013. № 4(86). С. 150-151. Богатырев В.А., Богатырев С.В., Богатырев А.В. Оптимизация древовидной сети с резервированием коммутационных узлов и связей // Телекоммуникации. 2013. № 2. С. 42-48.
Rajala S., Abdelqadar I., Bilbro G., Snyder W. Motion estimation optimization // Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing. San Francisco, 1992. P. 253256. doi: 10.1109/ICASSP.1992.226203
Veselov A., Gilmutdinov M. Iterative hierarchical true motion estimation for temporal frame interliolation // IEEE 16th Int. Workshop on Multimedia Signal Processing (MMSP). 2014. doi: 10.1109/mmsp.2014.6958822
Boykov Y., Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2004. V. 26. N 9. P. 1124-1137. doi: 10.1109/TPAMI.2004.60
Lakshman H., Schwarz H., Wiegand T. Adaptive motion model selection using a cubic spline based estimation
10.
11.
References
De Haan G., Biezen P., Huijgen H., Ojo O.A. True-motion estimation with 3-D recursive search block matching. IEEE Transactions on Circuits and Systems for Video Technology, 1993, vol. 3, no. 5, pp. 368-379. doi: 10.1109/76.246088 Haan G. Motion Estimation and Compensation. PhD thesis. Delft University of Technology, 1992.
Bogatyrev V.A., Bogatyrev S.V. Redundant data transmission using aggregated channels in real-time network. Journal of Instrument Engineering, 2016, vol. 59, no. 9, pp. 735-740. (in Russian) doi: 10.17586/0021-3454-201659-9-735-740
Bogatyrev V.A. Fault tolerance of clusters configurations with direct connection of storage devices. Automatic Control and Computer Sciences, 2011, vol. 45, no. 6, pp. 330-337. doi: 10.3103/S0146411611060046
Bogatyrev V.A., Bogatyrev S.V. Optimality criteria of multilevel failure-safe computer systems. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2009, no. 5, pp. 92-97. (in Russian) Bogatyrev V.A., Bogatyrev A.V. Functional reliability of real-time systems. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2013, no. 4, pp. 150-151. (in Russian)
Bogatyrev V.A., Bogatyrev S.V., Bogatyrev A.V. Optimization of the tree-structured network with redundant of switching nodes and links. Telekommunikatsii, 2013, no. 2, pp. 42-48. (in Russian)
Rajala S., Abdelqadar I., Bilbro G., Snyder W. Motion estimation optimization. Proc. IEEE Int. Conf. on Acoustics, Speech and Signal Processing, ICASSP. San Francisco, 1992, pp. 253-256. doi: 10.1109/ICASSP.1992.226203 Veselov A., Gilmutdinov M. Iterative hierarchical true motion estimation for temporal frame interliolation. IEEE 16th Int. Workshop on Multimedia Signal Processing, MMSP, 2014. doi: 10.1109/mmsp.2014.6958822 Boykov Y., Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, vol. 26, no. 9, pp. 1124-1137. doi: 10.1109/TPAMI. 2004.60
Lakshman H., Schwarz H., Wiegand T. Adaptive motion model selection using a cubic spline based estimation framework. Proc. 17th IEEE Int. Conf. on Image Processing,
framework // Proc. 17th IEEE Int. Conf. on Image Processing (ICIP). 2010. P. 805-808. doi: 10.1109/spcom.2010.5560522
12. Веселов А.И., Гильмутдинов М.Р. Алгоритм оптимизации векторного поля в задаче временной интерполяции кадров // Информационно-управляющие системы. 2014. № 4. С. 33-41.
13. Huang A.M., Nguyen T. Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation // IEEE Transactions on Image Processing. 2009. V. 18. N 4. P. 740-752. doi: 10.1109/tip.2008.2010206
14. Dempster A.P., Laird N.M., Rubin D.B. Maximum likelihood from incomplete data via the EM algorithm // Journal of the Royal Statistical Society, Series B. 1977. V. 39. N 1. P. 1-38.
15. Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting // IEEE Transactions on Image Processing. 2004. V. 13. N 9. P. 12001212. doi: 10.1109/tip.2004.833105
16. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Readings in Computer Vision. 1987. P. 726-740. doi: 10.1016/b978-0-08-051581-6.50070-2
17. Немцев Н.С. Оценка глобального движения объектов в задаче пространственно-временной интерполяции визуальных данных // Сборник статей XII Международной научно-практической конференции International Innovation Research. 2018. Т. 1. С. 96-100.
18. Немцев Н.С., Гильмутдинов М.Р. Классификация надежности элементов векторного поля // Научная сессия ГУАП. 2017. С. 307-314.
19. Weiss Y., Adelson E.H. Perceptually organized EM: A framework for motion segmentation that combines information about form and motion. Technical Report N 315. Cambridge, MIT Media Laboratory Perceptual Computing Section, 1995.
20. Quan Wang. HMRF-EM-image: implementation of the hidden Markov random field model and its expectation-maximization algorithm // arXiv:1207.3510v2 [cs.CV]. 2012.
21. Nemcev N., Gilmutdinov M. Modified EM-algorithm for motion field refinement in motion compensated frame interpoliation // Lecture Notes in Computer Science. 2017. P. 662-670. doi: 10.1007/978-3-319-67380-6_63
22. Фильтр преобразования кадровой скорости. MSU-FRC. Режим доступа: http://compression.graphicon.ru/video/motion_estimation/ (дата обращения 26.04.2018).
23. Фильтр преобразования кадровой скорости MVTools Avisynth plugin. Режим доступа: http://avisynth.org.ru/mvtools/mvtools2.html (дата обращения 26.04.2018).
24. Jeong S.G., Lee C., Kim C.S. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization // IEEE Transactions on Image Processing. 2013. V. 22. N 11. P. 4497-4509. doi: 10.1109/tip.2013.2274731
Авторы
Немцев Николай Сергеевич - аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 57196051054, ORCID ID: 0000-0003-4801-3284, nicknemcev@gmail.com
Гильмутдинов Марат Равилевич - кандидат технических наук, доцент, Санкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, 190000, Российская Федерация, Scopus ID: 17433863200, ORCID ID: 0000-0001-6945-4551, marat.r. gilmutdinov@gmail.com Веселов Антон Игоревич - кандидат технических наук, доцент, Санкт-Петербургский государственный университет
аэрокосмического приборостроения, Санкт-Петербург, 190000, Российская Федерация, Scopus ID: 36816617100, ORCID ID: 0000-0003-1216-5876, felix@vu.spb.ru
ICIP, 2010, pp. 805-808. doi: 10.1109/spcom.2010.5560522
12. Veselov A., Gilmutdinov M. Algorithm of motion field optimization for temporal frame interpolation. Informatsionno-Upravliaiushchie Sistemy, 2014, no. 4, pp. 25-28. (in Russian)
13. Huang A.M., Nguyen T. Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation. IEEE Transactions on Image Processing, 2009, vol. 18, no. 4, pp. 740-752. doi: 10.1109/tip.2008.2010206
14. Dempster A.P., Laird N.M., Rubin D.B. Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, Series B, 1977, vol. 39, no. 1, pp. 1-38.
15. Criminisi A., Perez P., Toyama K. Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing, 2004, vol. 13, no. 9, pp. 1200-1212. doi: 10.1109/tip.2004.833105
16. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Readings in Computer Vision, 1987, pp. 726-740. doi: 10.1016/b978-0-08-051581-6.50070-2
17. Nemcev N.S. Global Motion Estimation in the problem of visual data spatio-temporal. Proc. 12th Int. Conf. on International Innovation Research, 2018, vol. 1, pp. 96-100. (in Russian)
18. Nemcev N.S., Gilmutdinov M.R. Classification of reliability of vector field elements. Nauchnaya Sessiya GUAP, 2017, pp. 307-314. (in Russian)
19. Weiss Y., Adelson E.H. Perceptually organized EM: A framework for motion segmentation that combines information about form and motion. Technical Report no. 315. Cambridge, MIT Media Laboratory Perceptual Computing Section, 1995.
20. Quan Wang. HMRF-EM-image: implementation of the hidden Markov random field model and its expectation-maximization algorithm. arXiv:1207.3510v2 [cs.CV], 2012.
21. Nemcev N., Gilmutdinov M. Modified EM-algorithm for motion field refinement in motion compensated frame interpoliation. Lecture Notes in Computer Science, 2017, pp. 662-670. doi: 10.1007/978-3-319-67380-6_63
22. Frame Rate Conversion Filter MSU-FRC. Available at: http://compression.graphicon.ru/video/motion_estimation/ (accessed 26.04.2018).
23. Frame Rate Conversion Filter MVTools Avisynth Plugin. Available at: http://avisynth.org.ru/mvtools/mvtools2.html (accessed 26.04.2018).
24. Jeong S.G., Lee C., Kim C.S. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization. IEEE Transactions on Image Processing, 2013, vol. 22, no. 11, pp. 4497-4509. doi: 10.1109/tip.2013.2274731
Authors
Nikolay S. Nemcev - postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 57196051054, ORCID ID: 0000-0003-4801-3284, nicknemcev@gmail.com
Marat R. Gilmutdinov - PhD, Associate Professor, Saint Petersburg State University of Aerospace Instrumentation, Saint Petersburg, 190000, Russian Federation, Scopus ID: 17433863200, ORCID ID: 0000-0001-6945-4551, marat.r.gilmutdinov@gmail.com
Anton I. Veselov - PhD, Associate Professor, Saint Petersburg State University of Aerospace Instrumentation, Saint Petersburg, 190000, Russian Federation, Scopus ID: 36816617100, ORCID ID: 0000-0003-1216-5876, felix@vu.spb.ru
