CC BY
17
ТЕХНИЧЕСКИЕ НАУКИ
ОСОБЕННОСТИ ОБРАБОТКИ И ХРАНЕНИЯ ДВУХМЕРНЫХ
МАССИВОВ ЦИФРОВЫХ ДАННЫХ Гарнышев И.Н.1, Казанцев С.В.2, Мальков Р.Ю.3, Семенов И.Д.4, Юдин С.В.5 Email: Garnyshev17142@scientifictext.ru
1 Гарнышев Игорь Николаевич - сетевой инженер, Отдел администрирования сетей передачи данных,
Тинькофф Банк; 2Казанцев Сергей Владимирович - главный инженер, Департамент сетей передачи данных, Сбербанк; 3Мальков Роман Юрьевич - эксперт, Центр компетенций по облачным решениям, Техносерв, г. Москва;
4Семенов Иван Дмитриевич - старший инженер, Департамент сетей передачи данных, Servers.com Лимассол, Кипр; 5Юдин Степан Вячеславович - администратор сети, Департамент технического обеспечения и развития инфраструктуры информационных систем, Спортмастер, г. Москва
Аннотация: в статье проведен анализ особенностей обработки и хранения двухмерных массивов цифровых данных. Построена диаграмма информационной среды как модели организации цифровых данных и диаграмма областей применения двухмерных массивов данных при представлении изображений и структуры носителей информации. Разработана комплексная методология кодирования составных изображений, которая обеспечивает высокую степень сжатия исходного изображения, низкий уровень ошибок и минимальную ресурсоемкость механизмов кодирования.
Ключевые слова: двухмерные массивы цифровых данных, составное изображение, информационная среда, кратномасштабный анализ, диффузия ошибок.
PECULIARITIES OF PROCESSING AND STORAGE OF TWO-DIMENSIONAL ARRAYS OF DIGITAL DATA Garnyshev I.N.1, Kazantsev S.V.2, Malkov R.Yu.3, Semenov I.D.4,
Iudin S.V.5
1Garnyshev Igor Nikolaevich - Network Engineer, DATA NETWORK ADMINISTRATION DEPARTMENT, TINKOFF BANK;
2Kazantsev Sergei Vladimirovich - Senior Engineer, NETWORK DEPARTMENT, SBERBANK;
3Malkov Roman Yurevich - Expert, CLOUD SOLUTIONS DEPARTMENT, TECHNOSERV CLOUD, MOSCOW;
4Semenov Ivan Dmitrievich - Senior Engineer, NETWORK DEPARTMENT,
SERVERS.COM LIMASSOL, CYPRUS;
5Iudin Stepan Vyacheslavovich - Network Administrator, DEPARTMENT OF TECHNICAL SUPPORT AND INFORMATION SYSTEMS INFRASTRUCTURE DEVELOPMENT, SPORTMASTER, MOSCOW
Abstract: the article analyzes the processing and storage of two-dimensional arrays of digital data. A diagram of the information media is constructed as a model for organizing digital data and a diagram of the areas of two-dimensional data arrays application for presenting images and the structure of information carriers. A comprehensive coding methodology for composite images has been developed, which provides a high degree of compression of the original image, a low level of errors and a minimum resource consumption of coding mechanisms.
Keywords: two-dimensional arrays of digital data, compound image, information media, multiresolution analysis, error diffusion.
УДК 004.627
Введение
Кодирования изображения соответствует его пространственной дискретизации в рамках двухмерного массива данных, в процессе которой исходный паттерн разбивается на отдельные фрагменты. При этом качество кодирования изображения зависит от частоты дискретизации, т.е. размера данных фрагментов, на которые делится изображение и глубины кодирования, т.е. количество полутонов и цветов (в случае кодирования цветного изображения). Задача разработчика систем оцифровки изображений при этом лежит в плоскости обеспечения эффективного сжатия цифрового файла при высоких значениях частоты дискретизации и глубины кодирования.
Анализ последних исследований и публикаций в данной области позволил обобщить представления об особенностях кодирования и декодирования двумерных массивов цифровых данных. Рассмотрены основы применения информационной теории в рамках современных мегатрендов гибридизация механизмов подготовки, обработки и передачи информации как на уровне построения методологии, так и на уровне разработки алгоритмов [1-3]. Изучены особенности оцифровки и восприятия изображений как двух массивов данных [3, 4], а также восстановления частично поврежденных блоков данных с поверхности носителей информации [5-7]. Проведен анализ математической модели представления составного изображения и сопряжения слоев [8-10], в частности методик кратномасштабного анализа [11-13]. Дополнительно для изучения темы кодирования черно-белого полутонового изображения были рассмотрены подходы в рамках эвристического метода диффузии ошибок [14-18].
Целью работы стало построение комплексной методологии по созданию алгоритмов кодирования составных изображений, обеспечение высокой степени сжатия исходного изображения, которое подлежит оцифровке, а также низкого уровня ошибок в представлении и минимальной ресурсоемкости механизмов кодирования.
1. Представление изображений в виде двухмерных массивов
В рамках традиционной терминологии принятой в информационной теории [1-3] принято разделять такие понятия как источник информационного кода (information code) и канал по которому данный код передается (information channel).
Однако в данной работе, в свете того, что на сегодняшний день одной из ключевых тенденций является гибридизация механизмов подготовки, обработки и передачи информации на базе приложений и единой методологии, было предложено использовать единое понятие информационной среды (information medium). При этом следует отметить, что под информационной средой (ИС) может подразумеваться как физическая среда, так и математический принцип организации элементов информационного блока (рис. 1).
Данный подход является наиболее эффективным при работе над наиболее актуальной задачей кодирования и декодирования двухмерных массивов данных. Актуальность двухмерных массивов данных связана с особенностью зрительного восприятия человека [3, 4]. Несмотря на то, что люди воспринимают мир как трехмерный, бинокулярное зрение на самом деле дает два набора двухмерных проекций, которые мозгов в дальнейшем анализируются на базе трехмерных моделей. Аналогично носители информации как аналоговые, так и цифровые зачастую представляют двухмерный массив данных или наборы таких массивов (рис. 2). Это следует учитывать при разработке систем кодировании и декодировании данных, а также при построении алгоритмов восстановления частично поврежденных блоков данных [5 -7].
Рис. 1. Информационная среда как модель организации цифровых данных
При построении алгоритмов кодирования двумерных массивов, которые соответствуют графическим изображениям, следует исходить из необходимости многоуровневого представления массива. Базовая модель является трехслойной и включает в себя фон (background), передний план (foreground) и маску, которая используется при их сопряжении (blending). В общем случае слои могут иметь различное разрешение, что должно быть согласовано на уровне исполняемых алгоритмов в процессе их сопряжения [8-10].
Рис. 2. Диаграмма областей применения двухмерных массивов данных
Рассмотрим математическую модель, в рамках которой слой составного изображения, состоящего из N слоев, может быть представлен через функцию fn(i,j), с учетом разрешения слоя хп (i Е [0; I] х J Е [0;/]). Каждый этап сопряжения слоя с предыдущим, начиная с первого слоя, который сопрягается с фоновым слоем, в математической форме может быть представлен как:
xn(i,j) = an(i,j) ■ fn(i,j) + (l - an(i,j)) ■ xn(i,j), (1)
где n > 1 а ап Е [0; 1], причем в частном случае ап может быть бинарной (ап = 0 XOR ап = 1). Обобщенное выражение, которое описывает все этапы сопряжения слоев вплоть до слоя хп, соответственно, представляется как:
71— 1
xn(i,j) = an(i,j) ■ /„([,;) + ^ (am(i,j) ■ fm(i,j) ■ Y\ ai)' (2)
m=0
где
(ПЬ= П c1-"^) о)
l=(m+l) V J
V a0(i,j) = 1
Представленный подход может быть также положен в основу методики построения алгоритмов кратномасштабного анализа (КМА) для работы с изображениями [11-13].
2. Диффузия ошибок при сжатии двухмерных массивов
Рассмотрим случай воспроизведения изображения оцифрованного черно-белого полутонового изображения. Исходя из теории зрительного восприятия человека, мы можем предположить, что глаз обнаруживает взвешенное среднее по небольшому сегменту поля, в то время как мелкие детали не воспроизводятся зрительной системой. Соответственно, при достаточном разрешении изображения требуемый уровень серого может быть получен при помощи комбинации белых и черных элементов изображения (пикселей), которые дают нужную среднюю плотность, соответствующую оттенкам серого цвета. Следует отметить, что данный подход показывает свою эффективность в том случае, когда расстояние между соседними пикселями изображения, по крайней мере, на порядок ниже пространственного разрешения зрительной системы.
При этом подбор нахождение методики определения оптимальной двухмерной последовательности, которая наилучшим образом подходит для кодирования конкретного изображения является нетривиальной задачей. В рамках данного исследования предлагается использовать эвристический метод диффузии ошибок (error diffusion), который показал свою эффективность в ряде практических приложений, связанных с кодированием данных [14-18]. Допустим, черно-белое полутоновое изображение представлено в виде двухмерного массива Х\ [x(i,J)}, где элементы массива x(i,J) Е [0; 1], причем «0» соответствует белому цвету, а «1» — черному. Соответственно, если монохромное изображение, которое формируется на выходе алгоритма кодирования двухмерных массивов, определяется через y(i,J):
(уа.;) = о
ио,;) < о.5
(уа;) = 1 '
1х(1,у) > 0.5
при воспроизведении изображения зрительной системой возникает ошибка е равная (х — у) , которая должна компенсироваться при кодировании последующих пикселей. Это достигается путем представления е в виде суммы слагаемых:
(5)
I,]
либо через положительные весовые коэффициенты е ( I,]):
еО.У) = -е,
(5)
I,]
Эти значения ошибок добавляются к значениям при кодировании
следующего элемента у0-,]). Введем переменную й(.,]) через которую обозначим результирующую ошибку, кодированного пикселя у (I,]) :
сШ,;) = е([,у) + у([,У) - х([,Д
(6)
причем у = 1 при (х + й) > 1 . При таком подходе механизм диффузии ошибок позволит выбрать для монохромного образца, формируемого на выходе, желаемую среднюю плотность соотношения черных и белых пикселей.
В общем случае анализ нелинейной системы кодирования двухмерных массивов данных является комплексной задачей. Предположим, что все весовые коэффициенты являются рациональными, а входное значение является постоянным и также рациональным (х = а/Ь), причем аи Ь принадлежат к множеству целых чисел, а х Е [ 0 ; 1 ] . Для построения математической модели, на основе которой можно построить эффективные алгоритмы кодирования с минимальной нагрузкой на аппаратный ресурс желательно, чтобы выходным значением была периодическая двумерная функция с наименьшим возможным периодом.. В рамках такого подхода слагаемые функции ошибки также будут периодическими, кроме того, они должны будут удовлетворять системе линейных уравнений. Рассмотрим двухмерный массив данных , где и и сформулируем для него
определение функций и :
=- + <¿(1,/) -у(1,У)
0 < I < к 0 < у < V
¿(ч) = ■ е([ - I,] -/))
(7)
0 < I < Л
0 < ] < V
где 0 — - ,у —у ) рассчитывается через то й (Л, у) .
Следует отметить, что воспроизведение оттенков серого имеет более низкое разрешение, чем разрешение монохромного изображения, т.к. высококонтрастные части, при этом имеют неопределенные значения по амплитуде Выводы
В результате проведенного исследования был разработан математический аппарат, который базируется на эвристическом методе диффузии ошибок. В рамках проведенного исследования были предложены и разработаны:
• диаграмма информационной среды как модели организации цифровых данных в рамках гибридизации механизмов подготовки, обработки и передачи информации;
• диаграмма областей применения двухмерных массивов данных при представлении изображений и структуры носителей информации, как аналоговых, так и цифровых;
• математическая модель для эффективного кодирования оцифрованного черно -белого полутонового изображения на базе метода диффузии ошибок.
Предложенные подходы могут быть эффективно использованы при построении комплексной методологи кодирования составных изображений, эффективность которой определяется информационным объемом изображения полученного на выходе, его соответствия представлению оригинальному изображению и минимальной нагрузкой на аппаратно-программный ресурс платформы кодирования и декодирования.
Список литературы /References
1. McEliece, R.J. (2004). The theory of information and coding. Cambridge: Cambridge University Press.
2. Csiszar, I., & Körner, J. (2015). Information theory: Coding theorems for discrete memoryless systems. Cambridge: Cambridge University Press.
3. Dockheer, K.M., & Tarnutzer, A. (2018). Effects of optokinetic stimulation on verticality perception are much larger for vision - based paradigms than for vision-independent paradigms. Zürich.
4. Andre, J., Owens, D.A., & Harvey, L.O. (2003). Visual perception: the influence of H.W. Leibowitz. Washington, DC: American Psychological Association.
5. Slovak, J., Bornholdt, C., Bauer, S., Kreissl, J., Schlak, M., & Sartorius, B. (2006). Novel concept for all-optical clock recovery from NRZ format PRBS data streams. 2006 Optical Fiber Communication Conference and the National Fiber Optic Engineers Conference. doi: 10.1109/ofc.2006.215908.
6. Milster, T.D., & Kim, Y.S. (2017). Adaptive optics for data recovery on optical disk fragments (Conference Presentation). Optical Data Storage 2017: From New Materials to New Systems. doi: 10.1117/12.2277078.
7. Masters, G., & Turner, P. (2007). Forensic data recovery and examination of magnetic swipe card cloning devices. Digital Investigation, 4, 16-22. doi: 10.1016/j.diin.2007.06.018.
8. Lin, T., & Hao, P. (2005). Compound image compression for real-time computer screen image transmission. IEEE Transactions on Image Processing, 14(8), 993-1005. doi: 10.1109/tip.2005.849776.
9. Ding, W., Lu, Y., & Wu, F. (2007). Enable Efficient Compound Image Compression in H.264/AVC Intra Coding. 2007 IEEE International Conference on Image Processing. doi: 10.1109/icip.2007.4379161.
10. Zhu, W., Ding, W., Xiong, R., Shi, Y., & Yin, B. (2012). Compound image compression by multi-stage prediction. 2012 Visual Communications and Image Processing. doi: 10.1109/vcip.2012.6410758
11. Ouahabi, A. (2013). Discrete Wavelet Transform-Based Multifractal Analysis. Signal and Image Multiresolution Analysis, 135-224. doi: 10.1002/9781118568767.ch2.
12. Fournier R., & Naït-Ali, A. (2013). Multimodal Compression Using JPEG 2000: Supervised Insertion Approach. Signal and Image Multiresolution Analysis, 225-243. doi: 10.1002/9781118568767.ch3.
13. Navarro L., Jourlin, M., & Courbebaisse, G. (2015). Logarithmic multiresolution analysis. 2015 IEEE International Conference on Image Processing (ICIP). doi: 10.1109/icip.2015.7351521.
14. DongR., Inoue, K., Hara, K., & Urahama, K. (2019). Two-in-One Image Steganography Using Error Diffusion. Journal of the Institute of Industrial Applications Engineers, 7(2), 42-50. doi: 10.12792/jiiae.7.42.
15. Geng Y., Kong, Y.-P., & Liu, X. (2011). Mixed compression algorithm for error-diffusion halftone image based on look-up table. Journal of Computer Applications, 31(5), 12211223. doi: 10.3724/sp.j. 1087.2011.01221.
16.Amini M., Yaghmaie, K., & Sadreazami, H. (2010). Error diffusion halftone image watermarking based on SVD-DWT technique. 2010 6th Iranian Conference on Machine Vision and Image Processing. doi: 10.1109/iranianmvip.2010.5941170.
17. Li P., & Allebach J. (2004). Tone-Dependent Error Diffusion. IEEE Transactions on Image Processing, 13(2), 201-215. doi: 10.1109/tip.2003.819232.
18. Wang Z., & Arce G.R. (2006). Halftone Visual Cryptography Through Error Diffusion. 2006 International Conference on Image Processing. doi: 10.1109/icip.2006.312384.
