Научная статья на тему 'Разработка формата хранения графических данных в отказоустойчивых распределенных информационных системах'

Разработка формата хранения графических данных в отказоустойчивых распределенных информационных системах Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
157
33
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ФОРМАТ ГРАФИЧЕСКОГО ФАЙЛА / ОТКАЗОУСТОЙЧИВОСТЬ / РАСПРЕДЕЛЕННЫЕ СИСТЕМЫ ХРАНЕНИЯ ИНФОРМАЦИИ / GRAPHIC FILE FORMAT / FAULT-TOLERANT / DISTRIBUTED STORAGE SYSTEMS

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Кокоулин А. Н., Кон Е. Л.

В статье предлагается и исследуется принцип эффективного хранения графической информации в распределенных системах на основе N,K-пороговых схем. Главными особенностями предлагаемой системы хранения являются способ разбиения растрового изображения на блоки и способы обеспечения отказоустойчивости. Клиентское приложение способно самостоятельно формировать изображение в нужном разрешении и качестве (глубине цвета) из блоков, распределенных по сетевым хранилищам. Таким образом, балансируется загруженность узлов хранения и снижается избыточность трафика в сети. Для обеспечения гарантированного доступа клиентских приложений к информации при вероятной перегруженности или отказах узлов и каналов передачи данных реализуются алгоритмы восстановления, использующие коды Рида-Соломона, Хемминга, а так же алгоритмы восстановления, допускающие потерю малозначимой информации.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Кокоулин А. Н., Кон Е. Л.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

The development of graphical data storing format in failure resistance distributed information systems

The authors describe the basic principals of the graphic image file format for distributed and local storage systems. The main features of this project are: distributed N,K-block-oriented fault-tolerant storage scheme; each distributed storage contains the single graphic image (file) with the maximum resolution and color depth and clients can request that image in their required resolution and color depth without any server-side calculations: the required image can be constructed from several downloaded blocks on client side; several levels of information blocks, with realization of lossless image compression and highest fault-tolerance algorithms on the basic-level blocks, and up to JPEG2000-like compression and less redundancy on the higher-level blocks. This approach could optimize the workload on web-servers, avoiding redundant traffic (for example, in the case of the PDA application with QVGA display of 64K colors, wired by GPRS, the client can request only necessary image blocks and construct desired low-quality image, and another client, residing on PC can require the full-quality image using all blocks; all of these clients work with the same physical distributed storage URL).

Текст научной работы на тему «Разработка формата хранения графических данных в отказоустойчивых распределенных информационных системах»

При включении в схему устройства дополнительных резисторов Яд1 и Лд2 с увеличением соотношения т= Яд\/Я и п= Яд2/Я (m=n=1; 4; и т.д.) и размещении их на основании мембраны датчика давления происходит уменьшение температурной погрешности преобразования частоты выходного сигнала, как показано на рисунке 2а,б.

Используя различные схемотехнические решения, путём введения в схемы частотных преобразователей дополнительных элементов (резисторов, конденсаторов, делителей напряжения и т.п.) в цепи отрицательной обратной связи, а также конструктивно-технологические решения и различные топологии размещения тензорезисторов на чувствительном элементе (например, на мембране) представляется возможным значительно (в несколько раз) уменьшить температурную погрешность датчиков, работающих в широком диапазоне температур. При этом начальную частоту и диапазон изменения частоты выходного сигнала преобразователей можно задавать по требованиям заказчика в зависимости от условий их применения.

Как показали исследования, частотные интегрирующие развёртывающие преобразователи обеспечивают эффективное преобразование сигналов малого уровня (единицы милливольт) датчиков резистивного типа с приемлемой точностью (погрешностью не более 1 %) в широком диапазоне температур (от - 150оС до + 150 оС), открываются новые возможности по компенсации температурных погрешностей. При их применении отпадает необходимость в сложных микропроцессорных устройствах и аналого-цифровых преобразователях, устанавливаемых в каждом датчике.

Литература

1. Belozubov E. M., Vasil’ev V. A., Izmailov D. A. Effect of thermal shock on a membrane-type transducer // Measurement Techniques. - USA, New York: Springer, 2009. V. 52. № 2. P. 155-160 с..

2. Belozubov E. M., Vasil'ev V. A., Gromkov N. V. Minimization of the effect of temperature on thin-film nano- and microelectromechanical systems and pressure sensors based on them // Measurement Techniques. -USA, New York: Springer, 2009. V. 52. № 8. P. 853 - 858.

3. Belozubov E. M., Vasil'ev V. A., Gromkov N. V. Thin-film nano- and micro-electromechanical systems -the basis of contemporary and future pressure sensors for rocket and aviation engineering// Measurement Techniques. - USA, New York: Springer, 2009. V. 52. № 7. P. 739-744.

4. Громкое Н. В. Интегрирующие развёртывающие преобразователи параметров датчиков систем измерения, контроля и управления: Монография / Громкое Н. В. - Пенза: Изд-во ПГУ, 2009. - 244 с.

5. Васильев В. А., Громкое Н. В. Устройство для измерения давления на основе нано- и микроэлектромеханической системы с частотным выходным сигналом. Патент РФ № 2398196 от 27.08.2010 г.

УДК 621.377.6

РАЗРАБОТКА ФОРМАТА ХРАНЕНИЯ ГРАФИЧЕСКИХ ДАННЫХ В ОТКАЗОУСТОЙЧИВЫХ РАСПРЕДЕЛЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ

А. Н. Кокоулин, к. т. н., доцент кафедра «Автоматика и телемеханика»

Тел.: (902) 474 5399, e-mail: liga_asu@mail.ru Е. Л. Кон, к. т. н., профессор кафедра «Автоматика и телемеханика»

Тел.: (912) 786 2120, e-mail: kel-40@yandex.ru Пермский государственный технический университет

http://pstu.ru

The authors describe the basic principals of the graphic image file format for distributed and local storage systems. The main features of this project are: distributed N,K-block-oriented fault-tolerant storage scheme; each distributed storage contains the single graphic image (file) with the maximum resolution and color depth and clients can request that image in their required resolution and color depth without any server-side calculations: the required image can be constructed from several downloaded blocks on client side; several le-

vels of information blocks, with realization of lossless image compression and highest fault-tolerance algorithms on the basic-level blocks, and up to JPEG2000-like compression and less redundancy on the higher-level blocks. This approach could optimize the workload on web-servers, avoiding redundant traffic (for example, in the case of the PDA application with QVGA display of 64K colors, wired by GPRS, the client can request only necessary image blocks and construct desired low-quality image, and another client, residing on PC can require the full-quality image using all blocks; all of these clients work with the same physical distributed storage URL).

В статье предлагается и исследуется принцип эффективного хранения графической информации в распределенных системах на основе N,K-порогоеых схем. Главными особенностями предлагаемой системы хранения являются способ разбиения растрового изображения на блоки и способы обеспечения отказоустойчивости. Клиентское приложение способно самостоятельно формировать изображение в нужном разрешении и качестве (глубине цвета) из блоков, распределенных по сетевым хранилищам. Таким образом, балансируется загруженность узлов хранения и снижается избыточность трафика в сети. Для обеспечения гарантированного доступа клиентских приложений к информации при вероятной перегруженности или отказах узлов и каналов передачи данных реализуются алгоритмы восстановления, использующие коды Рида-Соломона, Хемминга, а так же алгоритмы восстановления, допускающие потерю малозначимой информации.

Ключевые слова: формат графического файла, отказоустойчивость, распределенные системы хранения информации

Keywords: graphic file format, fault-tolerant, distributed storage systems

Разработке распределенных отказоустойчивых систем хранения информации (РОСХИ) посвящено множество публикаций. В русскоязычных источниках такие схемы именуются N,K-пороговыми схемами [1], в зарубежных источниках описываются LH-схемы [2]. Обозначенный в вышеупомянутых источниках подход с разбиением данных на блоки и избыточным распределением этих блоков по удаленным хранилищам, является безусловно эффективным, но эффективным для общего случая хранения данных. Авторами был рассмотрен вариант распределенного хранения растровой графической информации в распределенных отказоустойчивых системах и предложены некоторые дополнения базовых принципов организации РОСХИ, позволяющих реализовать эффективный обмен информацией.

Рассмотрим особенности хранения растровой графической информации. В первую очередь, данные графического изображения имеют четкую двухмерную структуру, в которой каждой точке (пикселю) соответствует показатель цветности. Этот показатель состоит, как правило, из нескольких цветовых компонент, каждая из которых кодируется числом определенного размера (количества бит для записи). Широко используемые форматы, такие как JPEG, GIF, используют 8 бит на канал (на компоненту), форматы для хранения высококачественных изображений, например, PNG, TIFF, DNG, принципиально позволяют кодировать цветовые компоненты числами до 64 бит. Таким образом, изображение может быть представлено в виде массива несвязанных между собой чисел, что принципиально не препятствует разбиению изображения на блоки. Во-вторых, в подавляющем большинстве случаев, графические данные содержат очень большую избыточность, связанную как с особенностями человеческого зрения, так и с статистическими свойствами изображений и для web-ориентированных приложений используются форматы хранения данных, поддерживающие сжатие данных с потерями и без потерь. В третьих, все существующие форматы данных ориентированы на хранение изображения как единого файла, что обосновано исторически локальностью хранилищ. При этом, неэффективно решаются задачи предоставления изображения в требуемом для клиента качестве и разрешении. Решается эта задача либо хранением нескольких независимых копий изображения в разном качестве на удаленном ресурсе, либо передачей избыточной информации на сторону клиента. Проиллюстрировать данный факт можно на примере web-ресурса, доступ к которому получают два клиента: первый, на коммуникаторе (КПК), с разрешением экрана 320х240 пикселей и цветностью 64К цветов с использованием медленного GPRS-канала, и второй клиент на стационарном ПК с высокоскоростным Internet-каналом. Браузер первого клиента преобразует, в конечном итоге, изображение к размерам, сравнимым с размерами экрана и соответствующей цветностью и пониженным качеством. Но для этого, в течении десятков секунд

по его медленному каналу скачивался файл с полноценным изображением большого размера. Такая, неэффективная для первого клиента, схема была построена, чтобы второй клиент, для которого размер файла не играет значения, мог просмотреть изображение на широком экране в максимальном качестве. В то же время, хранение нескольких копий изображения, отличающихся только разрешением и цветностью, не эффективно с точки зрения создания и администрирования удаленного хранилища. Но не существует принципиальных ограничений на преобразование и поблочное структурирование изображения таким образом, чтобы клиентское приложение могло запрашивать в удаленном хранилище только необходимые блоки изображения и объединяло их на клиентской стороне в изображение нужного размера и качества. При этом, само обслуживание запроса на сервере не должно быть ресурсоемким.

Рассмотрим некоторые из принципов модифицируемой авторами РОСХИ, организуемой по N^-схеме:

1. Разбиение информации на блоки и распределенное хранение. Несжатые растровые данные должны быть разбиты на блоки нескольких уровней, в соответствии с размером и глубиной цвета исходного изображения, а именно: выделяются блоки базового уровня, хранящие “прореженные” пикселы, и на основе которых можно восстановить изображение в минимальном разрешении и цветности. В число базовых блоков также включены блоки, позволяющие восстановить изображение в минимальном разрешении, но с максимально доступной глубиной цвета (thumbnail изображения). Изображение, полученное при объединении всех блоков базового уровня предоставляет “реперные” пиксели для верхних уровней, поэтому, в блоках базового уровня целесообразно выбирать алгоритмы сжатия без потерь. Блоки последующих уровней содержат пиксели, размещающиеся вокруг “реперных”, и, соответственно, расчитываются с их учетом по интерполирующим формулам. На основе базовых блоков, и блоков первого уровня получается уже бОльшее изображение. На верхних уровнях можно целесообразно использовать алгоритмы сжатия с потерями, что значительно сократит размеры блоков (адаптивная схема сжатия). В итоге, задача обслуживания запроса клиента на получение изображения с заказанным качеством сводится к подбору необходимого и достаточного комплекта из базовых блоков и блоков высших уровней. Второе достоинство подхода состоит в том, что изображение можно отображать на экране плавно, по мере получения соответствующих блоков;

2. Реализация отказоустойчивости. Отказ системы хранения на выдачу блока может произойти в трех случаях: сервер перегружен выполнением других запросов, сервер офф-лайн, нужный блок не найден на сервере. Все это приводит к большим временным задержкам при обработке запроса, и в итоге может привести к разрушению изображения. Поэтому, при реализации проекта предлагаются два варианта обеспечения отказоустойчивости: классическое кодирование информации помехоустойчивыми кодами с хранением избыточных символов по принципу N^-схем, и восстановление с потерями, другими словами, восстановление информации по степени значимости. Первый вариант рекомендуется применять для надежного хранения блоков базовых и нижних уровней, т.е. для восстановления тех пикселей, которые участвуют в рассчетах пикселей последующих уровней, и где малейшая неточность способна привести к ощутимому ухудшению качества изображения. Второй вариант призван уменьшить общую избыточность помехоустойчивой защиты на верхних уровнях, т.е. в тех пикселах, где шумы и размытости будут незаметны. Алгоритмы восстановления с потерями находятся в стадии разработки, они основываются на принципах фильтрации и выделения значимой части пикселов в соответствии с допустимым значением ошибки;

3. Сервисы распределенного ресурса и протоколы передачи данных. Принцип работы N,K-пороговой схемы по обеспечению доступности данных заключается в хранении (N-K) избыточных блоков и К информационных, чтобы по любым К блокам можно было восстановить информацию в исходном виде. Взаимодействие клиентского приложения и сервера ведется в диалоговом режиме, если клиент не может получить какой-нибудь блок I с узла хранения, он может запросить другой блок J с любого из N узлов и включить механизм восстановления, сводящийся к декодированию кода Рида-Соломона или другого помехоустойчивого кода. Проблема заключается в том, что на запрос блока J тратится время, сравнимое с получением первой порции из К-1 блоков, завершившейся успешно. Авторами прорабатывается модификация поведения ^К-системы, в которой избыточная информация прикреплена к информационным блокам и передается по следующему алгоритму: при выполнении запроса на К блоков, серверы «выталкивают» в сеть только информационную часть этих блоков и

«замирают», не разрывая соединения, на некоторый таймаут. В случае получения клиентом всех блоков без ошибок, он сам разрывает соединение с серверами, избегая передачи избыточной части блоков. Если же клиент за время «таймаута» серверов не получил все данные, и не разорвал соединения - серверы выталкивает в сеть порцию избыточных символов, получив которые, клиент будет способен восстановить изображение. Такой подход позволит сократить время вынужденного простоя клиента при получении данных для восстановления, и в то же время, избежать постоянной передачи избыточной информации от серверов.

Авторы считают, что в данной работе новым результатом является предложенный принцип построения распределенной отказоустойчивой системы хранения растровой графической информации. Дальнейшие исследования могут быть расширены на многопотоковое видеовещание, с выделением быстрых базовых аудио- и видеопотоков, обеспечивающих передачу видео в низком качестве, и более медленных потоков верхнего уровня, которые, в совокупности с базовыми, обеспечат передачу высококачественного видеоматериала. К моменту публикации доклада авторы планируют создать действующий прототип системы хранения изображений с открытым доступом, состоящей из web-сервера, обеспечивающего возможность поблочного хранения изображений в распределенных хранилищах, и клиентской части в виде браузера (Mozilla Firefox), оснащенного возможностью просмотра изображений в виде надстройки (plug-in, addon).

Литература

1..Петров В. А. Моделирование переноса и поиска данных в децентрализованной распределенной системе, использующей N-k-схему хранения информации: диссертация кандидата физико-математических наук: 05.13.18 / Петров Виктор Анатольевич; [Место защиты: Моск. физ.-техн. ин-т (гос. ун-т)].- Москва, 2008.- 112 с.: ил. РГБ ОД, 61 08-1/598

2. Witold Litwin, Rim Moussa, Thomas J. E. Schwarz. LH*RS: a highly available distributed data storage — URL: http://portal.acm.org/citation.cfm?id=1316816

УДК 004.272.26

ИССЛЕДОВАНИЕ СПОСОБОВ ДИСПЕТЧЕРИЗАЦИИ РАБОТ ДЛЯ ОДНОГО ИЗ ВАРИАНТОВ МНОГОВЕРСИОННОГО РЕЗЕРВИРОВАНИЯ ВЗАИМОСВЯЗАННЫХ ПРОГРАММНЫХ МОДУЛЕЙ В УПРАВЛЯЮЩИХ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

М. Л. Милков, аспирант, ст. математик Тел. (495) 334 9061, e-mail: nat_i@ipu.ru Институт проблем управления им. В. А. Трапезникова РАН

www.ipu.rssi.ru

Various methods of comparison tasks dispatching for a new variant of multiversion redundancy of the interdependent program modules on the basis of mathematical (static) forecasting

Разрабатываются и исследуются различные способы диспетчеризации работ сравнения для нового варианта многоверсионного резервирования взаимосвязанных программных модулей на основе математического (статического) прогнозирования надежного их выполнения в управляющих параллельных вычислительных системах

i Надоели баннеры? Вы всегда можете отключить рекламу.