CC BY
116
практической реализации относительно программных продуктов аналогичного характера (например, технологии сжатия информации, криптографическая защита и др.) позволили получить уникальные результаты и сделать следующие выводы [4].
Во-первых, модели активной памяти и ее виртуализация на бинарных полях для компьютерных технологий передачи, хранения и защиты в каналах информационных систем позволяют повысить инвариантную защищенность 10 относительно средств передачи и хранения и способов размещения их в информационной «таре» файловых структур любой природы и физической среды. Это означает, что такие модели дают одинаковый эффект как по архивации и сжатию 10, так и по защищенности в любой физической и информационной среде с точностью до бинарного отображения 10 в ней, а образы этих структур в виртуальной памяти обладают информационной связанностью. Во-вторых, разработанные технологии сжатия информации и их практическая реализация на основе моделей активной памяти на бинарных полях в их самых простых реализациях позволили получить для рассмотренных классов 10 результаты намного лучшие (на порядок, а для отдельных объектов и выше), чем дают широко распространенные архиваторы на основе алгоритмов Лемпела, Зива и др. [3], в то время как последние
не предоставляют пользователю особой степени свободы и независимости для безопасной и быстрой транспортировки и обработки информации в каналах хранения и передачи компьютерных систем и сетей [2, 4]. В-третьих, разрабатываемый подход является новым способом разработки технологий виртуализации систем хранения и каналов передачи, но уже не в виде симметричных и асимметричных решений или аналогичных им, а на логическом уровне - модели активной памяти на бинарных полях и технологии виртуализации каналов хранения и передачи.
Литература
1. Мышев А.В., Тимашов А.А. Информационные технологии сжатия данных на основе динамически формируемой структуры связей // Микроэлектроника и информатика - 2008: тез. докл. М.: МИЭТ, 2008. С. 13.
2. Мышев А.В. Модели памяти на бинарных информационных полях для компьютерных технологий хранения, защиты и восстановления информации // Науч. сессия МИФИ-2008: сб. науч. тр. В 15 т. М.: МИФИ, 2008. T. 12. С.107-108.
3. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео / Д. Ватолин [и др.]. М.: Диалог-МИФИ, 2002. 384 с.
4. Мышев А.В. Когнитивные модели памяти на бинарных полях и методы data mining в технологиях хранения, передачи, анализа и защиты информации // Математические проблемы защиты информации и анализа данных: сб. науч. тр. Х Бело-русс. матем. конф. Минск: Ин-т матем. НАН Беларуси, 2008. Ч. 5. С. 57-58.
МЕТОДЫ ХРАНЕНИЯ ДАННЫХ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ С ИСПОЛЬЗОВАНИЕМ ГРИДТЕХНОЛОГИЙ
Г.А. Ососков, д.ф.-м.н.; А.В. Нечаевский (Международный университет природы, общества и человека «Дубна», г. Дубна, ososkov@jinr.ru, nechav@mail.ru)
Предложены методы создания инфраструктуры для совместного использования технологий видеонаблюдения и распределенного хранения данных в решении социально значимых задач. Данная разработка выгодно отличается от обычных систем удаленного хранения данных, поскольку грид обеспечивает не только распределенное хранение данных, но и возможность эффективной работы с ними. В настоящее время аналогов такой системы нет.
Ключевые слова: хранение данных, оптимизация, исследование видеопотоков, моделирование, Da.ta.Grid, передача данных.
Видеонаблюдение стало обычным явлением нашей повседневной жизни и применяется повсеместно, от небольших магазинов до улиц городов. Тенденция повышения уровня безопасности предполагает осуществление централизованного сбора и хранения различной информации (в первую очередь, с систем видеонаблюдения), касающейся жизнедеятельности городов. Однако широкое применение систем видеонаблюдения требует новых подходов к организации хранения и к обработке видеоданных.
В современном компьютерном мире для хранения больших объемов данных применяют тех-
нологии распределенного хранения - DataGrid. Это позволяет обеспечить пользователя необходимыми ресурсами с надлежащим уровнем безопасности и решить проблемы сохранности данных, а также распределения ресурсов между различными группами пользователей.
Авторами проведена работа по созданию тестового полигона с целью апробации возможностей грид для нужд видеонаблюдения. Поскольку грид ориентирован на достаточно большие проекты, потребуется инструмент, позволяющий определить работоспособность создаваемой системы. Проектирование и создание распределенной сис-
темы сопряжено с определенными трудностями. Прежде всего необходимо обеспечить достаточную пропускную способность сетевых каналов, реализовать поддержку различного оборудования, решить проблемы сохранности данных (устойчивость к повреждениям и удалениям), обеспечить распределение ресурсов между различными группами пользователей. Серьезные затраты на проектирование и развитие таких систем могут быть значительно уменьшены, если использовать эффективные методы их моделирования для оптимизации по составу и режимам работы. Ориентируясь на существующие системы моделирования грид, создана система моделирования EasyGrid. На основе собранной статистики определены параметры, необходимые для моделирования видео-грид-систем, которые использовались для тестирования и отладки EasyGrid.
Результаты работы показали эффективность применения грид-технологий в задачах хранения и обработки данных систем видеонаблюдения.
Видеонаблюдение и регистрация данных
Системы видеонаблюдения позволяют наглядно отображать информацию, записывать видеоинформацию на устройство хранения данных, получать доступ к видеоархиву по сети, а также выполнять другие функции. Работа такой системы организована следующим образом: в местах, где установлены аналоговые видеокамеры, сигнал поступает сначала на видеосервер, а потом на коммутатор Ethetnet, с цифровых видеокамер сигнал поступает напрямую на коммутатор Ethernet. Далее, используя обычную сеть Ethernet, сигнал поступает на монитор оператора или на группу мониторов и при необходимости записывается в архив. Оператор может управлять системой со своего рабочего места.
При создании систем видеонаблюдения важным является вопрос передачи данных. Современные технические достижения в этой области позволяют выйти на новый уровень гибкости и функциональности.
Не менее важна и задача хранения данных. Технологии подключения влияют на объемы хранимых видеоданных систем видеонаблюдения, которые ограничены функциональными возможностями систем хранения данных. В зависимости от количества камер, качества изображения и сроков архивирования данных может потребоваться от нескольких до сотен терабайт. В таблице наглядно показана эта зависимость для черно-белой съемки с частотой записи 25 кадров в секунду. Результаты расчета емкости жесткого диска ориентировочные [1]. Реальные значения могут отличаться как в большую, так и в меньшую сторону в зависимости от выбранной камеры, типа сцены и иных внешних условий.
Зависимость объемов данных от внешних факторов
Разрешение Степень компрессии (алгоритм Delta Wavelet) Количество дней Количество камер Предполагаемый размер кадра (Кб) Требуемое место на жестком диске (Тб)
352*288 min 90 50 11,9 121,20
704*576 min 90 50 25,9 263,90
352*288 max 90 50 2,7 27,50
704*576 max 90 50 5,1 51,90
Как видно, выбор камер, качество изображения, ресурсы хранения и средства передачи данных играют определяющую роль в проектировании систем видеонаблюдения. Сроки архивного хранения и качество изображения зависят от целей, в которых ведется видеонаблюдение.
Типовые решения для хранения данных видеонаблюдения
Все современные системы видеонаблюдения обладают возможностями только текущего мониторинга и хранения данных в пределах относительно небольшого периода времени. Отсутствие оперативного доступа к любому отснятому видеоматериалу превращает самую современную систему видеонаблюдения в простой набор видеокамер, мониторов и устройств цифровой записи (видеорегистраторов). Для обеспечения сохранности материалов видеонаблюдения сегодня применяют различные подходы, обеспечивающие долговременное и безопасное хранение видеоданных, а также доступ к ним за считанные секунды [2].
Варианты подключения системы хранения данных к видеорегистратору:
• сетевое подключение системы хранения данных по локальной сети (LAN) по протоколам HTTP, FTP и т.д.;
• удаленное подключение системы хранения данных по сети Интернет;
• возможно также долговременное хранение данных на оптических дисках.
К сожалению, у таких решений есть недостатки. Основной из них - малая пропускная способность каналов Ethernet, ограничивающая объем и масштабируемость распределенной системы. При повсеместном внедрении стандарта Ethernet 10 Гб/с и даже при наличии сетевой инфраструктуры со скоростью передачи данных 1 Гб/с уже можно строить распределенные системы видеонаблюдения на базе /P-устройств, используя сетевые хранилища данных [3]. Еще одним существенным недостатком подобных решений является высокая стоимость ресурсов хранения. Поэтому при создании таких систем главное - грамотное построение проекта и правильный подбор оборудования для достижения оптимального соотноше-
ния функциональности, качества, надежности и цены.
Кроме того, для эффективной работы с архивом нужно обеспечить поиск необходимых материалов, управление жизненным циклом данных, включая передачу, хранение и организацию доступа к ним. Таким образом, необходимо масштабируемое прозрачное хранилище гетерогенных данных с гарантированным качеством сервиса: требуемым уровнем защиты, сохранности, удобства, скорости доступа к данным и т.д.
Использование грид-технологий в системах видеонаблюдения
Идея грид-технологии состоит в том, чтобы объединить гетерогенные и географически распределенные ресурсы для решения качественно новых задач, в частности, для размещения, хранения больших массивов данных и управления ими. Для регулирования потоков данных используются различные сервисы их передачи, обеспечивающие:
• надежный механизм передачи файлов типа точка-точка пользователям;
• удобный способ распределения ресурсов между экспериментами, а также различные возможности мониторинга;
• предотвращение перегрузки сетей;
• предотвращение перегрузки хранилищ данных;
• сбор комплексной информации об ошибках, возникающих во время работы сервиса.
Система DataGrid прежде всего обеспечивает службы и инфраструктуру для распределенного хранения данных и работы с ними.
Использование грид-технологий в системах видеонаблюдения, по мнению авторов, имеет ряд преимуществ:
1) позволяет выводить их на более высокий и качественный уровень в связи с постоянно растущими функциональными возможностями грид;
2) предоставляет ресурсы хранения, что будет значительно дешевле, чем приобретение необходимого оборудования для создания централизованного хранилища;
3) гарантирует сохранность данных при выходе из строя или сбое за счет выбора для хранения доступного ресурса, в то время как в централизованном хранилище все данные за этот период теряются.
Общая схема построения системы видеонаблюдения с использованием DataGrid приведена на рисунке 1. Видеоданные с камеры поступают через стандартные средства передачи данных на менеджер ресурсов DataGrid. Он выявляет доступные ресурсы и направляет к ним эти данные. Каждая репликация файлов фиксируется в каталоге реплик, что позволяет безошибочно определить,
Камера 1
Камера 2
Камера...
Камера n
Ресурс 1
Интернет —
Ресурс n
Ресурс ...
DataGrid инфраструктура
Рис. 1. Схема системы видеонаблюдения с использованием грид-ресурсов
сколько копии и на каких ресурсах имеет тот или иной фаИл.
На базе инфраструктуры Лаборатории информационных технологий Объединенного института ядерных исследований (ЛИТ ОИЯИ) (г. Дубна) реализована система сбора видеоданных с нескольких веб-камер с последующим размещением их в грид. Для создания тестовой инфраструктуры использовалось прикладное ПО gLite 3.1. На элементах SE (Storage Element) применялся сервис Disk Pool Manager (DPM). Стоит отметить, что для получения требуемого уровня масштабирования хранилище может быть географически распределенным, эффективно использующим грид-технологии. Результаты этой работы показали состоятельность предлагаемой идеи.
Вышеописанные преимущества внедрения технологий DataGrid в системы видеонаблюдения не снимают конструктивных, стоимостных, надежностных и других проблем, связанных с разработкой таких систем. Для их оптимизации принято использовать средства имитационного компьютерного моделирования грид-систем.
Создание модели позволяет получить адекватное представление о процессах передачи и хранения данных в грид, а также определить ресурсы и средства передачи данных, удовлетворяющие поставленным задачам.
Исследование видеопотоков
Для выявления вероятностных параметров необходимых для моделирования систем видеонаблюдения с применением грид-технологий была собрана статистическая информация о работе реальных систем видеонаблюдения. Исследования проводились для типичных сценариев (вход, атриум, банкомат, парковка) на базе видеокамер, установленных в Международном университете природы, общества и человека «Дубна».
На рисунке 2 показана разница записи по детектору и постоянной записи для сценария «вход» (камера используется для наблюдения за главным входом в здание). Запись ведется следующим образом: в течение часа все данные записываются в один файл (при использовании детектора движения запись возобновляется в начатый файл). Гистограмма на рисунке 3 показывает количество файлов определенного размера за период. Такая статистика позволяет дать рекомендации по оптимизации сбора видеоданных и качества самих ви-
0123456789 10111213 141516171819 20 2122 23 I Постоянная запись(Ср.зн., КБ) Запись по детектору(Ср.зн,КБ)
Рис. 2. Средний размер файлов за час
Размер (КБ)
Рис. 3. Частотная гистограмма по размерам файлов
деоданных (когда камер немного - это не критично, но когда их сотни, а то и тысячи, масса ненужных данных, шумов и другого будет занимать огромное место). Оптимизировав сбор данных, можно говорить о том, как оптимизировать хранение, используя грид. В то же время грид можно использовать не только для хранения, но и для обработки данных, требующих значительных вычислительных ресурсов. Например, осуществлять поиск определенных событий без просмотра всех материалов архива, что позволит существенно упростить работу с видеоархивами.
В результате исследований набрана статистика записей для типичных сценариев, показавшая значительный разброс характеристик, получено представление о реальных объемах видеоданных для разных дисциплин записи (по детектору движения и постоянной записи). Такая статистика позволяет моделировать системы видео-грид для этих типовых сценариев.
Система моделирования EasyGrid
Изучив предлагаемый инструментарий моделирования грид-систем [4], авторы разработали систему моделирования EasyGrid, которая, по мнению специалистов, наиболее соответствует решаемой задаче разработки грид-системы сбора и хранения видеоинформации.
При разработке новой системы учитывались недостатки существующих систем, в частности, были определены основные требования к системе:
• удобный графический интерфейс;
• наличие у пользователя возможности строить интересующую его структуру, состоящую из некоторого набора стандартных элементов и взаимосвязей между ними;
• возможность моделирования больших потоков данных для изучения DataGrid;
• превосходство скорости работы модели над скоростью работы реальной DataGrid;
• предоставление информации о работе модели в режиме реального времени;
• моделирование сбоев оборудования;
• сбор и отображение статистики по работе сети и отдельных ее элементов;
• сопоставимость результатов моделирования с реальной ситуацией.
Система EasyGrid состоит из графического интерфейса и расчетной части. С помощью графического интерфейса пользователь задает характеристики моделируемой грид-системы, определяет параметры модели, запускает модель и получает результат.
В EasyGrid реализованы алгоритмы, позволяющие имитировать работу видеокамер и других элементов, генерирующих большие объемы данных. Так, пользователь может задать функции распределения размеров файлов и частоты их создания, чтобы смоделировать различные сценарии использования систем видеонаблюдения.
Настройки системы позволяют определять параметры сбора статистики и работы модели. Наличие графических отчетов делает работу с моделью наглядной, а возможность получить информацию о работе отдельных элементов упрощает их отладку. Статистические отчеты позволяют легко сравнивать различные конфигурации систем по ряду показателей (размеры очередей, время ожидания задач в очереди, процент невыполненных задач, загрузка каналов связи, использование дисковых ресурсов и др.) и выбирать наиболее подходящую для решения поставленных задач. На основе статистической информации о работе модели пользователь может получить представление о дальнейшем развитии процессов в системе (прогнозирование будущего состояния системы).
В качестве первого шага к сокращению времени работы с моделью предложен модуль прогнозирования дальнейшего состояния системы.
Задачи, решаемые EasyGrid:
- выявление узких мест системы на этапе проектирования;
- построение различных вариантов грид-се-тей с целью поиска наиболее приемлемого (как по стоимости, так и по выполнению поставленных задач);
- оптимизация существующих грид-сетей.
Для тестирования EasyGrid использовалась
модель системы видеонаблюдения Международного университета природы, общества и человека «Дубна». Результаты моделирования показали, что при текущих нагрузках проблем с дисковыми ресурсами и с ресурсами сети нет, таким образом, относительно хранения файлов модель достаточно устойчива и показывает хорошие результаты.
В общем случае создание системы хранения и обработки данных видеонаблюдения на базе грид-технологий происходит следующим образом.
• Определяются цели, задачи и общие требования к системе видеонаблюдения на базе грид-технологий.
• Выбираются исходные данные для создания системы: информация о параметрах системы видеонаблюдения (количество камер, глубина архива, качество записи и др.), варианты использования камер (уличная камера, внутренняя, сценарии использования и т.д.).
• Исследуется модель системы для определения приемлемых характеристик системы видеонаблюдения на базе грид: сравниваются различные конфигурации систем по разным показателям.
• Получается модель системы, наиболее подходящая для решения поставленных задач и отвечающая поставленным требованиям, после чего можно приступать к реализации системы.
• Оценивается система по таким показателям, как надежность (пропускная способность сети, загрузка ресурсов хранения данных) и быстродействие (размеры очередей, время ожидания файлов в очереди, загрузка каналов связи).
Вышеизложенное позволяет сделать следующие выводы. Главное направление проведенной научно-исследовательской работы - это выполнение исследований по разработке системы видеонаблюдений с использованием грид-технологий. Собрана статистическая информация о работе реальных систем видеонаблюдений, на основе которой сделано предположение о характере видеопотоков при различных сценариях.
Разработана система EasyGrid для моделирования видео-грид-систем с целью их оптимизации по заданным требованиям к системе (цена, скорость, надежность, выделенные ресурсы). На базе инфраструктуры ЛИТ ОИЯИ реализована система
сбора видеоданных с нескольких веб-камер с последующим размещением видеоданных в грид. В результате исследований получены определенные результаты:
- показано, что в сравнении с централизованным хранилищем данных, применяемым в системах видеонаблюдения, распределенные средства хранения данных на базе грид-технологий имеют ряд преимуществ;
- предложена методика создания системы хранения и обработки данных видеонаблюдения на базе грид-технологий;
- предложен программный инструментарий, позволяющий определить работоспособность системы видеонаблюдения на базе грид-технологий;
- выдвинуто предложение о возможности использования грид-технологий не только для хранения данных видеонаблюдения, но и для их обработки, требующей значительных ресурсов, что позволяет существенно упростить работу с видеоархивами.
Авторы благодарны ученым и специалистам Международного университета природы, общества и человека «Дубна»: профессору В.В. Коренькову за постановку задачи и поддержку, Ю.А. Крюкову за помощь в получении экспериментального материала, а также профессорам Е.Н. Черемисиной и С.В. Ульянову за полезные обсуждения.
Литература
1. Интеллектуальные системы безопасности, видеонаблюдение. URL: http://www.iss.ru/products/calc/ (дата обращения: 22.12.2009).
2. Применение систем хранения данных в системах видеонаблюдения. URL: http://www.bitech.ru/ru/resources/articles/ storage_for_video.html (дата обращения: 22.12.2009).
3. Ашихмин И. Применение технологий сетевого хранения данных для цифровых систем видеонаблюдения // Алгоритм безопасности. № 6, 2007. URL: http://www.timcom-pany.ru/article40.html (дата обращения: 22.12.2009).
4. Нечаевский А.В., Кореньков В.В. Пакеты моделирования DataGrid // Системный анализ в науке и образовании (Электрон. журн.). 2009. Вып. 1. URL:http://sanse.ru (дата обращения: 22.12.2009).
РЕАЛИЗАЦИЯ ВЫЧИСЛЕНИЙ НА ГРАФИЧЕСКОМ ПРОЦЕССОРЕ С ИСПОЛЬЗОВАНИЕМ ПЛАТФОРМЫ NVIDIA CUDA
A.C. Белозёров; В.В. Коробицын, к.ф.-м.н.
(Омский государственный университет им. Ф.М. Достоевского, korobits@rambler. ru, asbelozero v@gmail. com)
Продемонстрирован подход к организации вычислений на графическом процессоре с помощью платформы NVIDIA CUDA. В результате вычислительного эксперимента по реализации численного метода решения системы обыкновенных дифференциальных уравнений получены более высокие показатели производительности графического процессора по сравнению с центральным процессором.
Ключевые слова: высокопроизводительные вычисления, вычисления на графическом процессоре, методы Рунге-Кутты.
Системы обыкновенных дифференциальных уравнений используются для описания большого
класса математических моделей. Анализ таких моделей зачастую производится численно. С рос-
