Эра «Больших данных» Текст научной статьи по специальности «Науки о здоровье»

УДК 001.891

ЭРА «БОЛЬШИХ ДАННЫХ»

Ирина Ветцель

Hexagon Geospatial, CH-9435 Heerbrugg/SG, Швейцария, региональный менеджер направления по работе с геоданными в Восточной Европе, тел. +4171-727-40-17, +4179826-50-84, факс: +4171-727-46-91, e-mail: [email protected]

В данной статье речь пойдет о сжатии геопространственных данных, являющимся основным для эффективной работы с большими массивами геопространственных данных. Эра «больших данных» уже наступила и ее неукоснительное и бурное развитие в мире продолжается.

Ключевые слова: сжатие геопространственных данных, Национальное картографическое агентство Чехии и чешское управление геодезии, картографии и кадастра (COSMC), потоковая технология сжатия ECW (EnhancedCompressionWavelet), настольные, серверные приложения, мобильные устройства, сжатие без визуальных потерь.

BIG DATA ERA

Iryna Wetzel

Hexagon Geospatial, CH-9435 Heerbrugg, Switzerland, Geospatial Regional Manager Eastern Europe, tel. +4171-727-40-17, +4179-826-50-84, fax: +4171-727-46-91, e-mail: [email protected]

In this article we will focus on geospatial data compression, which is the basis for effective work with large amounts of geospatial data. The era of "big data" has already come and its strict and rapid development in the world faithfully continues.

Key words: geospatial data compression, Czech Republic's national mapping agency, the Czech Office for Surveying, Mapping and Cadastre (COSMC), robust data compression and rapid delivery ECW, Enhanced Compression Wavelet (ECW), visually lossless compression, desktop, web or mobile environments.

Для преодоления сложностей в работе с «большими данными» компанией Intergraph была предложена специально разработанная технология ECW:

• для работы с огромными объемами геоданных.

• для поддержки большинства широко распространенных ГИС и CAD платформ, в решениях для дистанционного зондирования как в настольных так и серверных приложениях, а также на мобильных устройствах.

• для увеличения ^орости сжатия данных, которая составляет на сегодня более 25МБ за секунду, с максимально быстрой доставкой, протестированной как самой быстрой в отрасли.

Одним из важнейших преимуществ для пользователей является то, что ECW позволяет сжимать геоданные до 5-10% от исходного размера снимка и без визуальных потерь.

Национальное картографическое агентство Чехии и чешское управление геодезии, картографии и кадастра (COSMC) внедрили в эксплуатацию веб-решение от компании Intergraph ® для обеспечения доступа к геоданным в масштабах всего государства. Ключевой компонентой решения стал высокопроизводительный протокол сжатия и доставки изображений, позволяющий эффективно работать с Bigdata — сверхбольшими объёмами данных.

Система COSM, базирующаяся на приложении GeoMedia® от компании Intergraph, недавно была расширена до уровня веб-портала, интегрирующего в себе различные технологии Intergraph. Веб-портал COSMC также был интегрирован с системой обработки и анализа изображений ERDAS IMAGINE, что позволило использовать данный программный продукт в существующих рабочих процессах.

Национальное картографическое агентство Чехии и чешское управление геодезии, картографии и кадастра (COSMC) нуждалось в правильном решении, которое позволило бы им улучшить и упростить процесс управления и распределения ключевых геопространственных данных. С помощью Intergraph COSMC смог оцифровать огромное количество геопространственных данных оптимальным для обеспечения открытого доступа к ним образом.

С 2005 года межевое управление COSMC использовало веб-портал для поддержания в актуальном состоянии национальных геопространственных данных, необходимых правительству, проектировщикам, администраторам сетей, школам и предпринимателям. Портал поддерживает тысячи пользователей и обслуживает до 4 млн. запросов в день. Поскольку спрос на открытые картографические веб-сервисы, такие как OGC-ISO WMS, WMTS и WFS, растет, организация COSMC нашли решения, которые позволили бы публиковать эти данные легко и непосредственно в цифровом формате.

До модернизации, COSMC предоставляла данные в файловых форматах. Теперь же, благодаря совмещению возможностей Intergraph, обновленная COSMC предоставляет улучшенные публичные сервисы просмотра, поиска, преобразования и загрузки изображений, обеспечивая при этом отличную пропускную способность. Кроме того, организация теперь способна предоставить WMTS-сервисы для трех основных сообществ пользователей: национальных, INSPIRE и GoogleMaps.

Для того, чтобы оцифровать данные и сделать их общедоступными, COSMC потребовалось найти решение для сжатия 4ТБ существующих растровых данных, хранящихся в тысячах отдельных файлов в формате TIFF. С помощью усовершенствованной потоковой технологии сжатия (ECW) объём этого массива удалось уменьшить более чем в пять раз — до 750 Гб. Технология ECW от компании Intergraph позволяет сжимать файлы размером в терабайты до размера не более пяти процентов от первоначального, не жертвуя при этом визуальным качеством изображений и обеспечивая молниеносное их отображение. Специально разработанный для геопространственных данных, формат ECW поддерживается большинством

популярных ГИС, CAD и решений для дистанционного зондирования Земли, как в настольной, веб, так и в мобильной среде.

Для более полного использования возможностей имеющихся в COSMC геопространственных данных, в Intergraph были разработаны вспомогательные приложения, открывающие пользователям доступ к внутренним массивам ортофото организации, а также к материалам электронных изданий в совместимых с GoogleMaps форматах. В Intergraph также были разработаны мобильные приложения с маркой COSMC.

Другим наглядным примером использования технологии ECW, стало комплексное решение, которое помогло RWE Deutschland собрать воедино геопространственные данные для всей Германии и организовать работу с ними.

RWE Deutschland необходимо было срочно наладить работу с геопространственными данными для всей территории Германии — более 365 тысяч квадратных километров. Ставилась цель собрать все картографические данные в актуальном состоянии и быстро передавать эти данные в различные региональные организации. Для этого компания внедрила инновационное решение с использованием технологий сжатия изображения и облачных методик ECW.

Для получения дополнительной информации о геопространственных продуктах Intergraph, посетите страницу в интернете:

http: //www. geo spatial. intergraph. com/Homepage. aspx

To overcome the difficulties in working with "big data" Intergraph has developed the technology for streaming geospatial data delivery ECW, which was specifically designed to work with huge amounts of geospatial data.

• ECW is supported by the industry's most popular GIS, CAD, and remote sensing solutions for the desktop, web or mobile environments.

• It allows creatingECW files faster than 25 MB per second, with delivery benchmarked as the industry's fastest.

• ECW can compress imagery to 5-10% of the original size, while remaining visually lossless.

The Czech Republic's national mapping agency, the Czech Office for Surveying, Mapping and Cadastre (COSMC), has implemented a web-based solution from Intergraph® for the distribution and publishing of national geospatial data. The solution includes high-performance image compression and delivery for handling big data on a large scale.

COSMC's original system, based on Intergraph's GeoMedia®, was recently upgraded to an integrated web-based portal, leveraging multiple Intergraph technologies. COSMC also integrated image exploitation and analysis, featuring ERDAS IMAGINE, into existing workflows.

COSMC needed the right solution to allow them to improve and streamline the management and distribution of key geospatial data. By working with

Intergraph, COSMC was able to digitize massive amounts of geospatial data in ways that made it much easier to share publicly.

Since 2005, the Land Survey Office of COSMC had used a web-based portal to serve national geospatial data to the government, designers, network administrators, schools and entrepreneurs. The portal supports thousands of users and serves up to 4 million requests per day. As the demand for open web mapping services (like OGC-ISO WMS, WMTS and WFS) increased, the COSMC investigated solutions that would allow this data to be shared easily and directly in digital format.

Prior to upgrading, COSMC provided the data in file formats. Now, through the combined capabilities of the Intergraph upgrade, COSMC is able to offer the public enhanced viewing, discovery, transformation and download services, ensuring excellent throughput. In addition, the organization is able to provide WMTS services for three fundamental user communities: national, INSPIRE and GoogleMaps.

In order to digitize the data and make it publicly available, COSMC also needed a solution for compressing 4TB of existing raster data held in thousands of separate TIFF files. By using the Enhanced Compression Wavelet (ECW) technology, the organization was able to reduce the archive's size to just 750 GB. Intergraph's ECW technology allows organizations to compresses terabyte-sized imagery files to five percent of its original size, while still retaining the images' full visual quality and lightning-fast display performance. Specifically designed for geospatial data, ECW is supported by the industry's most popular GIS, CAD, and remote sensing solutions for the desktop, web or mobile environments.

To further extend the reach of COSMC's geospatial data, Intergraph also developed third-party applications that allow the organization's restricted Ortophoto imagery to be accessed by the public, which includes online newspaper articles that are GoogleMaps compatible. Intergraph also developed COSMC-branded mobile applications.

Another example explores how Intergraph solutions help RWE Deutschland organize and manage geospatial data for the entire country of Germany.

RWE Deutschland needed to organize and manage geospatial data for the entire country of Germany, covering more than 365,000 square kilometers of land area. The company's goal was to keep all mapping data up to date and rapidly deliver data to a variety of regional organizations. To do so, the company implemented an innovative solution featuring image compression and the cloud.

For more information about Intergraph's geospatial products, visit

http: //www.geospatial .intergraph.com/Homepage.aspx

© H. Bem^m, 2014