СОВРЕМЕННОЕ СОСТОЯНИЕ ОБРАБОТКИ ПРОСТРАНСТВЕННЫХ ДАННЫХ С ПОМОЩЬЮ ТЕХНОЛОГИЙ BIG DATA Текст научной статьи по специальности «Компьютерные и информационные науки»

Столыпинский __ вестник

Научная статья

Original article

УДК 528.236.3:004.9

DOI 10.55186/27131424_2022_4_4_4

СОВРЕМЕННОЕ СОСТОЯНИЕ ОБРАБОТКИ ПРОСТРАНСТВЕННЫХ ДАННЫХ С ПОМОЩЬЮ ТЕХНОЛОГИЙ

BIG DATA

CURRENT STATE OF SPATIAL DATA PROCESSING USING BIG DATA

TECHNOLOGIES

Подрядчикова Екатерина Дмитриевна, кандидат технических наук, доцент кафедры геодезии и кадастровой деятельности, Тюменский индустриальный университет, г. Тюмень

Гилёва Лариса Николаевна, кандидат географических наук, заведующая кафедрой землеустройства, ФГБОУ ВО Омский государственный аграрный университет имени П.А. Столыпина, г. Омск

Podrjadchikova E. D. podrjadchikovaed@tyuiu.ru Giljova L. N. giljovaln@mail.ru

Аннотация

В статье рассматривается современное состояние обработки пространственных данных с помощью технологий Big Data. Систематизированы основные источники предоставления Big Data. Показаны особенности пространственных данных на современном этапе, их жизненный

2162

цикл. Приведена характеристика с точки зрения Big Data федеральной государственной информационной системы ведения единого государственного реестра недвижимости.

Annotation

The article discusses the current state of spatial data processing using Big Data technologies. The main sources of providing Big Data are systematized. The features of spatial data at the present stage, their life cycle are shown. The characteristic from the point of view of Big Data of the federal state information system for maintaining a unified state register of real estate is given.

Ключевые слова: пространственные данные, кадастровая деятельность, единый государственный реестр недвижимости, Big Data.

Keywords: spatial data, cadastral activity, unified state register of real estate, Big Data.

Актуальной задачей в настоящее время во всем мире является оперативная обработка больших объемов данных. В процессе роста информатизации процессов и бурного развития информационно-коммуникационных технологий увеличивается также количество передаваемых и обрабатываемых данных [1]. При этом значительный объем взаимосвязанной информации представлен в форматах не соответствующих традиционному формату структурированных баз данных, например, геопространственные данные, текстовые документы, видеопоток, машинный код или ссылки. Для хранения используется разнообразные хранилища, иногда даже за пределами одной организации, в результате отсутствует возможность получить доступ к данным или воспользоваться необходимыми инструментами, для целей формулирования на их основе значимых выводов. Следует учитывать, что данные в настоящее время постоянно обновляются и традиционные методы анализа информации с трудом справляются, что становится средой для внедрения и использования технологии больших

2163

данных (Big Data). Понятие и термин Big Data появился в 2008-2010 годах в процессе поиска определения для феномена стихийного роста объемов и многообразия данных, происходящее в этот период времени [2]. Базы данных, применяемые в градостроительной и кадастровой деятельности, обладают всеми признаками Big Data: имеют значительный объем информации, большое многообразие источников получения и форматов представления данных, а также непрерывный прирост.

Лавинообразный рост объемов данных и неспособность традиционных методов аналитики справиться с увеличением поступающей информации вызвало увеличение информатизации бизнес-процессов. Объемы данных стихийно увеличивались, но не развивалась теория информации, что привело к тому, что потребность во взаимодействии с данными образовалась раньше теоретических возможностей её реализации. Только спустя время проблема больших данных переросла в парадигму и подход к их обработке и аналитике, которые наиболее важны, чем сбор и хранение информации.

При помощи Big Data создаются модели-симуляции, для тестирования продукта, идеи или вывода, Big Data хранятся и собираются для того, чтобы выполнить анализ все наиболее значимых факторов и принять правильное решение. Основные источники предоставления Big Data:

- социальные сети, блоги и средства массовой информации;

- интернет вещей (IoT) и подключенные к нему устройства;

- предоставляемые данные компаний: профили клиентов, совершаемые транзакции, списки заказанных товаров и услуг, поездки на такси и каршеринге;

- показания приборов, датчиков, например, измерения состава и качества воздуха или воды, данные метеорологических станций, спутниковые изображения;

2164

- статистика городов и государств, данные переписи населения, сведения о рождаемости и смертности, перемещениях, медицинские данные: анализы, заболевания, диагностические снимки [3].

Перспективным и дальнейшим направлением развития можно считать разработку простых в использовании систем обработки и аналитики больших данных, доступных пользователям без необходимости изучения сложных технических аспектов. Примером решения можно считать облачные сервисы, которые позволяют использовать широкому кругу лиц, обладают исчерпывающей и доступной для понимания сопроводительной документацией, а также просты в настройке [4].

Задача современного этапа заключается в обеспечении компетентностного перехода от Big Data к Smart Big Data: от накопления массива образовательных данных - к их умному использованию для доказательного развития образования [5]. Работа с Big Data требует больших вычислительных мощностей, на их содержание требуются ресурсы. Использоваться Big Data может разными способами, например, как инструмент для создания искусственного интеллекта, обучения нейронных сетей. Структура хранения данных в блоках, каждый из которых несет в себе информацию о предыдущем блоке или блокчейн можно использовать при работе с Big Data.

Пространственные данные, являются информационной основой обеспечения геоинформационных систем, которые содержат большие объемы и большое разнообразие типов данных, процесс обработки которых характеризуется крупномасштабными нелинейными моделями. В настоящее время основой высокопроизводительной обработки пространственных данных являются кластерные вычисления и параллельные вычисление. Большие информационные потоки пространственных данных получаются в результате дистанционного зондирования Земли с помощью аэрофотосъемки и из космоса, особенно значительными по объему являются потоки

2165

видеоинформации. Появляется необходимость для введения термина «большие геоданные» [6]. Большие пространственно-временные данные создают проблемы в обработке, но при этом обеспечивают исчерпывающей информацией пользователей и аналитиков для принятия управленческих решений. Геоданные имеют большой жизненный цикл, в течение которого необходимо обеспечить длительное хранение и адекватное управление. Моделирование больших пространственно-временных данных имеет свои отличия и технические потребности. Высокопроизводительная обработка пространственных данных открывает большие возможности для изучения геосферы, является средством получения новых геознаний [7].

Жизненный цикл пространственных данных в виде информационной модели представлен на рисунке 1.

Рис. 1. Жизненный цикл пространственных данных

Особенно большой и юридически важный объем данных хранится и обрабатывается в сфере кадастровой деятельности, результаты которой необходимы для выполнения работ по государственной кадастровой оценки [8].

2166

Уникальный информационный ресурс - Федеральная государственная информационная система ведения единого государственного реестра недвижимости (ФГИС ЕГРН) содержит 11 петабайтов (1015) данных о недвижимости. При этом сегодня во ФГИС ЕГРН ежедневно поступает около 100 тысяч обращений на государственную регистрацию прав и кадастровый учет, а также более 500 тысяч запросов на предоставление сведений из ЕГРН. По данным Росреестра в базе ФГИС ЕГРН только лишь в Московской области содержится 13 млн. объектов, экономическая ценность данного объема оценена в 200 трл. долларов. Такой объем информации однозначно относится к BigData и требует особых подходов к анализу и управлению.

Литература

1. Шакиров Р. И. Анализ больших данных с помощью Google bigquery / Р. И. Шакиров, Л. И. Воронова // Технологии информационного общества: Сборник трудов XV Международной отраслевой научно-технической конференции «Технологии информационного общества» - Москва: ООО «Издательский дом Медиа паблишер», 2021. - С. 175-178.

2. Bochicchio M. A big data analytics framework for supporting multidimensional mining over big healthcare data / M. Bochicchio, L. Vaira, A. Cuzzo-crea // 15th IEEE International Conference on Machine Learning and Applications. - 2016. - pp. 508-513.

3. Шаталова В. В. Большие данные: как технологии Big data меняют нашу жизнь / В. В. Шаталова, Д. В. Лихачевский, Т. В. Казак // Big data и анализ высокого уровня : сборник материалов VII международной научно-практической конференции (Минск, 19-20 мая 2021 года).0 - Минск: Бестпринт, 2021. - С. 188-192.

4. Шарахина Л. В. Использование технологий Big data и smart data в разработке эффективных коммуникационных стратегий / Л. В. Шарахина, В. Скворцова // Социальные коммуникации: наука, образование, профессия. - 2019. - № 1. - С. 266-272.

2167

5. Архипова О. Н. Корреляция концепций «Big data» и «smart data» / О. Н. Архипова, П. А. Архипов // II научный форум телекоммуникации: теория и технологии ТТТ-2017. Проблемы техники и технологий телекоммуникаций: материалы XVIII Международной научно-технической конференции (Казань, 20-24 ноября 2017 года). - Казань: Казанский государственный технический университет им. А.Н. Туполева, 2017. - С. 133-134.

6. Карпик А. П. Перспективы развития геодезического и картографического производства и новая парадигма геопространственной деятельности / А. П. Карпик, Д. В. Лисицкий // Вестник СГУГиТ -2020. - т. 25, №№ 2.- С. 1929.

7. Есикова В. О. ГИС-анализ социально-экономических процессов региона / В. О. Есикова // Экология. Экономика. Информатика. Серия: Геоинформационные технологии и космический мониторинг. - 2019. - №2 4. - С. 29-33.

8. Дубровский, А. В. Инвентаризация как инструмент повышения качества кадастровой оценки / А. В. Дубровский, А. В. Ершов, А. С. Трухачева // Регулирование земельно-имущественных отношений в России: правовое и геопространственное обеспечение, оценка недвижимости, экология, технологические решения. - 2018. - Т. 2. - С. 79-84.

Literature

1. Shakirov R. I. Analiz bol'shikh dannykh s pomoshch'yu Google bigquery / R. I. Shakirov, L. I. Voronova // Tekhnologii informatsionnogo obshchestva : Sbornik trudov XV Mezhdunarodnoi otraslevoi nauchno-tekhnicheskoi konferentsii «Tekhnologii informatsionnogo obshchestvA» ( Moskva, 03-04 marta 2021 g.) - Moskva: OOO «Izdatel'skii dom Media pablisheR», 2021. -pp. 175-178.

2168

2. Bochicchio M. A big data analytics framework for supporting multidimensional mining over big healthcare data / M. Bochicchio, L. Vaira, A. Cuzzo-crea // 15th IEEE International Conference on Machine Learning and Applications. - 2016. - Pp. 508-513.

3. Shatalova V. V. Bol'shie dannye: kak tekhnologii Big data menyayut nashu zhizn' / V. V. Shatalova, D. V. Likhachevskii, T. V. Kazak // Big data i analiz vysokogo urovnya: sbornik materialov VII mezhdunarodnoi nauchno-prakticheskoi konferentsii (Minsk, 19-20 maya 2021 goda).0 - Minsk: Bestprint, 2021. - pp. 188-192.

4. Sharakhina L. V. Ispol'zovanie tekhnologii Big data i smart data v razrabotke ehffektivnykh kommunikatsionnykh strategii / L. V. Sharakhina, V. Skvortsova // Sotsial'nye kommunikatsii: nauka, obrazovanie, professiya. - 2019. - № 1. -pp. 266-272.

5. Arkhipova O. N. Korrelyatsiya kontseptsii «Big data» i «smart data» / O. N. Arkhipova, P. A. Arkhipov // II nauchnyi forum telekommunikatsii: teoriya i tekhnologii TTT-2017. Problemy tekhniki i tekhnologii telekommunikatsii: materialy XVIII Mezhdunarodnoi nauchno-tekhnicheskoi konferentsii (Kazan', 20-24 noyabrya 2017 goda). - Kazan': Kazanskii gosudarstvennyi tekhnicheskii universitet im. A.N. Tupoleva, 2017. - pp. 133-134.

6. Karpik A. P. Perspektivy razvitiya geodezicheskogo i kartograficheskogo proizvodstva i novaya paradigma geoprostranstvennoi deyatel'nosti / A. P. Karpik, D. V. Lisitskii // Vestnik SGUGIT -2020. - t. 25, № 2.- pp. 19-29.

7. Esikova V. O. GIS-analiz sotsial'no-ehkonomicheskikh protsessov regiona / V. O. Esikova // Ehkologiya. Ehkonomika. Informatika. Seriya: Geoinformatsionnye tekhnologii i kosmicheskii monitoring. - 2019. - № 4. -pp. 29-33.

8. Dubrovskii, A. V. Inventarizatsiya kak instrument povysheniya kachestva kadastrovoi otsenki / A. V. Dubrovskii, A. V. Ershov, A. S. Trukhacheva // Regulirovanie zemel'no-imushchestvennykh otnoshenii v Rossii: pravovoe i

2169

geoprostranstvennoe obespechenie, otsenka nedvizhimosti, ehkologiya, tekhnologicheskie resheniya. - 2018. - T. 2. - pp. 79-84.

© Подрядчикова Е.Д., Гилёва Л.Н., 2022 Научный сетевой журнал «Столыпинский вестник» №4/2022.

Для цитирования: Подрядчикова Е.Д., Гилёва Л.Н. Современное состояние обработки пространственных данных с помощью технологий BIG DATA // Научный сетевой журнал «Столыпинский вестник» №4/2022.

2170