CC BY
460
БОЛЬШИЕ ДАННЫЕ В ГЕОИНФОРМАЦИОННОМ ПРОСТРАНСТВЕ ДЛЯ ЭФФЕКТИВНОГО УПРАВЛЕНИЯ В КРИЗИСНЫХ СИТУАЦИЯХ
Станислав Юрьевич Кацко
Сибирская государственная геодезическая академия, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент кафедры прикладной информатики и информационных систем, тел. (383)343-18-53, e-mail: [email protected]
Термин «большие данные» уже основательно закрепился в современном цифровом обществе. Мы все больше окружаем себя сетью спутников, сканеров, камер и других фиксирующих устройств, создающих огромные массивы неструктурированных данных. Возникла необходимость теоретического осмысления места и роли «больших данных» при построении единого геоинформационного пространства, в частности при решении задач управления в кризисных ситуациях. Научные исследования проведены на средства гранта Президента РФ для государственной поддержки молодых российских ученых №МК-6528.2013.5.
Ключевые слова: геоинформационное пространство, большие данные, кризисные ситуации.
BIG DATA IN GEOINFORMATION ENVIRONMENT FOR EFFECTIVE CRISIS MANAGEMENT
Stanislav Yu. Katsko
Siberian State Academy of Geodesy, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Ph.D., Assoc. Prof. of Department Applied Informatics and Information Systems, tel. (383)343-18-53, e-mail: [email protected]
The term «big data» already thoroughly entrenched in today's digital society. We surround ourselves with more satellite network, scanners, cameras and other fixing devices that produce massive amounts of unstructured data. Became necessary a theoretical understanding of the place and role of «big data» in the construction of an integrated geoinformation environment, in particular for solving crisis management. Research carried for grant of the President of the Russian Federation for state support of young russian scientists number MK-6528.2013.5.
Key words: geoinformation environment, big data, crisis management.
Мы живем в быстро меняющемся цифровом мире данных и информации. Многочисленные датчики и цифровые коммуникационные средства ежесекундно с нашей помощью или самостоятельно собирают гигабайты и терабайты информации обо всем вокруг. Эпоха больших данных уже началась. И остановить её уже невозможно, так как это будет означать прекращение научно-технического прогресса и перехода к шестому технологическому циклу.
Термин «большие данные» не имеет строгого определения. Изначально идея состояла в том, что объем информации настолько вырос, что рассматриваемое количество уже фактически не помещалось в памяти компьютера, используемой для обработки, поэтому инженерам потребовалось модернизировать инструменты для анализа всех данных. Так
возникли новые технологии обработки данных (например, модель MapReduce компании Google и ее аналог с открытым исходным кодом -Hadoop от компании Yahoo). Они дали возможность управлять намного большим количеством данных, чем прежде. При этом важно, что их не нужно было выстраивать в аккуратные ряды или классические таблицы баз данных. Кроме того, появились другие технологии обработки данных, которые также обходились без прежней жесткой иерархии и однородности. [1]
Известно, что впервые термин Big Data (Большие Данные) использовал Джон Мэши в своей презентации, сделанной в 1998 году. Однако тогда термин не получил широкого распространения, поскольку Мэши предсказывал будущий рост данных, адресуясь к узкому кругу коллег. Свою нынешнюю популярность словосочетание Big Data обрело после публикации в специальном выпуске журнала Nature 3 сентября 2008 года. Г лавной темой номера была мысль «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объёмами данных?» В журнале были собраны материалы о феномене взрывного роста объёмов и многообразия обрабатываемых данных и технологических перспективах в парадигме вероятного скачка «от количества к качеству». [2, 3]
Впоследствии в литературе стали приводить разнообразные, дополняющие друг друга определения понятия «большие данные». Так, в [4] под большими данными понимается совокупность данных c возможным экспоненциальным ростом, которые слишком велики, слишком неформатированы или слишком неструктурированы для анализа традиционными методами.
В [5] указывается, что в качестве определяющих характеристик для больших данных отмечают «три V»: физический объём (от англ. volume), скорость прироста и необходимость высокоскоростной обработки и получения результатов (от англ. velocity) и многообразие в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных (от англ. variety).
«Большие данные» - это масса новых задач, касающихся общественной безопасности, глобальных экономических моделей, неприкосновенности частной жизни, устоявшихся моральных правил, правовых отношений человека, бизнеса и государства. [1]
Большие данные начали изменять нашу жизнь уже несколько лет назад. Обратим внимание на интернет-торговлю, которая продолжает приобретать свою популярность для всё большего числа людей. Делая покупки, большинство из нас даже не подозревают о том, что компьютерные программы для анализа больших данных дают компании-продавцу возможность стимулировать сбыт, подталкивать покупателей к совершению покупок и отслеживать сделки, к которым приводят эти стимулирующие мероприятия. В то же время большие данные, уже в качестве результата работы с информацией, помогают компании-продавцу оперативно корректировать стимулирующие мероприятия и обеспечивать максимальное количество покупок каждым потребителем, что для продавца означает рост рентабельности. [6]
Большие данные могут также выступать в роли медика-диагноста. Суперкомпьютер фирмы IBM Watson уже принимает участие в диагностировании заболеваний и формирует список возможных болезней. Если на основе наблюдаемых симптомов медик в состоянии поставить 3-5 возможных диагнозов, то Watson, используя технологии Больших данных, представит перечень из 20 вероятных заболеваний. Анализ Watson помогает медику снизить вероятность ошибочного диагноза, он может уточнить диагноз, задавая пациенту дополнительные вопросы. [6]
Очень часто собираемые большие данные имеют пространственную привязку. Так, в цифровых хранилищах уже сегодня содержится огромная по объему информация о множестве конкретных вещей, например, геолокации абонентов сотовой связи и использовании кредитных карт. Эти данные продолжают накапливаться. С увеличением объема больших данных с помощью математической статистики и других современных методов обработки данных станет возможным проследить историю жизни каждого человека, использующего современные блага цивилизации.
Благодаря большим данным можно будет многое рассказать об отдельных чертах характера индивида, даже в том случае, если этих подробностей не содержится в самих больших данных. И поскольку люди так плотно вплетены в ткань окружающего их социума, уже это одно определяет все виды взглядов и поступков, которые они считают нормальными, а также поведение, которое они копируют друг у друга. [7]
Использование больших данных не обходит стороной и сферу управления кризисными ситуациями в рамках поддержки и использования единого геоинформационного пространства. В работах [8-14] отмечается, что создание геоинформационного пространства («Цифровой Земли») для разных территориальных уровней, разных сегментов природной среды, разных объектов, процессов, явлений и видов деятельности требует специальных междисциплинарных научных исследований. В рамках проведения таких НИР должны быть разработаны содержание, свойства, параметры и структуры накапливаемой информации, технологии распределенной обработки, управления данными, формирования и использования знаний о геопространстве, многомерного пространственного моделирования, представления в сети Интернет. Создаваемое геоинформационное пространство станет составной частью общего информационного поля и на основе анализа больших данных позволит отображать пространственные свойства объектов окружающего нас мира.
Для эффективного управления чрезвычайными ситуациями при работе с единым геоинформационным пространством требуется организовывать специализированные хранилища больших данных, получаемых на основе мониторинга ЧС. В научных работах, в частности в [15], делается акцент на том, что одной из первоочередных задач проектирования специализированного хранилища данных является определение состава информации. Это позволит систематизировать данные предметной области, сформировать структуру их хранения и обеспечить возможность для
поэтапного наращивания количественного и качественного состава данных в хранилище.
С учетом большого объема информации, получаемой системой мониторинга и прогнозирования ЧС, определен набор данных первой очереди специализированного хранилища, охватывающий ряд обстановок территориальной безопасности: обстановку на объектах жилищно-
коммунального хозяйства, метеорологическую, гидрологическую, сейсмическую и радиационную обстановки.
Согласно указанным сферам мониторинга входные информационные потоки содержат:
- данные об организации мероприятий по контролю за подготовкой и прохождением отопительного сезона;
- данные о подготовке жилищно-коммунального хозяйства к работе в зимних условиях;
- данные о состоянии объектов жилищно-коммунального хозяйства;
- данные прогноза погоды и предупреждений об опасных и
неблагоприятных погодных явлениях;
- данные по грозовой активности;
- данные о режиме рек и водохранилищ;
- данные о режиме работы гидроэлектростанций;
- данные о ледовых явлениях и прогноз вскрытия рек;
- данные об уровне весеннего половодья и об организации
безаварийного пропуска паводковых вод;
- данные о зарегистрированных сейсмических событиях;
- данные о радиационном излучении.
Выходные информационные потоки содержат агрегированные данные по исходной обстановке на территории субъекта Федерации или страны в целом. [15]
Для эффективного анализа исходных данных и повышения качества прогнозирования ЧС требуется не только постепенное наращивание состава разнородных больших данных специализированного хранилища, но и совершенствование различных методов и техник анализа, применимых к большим данным, начиная от краудсорсинга и распознавания образов, и заканчивая имитационным моделированием, статистическим и пространственным анализом.
При всех достоинствах больших данных важно помнить о существующих больших рисках «ложных выводов». «Проблема поиска значимой иголки в массивных стогах сена (больших данных), - говорит Тревор Хэсти, профессор статистики в Стэнфорде, - заключается в том, что множество соломок выглядят (и укалывают) точно так же, как иглы, которые мы разыскиваем». [16]
Разнородные наборы данных уже распознаны с помощью компьютерной техники и математических моделей. Эти модели могут обнаружить зависимость и сделать статистический вывод, который окажется неверен. От этого способен пострадать в дальнейшем человек. Такая проблема особа
актуальна в сфере управления чрезвычайными ситуациями и требует проведения дальнейших исследований для предотвращения подобных ошибок.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Майер-Шенбергер Виктор, Кукьер Кеннет. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим; пер. с англ. Инны Гайдюк. - М. : Манн, Иванов и Фербер, 2014. - 240 с.
2. Свежий взгляд на Большие Данные [Электронный ресурс]. - Режим доступа: http://www.osp.ru/os/2013/07/13037355/
3. Большие данные [Электронный ресурс]. - Режим доступа: http://ru.wikipedia.org/wiki/Большие_данные
4. Моррисон Алан и др. Большие Данные: как извлечь из них информацию (рус.). Технологический прогноз. Ежеквартальный журнал, российское издание, 2010 выпуск 3. PricewaterhouseCoopers (17 декабря 2010).
5. Gartner Says Solving 'Big Data' Challenge Involves More Than Just Managing Volumes of Data (англ.). Gartner (27 June 2011).
6. Большие данные (big data): изменение будущего человечества [Электронный ресурс]. - Режим доступа: http://www.kitaichina.com/se/txt/2013-03/28/content_530849.htm
7. Как изменится общество в эпоху "больших данных". Антиутопия Оруэлла как невинная шутка [Электронный ресурс]. - Режим доступа: http://liberty.ru/Themes/Kak-izmenitsya-obschestvo-v-epohu-bol-shih-dannyh-.-Antiutopiya-Oruella-kak-nevinnaya-shutka
8. Лисицкий Д. В., Кацко С. Ю. Изменение роли картографических изображений в процессе формирования единого электронного геопространства // Изв. вузов. Геодезия и аэрофотосъемка. - М., 2012. - № 2/1. - С. 156-161.
9. Карпик А. П., Лисицкий Д. В. Электронное геопространство - сущность и концептуальные основы // Геодезия и картография. - 2009. - № 5. - С. 41-44.
10. Лисицкий Д. В. Перспективы развития картографии: от системы «Цифровая земля» к системе виртуальной геореальности // Вестник СГГА. - 2013. - Вып. 2 (22). - С. 8-16.
11. Лисицкий Д. В., Кацко С. Ю. Концепция создания и функционирования геоинформационного пространства // Интерэкспо ГЕ0-Сибирь-2013. IX Междунар. науч. конгр. : Пленарное заседание : сб. материалов в 2 т. (Новосибирск, 15-26 апреля 2013 г.). - Новосибирск: СГГА, 2013. Т. 2. - С. 72-75.
12. Кацко С. Ю. От освоения пространства к формированию единого геоинформационного пространства // Интерэкспо ГЕ0-Сибирь-2012. VIII Междунар. науч. конгр. : Междунар. науч. конф. «Геодезия, геоинформатика, картография, маркшейдерия» : сб. материалов в 3 т. (Новосибирск, 10-20 апреля 2012 г.). - Новосибирск: СГГА, 2012. Т. 1. -С. 100-105.
13. Кацко С. Ю., Колесников А. А. Возможности мультимедийной геовизуализации в процессе управления чрезвычайными ситуациями // Интерэкспо ГЕ0-Сибирь-2013. IX Междунар. науч. конгр. : Междунар. науч. конф. «Раннее предупреждение и управление в кризисных и чрезвычайных ситуациях: предпринимаемые шаги и их реализация с помощью картографии, геоинформации, GPS и дистанционного зондирования» : сб. материалов (Новосибирск, 15-26 апреля 2013 г.). - Новосибирск: СГГА, 2013. - С. 98101.
14. Дубровский А. В., Ким Э. Л. Геоинформационное обеспечение раннего предупреждения и управления кризисными ситуациями // СИББЕЗОПАССНОСТЬ-СПАССИБ-2012. Междунар. науч. конгр. : сб. материалов (Новосибирск, 25-27 сентября 2012 г.). - Новосибирск: СГГА, 2012. - С. 51-56.
15. Бадмаева К. В., Пенькова Т. Г., Ничепорчук В. В. Проектирование специализированного хранилища данных для мониторинга чрезвычайных ситуаций // Вестник Сибирского государственного аэрокосмического университета им. академика М. Ф. Решетнева, 2011. - № 5. - С. 14-18.
16. Эпоха больших данных [Электронный ресурс]. - Режим доступа: Ьйр://ёа1а-machine.ru/stati бй с/ерока-ЬокЫЬ-ёаппук.кш!
© С. Ю. Кацко, 2014
