CC BY-NC
19На пути к национальной исторической ГИС России: два подхода к интеграции исследовательских геоданных
Фролов Алексей Анатольевич
кандидат исторических наук
старший научный сотрудник, Институт всеобщей истории РАН, руководитель, Лаборатория исторической
геоинформатики
119334, Россия, г. Москва, Ленинский пр-т, 32Д каб. 1405 И [email protected]
Статья из рубрики "Геоинформационные системы и 3Р-реконструкции"
Аннотация.
В статье рассматриваются два подхода к интеграции исторических геоданных, созданных в последние десятилетия и создаваемых сейчас различными исследовательскими коллективами и отдельными учеными с разными целями различными способами — в контексте общего движения сообщества историков, использующих геоинформационные технологии, к национальной исторической ГИС. Приводятся аргументы против создания специального фонда, аккумулирующего геоданные разных владельцев, в пользу создания общего агрегатора метаданных. Основное различие в этих двух подходах заключается в ответе на один вопрос: необходимо ли для того, чтобы предоставить доступ заинтересованным пользователям к геоданным, сначала отчуждать эти геоданные от их владельцев? От ответа на этот вопрос зависят возможности обратной связи между пользователем и содержимым базы данных. Организация такого взаимодействия представляется принципиально важной для профессионального сообщества исследователей. Некоторые технические решения, рекомендуемые для организации доступа пользователя к геоданным через агрегатор, описываются в статье более подробно. Основным выводом работы является заключение о наибольшей целесообразности интеграции исторических геоданных различного происхождения путем агрегации их метаданных на отдельном интернет-ресурсе, который должен предъявлять некоторые технические требования к поставщикам данных, служить посредником во взаимодействии пользователя и базы данных и делегировать пользователю те права доступа к геоданным, которые установил владелец геоданных.
Ключевые слова: национальная историческая ГИС, интеграция геоданных, агрегация метаданных, аккумуляция данных, исторические базы данных, облачные решения, СУБД PostgreSQL, геосервер, трехуровневая архитектура, администрирование прав
DOI:
10.7256/2585-7797.2019.1.29136
Дата направления в редакцию:
03-03-2019
Дата рецензирования:
05-03-2019
Лаборатория исторической геоинформатики была создана в Институте всеобщей истории РАН в мае 2015 года, и с самого начала в число ее основных задач входила разработка концепции национальной исторической ГИС (НИГИС) России как технологической платформы, объединяющей исследовательские усилия специалистов различных сфер исторического знания (https://histgeo.ru/laboratory.html). Мне представляется, что основу национальной исторической ГИС может составить набор «рамочных» слоев (например, административные границы, пути сообщения и т.д.), отображающих положение объектов, знание о локализации которых важно для широкого круга исследований не меньше, чем о ландшафтах. Тем или иным способом она может стать площадкой и для детальных региональных исследований с использованием геоданных. Важной составляющей должен стать специальный инструментарий, позволяющий исследователю анализировать геоданные в своих целях (например, рассчитывать плотность населения в регионе, учитывать в своих расчетах оснащенность региона элементами инфраструктуры, визуализировать на карте динамику роста тех или иных статистических показателей, строить модели антропогенного взаимодействия с ландшафтами на основе топографических особенностей локализованных поселений и т.д.).
За минувшие годы целенаправленно велась отработка отдельных решений для НИГИС, каждое из которых находило воплощение в том или ином проекте. Таким образом отрабатывалась практика совмещения специальных исследовательских задач со специальными решениями средствами геоинформатики. Отдельные проекты посвящены созданию региональных «шурфов», позволяющих совместить исторические геоданные из нескольких хронологических срезов по небольшому микрорегиону или отдельному региону (http://rgada.info/bezheck/popup.html), газеттира (веб-указателя исторических топонимов) (https://ukazatel.histgeo.ru/index.html), веб-публикации исторических карт и чертежей с геопривязкой, табличным описанием и текстовой аннотацией (http://rgada.info/geos2/), электронной публикации текста исторического источника со связью с веб-ГИС (https://histgeo.ru/towns rus.html), фидбекеру, представляющему форму обратной связи через веб-карту с историками — специалистами в отдельных областях исторической географии, не владеющих ГИС-технологиями (https://feedbacker.histgeo.ru) , динамической карте, отображающей максимально подробно любое изменение в границах и объектах на протяжении значительных периодов времени и задуманной как инструмент-подложка в работе историка со специальными сюжетами (https://map.rumvers.ru/?year= 1462).
Россия в создании НИГИС не является пионером. Два десятка лет назад стартовала НИГИС Великобритании f^ttp://www2.port.ac.uk/research/gbhg¡s/)f после чего был запущен еще десяток подобных проектов, сильно различающихся, впрочем, по большому числу параметров. Но в положении «догоняющего» участника процесса немало и плюсов. Прежде всего, это возможность пользоваться для решения актуальных задач более современными достижениями веб-технологий, а также возможность избежать тех ошибок, которые всегда приходится допускать первопроходцам. Кроме того, прогресс в технологиях позволяет ставить новые задачи, ранее в рамках ИГИС неактуальные или попросту недоступные.
Хочется отметить и еще одно отличие от многих известных ИГИС - западные
исторические ГИС-проекты больше зависят от общественного резонанса и должны делать особый акцент на общественной пользе, просветительском и образовательном эффекте, а не научном значении. Мы же имеем шанс сместить акцент в концепции НИГИС в сторону именно научного значения, которое, несомненно, в дальнейшем позволит получить и ощутимый общественный резонанс. Такая возможность делает особенно актуальной дискуссию о способах интеграции научных сил посредством общей ГИС-платформы и о том, какие решения должны быть приоритетными в объединении историков, географов и др. - в первую очередь не на уровне сообщества пользователей, а на уровне сообщества «соучастников», реальных и потенциальных создателей исторических геоданных.
Здесь видятся два основных решения, которые друг друга не исключают полностью, однако одно из них все-таки должно быть признано приоритетным, а второе, соответственно, станет вспомогательным. Первое решение — это аккумуляция геоданных (рис. 1). Сторонником данного пути является Е.С. Гришин, который выступает за создание специального фонда, принимающего для хранения и последующей дистрибуции геоданные (например, в формате *^1пр). Однако в выступлении на семинаре 26 января 2019 года автор этой идеи определил фонд как хранилище геоданных той или иной организации, в то время как сообщество специалистов, применяющих в работе методы исторической геоинформатики, представляет широкий спектр организаций, каждая из которых предъявляет к результатам работы своих сотрудников различные требования, оценивает качество работы различными критериями и т.п. Так что фонд-аккумулятор даже в авторском определении плохо подходит для интеграции геоданных разных коллективов.
Рис.1. Схема интеграции через аккумуляцию геоданных в специальном фонде.
Еще важнее, что аккумуляция разнородных исторических геоданных не учитывает ряда специфических особенностей исторической карты, которые выделяют ее среди другой картографической продукции. Ироничные лозунги типа "Историки, изменим прошлое к лучшему", «Мы - страна с непредсказуемым прошлым" в действительности имеют под собой и серьезные основания. Они заключаются в том, что пространственное измерение
истории нельзя просто отрисовать с большей или меньшей точностью. Научные представления о нем обречены на постоянные дополнения и корректировки. Можно сказать, что «статические» карты, которые составляют историки, представляют собой, как правило, «карты новейших представлений историков о соответствующей территории». Строго говоря, дата составления таких исторических карт представляет исключительную ценность только если мы говорим о специальном интересе к историографии неких коллективных (или индивидуальных) представлений историков в соответствующем году. Если же такого специального интереса нет, то историческая карта мне представляется как визуализация наиболее обоснованного специальными исследованиями научного видения историко-географических аспектов исторического процесса (это, впрочем, не исключает отражения на такой карте различных версий реальности или воображаемых сущностей). Поэтому историческая карта должна быть максимально динамичной, гибкой, должна быть открытой для корректировок, основанных на новых данных, которые извлечены из вновь найденных или известных ранее, но по-новому прочитанных источников.
Укажу еще на одну особенность. При создании географической карты обычно применяются проекции, где искажения в отображении пространства нарастают гармонично - в зависимости от удаления от основного меридиана, экватора и т.п. В исторической же карте, которая объединяет результаты работы нескольких исследовательских групп, к этим математическим параметрам искажения добавляется еще один. Его невозможно заложить в математические параметры преобразования: геоданные, созданные разными коллективами, имеют разную точность, разный набор атрибутов, разное назначение, обусловленные не только качеством исполнения, но и качеством исходных данных и качеством их анализа. Чтобы пользоваться на одной платформе всем этим разнородным материалом, нужно сохранить исходное "исследовательское" качество материала, но сделать его совместимым с остальными данными по критериям техническим.
Кроме того, в современных условиях развития исторической геоинформатики в России львиную долю правки, связанной с постоянным уточнением исторических геоданных, выполняет коллектив из тех, кто эти данные создал и использует в исследовательской работе наиболее активно. Поэтому коллекционирование геоданных в неком фонде, равноудаленном от всех исследователей, представляется ошибочным решением. У многих "поставщиков" геоданных это просто отобьет охоту делиться своими материалами. Возможно, большинство коллег согласится поделиться данными с фондом указанным способом, однако следует помнить о следствиях такого решения. Придется либо смириться с перспективой «нулевого фидбека» (то есть с невозможностью улучшить геоданные через обратную связь) от квалифицированных пользователей, потому что они будут улучшать скачанные геоданные каждый в своей локальной копии, либо, при попытке использовать знания таких пользователей для улучшения своих исходных данных, придется неизбежно столкнуться с проблемой сравнения множества версий одного набора геоданных, скачанных когда-то разными исследователями из фонда и усовершенствованных на свой манер — чтобы выделить из всей этой массы полезные улучшения.
Особенно заметна данная проблема, если геоданные принадлежат сложным проектам. В качестве примера приведу запущенную в январе 2019 г. Динамическую карту исторических границ России (в настоящее время открыт доступ к данным за 1462-2018 гг., но на очереди данные, касающиеся внешних границ княжеств Руси начиная с IX века, внутренних административных границ Руси и России с X по XXI вв. и набор данных
по средневековым границам Западной Европы). Данный проект создан на средства, привлеченные Руниверс, образует субдомен на сайте Руниверс (https://map.runivers.ru), а геоданные размещены на его серверах. Исполнителями проекта выступили Лаборатория исторической геоинформатики ИВИ РАН (концепция, контент) и НекстГИС (реализация ИТ-решений бэкенда и фронтенда, дизайн). В основе концепции динамической карты лежит так называемый «date-stamping approach», который наиболее адекватно переводится на русский язык как «метод диапазонов». Впервые он был сформулирован английскими и американскими историками и нашел применение в первой
версии британской НИГИС-^2—современный вариант концепции опубликован в
отечественной литературе -Ш.
Организация рабочего набора геоданных (до их агрегации и выгрузки на геосервер) такова, что позволяет по мере необходимости корректировать любой участок границы (представленный набором линейных объектов с соответствующими атрибутами) на любой исторический момент — с последующей генерацией результирующих слоев через специальные алгоритмы. Таким образом, только для уже открытой части Динамической карты конфигурация границы определяется в настоящее время комбинацией более чем 3000 линейных объектов. Выпущенный продукт не рассматривается автором как завершенный. Вполне допустимым кажется, что заинтересованные пользователи выявят ошибки в предложенной версии карты. Более того, предполагается, что они смогут уточнить геометрию той или иной линии или ее атрибуты (например, даты появления или исчезновения отрезка границы) на отдельных участках или по отдельным периодам, опираясь на более глубокое знание частных сюжетов исторической географии. Процесс корректировки, определенно, займет годы и нельзя наверняка сказать, завершится ли он вообще когда-либо.
Нужно ли передавать такие данные фонду-аккумулятору? Что он будет с ними делать? Распространять устаревающие каждый день копии, создавая конкуренцию этих геоданных с более свежими копиями, которые продолжают корректироваться на сервере Руниверса? Этот путь кажется контрпродуктивным. Извлечь максимальную пользу из коллективного редактирования этих геоданных можно только через организацию работы желающих улучшить качество геоданных с единственным экземпляром БД. Следует ли в таком случае предложить Руниверсу самому обращаться в фонд-аккумулятор за свежим экземпляром своей же базы геоданных? Можно предугадать тот ответ, который Руниверс даст на такое предложение.
В связи с указанными проблемами, которые влечет за собой интеграция иследовательских геоданных через фонд-аккумулятор, я предлагаю рассмотреть второй, альтернативный, путь. Он заключается в агрегации на общем интернет-ресурсе в основном метаданных, которые позволяют «на лету» совмещать геоданные с различных серверов (рис. 2). В ситуации, когда пользователь готов отредактировать исходные геоданные и обладает для этого достаточной компетентностью, ресурс-агрегатор способен даже открывать пользователю ряд возможностей для редактирования — но только после того, как владелец данных соответствующим образом сконфигурировал права доступа к единственному экземпляру своих геоданных. Поясню это на примере инструмента NextGIS Web (NGW), в котором уже реализован данный механизм для организации работы с СУБД PostgreSQL с пространственным расширением Postgis.
Рис. 2. Схема интеграции через агрегацию метаданных на общем интернет-ресурсе.
NGW - это серверная веб-ГИС, предназначенная для хранения и организации многопользовательского доступа к геоданным и создания веб-карт (http://nextgis.ru/nextgis-web/). Через специальный плагин она связана с десктопной версией QGIS, что позволяет созданные на персональном компьютере слои оперативно перебрасывать «в облако» или обновлять содержимое ранее созданных слоев. Так что, используя NGW, сторонники фонда-аккумулятора уже сейчас могут легко выкладывать свои геоданные на геосервер НекстГИС или на свой собственный сервер, где NGW установлена — с последующим открытием доступа к соответствующим слоям для всех желающих по WMS и W FS-протоколам (то есть либо в виде растровых тайлов, либо в виде векторных объектов соответственно).
Более ценными, однако, в контексте обсуждаемой темы представляются другие возможности NGW, связанные с организацией полноценной трехуровневой архитектуры «клиент—сервер приложений — сервер баз данных». Этот инструмент не только позволяет конечному пользователю открывать/редактировать слои, которые аккумулированы на самом геосервере, но и служит посредником - через те же WMS и W FS-соединения -между пользователем и тем сервером, где создатель геоданных хранит их у себя в СУБД PostgreSQL (рис. 3). Дополнительных усилий (например, через создание проксирующего скрипта) требует интеграция в NGW других СУБД. Здесь важно лишь отметить, что задача по использованию различных серверных СУБД с NGW не является неразрешимой.
Рис. 3. Гибкая схема взаимодействия пользователей с геоданными СУБД PostgreSQL посредством трехуровневой архитектуры с использованием геосервера НекстГИС.
Права доступа, которые владелец БД хочет предоставить только конкретному пользователю/специальной группе, делегируются геосервером-агрегатором именно этому пользователю или их группе. Таким образом, с одной стороны, пользователи ресурса-агрегатора получают не просто список гиперссылок на различные наборы геоданных, но и единый интерфейс для доступа к ним. Но, с другой стороны, лежат эти данные не в одном месте, а удаленно — на серверах тех, кто эти геоданные создал, кто ими пользуется больше всего и кто больше всего заинтересован в их корректировке и поддержании в актуальном состоянии. Каждая БД при этом имеет ту структуру, которая необходима владельцу данных.
Пионеры в создании НИГИС, англичане, именно по пути агрегации метаданных пошли, например, при создании ресурса исторических карт (https://www.oldmapsonline.org). Для добавления на названный ресурс новых карт, где бы ни хранились их оригиналы и электронные копии, достаточно указать координаты по углам, URL веб-страницы на сервере архива, библиотеки или университета, где лежит само изображение, а также соблюсти ряд несложных технических требований агрегатора.
Итак, создание агрегатора метаданных избавляет от проблем, неизбежных для первого подхода. Для интеграции усилий сообщества он кажется принципиально более
перспективным. Главная же сложность в реализации данного подхода заключается в том, что специального решения требует хранение авторских геоданных таким образом, чтобы они были доступны остальным пользователям не только тогда, когда компьютер владельца подключен к интернету. И здесь действительно есть о чем подумать. В качестве оптимального решения предлагаю организацию геоданных в виде БД, хранящейся в облаке. Основные плюсы этого решения заключаются в круглосуточном доступе авторизованных пользователей к геоданным, гибкости политик предоставления прав (чтение, редактирование и т.д.), регулярном бэкапе данных на сервере, возможности коллективной работы с геоданными. Данное решение представляется эффективным не только применительно к пространственным данным, но и значительно шире - для любых БД.
Минусы не так значительны: от качества интернета (или локальной сети) зависит доступ к БД не только рядового пользователя, но и самого ее владельца. Кроме того, большинству владельцев геоданных, согласных открывать свои данные через агрегатор из «облака», придется освоить эту технологию работы с геоданными. Психологически это трудно примерно так же, как человеку, который нацелен всю жизнь писать на компьютере тексты, сложно научиться печатать десятипальцевым методом. По существу, однажды приобретенный навык будет приносить пользу всю последующую жизнь. Как видим, минусы этого решения тактические, а плюсы стратегические.
Передача копии геоданных от владельца к пользователю (в виде шейпов или любом другом формате) при таком подходе не исключается, но выступает как частный случай, наименее эффективный с точки зрения работы с геоданными заинтересованными сторонами. Ресурс-агрегатор также может стать площадкой для хранения таких файлов, но это не должно быть основной функцией агрегатора.
Таким образом, я считаю актуальным создание интернет-ресурса, администрирование которого будет включать, в первую очередь, прием метаданных различных серверов с геоданными (но еще, возможно, и БД непространственными - если сообщество проявит интерес к такому решению) и проверку соответствия этих геоданных некоторым базовым требованиям, которые обеспечивают совместимость. Сами же данные, отчужденные у их владельцев, тоже могут храниться на этой платформе, но лишь как компромиссное решение для удобства тех владельцев, кто не видит смысла участвовать в сообществе на базе основного решения. Иными словами, смысл интеграции должен заключаться не в том, чтобы собрать множество данных в одном месте и централизованно их потом раздавать («отдайте свои данные нам, потом приходите к нам за ними»). Современное развитие 1Т позволяет снять остроту проблемы дублирования данных — через агрегацию метаданных, позволяющую организовать центр доступа к самим данным без потери контроля над ними со стороны самих владельцев («дайте нам ссылки на свои данные и разрешите с ними работать»).
Другой вопрос - какой подход более актуальным считает заинтересованное сообщество. Методы исторической геоинформатики, как показывает опыт, имеют весьма ограниченное распространение в научной среде. Это определенная и небольшая ниша. Едва ли следует рассчитывать, что ситуация кардинально изменится в ближайшее время. Поэтому выбор между двумя путями интеграции геоданных невозможно сделать, не выяснив, насколько ныне существующее сообщество готово идти по первому или второму пути. И нужно ли ему это вообще - в настоящее время. Если нет - вопрос, поставленный здесь, ждет своего часа в будущем.
Библиография
1. Фролов А.А. Динамическая карта как основа исторической карты в среде ГИС // Историческая информатика. 2017. №2. С. 61 — 73.
2. Gregory I. N., Southall H. R. Spatial frameworks for historical censuses - the Great Britain Historical GIS. // Handbook of Historical Microdata for Population Research / Edited by. P. K. Hall, R. McCaa and G. Thorvaldsen. Minneapolis: Minnesota Population Center, 2000. P. 319-333.
3. Healey R. G., Stamp T. R. Historical GIS as a foundation for the analysis of regional economic growth: theoretical, methodological, and practical issues // Social Science History. Vol. 24. Issue 3. P. 575-612.
