CC BY
12УДК 004.75
РАСЧЕТ ВРЕМЕННОЙ ДОСТУПНОСТИ ДЛЯ ГЕОГРАФИЧЕСКИХ ОБЪЕКТОВ С ПОМОЩЬЮ СИСТЕМЫ РАСПРЕДЕЛЕННЫХ СЕРВИС-ОРИЕНТИРОВАННЫХ
ВЫЧИСЛЕНИЙ Фёдоров Роман Константинович
К.т.н., в.н.с., e-mail: idstu@icc.ru Шумилов Алексей Сергеевич
Аспирант, e-mail: idstu@icc.ru Федеральное государственное бюджетное учреждение науки Институт динамики систем и теории управления имени В.М. Матросова Сибирского отделения Российской Академии
наук, 664033, Иркутск, ул. Лермонтова, 134
Аннотация. В градостроительстве и при планировании городской инфраструктуры часто возникает задача расчета временной доступности для объектов образования, здравоохранения, и т. д. Существующие решения для расчета используют только данные дорожной сети, что негативно сказывается на точности расчета. Для решения рассматриваемой задачи в рамках данной работы разработаны специальные вычислительные сервисы, выполняющие непосредственный расчет и обрабатывающие необходимые для расчета входные данные. Пользовательский интерфейс и совместная работа сервисов организуется с помощью системы распределенных сервис-ориентированных вычислений в гетерогенной среде Геопортала ИДСТУ СО РАН. Разработанные сервисы, а также их композиция в виде сценария на языке JavaScript, могут использоваться для расчета временной доступности для произвольной области независимо от специфики самих объектов инфраструктуры.
Ключевые слова: распределенные вычисления, сервис-ориентированная среда, временная доступность, JavaScript, композиции сервисов
Введение. В современном мире информационных технологий с каждым годом увеличиваются объемы доступных данных, которые могут быть использованы для решения различного рода задач [10]. Растет количество алгоритмов, обрабатывающих эти данные.
В градостроительстве, при проектировании развивающихся городских территорий, часто возникает задача расчета временной доступности различных объектов инфраструктуры, например, объектов образования. Расчет временной доступности различных заведений важен при проектировании дорожной сети и расчете их пропускной способности, организации маршрутов публичного транспорта. Эта задача характерна как для застраиваемых территорий, так и для уже существующих районов застройки, подвергаемых реконструкции [2, 3].
В статье рассматривается задача расчета временной доступности объектов среднего образования в пределах города Иркутска. Для расчета временной доступности необходимо учитывать доступность с учетом использования дорожной сети и пешая доступность.
Следует учитывать естественные преграды, такие как водные объекты, и путепроводы, проходящие через них, например, мосты.
Среди программных инструментов, решающих задачи расчета временной доступности объектов с помощью инструментов анализа графов дорожной сети, стоит отметить программные пакеты pg_routing [8] и OSRM [6].
Pg_routing представляет собой библиотеку с открытым исходным кодом, интегрируемую с модулем PostGIS для СУБД PostgreSQL. Pg_routing осуществляет поиск кратчайшего пути в дорожной сети с помощью различных алгоритмов, в том числе и с учетом запрещенных поворотов, выполняет расчет дальности поездки. Данный программный пакет хорошо известен, но не способен учитывать пеший путь, так как работает с графами дорожной сети [11].
Программный пакет OSRM (Open Source Routing Machine) также является библиотекой с открытым исходным кодом, которая может быть реализована в виде сервиса с REST-интерфейсом. OSRM включает в себя инструменты как для нахождения кратчайших путей на основании данных о дорожной сети, так и расчета времени движения по отдельным дорожным участкам. Как и пакет pg_routing, OSRM не предоставляет возможностей по учету времени, затраченному на движение пешком [5].
Таким образом, необходимо разработать программное решение, учитывающее временную доступность как относительно дорожной сети, так и с учетом движения пешком.
Данная работа рассматривает решение обозначенной задачи с помощью разработанной в ИДСТУ СО РАН среды распределенных сервис-ориентированных вычислений [1]. Так как для решения задачи используется сервис-ориентированный подход, решение задачи требует разработки отдельных сервисов, решающих возникающие по мере решения задачи проблемы, с последующей организацией совместной работы сервисов в виде композиции сервисов, выполняющейся на нескольких вычислительных узлах локальной облачной инфраструктуры.
Среда выполнения композиций распределенных сервисов. Среда выполнения композиций распределенных сервисов - программная система, позволяющая организовывать совместное выполнение веб-сервисов в виде композиций, заданных в виде сценариев на языке программирования JavaScript. Среда интегрирована в Геопортал - программную веб-систему, разработанную в ИДСТУ СО РАН и предоставляющую инструменты для работы с геоинформационными данными. Основными компонентами среды являются:
• Веб-интерфейс задания композиций;
• Веб-интерфейс ввода параметров запускаемой композиций, её выполнения и
просмотра результатов работы;
• Диспетчер выполнения композиций сервисов.
Рассмотрим каждый компонент среды распределенных сервис-ориентированных вычислений применительно к задаче, решаемой в данной работе.
Веб-интерфейс задания композиций позволяет задавать композиции в виде сценариев на языке программирования JavaScript в специальной веб-форме, упрощающей и корректирующей данный процесс.
Перед заданием кода сценария пользователю необходимо определить входные и выходные параметры. В случае рассматриваемой задачи это будут векторные файлы с точечными объектами инфраструктуры в формате геоинформационных данных SHP. Вторым
параметром будет файл с указанием естественных границ (водные объекты) с линейными объектами в формате SHP. Третьим параметром является векторный файл с линейными объектами в формате SHP, содержащий объекты дорожной сети. Четвертым параметром является область производимого расчета (расчет производится для тех объектов инфраструктуры, которые попадают в выделенную область).
В качестве выходного параметра пользователь указывает папку, в которую необходимо сохранить результаты работы, которые должны быть загружены с удаленного сервера.
После определения входных и выходных параметров сценария пользователь задает код сценария композиции сервисов, представленный ниже в сокращенном виде. При задании кода сценария пользователь использует специальное текстовое поле с подсветкой синтаксиса языка и ему предоставляется список доступных для использования сервисов. function School_availability(input, mapping){
shp_to_geojson_converter({Sourse: input.schools},
{ ResultJSON: schools}); (1)
if (schools.get().length > 0) {
van parsedData = JSON.parse(schools.get()); fon (van i = 0; i < limit; i++) {
geojson_to_shp_converter({Sourse: pansedData[i]},
{ResultFile: shp[i]}); (2)
bufferize_vector({Sourse: shp [i], Buffer: 50}, {Result: buffered[i]}); (3)
road_analysis({Cities: buffered [i], Roads: input.roads}, {Result: resultValueStores[i]}); (4)
}
}
}
Всего в композиции используется четыре сервиса:
• shp_to_geojson_converter (сноска 1 в приведенном коде сценария) - сервис конвертирует SHP файл в формат GeoJSON. В рамках решаемой задачи данный сервис осуществляет преобразование входного файла с точечными объектами образовательной инфраструктуры в строку с данными формата GeoJSON. GeoJSON впоследствии преобразовывается в стандартный объект JavaScript;
• geojson_to_shp_converter (сноска 2) - сервис конвертирует данные в формате GeoJSON в SHP файл. Полученный в результате выполнения предыдущего сервиса объект, содержащий все объекты инфраструктуры, разбивается на отдельные объекты, и каждый из полученных объектов преобразовывается в SHP файл для дальнейшей работы;
• bufferize_vector (сноска 3) - сервис создает буферные зоны вокруг точечных объектов переданного SHP файла. Результаты выполнения предыдущего сервиса преобразовываются из точечных в полигональные с определенным радиусом буфера;
• гоа^апа1уБ1Б (сноска 4) - сервис выполняет анализ доступности точечных объектов на основании данных о дорожной сети и естественных границах. В качестве объектов, для которых необходимо выполнить анализ, используются результаты работы предыдущего сервиса. Результатом работы сервиса является регулярная сетка в растровом формате данных GeoTIFF, где в каждой ячейке содержится время достижения этой точки от определенного объекта образовательной инфраструктуры. Сервис гоа^апа1уБ1Б работает следующим образом: Шаг 1. Создание регулярной сетки в соответствии с заданным экстентом и размером ячейки. Всем ячейкам присваиваем значение, обозначающее необработанное состояние. Шаг 2. Растеризация полигональных объектов муниципальных образований. Всем ячейкам, находящимся внутри полигональных объектов, присваиваем значение 0.
Шаг 3. Растеризация дорожной сети. Производится трассировка всех полилиний и отмечаются все ячейки, через которые они проходят.
Шаг 4. Поиск всех ячеек дорожной сети, которые находятся по соседству с ячейками муниципальных образований. Они образуют множество точек старта оценки времени движения.
Шаг 5. Оценка времени движения по ячейкам дорожной сети, начиная с точек старта. Оценка производится на основе алгоритмов поиска пути в ширину на графах.
Шаг 6. Оценка оставшихся ячеек (доступных только пешим ходом). Для каждой оставшейся ячейки производится поиск ячейки с указанным временем пути в локальной области и производится оценка.
Шаг 7. Сохранение регулярной сетки в формате GeoTIFF.
Веб-интерфейс ввода параметров запускаемой композиции её выполнения и просмотра результатов работы. Для удобства работы с композициями сервисов разработан специальный интерфейс, имеющий три части:
1. Форма ввода входных параметров композиции - список входных параметров с соответствующими элементами ввода информации, определенными для каждого параметра. Например, входные параметры с файлами объектов образовательной инфраструктуры, дорог и естественных преград имеют элемент управления «Выбор файла», параметр области расчета имеет элемент управления «Выделение области на карте»;
2. Консоль выполнения композиции сервисов (доступно после запуска композиции) -отображение процесса выполнения композиции. Сервисная информация, которая отображается в данной консоли, включает в себя характеристики выполняющихся сервисов, результаты запросов к удаленным серверам, планы назначения сервисов на вычислительные узлы;
3. Отображение состояния выполнения композиции (доступно после запуска композиции) - отображение списка вычислительных узлов, их статуса и списка назначенных сервисов, либо графа зависимостей между вызовами сервисов по данным.
Диспетчер выполнения композиций сервисов принимает на вход код сценария, а также введенные пользователем параметры, и приступает к его выполнению. При выполнении сценария диспетчер:
1. Строит направленный ациклический граф зависимостей между вызовами сервисов по данным по мере выполнения сценария;
2. Выполняет планирование выполнения сервисов внутри сценария в соответствии с происходящими в распределенной среде изменениями;
3. Отслеживает состояние вычислительной среды и перестраивает расписание выполнения сценария при наступлении определенных событий.
Общепризнанным стандартом постановки задачи планирования композиции сервисов является определение зависимостей между заданиями с помощью направленного ациклического графа (Directed acyclic graph, DAG) [7, 9]. В таком графе вершинами являются вызовы сервисов, а ребрами являются зависимости между сервисами. Сервисы, которые имеют только выходящие дуги, называются входными сервисами, соответственно, те сервисы, которые имеют только входящие дуги, называются выходными (результирующими сервисами). В композиции может быть несколько как входных, так и выходных сервисов.
При выполнении композиций сервисов возникает задача планирования, то есть такого назначения вызовов сервисов композиции на вычислительные узлы таким образом, чтобы общее время выполнения композиции было минимальным. Для нахождения расписания, обеспечивающего приближенное время выполнения композиции заданий, используется модификация спискового эвристического алгоритма составления расписания HEFT (Heterogeneous Earliest Finish Time) [4], реализующего метод поиска в глубину. Особенностями алгоритма, служащими для ускорения нахождения приемлемого расписания, являются сортировка заданий, узлов и отсечение неперспективных ветвей графа поиска решения, использование информации о текущем состоянии вычислительной среды для более быстрого и точного нахождения расписания.
Среда распределенных сервисов является гетерогенной, то есть вычислительные узлы, на которых развернуты сервисы, имеют различные характеристики. Вычислительные узлы могут менять свою доступность, возможно изменение в сетевой инфраструктуре, обеспечивающей доступ к узлам. Таким образом, алгоритм построения расписаний выполнения заданий должен перестраивать ранее созданное и частично выполняющееся расписание при наступлении следующих событий:
1. Происходит добавление или удаление вычислительного узла - во время выполнения композиции вычислительные узлы могут выходить из строя и возвращаться в рабочее состояние. В случае выхода узла из строя все задания, выполняющиеся на нём, считаются еще не запущенными и снова ставятся в очередь на выполнение, в то же время все уже выполненные на отключившемся узле задания при планировании остаются на нём (при условии, что результаты выполнения заданий остаются доступными
2. Происходит добавление задания в DAG - во время выполнения композиции добавляются новые задания по мере интерпретации сценария композиции. Перестроение всего расписания происходит, когда добавляемое задание изменяет прежде рассчитанное время выполнения всего сценария. В случае, когда добавленный сервис при назначении на самый свободный узел не меняет общее время выполнения сценария, перестроение плана не происходит и производится запуск задания на выполнение.
3. Завершённое задание выполнялось меньше ожидаемого времени - если разница между фактическим и ожидаемым временем меньше значение L, то перестроение не производится, так как перестроение потребует больше времени, нежели получившийся по времени выполнения данного сервиса выигрыш.
4. Выполняющееся задание не закончилось в ожидаемый срок - происходит перестроение расписания с предположением, что время рассматриваемого задания становится t = (1 + d ) * c(t ) + L, где d - некоторая константа от 0 до 1.
5. Выполняющееся задание завершилось с ошибкой - если в текущем расписании на вычислительном узле после рассматриваемого задания назначены какие-либо другие задания, которые уже начали выполнение, то данное задание помечается как невыполненное. Копия задания добавляется в список заданий, ожидающих планирование, но с изменением в составе узлов, на которых оно может выполняться -узел, на котором оно завершилось с ошибкой, не учитывается при планировании рассматриваемого задания.
Расчет доступности образовательных учреждений. Для расчета доступности образовательных учреждений необходимо выполнить сценарий композиции сервисов, решающий данную задачу. Перед выполнением необходимо задать входные параметры. На рис. 1 показана форма ввода входных параметров сервиса.
• Параметр schools определяет, какую тему следует выбрать для файла с прецедентами. В рамках Геопортала темой называется реляционная таблица, для которой доступно редактирование через специализированный веб-интерфейс. В рассматриваемом случае в качестве темы указывается таблица, содержащая точечные объекты, соответствующие образовательным учреждениям. Тема при передаче в качестве входного параметра в сценарий преобразуется в файл в формате SHP встроенными средствами СУБД PostgreSQL. Количество объектов, для которых выполняется расчет, возможно ограничить, воспользовавшись инструментом выделения области на интерактивной карте. В рассматриваемом случае взяты пять школ, ограниченных прямоугольной областью на карте, представленной на рис. 2.
• Входные параметры barrier и roads являются файлами в формате SHP, содержавшие линейные объекты с объектами дорожной сети и естественных преград соответственно.
• Параметр extent определяет область, для которой выполняется расчет временной доступности объектов.
Результатом выполнения сценария является набор растровых файлов, соответствующих рассматриваемым объектам образовательной инфраструктуры. Полученные растровые файлы должны быть отображены на интерактивной веб-карте Геопортала.
Schoolavailability
Inputs
schools EXTENT:
Школы ' 0524 5'43"
В Use current theme filters Barrier 104°18'45" 1104 "2712"
/admin/road_availability/water.shp 0521809"
Open Roads save open
/admin/road_availability/roads.shp
Open
Рис. 1. Входные параметры сценария
Рис. 2. Выбор объектов на карте
На рис. 3 представлен автоматически создаваемый ациклический граф зависимости заданий по данным. DAG строится по мере выполнения сценария. Например, задание с идентификатором 1001 соответствует вызову функции shp_to_geojson_converter, результаты которой необходимы для запуска функции geojson_to_shp_converter в теле цикла. В теле цикла вызываются задания geojson_to_shp_converter, bufferize_vector, road_analysis, что соответствует последовательностям заданий 1002 - 1003 - 1004, 1005 - 1006 - 1007 и т. д.
Рис. 3. Направленный ациклический граф зависимости заданий по данным
По мере завершения сценария результаты расчета загружаются на Геопортал и визуализируются с помощью интерактивной веб-карты. На рис. 4 представлен скриншот демонстрации результатов расчета временной доступности для двух образовательных учреждений. С помощью инструментов по работе с интерактивной картой Геопортала ячейки отображаемых растровых файлов были окрашены в соответствии с попаданием их значений в интервалы 0-10 минут, 10-20 минут, и т.д. Стоит отметить, что на растровых файлах присутствуют пустые ячейки, которые соответствуют естественным преградам (водоемы).
Заключение. Задача расчета временной доступности на основании данных о дорожной сети и естественных преградах была решена. Для решения задачи потребовалась разработка соответствующих сервисов и организация их совместной работы с помощью задания композиции в виде сценария на языке программирования JavaScript. Разработанная композиция сервисов была выполнена в рамках распределённой гетерогенной среды. При выполнении композиции была апробирована устойчивость планирования выполнения композиций к изменениям, происходящим в гетерогенной среде. Решение задачи было полностью выполнено в рамках инфраструктуры Геопортала ИДСТУ СО РАН.
Работа выполнена при финансовой поддержке РФФИ, номер гранта 16-57-44034 Монг_а.
СПИСОК ЛИТЕРАТУРЫ
1. Фёдоров Р. К., Бычков И. В., Шумилов А. С., Ружников Г. М. Система планирования и выполнения композиций веб-сервисов в гетерогенной динамической среде // Вычислительные технологии. 2016. Т. 21. № 6. С. 18-35.
2. Cui, JX, Liu, F, Janssens, D, An, S, Wets, G, Cools, M Detecting urban road network accessibility problems using taxi GPS data // Journal of transport geography. 2016. Vol. 51. Pp. 147-157.
3. Gharbi, I. Road infrastructure and urban discontinuities: what remedies for a better accessibility in the context of the contemporary city-region? // Espaces-populations-societes. 2016. №. 2.
4. H. Zhao, R. Sakellariou. An Experimental Investigation into the Rank Function of the Heterogeneous Earliest Finish Time Scheduling Algorithm // Lecture Notes in Computer Science. 2003. Vol. 2790. Pp. 189-194.
5. Huber, S, Rust, C. Calculate travel time and distance with Open Street Map data using the Open Source Routing Machine (OSRM) // STATA journal. Vol. 16, Is. 2, 2016. Pp. 416423.
6. Open Source Routing Machine [Электронный ресурс] URL: http://project-osrm.org/ (дата обращения: 21.05.2017).
7. O. Sinnen. Task scheduling for parallel systems // Wiley-Interscience, 2007. Pp. 108.
8. D. Postgres Routing library [Электронный ресурс] URL: http://pgrouting.org/ (дата обращения: 20.05.2017).
9. S. Sachdeva, P.P. Rana. A Review of Multiprocessor Directed Acyclic Graph (DAG) Scheduling Algorithms // International Journal of Computer Science & Communication. 2015. Vol. 66. №. 11. С. 67-72.
10. Xu, CR, Han, Z, Zhang, YY, Zhang, L Special issue on big data computing, analytics and applications // Personal and ubiquitous computing. 2001. Vol. 21. №. 1. Pp. 14-35.
11. Zhang L., He X. Route Search Base on pgRouting // Software Engineering and Knowledge Engineering: Theory and Practice. Advances in Intelligent and Soft Computing. 2012. Vol. 115.
УДК 004.75
CALCULATION OF TIME ACCESSIBILTY FOR GEOGRAPHIC OBJECTS USING THE SYSTEM OF SERVICE-ORIENTED DISTRIBUTED COMPUTATIONS
Roman K. Fedorov
Ph. D., leading researcher, e-mail: idstu@icc.ru Alexander S. Shumilov
Postgraduate, e-mail: idstu@,icc.ru Matrosov Institute for System Dynamics and Control Theory of Siberian Branch of Russian Academy of Sciences, 664033, Irkutsk, Russia, Lermontov str., 134
Abstract. The problem of time accessibility calculation for various geographic objects constantly arises while planning the city infrastructure (schools, hospitals, etc.). Existing solutions do not take into account the pedestrian zones at calculation which has its negative influence on the calculation results. In order to solve the discussed problem in the scope of this work the special computational services were developed. The developed services carry out the actual computation and perform required data conversions. User interface and service composition is provided by the system of distributed service-oriented computations in heterogeneous environment of the ISDCT SB RAS Geoportal. Developed services, as well as theirs composition in the form of Java-Script scenario, can be used for the computation of time accessibility for arbitrary region independently of the specificity of infrastructure objects.
Keywords: distributed computations, service-oriented environment, time accessibility, JavaScript, service compositions
References
1. Fedorov R.K., Bychkov I.V., Shumilov A.S., Rugnikov G.M. Sistema planirovaniya i vyipolneniya kompozitsiy veb-servisov v geterogennoy dinamicheskoy srede [The system for service compositions planning and execution in the heterogeneous dynamic environment] // Computational technologies. 2016. V. 21. № 6. Pp. 18-35. (in Russian)
2. Cui, JX, Liu, F, Janssens, D, An, S, Wets, G, Cools, M Detecting urban road network accessibility problems using taxi GPS data // Journal of transport geography. 2016. Vol. 51. Pp. 147-157.
3. Gharbi, I. Road infrastructure and urban discontinuities: what remedies for a better accessibility in the context of the contemporary city-region? // Espaces-populations-societes. 2016. №. 2
4. H. Zhao, R. Sakellariou. An Experimental Investigation into the Rank Function of the Heterogeneous Earliest Finish Time Scheduling Algorithm // Lecture Notes in Computer Science. 2003. Vol. 2790. Pp. 189-194.
5. Huber, S, Rust, C. Calculate travel time and distance with Open Street Map data using the Open Source Routing Machine (OSRM) // STATA journal. 2016. Vol. 16. №. 2. Pp. 416423.
6. Open Source Routing Machine [Digital resource] URL: http://project-osrm.org/ (access date: 21.05.2017).
7. O. Sinnen. Task scheduling for parallel systems // Wiley-Interscience, 2007. Pp. 108.
8. D. Postgres Routing library [Digital resource] URL: http://pgrouting.org/ (access date: 20.05.2017).
9. S.Sachdeva, P. P.Rana. A Review of Multiprocessor Directed Acyclic Graph (DAG) Scheduling Algorithms // International Journal of Computer Science & Communication. 2015. Vol. 66. №. 11. C. 67-72.
10. Xu, CR, Han, Z, Zhang, YY, Zhang, L Special issue on big data computing, analytics and applications // Personal and ubiquitous computing. 2001. Vol. 21. №. 1. Pp. 14-35.
11. Zhang L., He X. Route Search Base on pgRouting // Software Engineering and Knowledge Engineering: Theory and Practice. Advances in Intelligent and Soft Computing. 2012. Vol. 115.
