CC BY
126
УДК 004.9 Дата подачи статьи: 12.12.17
DOI: 10.15827/0236-235X.031. 1.038-043 2018. Т. 31. № 1. С. 038-043
СИСТЕМА ГЕОДИНАМИЧЕСКОЙ SD-ВИЗУАЛИЗАЦИИ ВИРТУАЛЬНЫХ ТУРИСТИЧЕСКИХ МАРШРУТОВ
О.К. Головнин 1, к.т.н., доцент, [email protected] Н.Н. Кутовои 1, магистрант, [email protected]
1 Самарский национальный исследовательский университет им. академика С.П. Королева, Московское шоссе, 34, г. Самара, 443086, Россия
Представлена разработанная автоматизированная система построения и геодинамической визуализации виртуальных туристических маршрутов. Система предназначена для повышения эффективности процесса поддержки принятия решений при планировании туристического путешествия.
Маршрут в программной системе представляется в виде виртуального тура, содержащего эквидистантную проекцию панорамных видеозаписей с привязкой к координатам местности на электронной карте. Система обеспечивает динамическую 3D-визуализацию маршрута в веб-ориентированном приложении с архитектурой SaaS. В дополнение к туристическому динамическому видеомаршруту на электронной карте отображаются статические туристические (исторические) объекты, также привязанные к объектам карты и снабженные семантической характеристикой (текст, фото, ссылки на интернет-ресурсы, аудиозаписи).
Описаны концепция разработки логической модели системы на основе предметной области, общая структурная схема системы, примененные модули интерфейсов, инструменты подключаемых библиотек, используемые программные средства и алгоритмы функционирования. Взаимодействие с основными загруженными данными в системе происходит с помощью программных функций, реализованных на основе алгоритмов компьютерного зрения и обработки изображений с использованием библиотеки OpenCV. Система базируется на геоинформационной платформе ITSGIS и использует специализированное ПО WayMark для обработки исходных данных, получаемых с мобильных геовидео-лабораторий: навигационных координат, изображений и видеозаписей с нескольких камер.
Потенциальными потребителями системы должны стать не только многочисленные туристические организации, для решения непосредственных задач которых предназначен функционал системы, но и самостоятельно путешествующие частные лица. Разработанная система обеспечивает формирование и визуализацию виртуального туристического маршрута и повышает информационную мобильность туристов. В системе доступны функции поиска геови-деомаршрутов по критериям: минимальное время прохождения маршрута, количество точек интересных мест, минимальное или максимальное расстояние.
Ключевые слова: геовидеомаршрут, виртуальный тур, виртуализация туризма, панорамное изображение, геоинформационная система.
Автоматизированные системы построения маршрутов и навигации используются во многих отраслях, однако в последнее время автоматизация туристических процессов достигла невероятных высот: множество информационных систем предоставляют целый ряд инструментов, позволяющих планировать туристическую поездку до мельчайших деталей. Благодаря развитию веб-технологий виртуальной реальности появились совершенно новые пути развития в сфере туризма [1]. Наиболее значимые инновации привнесли системы, обеспечивающие просмотр виртуальных туров с помощью 3D-фотопанорам, привязанных к условному месторасположению. Альтернативой сложившемуся рынку информационных систем построения 3D-фотопанорам, внедряемых разработчиками для конкретных туристических фирм-заказчиков, может стать создание единой системы автоматизированного построения 3D-видеопанорам, построенных на основе геоинформационной системы (ГИС) с привязкой к координатам Земли [2].
Таким образом, цель данной работы - создание программной системы, предназначенной для построения и визуализации туристического панорам-
ного видеомаршрута (пешего или транспортного), привязанного к координатам, проложенного и отображенного на электронной карте в среде ГИС. Цифровое динамическое геопутешествие, основанное на технологиях обработки видеоизображений и построения 3D-панорам с применением веб-технологий, может быть доступно неограниченному числу пользователей за счет его реализации по модели 8аа8. Дополнением к туристическому динамическому видеомаршруту на электронной карте в ГИС могут отображаться статические туристические (например исторические) объекты, также привязанные к объектам карты и снабженные семантической характеристикой (текст, фото, ссылки на интернет-ресурсы, аудиозаписи).
Научная новизна заключается в разработке технологии эквидистантной проекции видеомаршрута с привязкой к координатам местности и динамической визуализации его в веб-ориентированном приложении с архитектурой 8аа8. Технология создания 3D-динамического геопутешествия опирается на пространственно-координированную модель, обеспечивающую построение 3D-панорам на основе видеозаписей и ГИС.
Рис. 1. Графические параметры исходных данных Fig. 1. Graphic parameters of initial data
Получение и обработка исходных данных
Основными данными для визуализации панорамного маршрута являются фотоизображения, видеофайлы, полученные с нескольких камер, и вР8-координаты съемки. Сбор данных осуществляется мобильной дорожной лабораторией, оборудованной шестью 1Р-камерами и 10 Гц вР8/ГЛОНАСС-приемником высокой точности [3]. Лаборатория может базироваться на автомобиле, летательном аппарате, велосипеде или ранце для пеших прогулок. Она позволяет выполнить цифровую непрерывную видеосъемку (25-60 кадров в секунду) населенного пункта и его окружения и осуществить привязку обнаруженных во время движения туристических объектов с помощью глобальной системы позиционирования.
Для обработки данных с дорожной лаборатории в разрабатываемой системе используется модуль WayMark ГИС ГТЗвК [3], реализующий координатную привязку и кодирование видеозаписей кодеком Х264 со стандартом сжатия Н.264 [4], при работе с которым обеспечиваются высокое качество и высокий коэффициент сжатия видеофайла. WayMark позволяет построить и графически отобразить зависимости различных параметров исходных данных (рис. 1).
В целях снижения нагрузки на центральный процессор для вывода видеофайлов на экран применена кроссплатформенная открытая графическая библиотека OpenGL. Чтение данных трека движения лаборатории выполняется в формате NMEA, где содержится каждая координатная точка маршрута [5].
Пространственно-координированная модель геовидеомаршрута
В процессе разработки системы геодинамической 3D-визуализации виртуальных туристических маршрутов построена логическая модель данных (рис. 2) в ErWin Data Modeler r7 [6].
Модель дает графическое представление о структуре предметной области: основным элементом является геовидеомаршрут, представляющий собой набор видео- или фотопанорам, привязанных к маршруту по координатам на электронной карте. Геовидеомаршрут может включать некоторое количество точек интересных туристических мест, которые задаются на карте с помощью координат, содержат текстовую информацию и собственные изображения.
Построение эквидистантной проекции осуществляется с использованием нейросетевых технологий. Используются нейронная сеть обратного
Пользователь Роль
1 PK 1 ^пользователя |"ЙТ| 1С_роли
6 Название роли
Видео
0 1С_видео
Название видео ,
0 1С_геовидеомаршрута
Изображение
0 ^изображения
Название изображения
Путь к изображению
Тип изображения
^_геовидеомаршрута
^_точки интересного места
Геовидеомаршрут
0 ^_геовидеома рш рута
Название
€ геовидеомаршрута
Текстовая
информация
< Расстояние
Минимальное время
прогулки
Точка интересного места
0 И_точки интересного места
Название точки
интереса
Текстовая
информация
0 №_геовидеомаршрута
0 1^координаты
Рис. 2. ER-модель данных системы Fig. 2. ER-model of the system data
Пароль
|вк| 1С_роли
распространения ошибки (backpropagation) и метод самоорганизации (self-organizing map), основанный на изменении структуры сети при решении задач выявления наборов независимых признаков и для поиска закономерностей в больших массивах данных.
Технология создания панорамных видеозаписей
В системе геодинамической 3D-визуализации виртуальных туристических маршрутов применен алгоритм, представленный на рисунке 3. Подход к реализации алгоритма основан на использовании платформы OpenCV, содержащей библиотеку ал-
горитмов компьютерного зрения и обработки изображений [7]. С помощью OpenCV реализован метод определения точек совпадения на изображениях и видеозаписях (шаги 1, 2) [8]. Исходные данные, помимо перекрытия, должны быть переданы без поворота относительно оптической оси [9]. Исключение неправильных сопоставлений (шаг 3) использует статистический аппарат RANSAC, встроенный в платформу OpenCV [10].
Если необходимые пары точек найдены, на четвертом шаге алгоритма применяется гомография для проективных преобразований систем координат [11, 12].
Шаг 1. Выбирается некоторое количество точек N.
1
Поиск особых точек
2
Описание особых точек
3
Оценка сопоставленных пар
4
Вычисление гомографии
5
Смешение
6
Построение панорамы
Рис. 3. Алгоритм построения панорамы Fig. 3. Algorithm of creating a panorama
Шаг 2. Случайным образом выбираются 4 совпадения.
Шаг 3. С помощью прямого линейного преобразования вычисляется томография H, подбира-
ются точки проекций от x до x' для каждой совпадающей пары x 'i = Hxi.
Шаг 4. Производится подсчет точек с проецируемой дистанцией меньше трех пикселей (t < 3), такие точки будут являться самыми точными.
Шаг 5. Процесс повторяется N раз, то есть пока не пройдут проверку все точки, затем выбирается томография H с наибольшим количеством точных точек.
Представим указанный алгоритм в виде программного кода (рис. 4).
Таким образом, одно и другое изображения располагают рядом друг с другом, а затем точки их совмещения смешиваются, образуя полноценное панорамное изображение (рис. 5).
Реализация и функционирование системы
Разработана структурная схема, представленная на рисунке 6. Система разделена по функциональному признаку на следующие подсистемы:
- подсистема взаимодействия, отвечающая за связи подсистем между собой;
- подсистема поиска маршрута, позволяющая осуществлять поиск загруженных маршрутов в БД
по различным критериям;
- подсистема работы с фото и видео, предоставляющая возможность загрузки видеофрагментов, фотографий, панорам и сохранения их в БД;
- подсистема настройки параметров карты, позволяющая изменять параметры подгруженной виртуальной карты;
- подсистема работы с картой, позволяющая загружать GPS-треки, фотографии и видеозаписи из БД;
- подсистема работы с БД, обеспечивающая хранение, модификацию данных, необходимых для функционирования системы;
- подсистема визуализации, обеспечивающая взаимодействие пользователя с системой в графическом виде.
Система реализована с использованием следующих инструментальных средств: Visual Studio 2015, система управления БД PostgreSQL, средство объектно-реляционного отображения NHibemate и система контроля версий исходного кода Mercurial. Раз-
private void Stitching(Bitmap ris1, Bitmap ris2) {
//основные переменные //особые точки private IntPoint[] points1; private IntPoint[] points2;
//отобранные точки
private IntPoint[] correlationPoints1; private IntPoint[] correlationPoints2;
//матрица гомографии private MatrixH homography;
//Ход алгоритма
//1: Определяется метод
CornersDetector x = new CornersDetector(); points1 = x.ProccessImage(ris1).ToArray(); points2 = x.ProccessImage(ris2).ToArray();
//2: Выбирается окно в девять пикселей CorrelationMatching match = new CorrelationMatching(9);
//3: Точки сопоставляются ( каждая с каждой )
IntPoint[][] matches = match.Match(ris1, ris2, points1, points2); CorrelationPoints1 = matches[0]; CorrelationPoints2 = matches[1];
//4-5: Определяется метод RANSAC; Точки оцениваются // Вычисляется матрица гомографии
RansacHomographyEstimator ransac = new RansacHomographyEstimator(); homography = ransac.Estimate(CorrelationPoints1, correlationPoints2); IntPoint[] l1 = correlationPoints1.Submatrix(ransac.inliers); IntPoint[] l2 = correlationPoints2.Submatrix(ransac.inliers);
//6: Первое изображение смешивается и преобразуется с помощью м. гомографии Blend blend = new Blend(homography, ris1);
//7: Второе изображение смешивается и преобразуется с помощью м. гомографии pictureBox.Image = blend.Apply(ris2);
}
Рис. 4. Функция сшивки двух изображений Fig. 4. The function of stitching two images
Рис. 5. Точки совмещения на изображениях Fig. 5. Matched points on images
работаны два варианта пользовательского интерфейса - настольное приложение и приложение для веб-браузера. Интерфейс реализован с помощью набора инструментов фреймворка Binifu User Interface, позволяющего создавать дизайнерские решения с помощью элементов, встроенных в базу библиотеки. Работа с электронной картой осуществляется посредством библиотеки GMap.NET
[13]. Просмотр панорам в системе выполняется при помощи встроенного плеера VLC media player, который поддерживает видеофайлы со сжатием Н.264, что необходимо для проигрывания видеозаписей, привязанных к маршрутам, в максимальном качестве [4].
В системе реализованы два режима пользователя. В режиме «Турист» доступен функционал системы по просмотру загруженных геовидеомарш-рутов, ограничены возможности редактирования исходных данных (рис. 7). В режиме «Менеджер» пользователю предоставляются функции, позволяющие создавать виртуальные маршруты для туристов и загружать их в общую БД.
Для нахождения маршрутов, добавленных в систему, реализован поиск с учетом различных критериев: минимальное время прохождения маршрута, количество точек интересных мест на маршруте, минимальное или максимальное расстояние [14].
Заключение
Ожидается, что разработанная автоматизированная система построения и геодинамической 3Б-визуализации виртуальных туристических маршрутов поможет заранее выбрать наиболее интересные места для посещения во время путешествия с учетом ограниченного запаса времени. Существует первая версия системы 3D-геодинами-ческой визуализации геопутешествий, которая прошла апробацию при построении туристических маршрутов. В дальнейшем планируется адаптировать систему под мобильные устройства и планшеты, а также провести выбор и реализацию наиболее подходящего метода самообучения нейронной сети для построения эквидистантной проекции.
Потенциальными потребителями системы должны стать не только многочисленные туристические организации, для решения непосредственных задач которых предназначен функционал системы, но и самостоятельно путешествующие частные лица. Реализуемая архитектура системы позволит использовать его в качестве решения для конечного заказчика, что может быть также востребовано для крупных туристических организаций, предпочитающих владение системой, а не пользование услугами.
Литература
1. Guttentag D.A. Virtual reality: Applications and implications for tourism. Tourism Management, 2010, vol. 31, no. 5, pp. 637-651.
2. Anguelov D. [et al]. Google street view: Capturing the world at street level. Computer systems introduction, 2010, vol. 43, no. 6, pp. 32-38.
P ©
Okl Samara
Рис. 7. Просмотр геовидеомаршрута в системе Fig. 7. Viewing a geo video route in the system
Рис. 6. Структурная схема системы Fig. 6. System block diagram
3. Михеева Т.И., Ключников В.А., Головины О.К. Методы и алгоритмы экспертизы объектов транспортной инфраструктуры // Современные проблемы науки и образования. 2014. № 6. URL: www.science-education.ru/120-16656 (дата обращения: 11.12.2017).
4. Sendrei L., Valiska J., Marchevsky S.H. 264 video transmission over wlan in opnet modeler. Journal of Electrical Engineering, 2013, vol. 64, no. 2, pp. 112-117.
5. Хомяков Э.Н., Медведев В.Н. Статистическая аттестация оценок координат неподвижной аппаратуры потребителя GPS, ГЛОНАСС по наблюдениям в формате nmea-0183 // Си-стеми управлшня, навшацп та зв'язку. 2013. N° 3. С. 7-13.
6. Burbank D., Hoberman S. Data Modeling Made Simple with CA ERwin Data Modeler R8. Technics Publications, 2011, pp. 1-45.
7. Pulli K. Real-time computer vision with OpenCV. Communications of the ACM, 2012, vol. 55, no. 6, pp. 61-69.
8. Пастушков А.В., Калайда В.Т. Методы и алгоритмы поиска объекта на видеопотоке // Сб. науч. тр. SWorld. 2013. Т. 6. Вып. 3. С. 38-42.
9. Ермаков С.Н., Бугаков А.И., Зеленко Л.С., Голов-нин О.К. Автоматизированная система формирования облака
особых точек видеозаписей // ИТ & Транспорт: сб. науч. стат. Самара: Интелтранс, 2015. Т. 4. С. 123-132.
10. Chen F., Wang R. Fast RANSAC with preview model parameters evaluation. Ruan Jian Xue Bao, 2011, vol. 16, no. 8, pp. 143-173.
11. Ефимов А.И., Новиков А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений // Компьютерная оптика. 2016. Т. 40. Вып. 2. C. 258-265.
12. Wu F., Fang X. An improved RANSAC homography algorithm for feature based image mosaic Proc. 7th WSEAS Intern. Conf. on Signal Processing, Computational Geometry & Artificial Vision. World Scientific and Engineering Academy and Society, 2013, pp. 202-207.
13. Kim D. [et al]. Real-time ambulance location monitoring using GPS and maps open API. Engineering in Medicine and Biology Society. Proc. 30th Annual Intern. Conf. IEEE, 2011, pp. 1561-1563.
14. Кутовой Н.Н., Головнин О.К. Обеспечение инфомобиль-ности туристов путем построения системы визуализации виртуальных геовидеомаршрутов // Актуальные проблемы автотранспортного комплекса: Межвуз. сб. науч. стат. 2017. С. 102-109.
Software & Systems Received 12.12.17
DOI: 10.15827/0236-235X.031. 1.038-043 2018, vol. 31, no. 1, pp. 038-043
SYSTEM OF GEODYNAMIC 3D-VISUALIZATION OF VIRTUAL TOURIST ROUTES
O.K. Golovnin l, Ph.D (Engineering), Associate Professor, [email protected] N.N. Kutovoy l, Graduate Student, [email protected]
1 Samara National Research University, Moskovskoe Highway 34, Samara, 443086, Russian Federation
Abstract. The paper presents a developed automated system for construction and geodynamic visualization of virtual tourist routes. The system is designed to increase the effectiveness of the decision support process when planning a tourist trip.
The route in the software system is presented as a virtual tour containing an equidistant projection of panoramic video records with reference to the terrain coordinates on an electronic map. The system provides dynamic 3D-visualization of a route in a web-oriented application with the SaaS architecture. The addition to the tourist dynamic video route on an electronic map displays static tourist (historical) objects, also attached to map objects and equipped with a semantic characteristic (text, photos, links to Internet resources, audio recordings).
The paper describes the concept of development of a system logical model based on a domain, a general structural system scheme, applied interface modules, tools of connected libraries, software tools and algorithms of functioning. Interaction with the main loaded data in the system occurs using software functions implemented based on computer vision algorithms and image processing using the OpenCV library. The system is based on the ITSGIS geoinformation platform and uses the specialized WayMark software to process the initial data received from mobile geo video laboratories: navigation coordinates, images and video from several cameras.
The functionality of the system solves direct tasks of numerous tourist organizations. However, potential consumers of the system should be not only them, but also individuals who travel independently. The developed system provides the formation and visualization of a virtual tourist route and enhances the information mobility of tourists. The system provides search functions for geo video routes according to the following criteria: a minimum route time, a number of points of interest, a minimum or maximum distance.
Keywords: geo video route, virtual tour, tourism virtualization, panoramic image, geoinformation system.
References
1. Guttentag D.A. Virtual reality: Applications and implications for tourism. Tourism Management. 2010, vol. 31, no. 5, pp. 637-651.
2. Anguelov D., Dulong C., Filip D., Frueh Ch., Lafon S., Lyon R., Ogale A., Vincent L., Weaver J. Google street view: Capturing the world at street level. Computer Systems Introduction. 2010, vol. 43, no. 6, pp. 32-38.
3. Mikheeva T.I., Klyuchnikov V.A., Golovnin O.K. Methods and procedures of transport infrastructure survey. Sovremennye problemy nauki i obrazovaniya [Modern Problems of Science and Education]. 2014, no. 6. Available at: www.science-education.ru/120-16656 (accessed December 11, 2017).
4. Sendrei L., Valiska J., Marchevsky S.H. 264 video transmission over wlan in opnet modeler. Jour. of Electrical Engineering. 2013, vol. 64, no. 2, pp. 112-117.
5. Khomyakov E.N., Medvedev V.N. Statistical appraisal of estimates of the coordinates of the fixed equipment of the GPS, GLONASS user by observations in the format nmea-0183. Systems of Control, Navigation and Communication. 2013, no. 3, pp. 7-13 (in Ukr.).
6. Burbank D., Hoberman S. Data modeling made simple with CA ERwin Data Modeler R8. Technics Publications. 2011, pp. 1-45.
7. Pulli K. Real-time computer vision with OpenCV. Comm. of the ACM. 2012, vol. 55, no. 6, pp. 61-69.
8. Pastushkov A.V., Kalayda V.T. Methods and algorithms for searching an object on a video stream. SWorld. 2013, vol. 6, pp. 38-42 (in Russ.).
9. Ermakov S.N., Bugakov A.I., Zelenko L.S., Golovnin O.K. Automated system of cloud formation of special points of video recordings. IT & Transport. Samara, 2015, vol. 4, pp. 123-132 (in Russ.).
10. Chen F., Wang R. Fast RANSAC with preview model parameters evaluation. Ruan Jian Xue Bao (Jour. of Software). 2011, vol. 16, no. 8, pp. 143-173.
11. Efimov A.I., Novikov A.I. An algorithm for multistage projective transformation adjustment for image superimposition. Komputernaya optika [Computer Optics]. 2016, vol. 40, pp. 258-265 (in Russ.).
12. Wu F., Fang X. An improved RANSAC homography algorithm for feature based image mosaic. Proc. 7th WSEAS Int. Conf. on Signal Processing, Computational Geometry & Artificial Vision. World Scientific and Engineering Academy and Society, 2013, pp. 202-207.
13. Kim J., Kim D., Choa M., Yoo SK. Real-time ambulance location monitoring using GPS and maps open API. Engineering in Medicine and Biology Society. IEEE Proc. 30th Annual Int. Conf. 2011, pp. 1561-1563.
14. Kutovoy N.N., Golovnin O.K. Providing information for tourists by building a visualization system for virtual geo video routes. Aktualnyeproblemy avtotransportnogokompleksa:Mezhvuz. sb. nauch. stat. [Actual Problems of Motor Transport Complex]. Samara, 2017, pp. 102-109 (in Russ.).
