CC BY
123
А.С. Луневич, И.А. Зорин
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПОИСКА ИНФОРМАЦИИ
О ДОСТОПРИМЕЧАТЕЛЬНОСТЯХ НА ОСНОВЕ ТЕХНОЛОГИЙ РАСПОЗНАВАНИЯ ОБРАЗОВ
Рассмотрено использование технологий компьютерного зрения для создания программного продукта, позволяющего осуществлять поиск информации о достопримечательностях по изображению, также рассмотрена актуальность данной разработки. Программный продукт представляет собой приложение, разработанное на мобильное устройство на платформе Android с доступом к сети Internet и позволяющее автоматически осуществлять поиск по изображению. Реализация такого продукта осуществляется с использованием сторонних API, таких как Google Search by Image API, Google Maps API и Wikipedia API. Логика работы программы представляет собой следующее: пользователь загружает фотографию в приложение с помощью стандартного приложения «Камера» или же из галереи фотографий пользователя, после этого посредством сервиса Google осуществляется распознавание изображения. Если поиск не дал результатов, то на основе геолокационных данных пользователя программа с помощью Google Maps отобразит ближайшие к пользователю памятники в определенном радиусе. Затем выполняется поиск информации в интернет-энциклопедии Wikipedia и пользователь может просмотреть найденную информацию. Ключевые слова: распознавание изображений, туризм, достопримечательности, активный отдых, фотография, мобильное приложение, поиск информации, компьютерное зрение.
В настоящее время одной из важнейших отраслей экономики многих государств является туризм [1, 2], предоставляющий множество видов развлечений и отдыха. Важной частью культурного наследия разных стран являются работы архитекторов. Для того, чтобы узнать информацию о какой-либо достопримечательности, существует несколько путей решения:
1. нанять гида или заказать экскурсию;
2. купить путеводитель;
3. найти информацию в сети Internet.
ISSN 0236-1493. Горный информационно-аналитический бюллетень. 2016. № 10. С. 409-416. © 2016. А.С. Луневич, И.А. Зорин.
Экскурсии в настоящее время дорогостоящие [3], а путеводитель не всегда располагает необходимой информацией. Для поиска информации в сети нужно в первую очередь найти по фотографии, какой именно памятник изображен, а в дальнейшем найти подробную информацию вручную, что является длительным и неудобным для человека процессом. Решением указанной проблемы может послужить разработка программного продукта, позволяющего автоматически осуществлять поиск по изображению.
В рамках проекта поставлена задача автоматизировать и сделать удобным для пользователя поиск информации по достопримечательности, сфотографированной им на мобильное устройство. Для этого необходимо разработать программный продукт, предназначенный для поиска и просмотра информации о памятниках культуры и представляющий собой приложение на платформе Android с доступом к сети Internet.
Данная разработка актуальна по следующим причинам:
• По данным фонда «Общественное мнение» 39% россиян никогда не были в турпоездке на родине [4] можно сделать вывод, что направление новое и малоосвоенное.
• Правительство России заинтересовано в развитии внутреннего и въездного туризма [5], поэтому стоит уделить внимание малоизвестным туристическим объектам и памятникам архитектуры именно на территории России.
• Так как в путешествие люди в основном берут только мобильные телефоны, то целесообразным является разработка
БД wlklpeda
Рис. 1. Диаграмма Use Case 410
приложений в области туризма именно на мобильных платформах. Согласно данным J'son & Partners Consulting, по итогам 1 квартала 2014 г. доля смартфонов в общем российском рынке мобильных терминалов достигла 57%. Аналогичный показатель в среднем в мире пока еще чуть выше и составляет 63% [6].
• По статистике, предоставленной исследовательской компанией IDC о ситуации на мировом рынке смартфонов за четвертый квартал 2013 г., а продажи аппаратов на Android занимает 80%, а за 2013 г. было продано около 800 миллионов устройств на этой операционной системе. Только за 2014 г. было реализовано более миллиарда смартфонов [7].
Остановимся подробнее на взаимодействии пользователя с программным продуктом. Функциональные требования к структуре и логике работы программы представлены на диаграмме Use Case (рис. 1).
Приложение должно обеспечивать перечисленные ниже возможности:
1. Загружать фотографии в приложение из галереи пользователя.
2. Фотографировать достопримечательность в приложении.
3. Дополнение информации пользователем в случае, если пользователь знает название достопримечательности.
4. Нахождение памятника при помощи геолокации в случае, если пользователь находится рядом с ним.
Для визуализации основного принципа работы программного продукта на уровне методов классов были построена диаграмма Sequence (рис. 2).
Рис. 2. Диаграмма Sequence
Рис. 3. Диаграмма WAE
Для реализации программы использовались следующие методы:
• Start() — метод, выполняющий загрузку фотографии в приложение;
• PhotoSearch() — метод, осуществляющий поиск информации по фотографии;
• IsInfoFound() — метод, выполняющий проверку на случай, если поиск не дал результатов, и если данных нет, то запускает метод Geosearch();
• Geosearch() — метод, осуществляющий поиск ближайших к пользователю памятников;
• SearchAllInfo() — метод, запрашивающий подробной информации о достопримечательности;
• Show() — метод, отображающий необходимую информацию.
На основе этих методов осуществляется работа скриптов,
изображенных на диаграмме WAE (рис. 3).
Следует отметить, что в окне выбора действия нет каких-либо полей для заполнения, пользователю предложено либо загрузить фото, либо сделать фотографию.
Используемые программные средства должны быть представлены лицензионной версией OC Windows и Android. Среда разработки программы — Android Studio. Код программы должен быть реализован на языке Java. Приложение должно корректно отображаться на мобильных устройствах с различными диагоналями экрана.
Для организации поиска информации используется технология компьютерного зрения, обеспечивающая возможность
Рис. 4. Диаграмма Activity
получения информации [8]. Распознавание изображения осуществляется с использованием сверточной нейронной сети [9]. Сверточная нейронная сеть — специальная архитектура искусственных нейронных сетей, нацеленная на эффективное распознавание изображений и состоящая из многослойных пер-септронов [10].
Для отражения логики работы программного продукта была разработана диаграмма Activity (рис. 4).
Логику работы программы можно разделить на несколько этапов:
1. Загрузка фотографии в приложение. Можно осуществить как при помощи стандартного приложения «Камера», установленного на мобильное устройство пользователя, так и с помощью галереи изображений. Фотография возвращается в приложение в виде объекта Bitmap, который содержит данные элементов отображения (пикселей).
2. Поиск названия памятника. Осуществляется с помощью технологии распознавания на основе сверточной сети компании Google. Приложение передает фото в формате Bitmap, google-поиск возвращает информацию. В случае, если поиск по изображению не даст результатов, используется Google Maps API [11], который на основе геолокационных данных пользова-
теля отобразит достопримечательности в определенном радиусе [12].
3. Поиск подробной информации. Данный этап включает в себя работу с Wikipedia API. Приложение отправляет название памятника, а сервис Wikipedia возвращает данные в текстовом формате json. Программа обрабатывает информацию и выдает пользователю.
В результате в рамках данного проекта было разработано приложение, в котором поиск достопримечательностей по изображению осуществляется автоматически. Программный продукт обладает необходимым функционалом, а именно:
1. загрузка фото в приложение из галереи пользователя;
2. фотографировать достопримечательность в приложении;
3. возможность нахождения памятника с помощью фотографии и геолокации.
Преимущество использования приложения в том, что пользователю нужно только загрузить фотографию, что занимает гораздо меньше времени. Приложение осуществляет обработку фотографии и выдает информацию внутри приложения, что делает его удобнее аналогов, которые выполняют поставленную задачу с использованием браузера телефона.
СПИСОК ЛИТЕРАТУРЫ
1. Рынок международного туризма: основные тенденции. URL: http://xn--b1ae2adf4f.xn--p1ai/analytics/research/7035-turizm.html (дата обращения: 11.11.2015).
2. Stabler M. J. et al. The economics of tourism. — Routledge, 2009.
3. Зарубежные туры подорожали до 30 % из-за скачка валюты. URL: http://ngs24.ru/news/1706028/view/ (дата обращения: 20.2.2016).
4. Внутренний туризм: опрос ФОМ. URL: http://fom.ru/Mir/10027 (дата обращения: 17.11.2015).
5. Реализация ФЦП «Развитие внутреннего и въездного туризма в Российской Федерации (2011—2018 годы)» в 2015 году. URL: http:// www.russiatourism.ru/content/2/section/28/detail/5672/ (дата обращения: 31.10.2015).
6. Российский рынок смартфонов, 2012—2018 гг. URL: http://json. tv/ict_telecom_analytics_view/rossiyskiy-rynok-smartfonov-2012—2018-gg (дата обращения: 31.10.2015).
7. Android increases lead over iOS in Q4 to 78% of smartphone market w/ 226m units shipped URL: http://9to5google.com/2014/02/12/android-increases-lead-over-ios-in-q4-to-78-of-smartphone-market-w-226m-units-shipped/ (дата обращения: 07.11.2015).
8. Hartley R., Zisserman A. Multiple view geometry in computer vision. — Cambridge university press, 2003, c. 657.
9. Дорогой Я. Ю. Архитектура обобщенных сверточных нейронных сетей // Вестник Национального техничного университета Украины. — 2011. - №. 54. - С. 229-234.
10. Zhang Z. et al. Comparison between geometry-based and gabor-wavelets-based facial expression recognition using multi-layer perceptron // Automatic Face and Gesture Recognition, 1998. Proceedings. Third IEEE International Conference on. - IEEE, 1998. - С. 454-459.
11. Svennerberg G. Beginning Google Maps API 3. - Apress, 2010.
12. Луневич А. С., Зорин И. А. Проектирование программного обеспечения поиска информации о достопримечательностях по изображению // Нейрокомпьютеры и их применение: межвуз. науч.-практ. конф. - М., 2016. - С. 116. [¡233
КОРОТКО ОБ АВТОРАХ
Луневич А.С.1 - студент, e-mail: [email protected],
Зорин И.А} - старший преподаватель, e-mail: [email protected], 1 НИТУ «МИСиС».
Gornyy informatsionno-analiticheskiy byulleten'. 2016. No. 10, pp. 409-416.
A.S. Lunevich, I.A. Zorin
SOFTWARE SEARCH SIGHTSEEING INFORMATION BASED ON RECOGNITION TECHNOLOGY
This article explains how to use computer vision technology to create software that allows to search information about the sights in the image, also considered the relevance of the development.
The software product is an application developed on the mobile device on the Android platform with access to the Internet and allows to automatically search for the image. The implementation of product is carried out using a third-party API, such as Google Search by Image API, Google Maps API and Wikipedia API.
The logic of the program is as follows: the user to upload photos to the application using the «Camera» standard application, or from the gallery of user photos, then through the Google service performed image recognition. If the search has no results, then based on user's geo-location data program using Google Maps will display next to the user to sites within a certain radius. Then, the search for information in the Wikipedia online encyclopedia and the user can view the information found.
Key words: image recognition, tourism, sightseeing, leisure, photography, mobile application, information retrieval, computer vision.
AUTHORS
Lunevich A.S.1, Student, e-mail: [email protected], Zorin I.A.1, Senior Lecturer, e-mail: [email protected],
1 National University of Science and Technology «MISiS», 119049, Moscow, Russia.
UDC 004.932; 025.4.03; 338.48; 339:002; 658.6:002; 658.8:002.
REFERENCES
1. Rynok mezhdunarodnogo turizma: osnovnye tendentsii. URL: http://xn--b1ae2adf4f. xn--p1ai/analytics/research/7035-turizm.html (accessed: 11.11.2015).
2. Stabler M. J. The economics of tourism. Routledge, 2009.
3. Zarubezhnye tury podorozhali do 30% iz-za skachka valyuty. URL: http://ngs24.ru/ news/1706028/view/ (accessed: 20.2.2016).
4. Vnutrenniy turizm: opros FOM. URL: http://fom.ru/Mir/10027 (accessed: 17.11.2015).
5. Realizatsiya FTsP «Razvitie vnutrennego i v"ezdnogo turizma v Rossiyskoy Federatsii (2011—2018gody)» v 2015 godu. URL: http://www.russiatourism.ru/content/2/section/28/ detail/5672/ (accessed: 31.10.2015).
6. Rossiyskiy rynok smartfonov, 2012—2018gg. URL: http://json.tv/ict_telecom_ana-lytics_view/rossiyskiy-rynok-smartfonov-2012—2018-gg (accessed: 31.10.2015).
7. Android increases lead over iOS in Q4 to 78% of smartphone market w/ 226 m units shipped URL: http://9to5google.com/2014/02/12/android-increases-lead-over-ios-in-q4-to-78-of-smartphone-market-w-226m-units-shipped/ (accessed: 07.11.2015).
8. Hartley R., Zisserman A. Multiple view geometry in computer vision. Cambridge university press, 2003, p. 657.
9. Dorogoy Ya. Yu. Vestnik Natsional'nogo tekhnichnogo universiteta Ukrainy. 2011, no 54, pp. 229-234.
10. Zhang Z. Automatic Face and Gesture Recognition, 1998. Proceedings. Third IEEE International Conference on. IEEE, 1998, pp. 454-459.
11. Svennerberg G. Beginning Google Maps API3. Apress, 2010.
12. Lunevich A. S., Zorin I. A. Neyrokomp'yutery i ikh primenenie: mezhvuz. nauch.-prakt. konf. (Neurocomputers and their application: interuniver. scient. and pract. conf.), Moscow, 2016, pp. 116.
Д
I ГОМЕОСТАТИКА ПРОТИВ СХОЛАСТИКИ
НЕКОТОРЫЕ ТИПОВЫЕ ЗАДАЧИ,
РЕШАЕМЫЕ ГОМЕОСТАТИЧЕСКИМИ МЕТОДАМИ
Гомеостазис — эффективное оружие цивилизованного общества для регулирования стабильного развития и предотвращения эксцессов. Гомеостатиче-ские модели позволяют адаптировать хаотические системы к упорядоченному состоянию.
а) Простейшие гомеостатические задачи
— «Ванька-встанька». Центр тяжести игрушки располагается как можно ниже, сложно только обеспечить свободное перемещение по всем направлениям. Задача решена сотни лет назад.
— Остойчивость судна (морского и речного). Здесь тоже нужно расположить центр тяжести ниже ватерлинии, чтобы судно как можно быстрее восстанавливало вертикальное положение. Расчеты учитывают воздействие сил, направленных на переворот судна. Учитываются волны, ветер, неумелые действия экипажа и пассажиров.
Продолжение следует
