CC BY
56
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/ Том 8, №5 (2016) http ://naukovedenie. ru/index.php?p=vol8-5 URL статьи: http://naukovedenie.ru/PDF/11TVN516.pdf Статья опубликована 13.09.2016. Ссылка для цитирования этой статьи:
Кочкин А.А., Калашников С.Н., Красноперов С.Ю. Сценарий взаимодействия в программных образовательных ресурсах с интерфейсом дополненной реальности // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 8, №5 (2016) http://naukovedenie.ru/PDF/11TVN516.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
УДК 004.422.81
Кочкин Артём Александрович
ФГБОУ ВПО «Сибирский государственный индустриальный университет», Россия, Новокузнецк
Аспирант E-mail: kolipass@mail.ru РИНЦ: http://elibrary.ru/author items.asp?authorid=777915
Калашников Сергей Николаевич
ФГБОУ ВПО «Сибирский государственный индустриальный университет», Россия, Новокузнецк Профессор кафедры «Прикладных информационных технологий и программирования»
Доктор технических наук, доцент E-mail: grafstvo@mail.ru РИНЦ: http://elibrary.ru/author items.asp?authorid=335383
Красноперов Сергей Юрьевич
ФГБОУ ВПО «Сибирский государственный индустриальный университет», Россия, Новокузнецк Доцент кафедры «Прикладных информационных технологий и программирования»
Кандидат технических наук E-mail: sergeyKrasn@gmail.com РИНЦ: http://elibrary.ru/author items.asp?authorid=355975
Сценарий взаимодействия в программных образовательных ресурсах с интерфейсом дополненной реальности
Аннотация. Развитие современных пользовательских интерфейсов привело к появлению интерфейса дополненной реальности. Использование дополненной реальности позволило предоставлять информацию на основе окружающих условий пользователя: в зависимости от географического места, в зависимости от доступных для анализа визуальных образов.
Несмотря на стремительно растущую популярность дополненной реальности, использование данной технологии в тренажёрно-обучающих системах пока ещё распространено недостаточно широко.
В научной литературе освещены методики по развитию пространственного мышления, но они, как правило, не описывают возможности использования дополненной реальности.
В данном материале описан возможный сценарий взаимодействия пользователя с интерфейсом дополненной реальности программного образовательного ресурса (тренажёра)
1 654007, Кемеровская область, г. Новокузнецк, ул. Кирова, д. 42 1
по развитию навыков пространственного мышления. Для реализации такого тренажёра требуется проработка сценариев взаимодействия конечных пользователей с тренажёром в зависимости от роли пользователя (обучаемый или преподаватель). Так же требуется уделить внимание техническим деталям реализации, которые могут повлиять на сценарий взаимодействия. Например, возможны различные подходы для реализации ограничения доступа к данным, каждый из которых имеет свои шаги в пользовательском сценарии.
Представленный сценарий может использоваться при разработке аналогичных систем и информационно-образовательных ресурсов.
Ключевые слова: дополненная реальность; тренажёр пространственного мышления; сценарии взаимодействия; образовательные ресурсы; дистанционное образование; пользовательский интерфейс; Metaio; клиент-серверные системы
Одной из перспективных технологий современных пользовательских интерфейсов является дополненная реальность (ДР).
Дополненная реальность — это новый способ получения доступа к данным: как в свое время интернет сделал информацию более контекстно-зависимой (пользователю предлагается информация на основе просмотренной им информации), так дополненная реальность сделала информацию определяемой окружающими условиями (пользователю предлагается информация на основе данных о внешнем мире, таких как геокоординаты, визуальные образы объектов). Дополненная реальность позволяет решать широкий спектр задач, предоставляя новый удобный интерфейс взаимодействия с пользователем.
Сфера применения дополненной реальности достаточно широка: образование [1], обучение, туризм, развлечение, навигация, вооружение и так далее. Это способствует стремительному росту популярности дополненной реальности как в мире в целом, так и в России [2]. Так, например, в 2015 году состоялось первое заседание Ассоциации дополненной и виртуальной реальности в России (http://sk.ru/events/2623.aspx).
Как и любой другой пользовательский интерфейс, дополненная реальность не может существовать без источников данных и механизмов манипуляции ими. То есть предполагается использование клиент-серверного взаимодействия [3]. Для этих целей имеет смысл использовать комплексные платформы дополненной реальности: клиент-серверные системы, где клиентское приложение использует реализацию пользовательского интерфейса ДР, а серверный программный продукт предоставляет клиентскому приложению данные для отображения в интерфейсе ДР. Возможны реализации сложных структур, когда за данными для ДР клиентское приложение обращается к разным серверам. Такой подход оправдан при разработке высоконагруженных многопользовательских систем с критичным временем отклика.
Платформа дополненной реальности недостаточно широко используется, хотя имеет большой потенциал, особенно в сфере программных образовательных ресурсов, так как обладает эффектом новизны и позволяет привлечь дополнительное внимание к образовательному материалу со стороны обучающихся. Тем не менее, следует отметить, что пользовательский интерфейс дополненной реальности достаточно сложно интегрируется в образовательный процесс из-за уклона на игровую (развлекательную) составляющую, но отлично подходит как вспомогательный механизм, например, как тренажёр для развития навыков пространственного мышления. Недостаточный уровень развития навыков пространственного мышления проявляется в затруднении корректно воспринимать плоский чертёж определённых пространственных (объемных) фигур [4].
Основная идея данных тренажёров состоит в том, чтобы помочь обучающемуся понять структуру объемных объектов (фигур). Например, многие среды моделирования (как визуального 3d-моделирования, так и математического моделирования) предоставляют возможность просмотра объемной фигуры, а также изучение её формы с помощью вращения вдоль определенной оси с помощью какого-либо манипулятора. Манипулятор, как правило, выступает перемещение мыши, скольжение по сенсорной панели, либо сочетание определённых клавиш на клавиатуре.
Пользовательский интерфейс с использованием ДР обеспечивает взаимодействие пользователя с объектом на интуитивном уровне; предоставляет возможности легко менять цвета и текстуры объекта [5]. Таким образом, появляется возможность спроецировать заданную фигуру на экран манипулятора (как правило: смартфон или планшет) наложением на изображение реальных объектов, полученных с камеры манипулятора. Исследовать форму фигуры предлагается изменением позиции камеры манипулятора в пространстве.
У тренажёра, подобного рассматриваемому, выделяются две роли конечного пользователя: роль пользователя и роль наполнителя содержимого - менеджера контента. Для тренажёра - это обучаемый и преподаватель. Предполагается, что взаимодействие с описываемым программным продуктом пользователю не обязательно находиться в территориальной близости с менеджером. Таким образом, возможно дистанционное обучение.
Следует отметить, что использование такого тренажёра предлагается исключительно как дополнительный инструмент и никак не направлено на исключение учителя из учебной деятельности, моделирование или замену чертежных инструментов, выключение из решения геометрических задач процесса построения фигур и т.д. [6].
В зависимости от роли, возможен разные сценарии взаимодействия. Например, преподавателю доступна загрузка материалов (контента) на сервер, а обучаемому -скачивание материалов и ознакомление с ними на своем устройстве. Сценарии взаимодействия пользователей с платформой представлена на рис. 1. На данной схеме роль обучаемого обозначена как Пользователь, а роль наполнителя содержимого - Менеджер. Следует отметить, что в данном материале произведено описание всей структуры системы с точки зрения сценария взаимодействия.
Для взаимодействия с системой, конечный пользователь может использовать либо браузер (модуль Веб клиент), либо мобильное приложение (модуль Мобильный клиент), в зависимости от роли. Соответственно, реализация пользовательского интерфейса ДР необходима только для мобильного клиента.
Рисунок 1. Сценарий взаимодействия пользователя с платформой (составлено автором)
Следующим структурным элементом должен быть модуль ограничения доступа (модуль Сервис авторизации): только зарегистрированный пользователь с ролью преподавателя имеет возможность изменять данные в системе, но, в свое время, только пользователь с ролью обучаемого имеет доступ на использование загруженных материалов. Например, если для учебного процесса имеется необходимый и дополнительный материал, то доступ к дополнительному материалу может служить как мотивационный фактор для полного и успешного освоения основного материала.
Модуль ограничения доступа может как проводить авторизацию пользователя, так и аутентификацию, в зависимости от поставленной задачи. Например, если нет необходимости иметь связь пользователя с реальным учеником, то нет необходимости в аутентификации [7]. Если же возможностей авторизации недостаточно или предполагается взаимодействие с социальными сетями, например, для пользователя - поделиться результатами, а для менеджера - рассказать аудитории о появившемся новом материале, то имеет смысл произвести, при наличии технической возможности, интеграции с социальными сетями [8].
На следующем шаге для пользователя с ролью Пользователь должны быть подготовлены запрашиваемые доступные данные. Например, только модели для текущего занятия, выборка моделей по определённому поисковому запросу или доступ к дополнительным «мотивационным» данным. Для данного действия требуется модуль управления данными Менеджер моделей. В реализации, данный модуль должен быть представлен базой знаний по уже загруженным моделям.
На следующем этапе для пользователя с ролью Менеджер нужно обработать загруженные данные, возможно, перевести их в нужной системе формат. За это отвечает Преобразователь файлов.
Стоит отметить, что это наиболее важная часть сценария с точки зрения реализации -от выбора способа внедрения пользовательского интерфейса ДР зависит и выбор реализации Преобразователя файлов [9].
Для преподавателя данный модуль выполнит конвертирование заданной траектории в файл формата obj [10], если для реализации интерфейса ДР выбрана библиотека Metaio [11].
К сожалению, в данный момент библиотека Metaio общедоступной не является. Данный факт обусловлен тем, что 28 мая 2015 американская корпорация Apple купила компанию Metaio [12], а с декабря 2015 разработчики прекратили поддержку и развитие продукта в том виде, который был представлен потребителям. Тем не менее, старые клиенты Metaio могут и дальше использовать библиотеку в своих, в том числе, и новых, проектах. Следует отметить, что данная библиотека, несмотря на отказ разработчиков поддерживать продукт, абсолютна уместна в разработке прототипов, так как удовлетворяет гораздо большему количеству требований, чем прямые конкуренты.
Заключительным шаг в данной структуре является модуль хранения данных: Файловое хранилище, в котором будет сохранён сконвертированный на предыдущем этапе целевой файл.
Пользователь на заключительном этапе получает возможность отображения загруженной модели в дополненную реальность одним из выбранных способов. Примерный вид пользовательского интерфейса с использованием ДР и загруженной объемной моделью представлен на рис. 2.
Рисунок 2. Пользовательский интерфейс с загруженной моделью (составлено автором)
Таким образом, относительно разных возможных ролей пользователя были рассмотрены сценарии взаимодействия с программным образовательным ресурсом (тренажёром пространственного мышления), с пользовательским интерфейсом дополненной реальности. Даны пояснения относительно технических моментов реализации программного продукта. Полученный сценарий применим и для других образовательных ресурсов, где возможно использование пользовательского интерфейса дополненной реальности. Но следует заметить, что возможны отличия в технической реализации из-за иной предметной области.
ЛИТЕРАТУРА
1. Зильберман М.А. Использование дополненной реальности в образовании: из опыта работы // Рождественские чтения. Материалы XVIII Региональной научно-методической конференции по вопросам применения ИКТ в образовании. Пермь, 2015. С. 22-25.
2. Яковлев Б.С., Пустов С.И. Классификация и перспективные направления использования технологии дополненной реальности // Известия ТулГУ. Технические науки. 2013. №3. С. 484-492.
3. Кочкин А.А. Клиент-серверное взаимодействие, как ресурс повышения эффективности информационной системы / А.А. Кочкин, С.Н. Калашников // Труды XVII Всероссийской научно-практической конференции Металлургия: технологии, управление, инновации, качество. - Новокузнецк, 2013. - С. 363-366.
4. Дрокина К.В., Григорьева Н.В. Анализ возможностей применения технологии дополненной реальности в современных условиях // Инновационная наука. 2016. №2-1 (14). С. 114-116.
5. Дубинина О.Н., Таранская О.Л. Развитие пространственного мышления средствами геометрии в контексте информатизациии сферы профессионального образования // Молодий вчений. 2014. №7 (10). С. 160-163.
6. Янтранова С.С. Развитие пространственного мышления средствами информационных технологий // Вестник БГУ. 2012. №15. С. 75-82.
7. Кочкин А.А. Использование сервисов сторонней аутентификации для авторизации пользователя клиентского приложения / А.А. Кочкин, С.Ю. Красноперов, С.Н. Калашников // Наука, техника инновации: сб. с. Междунар. научн. конф. - Брянск: ООО «Надёжные машины», 2014. С. 219-225.
8. Кочкин А.А. Использование сервисов сторонней аутентификации для авторизации пользователя клиентского приложения / А.А. Кочкин, С.Ю. Красноперов, С.Н. Калашников // Наука и молодежь: проблемы, поиски, решения: сб. научн. конф. - Новокузнецк, 2013. - С. 232-236.
9. Кочкин А.А. Сравнительный обзор технологий реализации подходов дополненной реальности / А.А Кочкин, С.Н. Калашников, С.Ю. Красноперов // Перспективы развития науки и образования. М.: «АР-Консалт» 2015. - С. 42-46.
10. Кочкин А.А. Методы сопряженных 3d-объектов для достижения эффекта объемности / А.А Кочкин, С. Н. Калашников, С.Ю. Красноперов // Информация и образование: границы коммуникаций. Горно-Алтайск: ГАГУ, 2015. C. 242-243.
11. Кочкин А.А. Взаимодействие приложения с библиотекой дополненной реальности Metaio / А.А. Кочкин, С.Н. Калашников, С.Ю. Красноперов // Наука и образование в XXI веке. М.: «АР-Консалт», 2015. С. 40-42.
12. Miller R., Constine J. Apple Acquires Augmented Reality Company Metaio [Электронный ресурс] Режим доступа: https://techcrunch.com/2015/05/28/apple-metaio (дата обращения: 17.06.2015).
Kochkin Artem Aleksandrovich
Siberian state industrial university, Russia, Novokuznetsk
E-mail: kolipass@mail.ru
Kalashnikov Sergei Nikolaevich
Siberian state industrial university, Russia, Novokuznetsk
E-mail: grafstvo@mail.ru
Krasnoperov Sergei Iur'evich
Siberian state industrial university, Russia, Novokuznetsk E-mail: sergeyKrasn@gmail.com
The scenario of interaction in program educational resources with the interface of augmented reality
Abstract. Development of the modern user interfaces led to appearance of the interface of augmented reality. Use of augmented reality allowed to provide information on the basis of environmental conditions of the user: depending on the geographical place, depending on visual images, available to the analysis.
The technology is seldom used in the training systems.
In scientific literature methods of development of spatial thinking are lit, but they don't describe use of augmented reality.
This material contains the description of the possible scenario of interaction of the user with the interface of augmented reality of a program educational resource (simulator) for development of skills of spatial thinking. Realization of such exercise machine requires development of scenarios of interaction of end users with the exercise machine depending on a role of the user (the trainee or the teacher). Also it is required to pay attention to technical details of realization which can influence the scenario of interaction. For example, various approaches for realization of restriction of access to data, each of which has the steps in the user scenario, are possible.
The submitted scenario can be used when developing similar systems and information and education resources.
Keywords: augmented reality simulator of spatial thinking; interaction scenarios; educational resources; distance education; user interface; Metaio; client-server systems
REFERENCES
1. Zil'berman M.A. Ispol'zovanie dopolnennoy real'nosti v obrazovanii: iz opyta raboty // Rozhdestvenskie chteniya. Materialy XVIII Regional'noy nauchno-metodicheskoy konferentsii po voprosam primeneniya IKT v obrazovanii. Perm', 2015. S. 22-25.
2. Yakovlev B.S., Pustov S.I. Klassifikatsiya i perspektivnye napravleniya ispol'zovaniya tekhnologii dopolnennoy real'nosti // Izvestiya TulGU. Tekhnicheskie nauki. 2013. №3. S. 484-492.
3. Kochkin A.A. Klient-servernoe vzaimodeystvie, kak resurs povysheniya effektivnosti informatsionnoy sistemy / A.A. Kochkin, S.N. Kalashnikov // Trudy XVII Vserossiyskoy nauchno-prakticheskoy konferentsii Metallurgiya: tekhnologii, upravlenie, innovatsii, kachestvo. - Novokuznetsk, 2013. - S. 363-366.
4. Drokina K.V., Grigor'eva N.V. Analiz vozmozhnostey primeneniya tekhnologii dopolnennoy real'nosti v sovremennykh usloviyakh // Innovatsionnaya nauka. 2016. №2-1 (14). S. 114-116.
5. Dubinina O.N., Taranskaya O.L. Razvitie prostranstvennogo myshleniya sredstvami geometrii v kontekste informatizatsiii sfery professional'nogo obrazovaniya // Molodiy vcheniy. 2014. №7 (10). S. 160-163.
6. Yantranova S.S. Razvitie prostranstvennogo myshleniya sredstvami informatsionnykh tekhnologiy // Vestnik BGU. 2012. №15. S. 75-82.
7. Kochkin A.A. Ispol'zovanie servisov storonney autentifikatsii dlya avtorizatsii pol'zovatelya klientskogo prilozheniya / A.A. Kochkin, S.Yu. Krasnoperov, S.N. Kalashnikov // Nauka, tekhnika innovatsii: sb. s. Mezhdunar. nauchn. konf. -Bryansk: OOO «Nadezhnye mashiny», 2014. S. 219-225.
8. Kochkin A.A. Ispol'zovanie servisov storonney autentifikatsii dlya avtorizatsii pol'zovatelya klientskogo prilozheniya / A.A. Kochkin, S.Yu. Krasnoperov, S.N. Kalashnikov // Nauka i molodezh': problemy, poiski, resheniya: sb. nauchn. konf. -Novokuznetsk, 2013. - S. 232-236.
9. Kochkin A.A. Sravnitel'nyy obzor tekhnologiy realizatsii podkhodov dopolnennoy real'nosti / A.A Kochkin, S.N. Kalashnikov, S.Yu. Krasnoperov // Perspektivy razvitiya nauki i obrazovaniya. M.: «AR-Konsalt» 2015. - S. 42-46.
10. Kochkin A.A. Metody sopryazhennykh 3d-ob"ektov dlya dostizheniya effekta ob"emnosti / A.A Kochkin, S. N. Kalashnikov, S.Yu. Krasnoperov // Informatsiya i obrazovanie: granitsy kommunikatsiy. Gorno-Altaysk: GAGU, 2015. C. 242-243.
11. Kochkin A.A. Vzaimodeystvie prilozheniya s bibliotekoy dopolnennoy real'nosti Metaio / A.A. Kochkin, S.N. Kalashnikov, S.Yu. Krasnoperov // Nauka i obrazovanie v XXI veke. M.: «AR-Konsalt», 2015. S. 40-42.
12. Miller R., Constine J. Apple Acquires Augmented Reality Company Metaio [Elektronnyy resurs] Rezhim dostupa: https://techcrunch.com/2015/05/28/apple-metaio (data obrashcheniya: 17.06.2015).
