CC BY
1Педагогика
УДК 378.2
кандидат педагогических наук, доцент Суханова Надежда Тимофеевна
Нижегородский государственный архитектурно-строительный университет (г. Нижний Новгород); кандидат технических наук, доцент Родькина Ольга Яновна
Нижегородский государственный лингвистический университет (г. Нижний Новгород); кандидат физико-математических наук, доцент Вежелис Татьяна Мечисловасовна
Московский энергетический институт (г. Москва)
ИЗУЧЕНИЕ ВОЗМОЖНОСТЕЙ ИСПОЛЬЗОВАНИЯ ЭЛЕМЕНТОВ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ В МОБИЛЬНЫХ ПРИЛОЖЕНИЯХ ПРИ ПОДГОТОВКЕ IT-СПЕЦИАЛИСТА
Аннотация. В статье рассматриваются особенности разработки мобильного приложения с элементами дополненной реальности для различных сфер деятельности на примере дизайнера интерьера при подготовке IT-специалиста. Приводятся результаты анализа функционала аналогичных программных средств с целью определения перечня возможностей разрабатываемого программного продукта. Анализируются инструментальные средства разработки подобных приложений с рекомендациями оптимального набора программ реализации.
Ключевые слова: мобильное приложение, дополненная реальность, виртуальная реальность, мультимедиа технологии, инструментальные средства, визуальный скриптинг, функциональные возможности, программный продукт.
Annotation. The article discusses the features of developing a mobile application with elements of augmented reality for various fields of activity using the example of an interior designer in the preparation of an IT specialist. The results of the analysis of the functionality of similar software tools are presented in order to determine the list of capabilities of the developed software product. The tools for developing such applications are analyzed with recommendations for the optimal set of implementation programs.
Key words: mobile application, augmented reality, virtual reality, multimedia technologies, tools, visual scripting, functionality, software product.
Введение. На сегодняшний день согласно многочисленным статистическим исследованиям, по разным оценкам, смартфонами владеют около 86% всего населения планеты. В этой связи активно развиваются технологии, лежащие в их основе. Аппаратная составляющая становится всё мощнее и совершеннее, развиваются и мобильные программные продукты совместно с инструментарием для их разработки.
Наиболее примечательным является возможность современных устройств в режиме реального времени воспроизводить виртуальную и дополненную реальность в приемлемом доя пользователя качестве.
В этой связи необходимо в процессе подготовки IT-специалиста рассматривать технологические особенности использования дополненной реальности (AR) при разработке мобильных приложений для различных видов деятельности. В качестве варианта использования данной технологии рассмотрим такую сферу деятельности как дизайн интерьера.
Основным преимуществом технологии дополненной реальности является в первую очередь наглядность и легкость восприятия объекта, что необходимо для создания мобильного приложения дизайнера, позволяющего сократить и облегчить диалог между дизайнером и клиентом. Путем встраивания цифровых моделей будущих объектов в реальное помещение заказчик может более подробно и точно донести своё виденье будущего интерьера. А дизайнер, в свою очередь, может на ходу корректировать данный проект, тем самым обеспечивая клиенту более полное представление о результате предлагаемой услуги [4].
Изложение основного материала статьи. Дополненная реальность - результат добавления цифровых объектов в пространство реального мира посредством персонального или портативного компьютера.
На сегодняшний день вопросам дополненной реальности уделяется значительное внимание. Дополненная реальность рассматривается в работах Гриншкун A.B., Кравцова A.A., Тарана В.Н., Бижанова Е. Г., Биткина В.В., Зыбиной Е.П., Божко Е.М. и др. В частности, Биткин В.В. в своем материале приводит обзор основных видов дополненной реальности и инструменты для её создания [1]. Зыбина Е.П. и Божко Е.М. говорят о том, что дополненная реальность - это технология, ещё не раскрывшая свой полный потенциал и полноценным продуктом, на данный момент, не является [2]. Юлбарисова Д.Р. и Максимов П.В. предлагают к рассмотрению тенденции развития AR, останавливаясь более подробно на аппаратных средствах для работы с ней [3].
Технология дополненной реальности получила широкое распространение в различных сферах деятельности и в коммерческой сфере, в частности. Свидетельством тому являются AR приложения, использующиеся в таких компаниях таких как Coca-cola, Kinder, Zara.
Стоит также отметить приложение WANNAKICK от белорусской компании WANNA, позволяющее примерить виртуальную обувь независимо от того, где находится пользователь, а также поделиться фотографией с кем-либо. Другой пример, IKEA Place от компании IKEA предлагает приложение с AR, интегрированное с ассортиментом онлайн магазина компании.
YourHome от компании Otto аналогично приложению IKEA Place, разница лишь в ассортименте предоставляемых для размещения объектов. Приложение имеет версию как под смартфоны на базе операционной системы Android, так и под устройства семейства Apple.
Housecraft от компании Sirvo LLC также имеет собственный набор заготовленной мебели для размещения, но обладает большим функционалом взаимодействия с объектом размещения. Помимо описанных выше функций, приложение позволяет: изменять размеры ширины, длины и высоты объекта; дублировать размещенные ранее объекты.
Среди прочих примеров одноименное приложение от компании Villeroy & Boch существенным образом отличается от представленных решений. Если все приведенные приложения использовали способ размещения объектов на плоскости, определяемой самим приложение, то приложение от Villeroy & Boch использует для размещения объектов специальный AR-маркет, который пользователь должен распечатать и поместить на предполагаемом месте размещения объекта дополненной реальности.
Функциональные возможности приведенных выше приложений сводятся к перемещению, повороту, удалению, добавлению в избранное объектов. У HouseCraft добавлено масштабирование и копирование, а в Villeroy & Boch можно изменять цвет.
Проанализировав функционал приведенных приложений с AR, для мобильного приложения дизайнера интреьера необходимо использование таких функций как: перемещение, поворот, удаление объекта. Чтобы повысить точность размещения объектов, следует сделать масштабирование размещаемого объекта по ширине, длине и высоте. Также возможно реализовать получение планировки размещенных объектов и самостоятельной загрузки объектов. В целях
минимизации дополнительных действий со стороны пользователя способ размещения объектов следует реализовать через привязку к плоскости.
Основной смысл внедрения дополненной реальности в продукт для любой компании, в данном случае для студии дизайна интерьера заключается в следующем:
- возможность массового использования приложения поскольку для этого достаточно наличие только лишь смартфона;
- репутационный бонус для компании, использующей современные технологии;
- визуальные образы AR упрощают диалог дизайнера с клиентом.
Кроме того нужно отметить, что помимо заинтересованности в использовании дополненной реальности со стороны различных компаний, существует большая заинтересованность среди потребителей программного продукта. Согласно статистическим исследованиям креативного агентства Engine Creative 76% потребителей покупали бы больше товаров, если бы была возможность осмотреть продукт в дополненной реальности, также 42% потребителей считают, что дополненная реальность существенно помогает принять окончательное решение о покупке.
Технология AR вне зависимости от конкретной реализации, в общем случае для определения поверхности использует алгоритм семейства SLAM. SLAM (одновременная локализация и построение карты) - метод, используемый в мобильных устройствах для построения карты в неизвестном ранее пространстве. Данные с камеры смартфона обрабатываются BRISK-подобным алгоритмом, основанным на FAST алгоритме, суть которого заключается в нахождении характерных, ключевых точек в кадре на основе разницы яркости пикселей в определенном радиусе, как показано на рисунке 1.
Рисунок 1. Пиксели, используемые для определения ключевой точки
Данные с камеры обычно поступают с частотой 30 кадров в секунду, чего может быть недостаточно для точного отслеживания ключевых точек. Поэтому далее данные с камер комбинируются с IMU модулем мобильного устройства, включающего в себя гироскоп и акселерометр, которые дают данные о линейном ускорении и скорости поворота устройства минимум 100 раз в секунду. Тем самым данный модуль дает информацию о том, как мобильное устройство перемещалось между кадрами.
Изменяя положения мобильного устройства, происходит постепенное уточнение местоположения ключевых точек, что позволяет более точно определить область размещения объекта в пространстве.
Разработка же мобильного приложения с использованием AR усложняется за счёт того, что полноценное тестирование и отладка возможна только на реальном устройстве с соответствующими аппаратными элементами.
Инструментарий и алгоритмы для данной технологии все время совершенствуются и активно разрабатываются различными компаниями, в связи с тем, что аппаратное обеспечение мобильных устройств уже не является ограничением.
Инструментальных средств разработки мобильных приложений достаточно много. Выбор средства для разработки мобильного приложения с элементами AR главным образом зависит от того, поддерживается ли оно решениями для реализации дополненной реальности.
Согласно документации ARCore SDK, на данный момент существуют выпуски для Android, iOS и для игровых движков Unreal Engine и Unity.
Разработка мобильного приложения на базе Unity позволяет реализовывать многие функции, не включенные в ARCore SDK, так как все возможности Unity как многофункционального движка применимы и к разработке приложений с технологией AR. Среди таких возможностей следует выделить интерактивную работу с материалами, что особенно важно для реализации правдоподобной мебели из разных материалов.
Также доступными возможностями является добавления различной физики объектов, системы частиц, шейдеров, тем самым обеспечивая пользователю более богатый опыт использования приложения. Кроме того, существуют удобные визуальные инструменты для построения интерфейса. А главной особенностью использования игрового движка является то, что независимо от используемого SDK (ARCore или ARKit) для разработки используется обертка AR Foundation, которая позволяет стандартизировать запросы к разным SDK, позволяя создавать полноценное кроссплатформенное приложение в рамках одного проекта, писать один код одновременно применимый к нескольким SDK.
Для разработки мобильного приложения можно использовать язык программирования С# со специфичными для движка функциями, так как он является основным языком программирования в среде разработки Unity.
Использование для разработки Unreal Engine даёт те же расширенные возможности работы с текстурами, интерфейсом и физикой. Преимуществом движка является высокое качество 3D графики, но зачастую излишнее для мобильных устройств. Следствием высокоуровневой графики является большой вес итогового приложения и высокая ресурсоемкость. Можно обойти написание кода путем использования система визуального скриптинга для построения алгоритма того или итого функционала приложения. На рисунке 2 показан пример визуального скриптинга.
Рисунок 2. Пример системы визуального скриптинга
Разработка приложения на базе Android SDK с применением Java\Kotlin позволяет использовать напрямую все возможности ARCore. Но данная реализация подразумевает самостоятельное написание функций (или поиск соответствующей библиотеки) непредусмотренных ARCore SDK, что увеличивает общее время разработки приложения.
Использование для разработки ARCore SDK под iOS сопровождается аналогичными плюсами и минусами. Кроме того, сборка приложения под iOS возможна только с устройства под управлением macOS. Программирование приложения осуществляет на языке программирования Swift или Objective-C.
Анализ инструментальных средств позволяет утверждать, что лучшим выбором для разработки мобильного приложения с элементами дополненной реальности будет использование Unity так как он имеет большое количество дополнительных возможностей для повышения качества продукта и оптимизации разработки. Также нагрузка итогового продукта на систему допустима на большом количестве устройств.
На данный момент существует большое количество наборов средств разработки (SDK) для реализации AR. Наиболее распространенными на данный момент являются ARCore и ARKit. ARCore является разработкой Google и имеет нативную поддержку на ряде устройств под управлением операционной системы Android и iOS [5], тем самым являясь кроссплатформенным программным средством. Данный SDK поддерживает все базовые способы размещения объектов. А именно: привязку к плоскости (определяются вертикальные и горизонтальные плоскости), привязку к маркер (размещение определенных объектов - «маркетов» в реальном мире), привязку к геолокации (размещение объектов на основе мировых координат).
Также данный SDK поддерживает оценку освещения, что позволяет создавать корректные блики и тени для виртуального объекта в сцене дополненной реальности.
ARKit от Apple в целом предлагает тот же функционал, но за счёт поддержки аппаратного LiDAR сканера у iPhone 12 Pro и более новых моделей привязка к плоскости происходит в разы точнее и быстрее [5]. Минусом же является поддержка ARKit только на устройствах iPhone. Также сложностью разработки с помощью ARKit является необходимость наличия операционной системы macOS на рабочей станции для разработки проекта в XCode.
Относительно новым направлением дополненной реальности является WebAR, суть которого заключается в размещении приложения дополненной реальности на сайте, без необходимости устанавливать приложение. Кроме очевидных плюсов технологии, имеют место быть недостатки.
Несмотря на широкую доступность такого приложения, оно требует высокую скорость интернет-соединения. Кроме того, из-за постоянной работы с ЗО-контентом кеширование браузера не может использоваться должным образом, что может приводить к замедлению работы и периодическому смещению объектов относительно маркера. Также проблемой, является непосредственно доступность приложений на большом количестве разных по мощности устройств, так как запуск такого приложения на маломощном устройстве создаст крайне негативный опыт использования за счёт низкой частоты смены кадра.
Одним из наиболее качественных решений является «8th Wall». Данный SDK имеет все те же базовые функции размещения объектов, что и в ARCore и ARKit, но уровень детализации объектов будет ниже из-за описанных выше проблем с кешированием браузера.
В результате выполненного анализа инструментальных средств наиболее оптимальным для разработки мобильного приложения дизайнера интерьера с элементами дополненной реальности является ARCore SDK за счёт баланса количества поддерживаемых устройств и производительности. Решение является бесплатным для разработки, что также является дополнительным бонусом при выборе программного средства. Кроме того, разработка не осложняется обязательным наличием аппаратного устройства компании-производителя.
Выводы. Подводя итог, можно утверждать, что мобильных приложений с функцией AR становится всё больше, и применяются они в различных сферах деятельности, в частности за счёт простоты восприятия и визуализации подходит такая область как дизайн интерьера.
В процессе подготовки IT-специалиста необходимо рассматривать различные технологические решения разработки программных продуктов. Дополненная реальность - это одна из новых технологий, которая нашла свое применение в мобильных приложениях. А, следовательно, встает необходимость изучать технологию разработки мобильных приложений с AR студентами IT-направлений подготовки. Рассмотрение, в рамках данной статьи, необходимых функциональных возможностей мобильного приложения с AR и инструментальных средств для её реализации является своевременным.
Отобранный, в результате анализа аналогичных программных продуктов, функционал позволит оптимальным образом разработать мобильное приложение автоматизирующее деятельность дизайнера интерьера. Данный программный продукт, в частности, включает в себя перечень готовых решений, уже реализованных дизайнером с возможностью разместить элементы интерьера в своём помещении.
Инструментальные средства разработки данного вида дополненной реальности активно дорабатываются и уже заняли свою нишу рынка программных продуктов.
Для разработки мобильного приложения дизайнера интерьера с функционалом дополненной реальности предлагается на базе Unity с использованием ARCore, а также средств 3D моделирования.
Литература:
1. Биткин, В.В. Дополненная реальность, её виды и инструменты создания / В.В. Биткин // Скиф. Вопросы студенческой науки. - 2021. - №5. - С. 106-109
2. Зыбина, Е.П. Обзор технологии «Дополненная реальность» / Е.П. Зыбина, Е.М. Божко // Язык в сфере профессиональной коммуникации: материалы международной научно-практической конференции студентов и аспирантов, Екатеринбург, 20 апреля 2017 года. - Екатеринбург: Издательство УМЦ-УПИ, 2017. - С. 140-145
3. Юлбарисова, Д.Р. Дополненная реальность - текущее состояние и тенденции развития / Д.Р. Юлбарисова, П.В. Максимов // МНИЖ. - 2014. - №8-1 (27). - URL: https://cyberleninka.ru/article/n/dopolnennaya-realnost-tekuschee-sostoyanie-i-tendentsii-razvitiya (дата обращения: 18.03.23)
4. Суханова, Н.Т. Информационные технологии в дизайн проектировании / Н.Т. Суханова, В.К. Майер // Электронное научно-практическое периодическое издание «Экономика и социум». - № 4-6 (13), 2014. - С. 114-121
5. Береснев, Д.Р. Использование Технологии дополненной реальности в деятельности дизайнера интерьера / Д.Р. Береснев // Межвузовский сборник статей лауреатов конкурсов [Электронный ресурс]: сб. статей. Вып. 23 / Нижегор. гос. архитектур. - строит, ун-т; ред.кол.: В.Н. Бобылев [и др.]. - И. Новгород: ННГАСУ. - 2023. - С. 57-60
Педагогика
УДК 373.2
кандидат педагогических наук, доцент Талых Алексей Александрович
Федеральное государственное бюджетное образовательное учреждение высшего образования «Петрозаводский государственный университет» (г. Петрозаводск); студент Волошина Алеся Андреевна
Федеральное государственное бюджетное образовательное учреждение высшего образования «Петрозаводский государственный университет» (г. Петрозаводск); студент Кемпи Ксения Дмитриевна
Федеральное государственное бюджетное образовательное учреждение высшего образования «Петрозаводский государственный университет» (г. Петрозаводск)
МЕТОДИЧЕСКОЕ СОПРОВОЖДЕНИЕ РАЗВИВАЩЕЙ ИГРЫ-ТРЕНАЖЁРА ВИДА «КАНТЕЛЕ-СОРТЕР» ДЛЯ
ДОШКОЛЬНИКОВ
Аннотация. Представленная в статье оригинальная конструкция развивающей игры-тренажёра вида «кантеле-сортер» направлена на изучение дошкольниками эталонных геометрических форм, цвета, соотнесения размеров, счёта до пяти. Также тренажёр способствует активному развитию межполушарного взаимодействия отделов головного мозга обучающихся. Для эффективного внедрения игры-тренажёра в образовательную практику дошкольных образовательных учреждений разработано методическое сопровождение, включающее примеры упражнений для детей младшего, среднего и старшего дошкольного возраста, а также методические рекомендации доя воспитателей и родителей по использованию тренажёра как в индивидуальной, так и в групповой формах организации учебно-воспитательного процесса. В статье приводятся результаты исследования по теме: «Разработка оригинальных комплектов развивающих игр-тренажёров из древесины для образовательных и лечебно-профилактических учреждений Республики Карелия», проведённого в рамках реализации Программы поддержки НИОКР студентов, аспирантов и лиц, имеющих учёную степень, финансируемой Правительством Республики Карелия.
Ключевые слова: развивающая игра-тренажёр, методическое сопровождение, дошкольные образовательные учреждения, кантеле, «кантеле-сортер», межполушарное взаимодействие.
Annotation. The original design of the educational game-simulator of the "kantele-sorter" type presented in the article is aimed at the study by preschoolers of reference geometric shapes, colors, correlation of sizes, counting up to five. Also, the simulator contributes to the active development of interhemispheric interaction between the brain regions of students. For the effective implementation of the simulator game in the educational practice of preschool educational institutions, methodological support has been developed, including examples of exercises for children of younger, middle and older preschool age, as well as guidelines for educators and parents on using the simulator both in individual and in group forms of organization educational process. The article presents the results of a study on the topic: "Development of original sets of educational games-simulators made of wood for educational and medical institutions of the Republic of Karelia", conducted as part of the implementation of the R&D Support Program for students, graduate students and persons with a scientific degree, funded by the Government of the Republic of Karelia.
Key words: educational game simulator, methodological support, preschool educational institutions, kantele, "kantele sorter", interhemispheric interaction.
Введение. Известный итальянский педагог Мария Монтессори утверждала «Таланты детей находятся на кончиках их пальцев», что благодаря взаимосвязи с окружающим миром и собственными исследованиями, ребёнок формирует запас понятий, которыми может оперировать его интеллект. Самостоятельно изученный жизненный опыт во время игр учит ребёнка анализировать, сравнивать, узнавать, обобщать [21.
Использование обучающих и развивающих игр один из важнейших постулатов педагогики раннего развития. Развивающие игры различных видов и конструкций активно внедряются в практику образовательных учреждений. К подобным видам игр можно отнести сортеры, геоконты, шнуровки, механо-тренажёры и многое другое.
Сортер - это развивающая игра, принцип которой основан на сортировке предметов по разным признакам: цвету, размеру и форме. Тренажёры-сортеры могут быть изготовлены из различных материалов: пластика, древесины, текстильных материалов и др.
Первые сортеры были придуманы в XX веке в Италии Марией Монтессори. Это были игрушки, в основе которых лежал принцип сортировки различных предметов. К ним относятся широко известные почтовые ящики, в которых в специальные прорези нужно поместить «письма» различных форм. При взаимодействии ребёнка с этим тренажёром отчётливо прослеживается, как малыш учится самостоятельно находить и исправлять свои ошибки. Эта, как покажется на первый взгляд, простая игра позволяет приобрести новые умения и навыки, способствует всестороннему развитию обучающегося.
Аналогичные сортерам приспособления, сделанные в виде рамок с прорезями и вкладышами, в своей практике используют известные отечественные педагоги Б.П. Никитин и Е.А. Никитина, активно занимающиеся методикой раннего развития детей [3].
Изложение основного материала статьи. Сортерты используются детьми уже с самого раннего возраста. Их популярность обусловлена тем, что они достаточно просто изготавливаются в домашних условиях из подручных средств.
