CC BY
129
О сч
сч
СП
<
CQ О
Разработка программного комплекса для проведения виртуальных уроков по физике с использованием дополненной реальности и 3D-стереоскопии
В статье рассматривается учебно-методический программно-аппаратный комплекс «Увлекательная реальность», предназначенный для проведения виртуальных лабораторных работ и демонстраций по школьному курсу физики 7-9 классов с использованием технологий дополненной реальности и трехмерной графики. Данный комплекс разработан компанией ООО «Универсал» при поддержке Фонда содействия развитию малых форм предприятий в научно-технической сфере.
Ключевые слова: AR, 3D, виртуальная лабораторная работа, дополненная реальность, трехмерная графика, учебно-методический комплекс, физика.
Введение
Широкое распространение телевидения, компьютеров, мобильных устройств и глобальных сетей привело к существенному снижению интереса детей к процессу школьного обучения, что неминуемо ведет к ухудшению качества освоения знаний. Для того чтобы школьное образование вновь стало интересно детям, необходимо повышение увлекательности и занимательности используемых средств обучения.
Развитие современных средств компьютерной обработки видео позволяет оперировать изображением окружающего мира на экране, взаимодействуя с существующими объектами или добавляя новые виртуальные. Такая технология известна под названием «Дополненная реальность» (от англ. augmented reality, AR) и уже широко применяется в компьютерных играх и рекламной индустрии.
В свою очередь, использование технологии 3D-стереоскопии для отображения виртуальных объектов, позволяет усилить эффект совмещения реального и виртуального миров и достичь полного погружения ученика в образовательный процесс.
Целесообразность применения виртуальных средств, в особенности стереоскопических моделей и дополненной реальности, многократно упоминалась многими авторами. По отдельности педагогические исследования в области повышения эффективности натурных физических экспериментов и технологические решения в области трехмерной графики и дополненной реальности не способны достичь того синергетическо-го эффекта, который может быть обеспечен на стыке данных дисциплин. Комбинация данных технологий предоставляет массу новых возможностей для организации обучения, делая процесс ярким, понятным и интерактивным. Такой подход как нельзя лучше
С. А. Санников,
аспирант кафедры прикладной математики, дифференциальных уравнений и теоретической механики, Мордовский государственный университет им. Н. П. Огарева sannikov@universalrm.ru
соответствует ожиданиям детей XXI века, наиболее понятен и более привычен новому поколению. За счет интегрированной разработки педагогических и технологических решений может быть обеспечен качественно новый уровень образовательных технологий.
Кроме того, возможности указанных средств позволят проводить эксперименты в тех случаях, когда натурный эксперимент не может быть проведен по объективным (например, практикумы по ядерной физике) или субъективным причинам (отсутствие в школе необходимого инвентаря).
При поддержке Фонда содействия развитию малых форм предприятий в научно-технической сфере на базе ООО «Универсал» была проведена научно-исследовательская и опытно-конструкторская работа, целью которой была разработка учебно-методического программно-аппаратного комплекса для проведения виртуальных лабораторных работ по школьному курсу физики с использованием технологий трехмерной и дополненной реальности. позволяющего в значительной степени повысить наглядность и увлекательность обучения физике. Комплекс должен быть применим как на уроках для демонстраций, самостоятельной работы в классе (лабораторных работ), так и для самостоятельной работы дома (в том числе для обучающихся на дому).
В отличие от существующих средств проведения демонстраций и лабораторных работ, при разработке данного комплекса ставилась задача за счет использования увлекательных визуальных средств, таких как стереоскопические 3D-модели и средства дополненной реальности, значительной степени повысить вовлеченность учащихся в процесс обучения. Обязательным условием также являлась необходимость разработки технологических решений и учебно-методических наборов, обеспечивающих максимальный педагогический эффект.
Для достижения поставленных целей необходимо было сформировать конфигурации аппаратного обеспечения и разработать инструментальное программное обеспечение для реализации технологий трехмерной графики и дополненной реальности. По методической части было необходимо разработать около ста сценариев проведения виртуальных лабораторных работ и демонстраций, оптимизированных под разрабатываемый программно-аппаратный комплекс.
Дополненная реальность
Дополненная реальность — одна из технологий взаимодействия человека и компьютера, позволяющая программным образом визуально совместить два изначально независимых пространства: мир реальных объектов вокруг нас и виртуальный мир, воссозданный на компьютере. Новая виртуальная среда образуется путем наложения запрограммированных виртуальных объектов поверх видеосигнала с камеры, и становится интерактивной, путем использования специальных маркеров. В основе это технологии лежат специальные математические алгоритмы, которые связывают камеру, метки и компьютер в единую интерактивную систему. Основная задача системы — определить трехмерное положение реальной метки (маркера) по ее снимку, полученному с помощью камеры.
Процесс распознавания метки происходит поэтапно. Сначала снимается изображение с камеры. Затем программа распознает пятна на каждом кадре видео в поисках заданного шаблона — рамки метки. Поскольку видео передается в формате 2Э, то и найденная на кадре рамка метки определяется как 2Э-контур. Как только камера «находит» в окружающем пространстве рамку, ее следующая задача — определить, что именно изображено внутри рамки. Как только сделан последний шаг, задача системы — построить виртуальную ЗЭ-модель в двухмерной системе координат изображения камеры и привязать ее к метке (рис. 1).
Для реализации системы дополненной реальности в программном комплексе были разработаны следующие основные архитектурные программные модули приложения:
1. Модуль захвата видео потока, необходимый для
поиска установленных в системе источников видео
потока, в нашем случае подключенной к графической станции камеры (нескольких камер).
2. Модуль поиска области нахождения маркера на изображении, выступающем с внешнего источника видеосигнала.
3. Модуль распознавания маркера и получения кодированной в нем информации.
4. Модуль логики виртуальных лабораторных работ, который получает информацию о расположении маркеров, подставляет 3Э-модели и применяет к ним условия текущей лабораторной работы, по которым происходи взаимодействие объектов между собой и со сценой.
5. Модуль формирования итогового изображения (в том числе 3Э-изображения) и вывод его на устройство отображения.
Все модули работают в рамках одного приложения и обладают необходимыми интерфейсами для взаимодействия друг с другом. Алгоритм взаимодействия модулей можно представить в виде следующей схемы (рис. 2).
В качестве базы для работы с дополненной реальностью и реализации взаимодействия первых трех модулей, была выбрана библиотека ArUco, написанная на основе открытой библиотеки OpenCV, собравшей в себе практически все современные алгоритмы компьютерного зрения (Computer Vision). Данная библиотека содержит алгоритмы поиска маркеров и декодирования информации, записанной в них. В разработанном комплексе библиотека ArUco отвечает за получение потока видеоизображения с видеокамеры, определение в видеоизображении области нахождения маркера, сканирование области маркера и расшифровки его кода.
Базовой средой рендеринга моделей, их интеграции с системой дополненной реальности и программирования логики сценариев, была выбрана система Unity3D — мульти-платформенный инструмент для разработки двух- и трехмерных приложений.
Трехмерная стереоскопия
Технологии, позволяющие видеть объемные трехмерные изображения на плоских устройствах воспроизведения, таких как проекционные экраны и мониторы, называются стереоскопическими или 3D-стереоскопическими. Принцип действия данных
о
CN
CN СП
J <
со О
Рис. 1. Построение виртуальной 3D-модели
Рис. 2. Схема взаимодействия архитектурных программных модулей приложения
о
CN
CN CD
J <
CQ О
технологий заключается в разделении изображения или видеопотока на два канала для их раздельного восприятия каждым глазом. Человек, в естественных условиях, каждым глазом воспринимает чуть различную картинку, которая отличается на небольшой угол зрения. Соответственно, мы получаем две слегка различающиеся картинки, которые наш мозг восстанавливает в одну объемную трехмерную проекцию.
В настоящее время существует несколько широко распространенных технологий отображения видеопотока в формате 3D-стерео. Оценив все плюсы и минусы каждой из них, в комплексе была реализована поддержка затворной и поляризационной 3D-систем.
Поляризационная 3D-технология работает по принципу разделения изображения для левого и правого глаза с помощью поляризации света (линейная поляризация или круговая поляризация), а затворная (активная) 3D-технология — по принципу поочередного синхронного отображения изображения для каждого из глаз. Выбор этих технологий обусловлен низкой стоимостью и удобством установки устройств на их базе, а также широким диапазоном направлений их применения.
На базе данных систем была реализована поддержка всех основных режимов 3D-стереоскопии в приложении: шахматный, чересстрочный, вертикальная и горизонтальная стереопара, и анаглифный.
Бесконтактное управление
В проекте «Увлекательная реальность» применена инновационная технология компьютерного распознавания движения кистей рук, реализованная на базе контроллера Leap Motion, представляющего собой настольный вариант устройства бесконтактного управления ПК по типу Microsof Kinect (рис. 3). Это устройство позиционируется как замена традиционного контроллера мыши, ориентированный на управление с помощью рук и инструментов, типа карандаша или ручки.
По количеству степеней свободы данное устройство значительно превосходит обычную компьютерную мышь: перемещение в 3 степени свободы по перемещению и 3 оси вращения ладони, против 2 степеней свободы обычной мыши. Распознавание пальцев позволяет давать различные управляющие команды. Для создания приложений используется SDK, позволяющее использовать данное устройство ввода, в том числе и при разработке приложений в среде Unity 3D. Интеграция данного устройства в прототип комплекса позволила пользователю взаимодействовать как с
объектами интерфейса, так и с объектами сцены без использования «мыши».
Устройство ЬеарМо1юп располагается на рабочем столе перед пользователем. При внесении кистей рук пользователя в зону действия данного устройства, на виртуальной сцене появляются виртуальные руки, при помощи которых происходит взаимодействие с располагающимися на сцене объектами (рис. 4).
Для работы пользователя с данным устройством необходима некоторая практика и его использование для промышленного применения требует некоторых доработок, однако, комплекс может быть доукомплектован данным устройством в исключительных случаях для повышения его интерактивной составляющей и достижения большего эффекта при проведении демонстраций.
Результат
Учебно-методический комплекс «Увлекательная реальность» призван внести в обучение школьников новые технологические возможности, столь любимые современными учениками. Назначением данного программно-аппаратного комплекса является проведение виртуальных лабораторных работ по школьному курсу физики, который может быть использован для достижения следующих целей:
• Демонстрация процессов, явлений, законов и пр. при проведении уроков.
• Самостоятельная работа учеников в классе (лабораторные работы).
• Самостоятельная работа учеников дома (в том числе обучающихся на дому). Использование программно-аппаратного комплекса «Увлекательная реальность» формирует у обучаемых понимание материала в объеме изучаемых тем и вовлекает школьников в учебный процесс за счет увлекательности и занимательности проводимых экспериментов, вследствие использования современных интерактивных технологий и решений (рис. 5).
Преимуществами комплекса являются:
• повышенная занимательность и увлекательность для обучающихся;
• наглядность проводимых экспериментов;
• возможность высокой детализации структуры и свойств исследуемых объектов;
Рис. 3. Внешний вид и принцип работы контроллера бесконтактного управления LeapMotion
Рис. 4. Пример применения контроллера Leap Motion в прототипе комплекса
• глубокое погружение обучающихся в среду проводимых экспериментов;
• интерактивность — непосредственное взаимодействие с виртуальными объектами;
• использование передовых технологий и решений.
В общей сложности, в комплекс интегрировано около 50 сценариев проведения виртуальных лабораторных работ и 70 сценариев демонстраций, в которых, задействовано более 300 интерактивных ЭЭ-моделей. Данные материалы позволяют проводить учебные демонстрации и выполнять лабораторные работы по таким разделам школьного курса физики, как: строение вещества и физические измерения; механические явления; тепловые явления; электрические явления; магнитные явления; электромагнитные явления; колебания и волны; световые явления; квантовые явления. Комплекс надежен, безопасен, прост в освоении и использовании, и может работать на большинстве широко распространенных конфигураций оборудования.
Апробация
В апреле 2014 г. было проведено испытание комплекса в условиях, приближенных к эксплуатационным, на пилотных площадках Саранска, в качестве которых выступили некоторые общеобразовательные городские школы и гимназии. В каждой из них были проведены открытые уроки по физике с использованием той или иной темы из состава работ, разработанных в комплексе.
Наибольший интерес вызвала возможность проведения именно теоретических уроков и массовых демонстраций с использованием возможностей комплекса для раскрытия сложных и труднообъяснимых тем, например, таких как электромагнитная индукция, ядерные реакции, тепловые и электрические явления. Преподаватели использовали применимые в продукте
Рис. 5. Пример работы с комплексом «Увлекательная реальность»
технологии дополненной реальности и ЭЭ-стереоскпии для подтверждения блоков теоретической информации, даваемой аудитории, визуальными элементами, буквально «оживающими» в пространстве рабочей аудитории, что вызывало неподдельный как интерес со стороны слушателей, так и со стороны самих преподавателей.
По результатам испытаний, в первую очередь, нужно отметить высокий интерес к комплексу со стороны конечного потребителя — учителей и учеников, что позволяет судить о достижении основной цели разработанного продукта.
Заключение
Учебно-методический программно-аппаратный комплекс может быть использован в сфере общего образования для проведения виртуальных лабораторных работ по школьному курсу физики, как на уроках для демонстраций, самостоятельной работы в классе (лабораторных работ), самостоятельной работы дома (в том числе для обучающихся на дому).
Базовый функционал, используемый в учебно-методическом программно-аппаратном комплексе является универсальным, что позволяет использовать его не только для проведения уроков физики, но и легко масштабировать комплекс для изучения других естественнонаучных дисциплин, таких как химия, математика, история, биология, астрономия.
В перспективе, технологии, используемые в комплексе, могут быть применены в смежных областях научных общеобразовательных дисциплин, или в специализированных разработках для профильного образования.
Список использованных источников
1. А. В. Смирнов, С. В. Степанов. Оборудование школьного кабинета физики. М.: «Школа будущего», 2001.
2. Дополненная реальность в образовании. http://www.smart-edu. com/augmented-reality-in-learning.html.
3. Среда разработки Unity3D. http://unity3d.com.
4. Википедия. Статья «Живые 3D-метки». http://ru.wikipedia. org/wiki/Живые 3D метки.
5. Контроллер бесконтактного управления Leap Motion. https:// www.leapmotion.com.
6. 3D-стереоскопическая технология (3D-стерео). http:// universalrm.ru/technologies/3d.html.
Software system for virtual lessons in physics using augmented reality and 3D-stereoscopy S. A. Sannikov, postgraduate student of applied mathematics, differential equations and theoretical mechanics, Ogarev Mordovia State University.
The article describes the «Fascinating Reality» educational hardware-software solution is designed to conduct the virtual laboratory works/demonstrations based on the school physics tuition. It uses 3D graphics and augmented reality technology to emulate the laboratory equipment and physical processes. This complex developed by Universal, LLC, with support from the Foundation for Assistance to Small Innovative Enterprises.
Keywords: AR, 3D, virtual lab, augmented reality, three-dimensional graphics, educational complex, physics.
о
CN
CN
en
J <
CQ О
