CC BY
415
УДК 622:681.3 Д.В. Калитин
ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ В САПР
Рассматривается использование технологии дополненной реальности для взаимодействия человека и компьютера. Приводятся сведения об интерфейсе человек — компьютер, о технологии дополненной реальности. Рассматриваются способы применения технологии в САПР, а так же основные направления использования дополненной реальности в других областях.
Ключевые слова: дополненная реальность, интерфейс человек — компьютер, компьютерная графика.
Со времени появления первых компьютеров всегда стояла актуальная задача — обеспечить взаимодействие человека и компьютера. При этом очевидно, что это взаимодействие должно быть простым для человека и однозначно интерпретироваться компьютером. В общем при взаимодействии человека с компьютером используется интерфейс. Интерфейс (от англ. interface — поверхность раздела, перегородка) — совокупность средств и методов взаимодействия между элементами системы.
Первые компьютеры (будем рассматривать только универсальные электронно-цифровые вычислительные машины) появились в середине XX века. Взаимодействие с человеком в них осуществлялось с помощью перфокарт и перфолент. Пользователь набивал на карте или ленте отверстия в нужных местах и отдавал специалистам для ввода в компьютер. После обработки он получал данные в таком же виде, которые необходимо было ещё обработать в ручном режиме. Существовал вывод данных на печатающие устройства. Естественно ни о какой интерактивности в тот момент не могло быть и речи. В 50-х годах XX века к компьютерам стали подключать текстово-графические дисплеи. Для вво-
да данных стали применятся клавиатуры. Интерактивность взаимодействия человека и компьютера повысилась. Пользователь мог оперативно контролировать вводимые и текущие данные и влиять на них. С развитием дисплеев, на экране могли отображаться и графические данные.
С развитием вычислительных мощностей компьютеров требовались всё более дружественные для пользователя интерфейсы. Развитие технологии привело к появлению различных устройств ввода и вывода информации: световые перья, мыши, цифровые планшеты, шлемы виртуальной реальности, цифровые доски, сенсорные экраны.
Интерфейс человек — компьютер в системах автоматизированного проектирования относится к техническому и программному обеспечению. В современных САПР наибольшее распространение на данный момент имеют системы ввода-вывода построенные на базе различного рода отображающих устройств: мониторы, принтеры, плоттеры и т.д., и устройств ввода: мыши, трекболы, цифровые планшеты, световые перья. Прообразом существующих интерфейсов была программа «Sketchpad» разработанная в 1963 году в рамках кандидат-
ской диссертации Айвеном Сазерлендом (Ivan Sutherland). В этой программе впервые был представлен интерактивный пользовательский интерфейс. Пользователь с помощью светового пера мог изображать на экране монитора различные примитивы.
С тех пор концептуальных изменений в человеко-машинном интерфейсе не произошло. Совершенствовавшиеся технологии внесли свой вклад в интерфейс: мониторы стали больше, дешевле, детализация и точность воспроизводимого изображения повысилась, устройства ввода стали точнее, немного разнообразнее (например 3D мыши), но по сути, проектировщик всё так же сидит за экраном монитора, наблюдает двумерное изображение и вводит данные.
Для систем проектирования, в которых разрабатываются плоские модели, например печатные платы, выкройки материала из листового сырья и др., такой интерфейс более чем достаточен. У нас есть плоская модель, которая должна быть спроецирована на плоскую поверхность монитора. Понятно, что при такой проекции никаких искажений не произойдёт. И человек воспримет полученные данные правильно.
Ситуация изменяется при проектировании объектов в трёх измерениях. Нам необходимо спроецировать объект, имеющий три пространственных измерения, на двумерную плоскость. В ряде случаев такое преобразование пройдёт легко, и проектировщик сможет, наблюдая плоскую картинку, восстановить потерянное измерение. При этом он остаётся проектировщиком и ему надо думать о других задачах — непосредственно о проектировании. В других случаях при преобразовании мы можем получить довольно сильные искажения. В этом случае, на помощь человеку могут прийти разные методы и технологии.
Например, построение различных видов или разрезов, а так же современные методы визуализации трехмерных объектов: различное освещение, тени, тексту-рирование. Современные пакеты трехмерной графики справляются с этим неплохо, но иногда для точного восприятия трёхмерного объекта на плоском экране необходимо всё же подвигать, покрутить этот объект с целью полного с ним знакомства. При моделировании простых объектов вычислительные мощности современных компьютеров позволяют визуализировать эти объекты в реальном времени. При моделировании сложных — визуализация в реальном времени уже может не получиться, либо нам потребуется более высокопроизводительное оборудование.
Для того что бы проектировщик получил более полное восприятие моделируемого объекта, необходимо каким то образом визуализировать действительно трехмерные объекты. При этом, если эти окружающая действительность сможет влиять на эти объекты то это будет ещё реалистичнее. Такое можно достичь с помощью так называемой технологии дополненной реальности.
Дополненная реальность (англ. augmented reality, AR) — термин, относящийся ко всем проектам, направленным на дополнение реальности любыми виртуальными элементами. Дополненная реальность — составляющая часть смешанной реальности, в которую также входит «дополненная виртуальность» (когда реальные объекты интегрируются в виртуальную среду). Один из самых известных примеров дополненной реальности — цветная линия, показывающая траекторию движения шайбы при телетрансляции хоккейных матчей.
Еще одно определение: Дополненная реальность — добавление к поступающим из реального мира ощущениям
мнимых объектов, обычно вспомогательно-информативного свойства.
На сегодняшний день, большинство исследований в области дополненной реальности сконцентрировано на использовании живого видео, подвергнутого цифровой обработке и «дополненного» компьютерной графикой. Отображение актуальной дополнительной информации поверх видео можно наблюдать, в частности, во время трансляции спортивных соревнований. Сегодня поклонники «Формулы 1» видят на экране не только движущиеся по кольцу болиды, но и сведения о гонщике, командной принадлежности, положении относительно автомобилей важнейших соперников, а иногда даже графики, отражающие количество оборотов двигателя.
Более серьёзные исследования включают использование отслеживания движения объектов, распознавание координатных меток при помощи машинного зрения и конструирование управляемого окружения состоящего из произвольного количества сенсоров и силовых приводов.
Изначально термин дополненная реальность был введён в противовес виртуальной реальности: вместо погружения пользователя в синтезированное, полностью информационное окружение, задачей дополненной реальности является дополнение реального мира возможностями по обработке дополнительной информации. Другие же исследователи понимают виртуальную реальность как специальный случай дополнённой реальности. Дополненная реальность сама по себе представляет специальный случай более общей концепции опосредованной реальности, в том смысле, что опосредованная реальность позволяет сознательно дополнять или сокращать, а
также иным образом модифицировать реальность.
Первым исследователем дополненной реальности можно считать Айвэна Сазерленда, который построил работающий прототип системы в 1967 году. Он использовал стереоочки Sword of Damocles для показа трехмерной графики. Изображение в них проецировалось на два полупрозрачных стеклянных мини-дисплея с напылением серебра. Любопытное название происходит от способа крепления устройства — на потолке, что контрастировало с наименованием класса такого рода оборудования: Head-Mounted Display. Впервые система была использована в проекте, выполненном в 1968 г. для Bell Helicopter Company, в котором стереоочки работали в паре с инфракрасной камерой, находящейся под днищем вертолета. Камера управлялась движением головы пилота. Так родилось понятие «дополненной реальности».
Современный этап исследований начался в 1990 году, когда исследователи фирмы Boeing решили использовать на-головные стереодисплеи при сборке и обслуживании самолётов, накладывая интерактивную графику на изображения реального мира.
Одним из наиболее известных исследователей в этой области сегодня является Рональд Азума (Ronald Azuma) из HRL Laboratories. В 1997 г. он опубликовал большую обзорную статью «A Survey of Augmented Reality», где впервые были ясно очерчены проблемы и возможности, связанные с внедрением этой технологической концепции. С 1999 г. ведет свою историю регулярно проводимая конференция IEEE, ACM and Eurographics International Symposium on Mixed and Augmented Reality (ISMAR). Наиболее успешные и известные организации, специализирующиеся
на дополненной реальностью, располагаются в Японии — Mixed Reality Systems Lab — и Германии — консорциум Arvika.
Итак. Каким же образом мы можем использовать технологию дополненной реальности применительно к автоматизированному проектированию и какие нам это принесёт плюсы?
Вариантов применения несколько. Рассмотрим один из них.
Перед проектировщиком на столе лежит несколько специально сформированных изображений — маркеров. Маркеры представляют собой черно-белое изображение, прямоугольной формы. Изображение может быть нанесено на бумагу, пластик, дерево или другую поверхность. На стол направлен объектив камеры. Изображение с камеры передается на компьютер. Компьютер получив картинку с камеры обрабатывает её следующим образом. Во первых с помощью различных алгоритмов сегментации и выделения границ выделяются области в которые попадают маркеры. Далее различными алгоритмами распознавания распознаются маркеры и их относительное положение в пространстве, относительно камеры. После этого в компьютере может быть сформирована модель пространства, которое наблюдает камера. Далее, в зависимости от контекста приложения, компьютер формирует изображение которое будет зависеть от наличия того или иного маркера, его положения, от внутренних параметров модели. После этого формируется изображение, которое должно быть доведено до пользователя. На исходное изображение накладывается сгенерированная компьютером картинка. После этого изображение может быть выведено на монитор. Т.е. пользователь увидит в мониторе изображение стола, но вме-
сто маркеров он увидит сгенерированные трёхмерные объекты.
Конечно, мы возвращаемся опять к интерфейсу человек — компьютер, в котором основное устройство вывода занимает монитор, но даже в этом случае мы получаем большую интерактивность. Проектировщик, вместо того что бы манипулировать мышкой или другим устройством ввода, может просто руками подвигать или покрутить маркеры, переместить их в другое место. При этом изображение на мониторе измениться соответствующим образом.
Однако более перспективным выводом изображения может стать шлем виртуальной реальности. Шлем виртуальной реальности — устройство, позволяющее частично погрузиться в мир виртуальной реальности, создающее зрительный и акустический эффект присутствия в заданном управляющим устройством (компьютером) пространстве. Представляет собой устройство, надевающееся на голову, снабженное видеоэкраном и стерео- или квадрофониче-ской акустической системой. Название «шлем» достаточно условное: современные модели гораздо больше похожи на очки, чем на шлем. Шлем создаёт объёмное изображение, подавая две разные картинки каждому глазу. Кроме того, шлем может содержать гироскопический или инфракрасный датчик положения головы.
Передавая в качестве картинки для глаз, изображение полученное с камеры и обработанное компьютером, пользователь увидит действительно трёхмерную картину происходящего перед ним на столе. Если при этом будет использовано две камеры, закрепленные на шлеме, то пользователь будет наблюдать картинку на которую он не только сможет воздействовать перемещая маркеры, но и перемещаясь сам. Наклоны, повороты
головы будут воздействовать на изображение. Взаимодействие станет ещё более интерактивнее.
При этом на руки проектировщика можно нанести специальные маркеры с помощью которых он сможет напрямую воздействовать на виртуальные объекты.
Какие же программно технические комплексы могут решить такую задачу? Уже сейчас на рынке достаточно много недорогих видеокамер, которые обладают достаточно большой разрешающей способностью, высокой скоростью передачи данных, хорошей оптической системой, малым размером и весом.
Со шлемами виртуальной реальности дела обстоят немного хуже, но по сравнению с тем, что было 5—7 лет назад прогресс явно на лицо. Если раньше шлемы виртуальной реальности были громоздкими, и с ценой, начинающейся от нескольких тысяч долларов, то сегодня можно приобрести устройство, которое будет выглядеть как очки, весить немногим более и при этом цена будет в пределах нескольких сотен долларов, что может быть сопоставимо с монитором среднего класса. При этом качество таких шлемов значительно возросло. Вместо экранов на основе жидких кристаллов в них чаще стали применяться дисплеи на основе OLED технологии. Это большой плюс. Помимо большей разрешающей способности и контрастности, мы получаем лучшую цветопередачу и устройство, которое потребляет очень мало энергии что приводит к меньшей теплоотдаче. А это немаловажный фактор для устройства которое находится у нас близко к лицу.
В программном обеспечении дела то же не стоят на месте. Существуют множества библиотек для обработки изображения. Например библиотека OpenCV. OpenCV (англ. Open Source
Computer Vision Library, библиотека компьютерного зрения с открытым исходным кодом) — библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом. Реализована на C/C++, так же разрабатывается для Python, Ruby, Matlab и других языков. Может свободно использоваться в академических и коммерческих целях — распространяется в условиях лицензии BSD. Т.е. другими словами библиотека OpenCV представляет собой набор инструментов для манипулирования изображением. С помощью этой библиотеки возможно захватить изображение, обработать его и вывести на устройство отображения.
Так же существует библиотека ARTag. Она специально предназначена для обработки входной картинки на предмет обнаружения маркеров и расчёта их относительного расположения.
С формированием изображения моделей и объединением их с изображением от камеры то же не может возникнуть проблем. Существует широко известная библиотека OpenGL. Она как раз и предназначена для создания трехмерных изображений.
В заключении хочется отметить и тот немаловажный фактор, что применение интерфейсов человек — компьютер на базе технологии расширенной реальности, открывает новые возможности для применения компьютеров не только в САПР но и в других областях человеческой деятельности. Применение в образовании, позволяет повысить заинтересованность учеников или студентов к предметам. Вместо статичных картинок в учебниках или плоских изображений на экранах они смогут получить полноценные трехмерные объекты, на которые можно будет влиять непосредственно, включать-выключать их, крутить,
разбирать и т.д. В медицине — доктор при обследовании пациента, сможет увидеть органы, находящиеся у человека внутри и поставить более точный диагноз. В военной сфере возможности то же безграничны. Это и обучение солдат, и разработка стратегий ведения военных операций, и новые коммуникационные средства, и т.д.
1. Корячко В.П., Курейчик В.М., Норенков И.П. Теоретические основы САПР : учебник для вузов / Корячко В.П., Курейчик В.М., Норенков И.П. — М. : Энергоатомиздат, 1987. — 398 с. — Библиогр.: с. 392.
Однако не стоит забывать, что совершенствование и разработка применения данной технологии не стоит на месте за рубежом. Достаточно много западных институтов занимается этой проблемой и довольно успешно. Необходимо активизировать научные и практические исследования данной технологии, что бы не отстать от всего мира.
-------------- СПИСОК ЛИТЕРАТУРЫ
2. Stephen Cawood, Mark Fiala. Augmented Reality: A Practical Guide. Publisher: Pragmatic Bookshelf. Paperback: 328 pages. ISBN-13: 978— 1934356036.
3. http://m.wikipedia.org. Н5ГД=]
КОРОТКО ОБ АВТОРЕ -----------------------------------------------
Калитин Денис Владимирович - доцент, кандидат технических наук, den@bryce.ru Московский государственный горный университет,
Moscow State Mining University, Russia, ud@msmu.ru
----------------------------------- ДИССЕРТАЦИИ
ТЕКУЩАЯ ИНФОРМАЦИЯ О ЗАЩИТАХ ДИССЕРТАЦИЙ ПО ГОРНОМУ ДЕЛУ И СМЕЖНЫМ ВОПРОСАМ
Автор Название работы Специальность Ученая степень
СИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ИНДУСТРИАЛЬНЫЙ УНИВЕРСИТЕТ
КРЕСТОВОЗДВИ ЖЕНСКИЙ Павел Дмитриевич Повышение прочности тангенциальных поворотных резцов горных очистных комбайнов 05.05.06 к.т.н.
