CC BY
178УДК 004.5
DOI: 10.12737/article_59cd76211ce3e7.64148055
С.А. Шептунов, Р.И. Кулиев, Т.И. Кулиев, Р.С. Нахушев, Р.И. Закиров, А.О. Шевхужев
ОСНОВНЫЕ НАПРАВЛЕНИЯ РАЗВИТИЯ ЧЕЛОВЕКО-МАШИННЫХ ИНТЕРФЕЙСОВ И ПРИМЕРЫ ИХ ИСПОЛЬЗОВАНИЯ
Проведен обзор современных человеко-машинных интерфейсов (ЧМИ) и даны примеры их использования в современном мире. Приведены технические характеристики устройств, используемых в интерфейсах.
Ключевые слова: человеко-машинный интерфейс, виртуальная реальность, магнитные нано-частицы, электрическое поле.
S.A. Sheptunov, R.I. Kuliev, T.I. Kulive, R.S. Nakhushev, R.I. Zakirov, A O. Shevkhuzhev
BASIC DIRECTIONS IN DEVELOPMENT OF MAN-MACHINE INTERFACES AND EXAMPLES OF THEIR USE
Man-machine interfaces are already widely used in various fields of human activities. The development of interfaces and technologies corresponding to them and also information technologies is supported by state target programs.
This paper reports the introduction into the subject of natural-intuitive interaction with a computer, a review of modern man-machine interfaces existing
Человеко-машинный интерфейс (ЧМИ) - это набор технических средств, предназначенных для обеспечения непосредственного двустороннего взаимодействия между оператором и оборудованием, дающий оператору возможность управлять оборудованием и контролировать его функционирование.
Проектирование ЧМИ включает в себя следующие шаги:
1. Создание рабочего места: пульта управления, кресла, стола, приборов и органов управления.
2. Взаимодействие оператора с органами управления.
now and examples of their use in this world. Basic concepts of a natural-intuitive interface the advantages of its application, hardware support are considered. The review of means and tools of man-machine interfaces is carried out.
Key words: man-machine interface, virtual reality, magnetic nano-particles, electric field.
Основные типы человеко-машинных интерфейсов:
1. ЧМИ, основанные на видеокамерах.
2. Нейрокомпьютерный интерфейс.
3. ЧМИ, основанные на технологиях виртуальной реальности.
4. ЧМИ, основанные на тактильной обратной связи.
5. Магнитные интерфейсы на основе магнитных наночастиц.
6. Трехмерные ЧМИ, основанные на анализе изменения электрического поля.
ЧМИ, основанные на видеокамерах
Одним из примеров является камера от компании Creative (рис. 1а). Она содержит два встроенных микрофона, позволяющих распознавать речь, встроенные ин-
фракрасную и RGB камеры, предназначенные для распознавания жестов на небольшом расстоянии.
а) б)
Рис. 1. Камеры от компаний Creative и Kinect
Еще один пример - бесконтактный контроллер Kinect (рис. 1б), который разработан фирмой Microsoft. Этот контроллер состоит из двух сенсоров глубины, цветной видеокамеры и микрофонной решетки и позволяет пользователю взаимо-
действовать с приставкой Xbox или ПК под ОС Windows через устные команды, позы тела и показываемые объекты или рисунки. Сравнительная характеристика камер от компаний Creative и Kinect приведена в таблице.
Таблица
Технические характеристики камер от компаний Creative и Kinect
Характеристика Creative Kinect
Размеры, см 3,3х11,3 7,6х27,0
Количество камер 2 3
Микрофон Есть Есть
Дистанция, м От 0,15 до 1,0 От 1,2 до 3,0
Области применения ЧМИ, основанных на видеокамерах:
1. Моделирование системы захвата, перемещения трехмерного виртуального объекта.
2. Распознавание жестов.
3. Распознавание лица и контрольных точек на лице.
4. Распознавание объектов реального мира и комбинирование их с виртуальным миром.
Нейрокомпьютерный интерфейс, или интерфейс «мозг - компьютер» (ИМК), - это технология, позволяющая обрабатывать электрические сигналы с коры головного мозга, усиливать и передавать их на компьютер. Далее с помощью алгоритмов обработки происходит синхронизация с любым управляющим
устройством или компьютерным приложением.
Биопотенциалы, используемые в системах ИМК:
1. Инвазивные - регистрируются с поверхности скальпа.
2. Неинвазивные - регистрируются непосредственно с коры головного мозга или от нейронов глубинных структур мозга.
Наиболее известная разработка в данной области принадлежит М.А.Л. Ни-колелису и его команде. Они создали интерфейс, который позволял регистрировать активность нейронов в лобных и теменных областях мозга обезьяны и использовать их для управления механической рукой.
Нейрофизиологи Северо-Западного университета (США) создали систему, позволяющую обезьянам действовать па-
рализованной рукой. Для этого проводилась запись сигналов, посылаемых мозгом в руку, по которым после дешифровки восстанавливались команды, подаваемые мышцам.
Также создан действующий прототип системы управления роботом Pioneer 2AT. Программа позволяет преобразовывать мысленные образы в управляющие команды для робота.
ЧМИ, основанные на виртуальной реальности
Oculus Rift - шлем виртуальной реальности (HMD). Его задача - погрузить пользователя в мир виртуальной реальности и заставить его поверить в то, что этот мир реален. С каждой новой версией он все лучше справляется с этой задачей.
Не выходя из дома, человек может виртуально оказаться в любом месте. При использовании шлема пользователю становятся доступны все самые яркие переживания. Вы можете покататься на аттракционах, почувствовать, что ощущает лётчик, делая «мёртвую петлю», и т. д. Производители утверждают, что на данный момент реализована лишь небольшая часть возможностей шлема.
HTC Re Vive - первый шлем, разработанный HTC вместе с Valve (рис. 2а). В
работе используются два экрана с разрешением 1080x1200 и частотой обновления 90 герц. Также в устройстве имеется множество датчиков, в частности лазерные датчики позиционирования, акселерометр, гироскоп MEMS. Вместе со шлемом используются два ручных контроллера, а для точного отслеживания положения применяются две внешние станции Lighthouse.
Project Morpheus - шлем виртуальной реальности для PS4 (рис. 2б). Для работы он использует PlayStation Camera и контроллер DualShock 4. В шлеме нет встроенной гарнитуры, и для вывода звука придется использовать или стереосистему, подключенную к консоли, или беспроводную гарнитуру Sony.
а) б)
Рис. 2. Шлемы виртуальной реальности: а - HTC Re Vive; б - Project Morpheus
Имитаторы - симуляторы реальности. Это различного вида тренажеры, применяемые для обучения вождению (от автомобиля до самолета), а также в различных аттракционах. В простейшем случае могут использоваться шлемы/очки с подвижным сиденьем и дополнительными органами управления. Для виртуального вождения лучше подходит имитация кабины автомобиля/танка/самолета и т.п. с дисплеями вместо окон.
На данный момент самыми совершенными системами виртуальной реальности являются проекционные системы, выполненные в компоновке комнаты виртуальной реальности. Такая система представляет собой помещение, на все стены которого проецируется стереоизображение. Положение пользователя, повороты его головы, направление взгляда отслеживаются системой, что позволяет добиться максимального эффекта погружения.
Инженерами Гонконгского политехнического университета разработан миниатюрный робот, который позволяет провести хирургическую операцию всего через один разрез. Но основное его достоинство - функция тактильной обратной связи, позволяющая врачу, управляющему роботом, ощутить твердость тканей, с которыми работает робот.
Еще одно применение - экзоперчат-ки. Самая известная - экзоперчатка Пвхто. Встроенный датчик ориентации отслеживает перемещение руки. В последней версии перчатка Пвхто способна отслеживать движение всех пяти пальцев руки, но на данный момент можно почувствовать только, коснулись ли предмета или нет. Компания работает над тем, чтобы пользователь мог определять различную жесткость виртуальных предметов. Перчатка Пвхто может использоваться для распознавания языка жестов и обучения игре на музыкальных инструментах.
Группа исследователей Токийского института технологий объявила о создании специального аппарата, способного идентифицировать и переводить аромат в цифровую форму. Это устройство пока не получило названия и еще совершенствуется. Существующий на сегодняшний день наиболее совершенный вариант аппарата нельзя назвать мобильным или портативным, поскольку в длину он составляет около метра. Устройство распознает аромат с помощью 15 сенсоров, а
затем переводит его в цифровой формат. Перевод запаха из цифрового в настоящий возможен благодаря тому, что в состав аппарата включены также 96 отдельных стеклянных бутылочек, содержащих различные химические ингредиенты. Когда поступает входящий цифровой сигнал, машина смешивает элементы и начинает «благоухать».
Как отмечают разработчики, существует и более компактный вариант устройства, но он включает в себя только сенсоры-распознаватели, не способные к точному воспроизведению аромата.
Система Л1КЕЛЬ основана на аэродинамическом эффекте - образовании устойчивого тороидального вихря на выходе из воздушной камеры с круглым отверстием при резком повышении давления внутри. Такое устройство называют «вихревая пушка». Для передачи пользователю тактильных ощущений в системе используются пять мембран, которые работают как диффузоры низкочастотных динамиков. Каждая из мембран способна генерировать до нескольких десятков импульсов в секунду, что создает эффект легких прикосновений. Изменяя частоту и силу сигналов, можно сгенерировать тактильные ощущения от прикосновений к различным поверхностям. Использовать систему Л1КЕЛЬ можно в играх и интерфейсах общего назначения.
Интерфейсы на основе магнитных наночастиц
Наночастицы (рис. 3) могут быть совместимы с биологическими объектами и участвовать в решении медицинских задач. Сравнение размеров дает идею использования наночастиц в качестве маленьких зондов, позволяющих регистрировать ход клеточных процессов, не влияя на их протекание. Для «неразрушающего контроля» они должны быть покрыты биологическими молекулами, чтобы взаимодействовать или связываться с биологическими объектами.
Рис. 3. Магнитная наночастица
Магнитные свойства наночастиц определяются многими факторами, среди которых следует выделить химический со-
став, тип кристаллической решетки и степень ее дефектности, размер и форму частиц, морфологию (для частиц с комплексной структурой), взаимодействие частиц с окружающей их матрицей и соседними частицами. Изменяя размеры, форму, состав и строение наночастиц, можно в определенных пределах управлять магнитными характеристиками материалов на их основе [1].
Важным фактором при рассмотрении использования наночастиц для медицинских приложений является то, что они имеют управляемые размеры в пределах от единиц до сотен нанометров, что сопоставимо с размерами внутриклеточных биологических объектов, вирусов, протеинов, генов и т.д.
Если речь идет об интерфейсе на основе магнитных наночастиц, то в качестве возможного варианта следует рассмотреть их использование для усиления сигналов нейронов.
Наночастицы вводят в организм человека внутривенно с помощью шприца или инъектора, тщательно рассчитывая дозу и скорость введения препарата. Формируясь в структуры на нервных окончаниях, они скапливаются вокруг источников маг-
нитного поля (нейронов). Правильно структурируя наночастицы, можно будет различать между собой модулированные сигналы. Таким образом, наша технология будет работать в режиме двухсторонней передачи данных. Мы сможем получать сигналы и понимать, как себя ведут отдельные части тела. По сути, это метод бесконтактного воздействия (связи).
Преимущество использования магнитных наночастиц перед различного рода чипами состоит в том, что они не имеют встроенного источника энергии. Электрический ток, индуцированный в магнитные наночастицы электромагнитным сигналом от считывателя, обеспечит достаточную мощность для функционирования наноча-стиц и передачи ответного сигнала.
Приведем пару вариантов использования описанного метода.
Так, при магнитно-резонансной томографии наночастицы могут быть применены как агенты МРТ-контраста.
При снятии энцефалограммы можно использовать магнитные наночастицы для усиления (резонирования) магнитного поля головного мозга. Таким образом, мы имеем возможность исследовать функциональное состояние всего организма.
Трехмерные ЧМИ, основанные на
Появление систем, основанных на анализе изменений электрического поля, обозначило важную тенденцию перехода от простого обнаружения движения к распознаванию последовательностей движений как определенных жестов.
В этом новом классе НМ1 движение руки в пределах объема, расположенного над двухмерным массивом датчиков, вызывает искажения электрического поля, измеряемые специальным приемным устройством. Использование электрических датчиков вместо видеокамер открывает дорогу к созданию встраиваемых приложений для распознавания движений, которые смогут применяться практически во всех отраслях - от автомобильной и аэрокосмической промышленности до бытовой техники.
С наиболее впечатляющим образцом этого нового класса устройств в ноябре
е изменения электрического поля
2012 года дебютировала компания Microchip Technology, представив микросхему MGC3130, выполняющую полный набор функций распознавания 3D-жестов, основанных на технологии GestIC. Подключаемое к комплекту недорогих внешних электродов устройство GestIC содержит аналоговую цепочку обработки сигналов, измеряющую вызываемые движением рук изменения электрического поля и распознающую перемещение рук в трехмерной области над электродами. Затем с помощью встроенного в кристалл сигнального процессора выполняется цифровая обработка информации, чтобы определить, какому из приблизительно дюжины предварительно запрограммированных жестов соответствуют зафиксированные перемещения.
СПИСОК ЛИТЕРАТУРЫ
1. Баранов, А.А. Магнитные наночастицы: достижения и проблемы химического синтеза / А.А. Баранов, С.П. Губин. - М.: Нанометр, 2009.
2. Губин, С.П. Магнитные наночастицы: методы получения, строение и свойства / С.П. Губин, Ю.А. Кокшаров, Г.Б. Хомутов, Г.Ю. Юрков // Успехи химии. - 2005. - № 6. - С. 539-574.
3. Никифоров, В.Н. Медицинские применения магнитных наночастиц / В.Н. Никифоров // Известия Академии инженерных наук им. А.М. Прохорова. - М.: Научтехлитиздат, 2013. - №1. - С. 84-93.
4. Афонина, А.Р. Виртуальная реальность. Неизбежное будущее виртуальной реальности / А.Р. Афонина, А.В. Сарафанова, Е.В.
1. Baranov, A.A. Magnetic Nano-Particles: Achievements and Problems of Chemical Synthesis / A.A. Baranov, S.P. Gubin. - M.: Nanometer, 2009.
2. Gubin, S.P. Magnetic nano-parfticles: methods of obtaining, structure and properties / S.P. Gubin, Yu.A. Koksharov, G.B. Khomutov, G.Yu. Yurkov // Chemistry Successes. - 2005. - No. 6. -pp. 539-574.
3. Nikiforov, V.N. Medical Application of Magnetic Nano-Particles / V.N. Nikiforov // Proceedings of Prokhorov Academy of Engineering sciences. -M.: Nauchtechlutizdat, 2013. - No. 1. - pp. 8493.
4. Afonina, A.R. Virtual reality. Unavoidable future of virtual reality / A.R. Afonina, A.V. Sarafanova,
Сведения об авторах:
Шептунов Сергей Александрович, д.т.н., профессор, директор Института конструкторско-технологической информатики РАН, e-mail:ship@ikti.ru.
Кулиев Расул Ибрагимович, аспирант Института конструкторско-технологической информатики РАН, e-mail:kulras@mail.ru.
Кулиев Таусо Ибрагимович, аспирант Института конструкторско-технологической информатики РАН, e-mail:tauso@mail.ru.
Sheptunov Sergey Alexandrovich, D. Eng., Prof., Director of the Institute of Design-Technological Informatics of RAS, e-mail:ship@ikti.ru. Kulie Rasul Ibragimovich v, Post graduate student, the Institute of Design-Technological Informatics of RAS, e-mail:kulras@mail.ru.
Kuliev Tauso Ibragimovich, Post graduate student, the Institute of Design-Technological Informatics of RAS, e-mail:tauso@mail.ru
Берднова // Сборник статей Всероссийской научно-практической конференции. Саратовский государственный аграрный университет им. Н.И. Вавилова. - Саратов, 2016. - С. 1418.
5. Макаров, Д.Е. Человеко-машинный интерфейс. Базовые принципы построения / Д.Е. Макаров, И.С. Алексеев // Информационные технологии в науке, управлении, социальной сфере и медицине. - Томск, 2014. - С. 58-60.
6. URL: http ://xexe.club/95 398-robot-hirurg-polnostvu-pomeschaetsva-v-tele-pacienta.html.
7. URL:
http://pcnews.ru/news/dexmo ekzopercatka s ta ktilnoj obratnoj svazu-577378.html.
E.V. Berdnova // Proceedings of the All-Russian Scientific Practical Conf. Vaviliv State Agricultural University of Saratov. - Saratov, 2016. - pp. 14-18.
5. Makarov, D.E. Man-machine interface. Basic principles of structure/ D.E. Makarov, I.S. Alex-eyev // Information Technologies in Science, Management, Social Sphere and Medicine. -Tomsk, 2014. - pp. 58-60.
6. URL: http ://xexe.club/95 398-robot-hirurg-polnostyu-pomeschaetsya-v-tele-pacienta.html.
7. URL:
http://pcnews.ru/news/dexmo ekzopercatka s ta ktilnoj obratnoj svazu-577378.html.
Статья поступила в редколлегию 13.09.17.
Рецензент: д.т.н., профессор Куликов М.Ю.
Нахушев Рахим Суфьянович, аспирант Института конструкторско-технологической информатики РАН, e-mail: electronics_rn@mail.ru. Закиров Ринат Исхакович, аспирант Института конструкторско-технологической информатики РАН, e-mail: rinatzakirovv@mail.ru. Шевхужев Астемир Османович, аспирант Института конструкторско-технологической информатики РАН.
Nakhushev Rakhim Sufiyanovich, Post graduate student, the Institute of Design-Technological Informatics of RAS,
e-mail: electronics rn@mail.ru. Zakirov Rinat Iskhakovich, Post graduate student, the Institute of Design-Technological Informatics of RAS, e-mail: rinatzakirovv@mail.ru. Shevkhuzhev Astemir Osmanovich, Post graduate student, the Institute of Design-Technological Informatics of RAS.
