Современные технологии multi-touch сенсорных экранов Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Александр САМАРИН

Введение

Возможность непосредственного управления объектами на экране при помощи только рук, исключая вспомогательные устройства — сенсорные коврики, указатели или стилосы, имеет очень большое значение в развитии современных информационных технологий. Такой вид управления привлекателен для многих пользователей.

Интуитивность и здравый смысл в действиях, адекватность движений — неотъемлемое свойство этой технологии. Отсутствие движущихся механических частей и дополнительных устройств повышает надежность работы компьютерной системы.

Multi-touch — идеальный интерфейс для информационных киосков, игровых автоматов, тренажеров или устройств развлечения или профессиональной деятельности (в частности, как интерфейс для управления музыкальными синтезаторами).

Базовые принципы интерактивных дисплейных систем были заложены еще в 1970-е. Долгие годы, вследствие большой стоимости их реализации, технологии сенсорных дисплеев оставались в рамках лабораторий и были ограничены разработками макетных образцов, концептуальных моделей и лабораторных прототипов. Активное использование сенсорных экранов началось лишь в 1990-е годы. Коммерческого уровня применения, как самые недорогие и простые, первыми достигли сенсорные экраны на базе single-point чувствительных панелей резистивного и емкостного типа.

Многоконтактные (multi-touch или multipoint) технологии обеспечивают определение положения координат одновременно нескольких точек касания. При работе с графическими объектами на экране сенсорного

Современные технологии

Multi-touch сенсорных экранов

Сенсорные панели и экраны уже давно применяют в качестве интерфейса ввода/вывода во многих современных компьютерных системах. Сенсорные экраны обеспечивают более дружественный и естественный интерфейс взаимодействия человека с компьютерными устройствами. При создании таких экранов используются различные типы технологий, обеспечивающие чувствительность к прикосновению, нажатию или просто приближению к дисплейной поверхности пальцев рук или вспомогательных предметов — контактных перьев (стилосов) или указок. По числу физически различимых одновременных контактов, которые оператор производит на сенсорной поверхности, различают одноконтактные (singlepoint) и многоконтактные (multi-touch) устройства ввода.

дисплея оператор может работать несколькими пальцами одновременно (multi-finger или bi-finger) или пальцами двух рук( multihand, bi-manual). Multi-touch технологии также поддерживают интерфейс для работы с одним сенсорным дисплеем нескольких пользователей одновременно (режим multi-user). При этом обеспечивается не только определение координат одновременно нескольких точек касания, но и идентификация пользователей, а также соответствующих образов пальцевых жестов при манипуляциях в экранном поле. Но и это еще не все. Разработанные концепции multi-touch интерфейсов вышли за границы первоначальных задач, решаемых интерфейсом пользователя. Разработаны алгоритмы multi-touch интерфейса, который позволяет работать нескольким пользователем сразу с несколькими различными дисплейными системами, множеством источников графической информации и разнообразными графическими объектами.

Первые лабораторные макеты и прототипы сенсорных многоконтактных интерактивных дисплеев появились еще в начале 1980-х годов. Большая часть известных систем того времени реализовывалась по достаточно дорогой схеме на базе машинного зрения и проекционного оборудования.

Развитие современных технологий позволило выйти на новый качественный уровень интерактивных дисплейных систем. В последние несколько лет начато коммерческое использование компьютерных устройств с multi-touch интерфейсом.

Интерфейс пользователя определяется двумя компонентами — физического уровня (аппаратного) и программного. Физический уровень, собственно, определяется возможностями самой сенсорной панели (разрешающая способность, чувствительность к силе

нажатия, возможность масштабирования от малых до больших форматов экранов). Программная компонента обеспечивает интерпретацию данных, полученных от устройства ввода, и реализацию логического управления объектами, представленными на экране графическими изображениями.

Для программной поддержки одноконтактных сенсорных панелей в основном использовалась эмуляция интерфейса мыши, что было вполне логично и адекватно выполняемым действиям.

Стационарные сенсорные экраны или дисплеи можно классифицировать как настольные, настенные и встроенные, например в мебель. Диапазон применения multi-touch технологий довольно широк. Они могут быть применимы как в больших настенных проекционных экранах, размером несколько квадратных метров, так и в мобильных ручных устройствах.

В настоящее время для реализации multitouch сенсорных экранов используется несколько базовых технологий. В первой применяется дисплей (ЭЛТ, ЖК-дисплей) и накладная чувствительная прозрачная панель. Во втором случае используется проецируемое изображение и чувствительная к нажатию панель (сенсорный планшет). В третьем трекинг положения пальцев пользователя или нескольких пользователей осуществляется с помощью нескольких видеокамер. Распознавание жестов выполняется путем цифровой обработки изображения указателей (пальцев рук, стилосов). Устанавливается положение, ориентация, определение векторов движений при перемещении и повороте объектов.

Программно из всего изображения, попадающего в поле зрения камеры (нескольких камер), выделяется информативная часть, относящаяся к объектам трекинга. Произ-

Диод заряда Разрядный диод г\| (С) iJi

Строка Емкостной датчик 1^1 z Cs Ґ - j Столбец ] R ) Ключ выбора столбца

Рис. 1. Схема узла управления матричным емкостным сенсором

водится выделение границ и центра масс объектов-указателей. Выполняется определение координат указателя, привязка к объектам изображения на экране, вывод на экран для визуальной обратной связи вспомогательных курсорных меток, теневых изображений рук оператора на фоне основного изображения.

История развития multi-touch сенсорных технологий

Самый первый датчик касания (touch sensor) разработал в 1971 году доктор Сэм Харст (Sam Hurst), инструктор из Университета Кентукки. Сенсор был запатентован от этого университета и получил название Elograph. В датчике использовались непрозрачные пластины с резистивными слоями. Сэм Харст основал свою компанию “Elographics” и уже в 1974 году разработал технологию прозрачной резистивной сенсорной панели. Технология пятипроводной схемы для резистивной технологии была разработана им чуть позже, в 1977-м. Впоследствии эта схема стала самой популярной для резистивных сенсорных панелей, выпускаемых во всем мире.

Впервые термин технологии multi-touch, основанной на интерактивном взаимодействии оператора с компьютером, был использован еще в 1982-м (статья “Flexible Machine Interface”, Nimish Mehta, University of Toronto). Университет в Торонто и фирма Bell Labs проектировали multi-touch планшетные устройства ввода информации. Они были способны распознавать множество точек одновременного прикосновения к сенсорной поверхности. Было разработано специальное программное обеспечение для соответствующей интерпретации касаний. Первая известная мультиконтактная система состояла из панели из закаленного стекла и стоящей сзади нее камеры. Камера фиксировала темные пятна от прикосновения пальцев. Программно анализировался размер площади пятен, которые были пропорциональны силе надавливания. Этот принцип вместе с очень простой системой обработки изображения обеспечивал довольно эффективный мультиконтактный интерфейс.

Билл Бакстон (Bill Buxton), ставший впоследствии сотрудником Microsoft, участвовал в разработке multi-touch планшета в составе Research Group Университета Торонто еще в 1985 году. В статье Бакстона— “A MultiTouch Three Dimensional Touch-Sensitive Tablet” (1985) — подробно описан multi-touch планшет. Это устройство основано на матрице емкостных чувствительных элементов форматом 64x32. Схема базового элемента управления сенсором показана на рис. 1. В качестве емкостных сенсоров использовались металлические площадки, покрытые слоем диэлектрика. Схемой сканирования управляла ЭВМ. Значения профиля напряжений оцифровывались АЦП и направлялись в ЭВМ для обработки.

Емкостной датчик в процессе сканирования обеспечивает накопление заряда, пропорциональное не только степени приближения пальца к поверхности пластины датчиков, но и пропорциональное силе давления пальца на поверхность. Чем больше давление, чем большая площадь поверхности пальца соприкасается с поверхностью пластины, тем больше проявляется емкостная связь. Стоит заметить, что площадки датчиков имели размеры больше площади касания датчика. Может показаться, что система имеет малое аппаратное разрешение, и малого числа узлов сканирования (2048) недостаточно для работы с графическими объектами высокого разрешения. Однако это не так. Присутствие пальца (пальцев) «чувствуют» сразу несколько датчиков в зоне касания. Не стоит забывать, что каждый из узлов имеет аналоговые уровни сигналов, пропорциональные расстоянию от поверхности до пальца (до контакта с поверхностью), а также силе давления пальца при контакте с поверхностью пластины. Используя бикубическую интерполяцию матричных аналоговых величин, можно получить в итоге очень высокое разрешение при определении центра точки касания или точки «зависания» пальца над поверхностью. Эта базовая работа, проведенная в 1982-1985 годах, легла в основу большинства сенсорных технологий, разработанных и нашедших коммерческое приложение многие годы спустя.

Wacom multi-touch технологии

В 1993 году компания Wacom выпустила первый многомодовый планшет, поддерживающий одновременную работу обеими руками. Параллельно с проектированием графических планшетов Wacom вела работу по их интеграции с жидкокристаллическими дисплеями. Первое подобное устройство — PL-100 V — поступило в продажу в 1989 году, а в 1996-м был создан интегрированный с планшетом TFT-дисплей. В 2000 году на рынке появился интегрированный с планшетом 15-дюймовый цветной TFT-дисплей PL-500.

Multi-Touch технологияHolloWall

К первым коммерческим многоконтактным сенсорным интерфейсам можно отнести разработку HoloWall фирмы Sony. Выпуск интерфейсов был освоен в 1997 году. Есть две модификации — настенная HoloWall и настольная HoloTable.

Аппаратная часть HoloWall содержит дисплейную часть и систему машинного зрения, которая обеспечивает распознавание жестов оператора перед экраном дисплея задней проекции. Используется проектор EPSON ELP-5000. Изображение проецируется с обратной от зрителя стороны на диффузный экран. С этой же стороны смонтированы мощный инфракрасный излучатель на базе массива ИК-светодиодов и камера с ИК-фильтром. Поток инфракрасного света проходит через экран, отражается от рук оператора и попадает в объектив камеры. Видимый свет от изображения, формируемого проектором, отрезается ИК-фильтром. Изображение рук далее попадает в модуль цифровой обработки, а затем — в персональный компьютер. Работа интерактивной системы поддерживается специально разработанным драйвером.

Общий вид и принцип работы показан на рис. 2.

Рис. 2. Технология HoloWall. Принцип и вид макетной установки изнутри

Видеокамера

Проектор

Рис. 3. Структура сенсорного экрана на основе эффекта FTIR

Движения рук оператора распознаются на расстоянии от 0 до 30 см от поверхности экрана. Его размер не ограничен в отличие от экранов с поверхностью, чувствительной к прикосновениям рук. Тактильность не обязательна. Материал, на который проецируется изображение, не имеет значения. Это может быть не только стекло или пластик, но даже ткань, из которой изготовлена одежда. Сама поверхность, на которую проецируется изображение, не обязательно должна быть плоской.

Недостаток системы — она громоздкая и требует значительного объема пространства для размещения с обратной стороны системы подсветки, проектора и ИК-камеры.

Сенсорная Multi-touch технология Perceptive Pixel

Технологию в 2005 году разработал профессор Джеферсон Й. Хан (Jeferson Y. Han) из исследовательской лаборатории Media Research Нью-Йоркского университета. В этом же году для коммерческой реализации технологии ученый образовал компанию Perceptive Pixel.

В определенном смысле Perceptive Pixel является развитием HoloWall. Идея — та же самая: использовать инфракрасное излучение и камеру. Профессор Хан применил изящное техническое решение на основе эффекта FTIR (эффекта нарушения полного внутреннего отражения в световодной структуре). Нарис. 3 показана структура сенсорного multi-touch экрана с использованием эффекта FTIR.

Изображение проецируется на диффузную пленку, которая наклеена через буферный слой силиконовой резины на поверхность акриловой пластины.

Световой поток от инфракрасных излучателей распространяется в световоде из тонкого акрилового листа. Поток создается инфракрасными светодиодами, устанавливаемыми в торце пластины акрилового световода. Световой поток, проходя внутри световода, ко-

торым является прозрачный акриловый лист, испытывает полное внутреннее отражение от стенок и не выходит наружу. Прикосновение пальцев к поверхности вызывает локальное нарушение полного внутреннего отражения света. Инфракрасное излучение рассеивается на всей площади соприкосновения кожи пальцев с поверхностью акриловой подложки. Световое пятно попадает в поле инфракрасной камеры.

Далее, как и при технологии HoloWall, производится захват изображения камерой с инфракрасным фильтром, оцифровка кадра изображения, выделение границ площадок прикосновения и интерпретация действий оператора.

Недостатки системы: в отличие от HoloWall она не обладает чувствительностью к объектам, которые находятся около поверхности, но не касаются ее. Снижена чувствительность и по отношению к механическим указателям, типа указок, тактильных перьев или перчаток.

Пот и любая грязь на поверхности акрилового листа также вызывает рассеяние света и дает помехи в образе снимаемого профиля изображения.

Введение буферного слоя из силиконовой резины между проекционным экраном и акриловым листом позволяет отфильтровать часть помех, возникающих из-за присутствия грязи и жидкости на рабочей поверхности, поскольку в этом случае эффект нарушения полного внутреннего отражения происходит только при надавливании пальцами.

Система такая же громоздкая, как и HoloWall, поэтому создание небольших экранов по данной технологии не очень рентабельно.

Одним из первых коммерческих продуктов компании Perceptive Pixel стала интерактивная медиа-стена (Interactive Media Wall), представляющая собой огромный экран с поддержкой технологии Multi-touch (рис. 4).

Рис. 4. Разработчик технологии Джеферсон Й. Хан (справа) демонстрирует свой multi-touch экран

Дисплей имеет размер 0,9x2,44 м и позволяет управлять, перемещать, манипулировать предметами на экране легким прикосновением пальцев; открывать, просматривать, увеличивать и уменьшать в размере фотографии, листать документы, Производство и продажи таких дисплеев начаты в 2007 году, Стоимость Interactive Media Wall — $100 000,

Multi-Touch технология DiamondTouch

Архитектура системы DiamondTouch разработана сотрудниками компании Mitsubishi Electric Research Laboratories (www.merl.com) в 1995 году, Фирма расположена в США, Активное участие в разработке программного обеспечения для данного проекта принял ряд университетов США и Европы,

На рис, 5 показан принцип работы сенсорного экрана DiamondTouch,

Устройство состоит из проекционного дисплея и сенсорной поверхности, являющейся экраном для проектора, Изображение форми-

Слой

диэлектрика / I .

Подложка Полосковые антенны

(диэлектрик) (металлическая пленка)

Рис. 6. Структура антенны на подложке

LOGIC

SUPPLY

SERIAL DATA OUT

LOAD

SUPPLY

Рис. В. Структура драйвера UCF5812

руется смонтированным сверху проектором (передняя проекция) на крышку рабочего стола. Операторы размещаются на стульях вокруг него. В крышку стола вмонтирована емкостная сенсорная система со схемой управления и интерфейс с компьютером. В сенсорной системе, позволяющей определить положение над поверхностью нескольких объектов, используется сканируемая матрица электромагнитных полосковых антенн (рис. 6). Профиль электрического поля анализируется компьютерной программой. В системе используется метод программного повышения разрешения, разработанный в 1982 году в университете Торонто.

В прототипе использовалась матрица сенсоров форматом 40x40 элементов. На рис. 7 показана топология столбцовых и строчных электродов, образующих решетчатую антенну.

Такая же форма емкостной сенсорной матрицы применяется и в тачпадах фирмы Synaptic для ноутбуков. Принцип работы, однако, у тачпада Synaptic несколько отличается. Для управления передатчиками решетки использовались стандартные высоковольтные 40-выводные токовые драйверы Clare Micronix типа UCF5812. Микросхемы имеют мощные токовые выходы и нужны для управления, например, светодиодными экранами. На рис. 8 показана структура драйвера UCF5812.

Микросхема содержит сдвиговый и выходной регистры и токовые выходы.

Две микросхемы драйверов соединены последовательно. Сканирование осуществляет-

ся сдвигом бегущей единицы через 80-разрядный регистр, образованный двумя драйверами. На выходах токового драйвера поочередно формируются пачки 100-кГц импульсов (10 импульсов на каждый выход) амплитудой до 60 В.

В зоне работы каждого оператора расположена петлевая антенна. Сигнал с приемной антенны усиливался и преобразовывался в цифровую форму отдельно для каждого пользователя. Оцифровка сигнала осуществляется встроенным в PIC16F73 АЦП.

За несколько лет работы с различными прототипами Mitsubishi разработала программное обеспечение, поддерживающее интерфейс пользователя. Для своих программных компонентов компания зарегистрировала не-

сколько брендов. Программные компоненты DiamondTouch более подробно будут рассмотрены далее.

Технология SmartSkin

Технологию Multi-touch экрана SmartSkin разработал Джун Рекимото (Jun Rekimoto) из фирмы Sony Computer Science Laboratory, и практически в то же самое время, что и DiamondTouch. Структурная схема устройства почти такая же, как у DiamondTouch. Используется сенсорная панель емкостного типа. Различие только в способе сканирования. На рис. 9 показан принцип работы сенсорной поверхности SmartSkin.

На столбцовые электроды решетки поступают поочередно опорные сканирующие сиг-

Рис. 7. Слово diamond в названии технологии появилось благодаря специальной ромбовидной форме элементов решетчатой антенны, напоминающей грани бриллианта

Сигналы с датчиков Максимум сигнала

Рис. 10. Двумерный образ рук оператора

на основе полученного профиля с емкостных датчиков

Рис. 13. Возможные варианты расположения рук оператора при жестовых манипуляциях

налы, а через строчные электроды снимаются сигналы отклика. Уровни сигналов отклика будут соответствовать влиянию емкости пальцев руки, имеющей земляной потенциал, над поверхностью матрицы электродов. Программа формирует двумерный профиль распределения потенциала над сенсорной поверхностью и определяет контуры рук операторов (рис. 10), а также осуществляет привязку к координатам изображения на экране.

Проекты DiamondSpace и DiamondSpin

Программное обеспечение DiamondSpace и DiamondSpin (рис. 11) предназначено для поддержки мультипользовательского сенсорного интерфейса с идентификацией пользователей.

Программная среда поддерживает отдельные меню для выбора инструментов каждого пользователя. Обеспечивается работа с документами, поворот, открытие, закрытие, сохранение, масштабирование изображений, их перемещение на рабочем столе. На экране выделены персональные области для манипуляций с объектами, а в центр стола — область общего пользования, через которую можно осуществлять обмен документами. Программная компонента иЫТаЫе обеспе-

чивает поддержку нескольких USB-устройств ввода дополнительно к DiamondTouch — сканера, видеокамеры. Видеоконтент, который вводится с данных устройств, можно размещать на рабочем столе DiamondToch, поэтому в процессе работы не требуется покидать среду DiamondTouch.

Технология Multi-space

Традиционный тип работы с массивом документов одновременно несколькими пользователями осуществляется на горизонтальной поверхности (рабочем столе). Однако можно применять и вертикальные рабочие доски (рис. 12), а также комбинированное перемещение рабочих объектов с одной рабочей поверхности на другую. Осуществляется поддержка перемещения электронных документов в пределах одной поверхности между пользователями, между местом хранения (диск, USB-Flash) и создания документов (сканер, камера), а также между рабочими поверхностями.

Подстольные манипуляции

Сенсорная поверхность в интерфейсе DiamondTouch имеет одинаковую чувствительность с обеих сторон рабочей плоскости (рис. 13). Это свойство позволило реализовать еще одну прикладную ветку технологии — UnderTable. Для интерактивных операций оператор может выполнять жестовые манипуляции с обратной стороны экрана (рис. 14). Для прицеливания и наведения пальцев на графические объекты вводится визуальная обратная связь. Для этого на экране синтезируется контурное теневое стилизованное изображение рук оператора. Оно накладывается на основное изображение, но имеет меньший контраст.

Рис. 14. Технология двойной чувствительности. Можно использовать жестовые манипуляции как над поверхностью стола, так и с его обратной стороны; в последнем случае на экране для обратной связи выводится контурное теневое изображение руки, находящейся под столом

LucidTouch —

«прозрачное прикосновение»

Прикосновение — без сомнения самое эффективное из устройств ввода для интерактивных систем. Однако осуществление такого интерфейса на экранах малого размера проблематично, поскольку палец пользователя закрывает графические элементы. Тем не менее, такие устройства все же разрабаты-

Рис. 15. Работа с виртуальной клавиатурой на экране LucidTouch

ваются. Один из таких проектов был недавно продемонстрирован. Называется новая система LucidTouch. Главной ее особенностью стала «прозрачность» экрана.

Сотрудники Microsoft Research установили с обратной стороны ЖК-дисплея дополнительную сенсорную панель и камеру, благодаря чему аппарат может отслеживать положение пальцев, находящихся на тыльной стороне устройства. Благодаря такому решению разработчики смогли значительно упростить взаимодействие с различными виртуальными объектами. Каждому пальцу присваивается точка-маркер, меняющая цвет в зависимости от того, прижат ли палец к задней панели или нет. Ввод данных осуществляется при непосредственном контакте с полями изображения объектов на экране. Это технология multi-touch обеспечивает одновременное управление всеми 10 пальцами. Но пока это чисто концептуальная модель. Достаточно посмотреть на рис. 16.

Рис. 16. Прототип Lucid — вид сбоку

Очевидно, что далее концептуальной модели такая технология не найдет продолжения, ведь нужно что-то делать с камерой, стоящей сзади. Можно заметить, что в данном проекте заимствована концепция И^егТаЫе, ранее использованная в технологии DiamondTouch.

Оптическая сенсорная система ThinSight

ThinSight — оптическая чувствительная система, которая интегрирована в низкопрофильный дисплей. Она обеспечивает возможность обнаружения прикосновения от

нескольких пальцев одновременно с распознаванием и интерпретацией жестов в язык управления объектами на экране.

Интерфейс аппаратно реализуется в виде платы тонкого профиля, которая монтируется сзади ЖК-панели, например ноутбука (рис. 17). Уникальная особенность разработки — устройство полностью состоит из элементов, которые производятся серийно и доступны всем. Принцип работы основан на использовании машинного зрения. В данном случае система зрения реализована на матрице дискретных фотодатчиков, которые фиксируют профиль изображения, полученный в результате отражения при облучении точечными сканируемыми ИК-светодиодами объектов (рук оператора), находящихся прямо перед экраном. На рис. 18 показан принцип работы фотоприемников матричного зрения сенсорной системы ThinSight.

На стороне, обращенной к поверхности ЖК-дисплея, расположен массив датчиков приближения Avago HSDL-9100 (рис. 19). На обратной стороне платы находятся транзисторные полевые ключи, микроконтроллер Microchip и микросхема USB-интерфейса. Сейчас уже можно использовать контроллеры со встроенным USB.

HSDL-9100-021 — датчик расстояния отражательного типа с аналоговым выходом. Чувствительность к приближению объекта — от 0 до 60 мм. HSDL-9100 имеет низкий тем-новой ток и высокое отношение сигнал/шум, благодаря сочетанию высокой мощности ин-

фракрасного излучателя и высокой чувствительности фотодетектора.

Инфракрасный поток проходит через структуру ЖК-дисплея и, отразившись от пальцев оператора, опять проходит через ЖК-панель и попадает на фотодатчики. Без ЖК-дисплея до 20% энергии возвращается к фотодатчику, отразившись от объекта, находящегося на расстоянии до 100 мм. При наличии ЖК-панели между излучателем и объектом, за счет поглощения, порог чувствительности для обнаружения движения пальцев над поверхностью ЖК-панели понижается до 10 мм. Схема приведена на рис. 20.

Управление сканированием производится микроконтроллером Microchip.

Считанные уровни напряжений подавались на входы встроенного в микроконтроллер АЦП, оцифровывались и передавались для окончательной обработки профиля изображений в персональный компьютер через USB-интерфейс. В прототипе использовались три одинаковых фотосенсорных модуля. Формат матрицы датчиков 15x7. Изображение руки оператора, полученное при объединении полутоновых профилей от трех модулей, показано на рис. 21.

Для восстановления плавной картинки применялась бикубическая интерполяция.

Скорость опроса изображения — 10 кадров в секунду.

Для повышения разрешения использовался метод, который был разработан в университете Торонто в 1982 году для емкостных датчиков. Несмотря на низкое аппаратное разрешение за счет аппроксимации аналогового профиля изображения удалось получить программное системное разрешение, достаточное для точного управления графическими объектами на экране.

Рис. 18. Принцип работы фотоприемников матричного зрения

Е COL п 1 D COL п 1 Е COL n D COL п

X X

Рис. 20. Схема управления матричным фотосенсорным модулем

Рис. 22. Другие аспекты применения интерфейса ThinSight в качестве интегрированного многофункционального интерфейса

Аппаратная реализация интерфейса очень проста, доступна для повторения и не требует специальной технологии.

Рис. 21. Профиль изображения руки оператора перед экраном, считанный дискретными фотодатчиками ThinSight

Кроме того, разработчики придумали для своего детища множество приложений.

Действительно, имея встроенный массив ИК-приемников и передатчиков, можно, например, обеспечить IRDA-интерфейс с мобильными устройствами, подносимыми к экрану. Причем процесс установления связи не потребует от оператора выбора специального режима настройки. Система ThinSight сама обнаружит в ближайшем окружении это устройство и образует связь. Другая функция, автоматически поддерживаемая ThinSight, — способность работать с ИК-указками (рис. 22). То есть оператор может дистанционно управлять объектами на экране с помощью ИК-кур-сорного указателя. ■

Литература

1. Davidson P. L., Han J. Y. Synthesis and Control on Large Scale Multi-Touch Sensing Displays. Courant Institute of Mathematical Sciences. New York University.

2. Han J. Y. Low-Cost Multi-Touch Sensing through Frustrated Total Internal Reflection. Proceedings of the 18 th Annual ACM Symposium on User Interface Software and Technology. Seattle. Washington. 2005.

3. Izadi S., Butler A., Rustemi A., Buxton B., Hodges S. ThinSight: Versatile Multi-touch Sensing for Thin Form-factor Displays. Microsoft Research Cambridge.

4. Patten J., Recht B., Ishii H. Audiopad: A Tag-based Interface for Musical Performance

5. Boring S., Hilliges O., Butz A. A Wall-sized Focus plus Context Display. University of Munich. Media Informatics.

6. HoloWall: An Architecture for Wall-based Interaction.

7. Matsushita N., Recimoto J. HoloWall: Designing a Finger, Hand, Body And Object Sensitive Wall. Sony Computer Scince Labs Inc.

8. Davidson P. L., Han J. Y. Synthesis and Control on Large Scale Multi-Touch Sensing Displays. Proceedings of the 2006 International Conference on New Interfaces for Musical Expression (NIME06), Paris, France.

9. Wigdor D., Leigh D., Forlines C., Shipman S., Barnwell J., Balakrishnan R., Shen C. Under the Table Interaction. ACM Symposium on User Interface Software and Technology (UIST). ISBN: 1-59593-313-1, pp. 259-268, October 2006.

10. Wigdor D., Forlines C., Baudisch P., Barnwell J., Shen C. A See-Through Mobile Device. 20th Symposium on User Interface Software and Technology. October 2007.

11. Самарин А. Новые сенсорные технологии для компьютерных устройств ввода // Компоненты и технологии. 2007. № 1.

12. Самарин А. Новые типы сенсорных панелей для портативных приборов // Компоненты и технологии. 2002. № 3.

13. Самарин А. В. Технология интегрированного оптического сенсорного экрана для TFT ЖК-дисплеев // Электронные компоненты. 2004. № 11.

Окончание следует