CC BY
172
Cloud of Science. 2016. T. 3. № 4 http:/ / cloudofscience.ru
Технические средства человеко-компьютерного взаимодействия TUI. Обзор и анализ возможностей использования в игрофикации
И. В. Осипов
i2i istudy, Inc.
Сан-Франциско, США USA
e-mail: [email protected]. com
Аннотация. Tangible user interface (TUI) на русский язык можно перевести как «материальный» или «ощутимый» интерфейс пользователя. В настоящей статье делается обзор современных технических средств, используемых при построении материальных пользовательских интерфейсов. Обзор нацелен на определение возможностей использования TUI как расширение чловеко-компьютерного взаимодействия в технологиях гей-мификации.
Ключевые слова: TUI, GUI, распределенные вычисления, игрофикация, серьезные игры.
1. Введение
Автор впервые осознал свое столкновение с материальным интерфейсом в мае 2016 г., когда во время путешествия в Национальный парк Лассен-Волканик в Калифорнии случайно увидел устройство SandScape, установленное в помещении для посетителей парка. Двое детей играли с песком, готовы были играть часами с песком, строя геодезические ландшафты под проектором, создавая руками каньоны с водой и пики с шапками снега. Стало понятно, что для геймификации, которой автор занимался много лет, это лучшее и органичное дополнение. По сути, материальный интерфейс и есть геймификационный интерфейс. Изучение этого вопроса положило начало собственной разработке материального интерфейса.
Tangible user interface (TUI) на русский язык можно перевести как «материальный» или «ощутимый» интерфейс пользователя. Далее автор будет использовать слово «материальный», понимая под этим «то, что можно пощупать или ощутить».
Эволюция интерфейсов пользователя началась от Command-line interfaces (интерфейс командной строки), появившегося в 60 - 70-тых годах прошлого столетия. Далее был разработан Graphic user interface (GUI) — графический интерфейс пользователя, первые образцы которого представила компания Xerox Palo Alto Research Center в 1970 г. Он повсеместно используется на персональных компьютерах и мобильных устройствах. Последующее развитие пользовательские интерфейсы получили в виде серии направлений, известных под именами: Tangible user interface, Kinetic user interface, Natural user interface, Touch user interface, Organic user
interface, Natural language user interface и даже Brain-computer interface. Интерфейсы стали развиваться в сторону интуитивно понятного взаимодействия между человеком и компьютером, где их юзабилити отличалось «прозрачностью» и доступностью для понимания обычному человеку.
«Простое соответствие, то есть использование естественных аналогий и культурных стандартов ведет к мгновенному пониманию», — утверждает гуру юзабилити Дональд Норман. Материальный интерфейс пользователя TUI — это разновидность пользовательского интерфейса, в котором взаимодействие человека с электронными устройствами происходит при помощи материальных предметов и конструкций. Одновременно TUI включает в себя такое направление, как Touch user interface, Kinetic user interface, Gesture recognition (интерфейс взаимодействия с помощью жестов). Однако TUI (материальный интерфейс пользователя) не противопоставляется широко используемому GUI (графическому интерфейсу пользователя), а дополняет его. И GUI постепенно обогащается за счет использования технологий, созданных в рамках TUI.
«GUI не способен охватить все богатство человеческих чувств и умений, которые люди выработали при взаимодействии с материальным миром» — писал в 1997 г. профессор Хироси Исии (имя на японском: Ш ) из медиалаборатории Массачусетского технологического института (MIT). Он считает, что опосредованные манипуляции только с виртуальными объектами, из которых состоит графический интерфейс — это тупиковый путь. Будущее за естественным взаимодействием с материальными предметами, надо лишь найти способ вернуться к нему. "We began our investigation of "looking to the future of HCI" at this museum by looking for what we have lost with the advent of personal computers. Our intention was to rejoin the richness of the physical world in HCI" [1]. Компьютерные интерфейсы, основанные на таком принципе, Исии и назвал Tangible user interface. Именно он считается автором этого термина. Материальный интерфейс характеризуется физическими представлениями, связанными с цифровой информацией, включая механизм управления и обратной связи между физическими объектами и цифровой информацией. Элементы материального интерфейса — это не кнопки и окна, нарисованные на экране, а материальные предметы или сенсоры, воспринимающие управление со стороны пользователя.
2. Технологии мотивации посредством геймификации с использованием TUI-интерфейса
Игра представляет собой глобальное явление, которое существует во всех исторических и современных культурах. Кант называл игру «целесообразностью без цели». (Eisler — Kant (1787) Zweckmäßigkeit ohne Zweck).
Игрофикация (геймификация) — это использование игровых практик в неигровом контексте. Игрофикация обычно используется для мотивации или де мотивации пользователя к тому или иному типу поведения [2, 3]. Это понятие также тесно связано с "Serious game" (серьезная игра или игра, предназначенная для иной первичной цели, кроме чистого развлечения). Серьезная игра — это словосочетание, которое обычно применяется для обозначения игр, используемых в таких отраслях, как образование, оборона, научные исследования, здравоохранение, управление чрезвычайными ситуациями, городское планирование, техника и политика. Например, серьезные игры используются при обучении пилотов (имитация полета), при обучении студентов-врачей (медицинское моделирование), т. е. имеют педагогическую ценность [4, 5].
Связь материальных интерфейсов и успешности геймификации просто драматическая. Хорошо подобранный материальный интерфейс способен полностью преобразовать серьезные игры или геймификационные техники, подняв его до недостижимых традиционными методами высот, мотивировать пользователя с удовольствием отдавать часы своего времени, повторяя и повторяя игровой опыт. Одновременно с этим достигаются поставленные образовательные цели, а создателям подобных TUI устройств обеспечивается коммерческий успех, конкурентное преимущество и массовое использование их решения.
Практически все современные системы с так называемой смешанной реальностью (mixed reality (MR) / hybrid reality) используют в той или иной степени элементы TUI интерфейса.
Интуитивно понятны без обучения для человека лишь простые инструменты и предметы. Чтобы догадаться, как обращаться с молотком, ножом или палкой, не требуется подробная инструкция. Представления о том, как взаимодействуют разные предметы в реальном мире, уже «зашиты» у людей в подкорке. Но при работе с компьютером такие знания не помогут. За стеклом монитора начинается совсем другой мир, живущий по своим законам и почти не связанный с реальностью. Воздействовать на него можно только с помощью специальных устройств. Именно в этой изолированности и заключается один из главных недостатков графического интерфейса [6].
В 1997 г. профессор Массачусетского технологического института Хироси Исии изготовил интерактивный стол metaDESK. Этот стол так поразил воображение создателей фантастического фильма "Minority Report" («Особое мнение»), что эта разработка использовалась в этом фильме в качестве футуристического компьютера. Также под влиянием этих идей был создан Microsoft Surface [7].
Преимущества материальных интерфейсов первыми осознали производители видеоигр и электронных развлекательных автоматов. Специализированные устрой-
ства в стиле материальных интерфейсов использовались в игровых автоматах еще с 80-тых годов прошлого века. Игрушечные ружья, рули, педали, джойстики были первыми шагами к взаимодействию с компьютерными играми.
Кроме того, производители видеоигр начали встраивать датчики и сенсоры в свою продукцию. Например, устройство Boktai для игровой приставки Game Boy Advance было снабжено фотосенсором, улавливающим ультрафиолет. Чтобы зарядить игровое оружие для стрельбы по вампирам, требовался настоящий солнечный свет. Компания Nintendo выпустила WarioWare Twisted с пьезоэлектрическим гироскопом. В этой игре нельзя обойтись лишь кнопками — приставку нужно трясти, крутить и покачивать. В играх для Nintendo DS стали нормой нестандартные способы управления, имитирующие естественное взаимодействие с материальными предметами. Например, чтобы раскрутить ветряки в Zelda для DS, на экран необходимо подуть [6].
Постепенно элементы TUI стали появляться на неспециализированных устройствах. Так, часть интерфейса iPhone также основана на принципе непосредственного взаимодействия с объектами. «Люди не понимают, что мы изобрели новый класс интерфейсов», — говорил в 2007 г. Стив Джобс, а затем пояснял: «Все дело в том, что в интерфейсе iPhone почти отсутствуют глаголы». Особенность, к которой пытался привлечь внимание глава Apple, действительно очень важна. Пользователь традиционного графического интерфейса сначала выбирает объект, а затем указывает в меню действие, которое над ним необходимо совершить — тот самый «глагол», о котором говорил Джобс. Пользователю материального интерфейса меню с «глаголами» ни к чему: он берет объект и сам, своими руками делает с ним то, что нужно. Так работают мультитач-жесты, воспринимаемые эппловским телефоном, так работает прокрутка в браузере и картах iPhone, так работают инерционные списки [8].
Приемы TUI также широко используются в робототехнике, особенно в тех видах роботов, которые созданы чтобы взаимодействовать с человеком [9].
3. Эволюция технологий человеко-компьютерного взаимодействия
На протяжении уже почти 40 лет клавиатура и мышь остаются основным средством человеко-компьютерного взаимодействия и успешно дополняют графический интерфейс пользователя. Все это вместе получило название WIMP (окна, иконки, мыши, указатели) [10].
Однако в последние годы новые технологии стали обычными. Практически все проекты TUI содержат следующие инновации из списка: сенсорный экран, акселерометр, компьютерная мышь, компьютерное зрение, сенсоры различного типа. По
мере признания, упрощения и массового внедрения эти интерфейсные устройства и методы становятся обыденностью и используются в традиционных GUI интерфейсах.
Сенсорные экраны. Элограф (Elograph) — сенсорная панель, которая хоть и не была похожа на современные прозрачные экраны, но стала первой вехой в истории развития всей технологии. Это одно из базовых устройств, лежащих в основе материального интерфейса. Ее изобретение принадлежит Сэмюел Хёрсту из университета штата Кентукки в 1971 г. Настоящий прозрачный сенсорный экран доктор Хёрст представил миру уже через три года. А еще через три года, в 1977, его компания Elographics запатентовала резистивный экран, до сих пор являющийся одним из самых популярных экранов. В феврале 1994 г. фирма Elographics сменила название на Elo Touch [11].
Экран с поддержкой мультитача появился в 1984 г. Это была емкостная прозрачная панель, наложенная поверх ЭЛТ-монитора. В ее создании принимал участие Боб Бойе (Bob Boie) из Bell Lab [12].
В 1993 г. Apple представил MessagePad H1000 на платформе Newton. Это была одна из первых попыток производства массового карманного компьютера с поддержкой рукописного ввода и сенсорным дисплеем.
В 2007 г. Apple выпустил iPhone, после которого сенсорный мультитач дисплей и акселерометр стали стандартом де-факто для всех карманных устройств.
Акселерометр. Акселерометр представляет собой устройство, которое измеряет собственное ускорение. Акселерометр является наиболее простым способом определить положение в пространстве. В настоящее время им оснащаются практически все телефоны и переносные компьютеры.
Компьютерная мышь
Координатное устройство ввода для управления курсором и отдачи различных команд компьютеру. Современные браузеры и некоторые программы поддерживают жесты мышью. 9 декабря 1968 г. компьютерная мышь была представлена на показе интерактивных устройств в Калифорнии. Патент на этот гаджет получил Дуглас Энгельбарт в 1970 г. [13].
Рисунок 1. Magic Mouse
В 2009 г. фирмой Apple была представлена мышь Magic Mouse, являющаяся первой в мире мышью с сенсорным управлением и поддержкой технологии муль-титач (рис. 1 ). Вместо кнопок, колесиков и прочих элементов управления в этой мыши используется сенсорный тачпад, позволяющий при помощи различных жестов осуществлять нажатия, прокрутку в любом направлении, масштабирование картинки, переходы по истории документов и проч. [14].
Компьютерное зрение — теория и технология, которые могут производить обнаружение, отслеживание и классификацию объектов. В случае интерфейсов обычно используется для распознавания человеческих жестов и мимики. Как научная дисциплина компьютерное зрение относится к технологии создания искусственных систем, которые получают информацию из изображений. Видеоданные могут быть представлены множеством форм, таких как видеопоследовательность, изображения с различных камер или трехмерные данные, например с устройства Kinect или медицинского сканера. Современное компьютерное зрение широко использует методы искусственного интеллекта.
В конце 1960-х гг. в университетах начались разработки «компьютерного зрения», которые велись в рамках исследования искусственного интеллекта. Оно было предназначено для имитации зрительной системы человека как трамплин к наделению роботов интеллектуальным поведением [15].
В 1972 г. Майрон Крюгер создал лабораторию искусственной реальности Videoplace, которая окружала пользователей и реагировала на их движения. Это работа стала основой его известной книги "Artificial Reality" [16].
Эта лаборатория не требовала очков или специальных перчаток, там использовались только проектор и камера. Люди без какой-либо подготовки, находящиеся в этой лаборатории, пользовались только естественными жестами (рис. 2).
Т
Рисунок 2. Фрагменты интерфейса Videoplace, показанного в фильме "Myron Krueger — Videoplace, Responsive Environment, 1972 - 1990s" https://youtu.be/dmmxVA5xhuo
Дистанционные сенсоры. Одним из первых интерфейсов, основанных на дистанционных сенсорах, можно считать Терменвокс (Theremin или Thereminvox) — электромузыкальный инструмент, созданный в 1920 г. русским изобретателем
Львом Терменом. Звук на этом инструменте возникает не от касания, а только от движений рук исполнителя в пространстве перед специальными антеннами. Инструмент состоит из двух металлических антенн, которые воспринимают относительное положение рук пользователя для управления частотой с одной стороны и амплитудой (громкостью) — с другой. Электрические сигналы от Терменвокса усиливаются и отправляются в громкоговоритель. Прибор реагирует на малейшие изменения емкости колебательного контура, которая меняется от приближения руки. Соответственно меняется и частота звука. В ноябре 1920 г. на заседании кружка механиков физик Лев Термен дал свой первый концерт. Терменвокс стал успешен, так как наличие обратной связи с движением руки позволяло музыканту быстро осознать, как пользоваться устройством. По сути, терменвокс стал первым электрическим устройством, управляемым жестами [17].
Использование технологий дистанционных датчиков или remote sensors стало популярно при создании интерфейсов для захвата жестов и движений.
16 сентября 2005 г. на выставке Tokyo Game Show компания Nintendo впервые продемонстрировала контроллер Wii Remote. Главной особенностью Wii Remote является детектор движения, позволяющий игрокам жестами управлять персонажами игры и предметами на экране или «указывать» на объекты, отображаемые на экране. Это обеспечивается работой акселерометра и светочувствительной матрицы. Также в контроллер встроен динамик и вибромеханизм, что дает дополнительную обратную связь. Wii Remote обладает способностью восприниматься в трех измерениях c использованием ADXL330 акселерометра. Оптический датчик PixArt позволяет определить, куда указывает контроллер [18].
Также существуют уже десятки интерфейсов на основе дистанционных датчиков, акселерометров и компьютерного зрения. Например, известный Microsoft Kinect (ранее Project Natal) — бесконтактный сенсорный игровой контроллер, первоначально представленный для консоли Xbox 360 и персональных компьютеров под управлением ОС Windows. Разработан компанией Microsoft [19].
Прообразами TUI интерфейсов стали идеи Ubiquitous Computing от Mark Weiser из Xerox; разработки лаборатории PARC Xerox, где реализовано множество вычислительных устройств включая вкладки, колодки и доски, наряду с инфраструктурой, которая позволяет этим устройствам общаться друг с другом; DigitalDesk разработки P. Wellner, который продемонстрировал путь к объединению физических и цифровых документов с помощью видеопроекции дисплея компьютера на реальный стол с физическими документами, Мраморный автоответчик разработки Durrell Bishop и др. [20].
4. Обзор проектов в области TUI, используемых в области серьезных игр и геймификации
Bricks. Это одна из базовых разработок идеолога TUI Хироши Исии. Проект позволяет манипулировать объектами на экране через физические объекты. Развитием этого проекта является более известный metaDESK, где пользователь может манипулировать географическими картами [21, 22].
т^аВЕБК. Одна из самых известный платформ, следующая принципам ТШ. Это платформа для изучения дизайна материальных пользовательских интерфейсов. metaDESK объединяет несколько 2D- и 3D-графических дисплеев с набором физических предметов и инструментов и воспринимает массив оптических, механических и электромагнитных датчиков поля. Задача те1аББ8К — связать физические инструменты с их цифровым воплощением.
Горизонтальная поверхность metaDESK представляет собой большой проекционный дисплей, над которым на подвижном кронштейне перемещается дополнительный жидкокристаллический монитор. Конструкция использует оптические, механические и электромагнитные датчики, которые отслеживают положение в пространстве каждой части системы. metaDESK, наследуя идеи проекта Bricks, стал прообразом многих устройств, в том числе Microsoft Surface, и даже появлялся в фантастических фильмах [22, 23].
Triangles. Набор-конструктор, позволяющий строить из треугольников замысловатые фигуры и просматривать, что получилось на экране компьютера. Тре-
угольники представляют собой физический интерфейс компьютера в виде строительного набора из одинаковых плоских пластиковых треугольников. Треугольники соединяются вместе как физически, так и в цифровом виде через магнитные проводящие соединения. Когда части контактируют друг с другом, конкретные соединения могут вызвать определенные цифровые события, что дает простое, но мощное средство физического взаимодействия с цифровой информацией [24].
ActiveCube. Проект разработан Университетом Осака. Это кубики, которые могут быть собраны пользователем в любую структуру, наподобие конструктора Лего. Однако из-за наличия микропроцессора в каждом кубе и параллельного интерфейса передачи данных блок кубиков «понимает» текущую конфигурацию в реальном времени. Компьютер читает коллективную группу блоков через подключение главного блока и отображает всю группу на экране. Если пользователь переставляет блоки, то на экране появляется конечная конфигурация в реальном времени. Проект напоминает Triangles, но создан разными группами разработчиков независимо друг от друга [25, 26].
Реапо. Пиано представляет собой набор, состоящий из пятидесяти кубиков, которые соединяются и образуют модульный, полноцветный дисплей в трех измерениях. Кубики выполнены из бесцветной диффузной пластмассы. В центре каждого куба Пиано расположен светодиод, который освещает весь объем, при этом его цвет может варьироваться.
Кубики объединяются в модульной сети, которая поддерживает прямой и программный контроль над анимацией цветного света структуры. Хотя топология сети является линейной, геометрия является трехмерной. Это возможно благодаря использованию кривой Пиано. Кривую Пиано также называют кривой Гильберта, она представляет собой линейную структуру, которая поворачивается под углом 90о, чтобы определить трехмерное пространство с декартовыми координатами. Разъемы специально предназначены для соединения в четырех направлениях, образуют линейную одноранговую сеть. Механика соединения достигается с помощью магнитных коннекторов. Кубики Пиано могут быть анимированы с помощью цифровой палитры. Так как кубики являются сенсорными и «знают» топологию сети, то ими можно управлять с помощью прикосновений [27].
Constructed Narratives. Конструктор базируются на 3D Pentomino блоках. Блоки взаимодействуют друг с другом и компьютером по беспроводным каналам и позволяют играть в игры нескольким людям одновременно. На дисплее отображается их виртуальное представление и дополнительная информация. Например, разные цвета блоков, кому из игроков принадлежит блок, буквы для игры «Словодел». По словам автора проекта P. L. Jennings, Constructed Narratives представляет собой первый опыт в области исследований социальных материальных интерфейсов [2830].
mediaBlocks. ТШ интерфейс создан для манипуляции медиафайлами, а блоки выступают дескрипторами (тегами) для обращения к файлам в сети Интернет. Все устройства снабжены специальными считывателями для этих блоков. Пример: пе-
реставляя блок из компьютера в принтер, мы отправляем связанный документ на печать [31].
SandScape. Это интерфейс, позволяющий строить и понимать топографические карты посредством моделирования форм из песка. Специализированная система делает замеры высот в реальном времени и раскрашивает песок в карту высот с помощью проектора. Кроме того, могут быть отображены тени, биосфера, вода и тому подобное. Аналог Illuminating Clay от MIT Media Lab, где песок заменен глиной и внесено много усовершенствований (http://tangible.media.mit.edu/ project/illuminating-clay/). Следующая ступень — это Relief, который позволяет воссоздавать и управлять топологией, пользуясь специальной конструкцией (http://tangible.media.mit.edu/project/relief/) [32, 33].
Сыг1уЪо(. Это игрушка, которая может записывать и воспроизводить движение, заданное человеком, как он играл с ней. Она вспоминает, как она была перемещена, и может повторить это движение со всеми тонкостями оригинального жеста, она записывает каждую паузу, ускорение и даже встряхивания в руке пользователя. Затем Сurlybot повторяет эти жесты множество раз, создавая красивые и выразительные узоры [34].
<*
Fishface. Жестовое устройство ввода с визуальной обратной связью в режиме реального времени. Обнаруживает движения путем зондирования электрического поля. Графический дисплей из массива светодиодов используется для отображения жестов [35].
ШТоисК. Проект состоит из синхронизированной пары аналогичных устройств. Вращение одной части в паре приводит к аналогичному движению в другой части так, что создается иллюзия, что между ними есть механическая связь. Проект позволяет создать иллюзию дистанционного межличностного общения через прикосновение к предмету. «Общий» объект обеспечивает тактильную связь между географически удаленными пользователями, открывая канал для физического выражения на расстоянии. То есть когда один пользователь проводит рукой по одному устройству из пары, второе устройство воспроизводит точно такие же движения и позволяет ощутить второму пользователю предмет так, как будто он физически соединен с первым предметом [36].
PegBlocks. Вариация на тему тТоиЛ, передает конфигурацию от одного блока другому и обратно. Блок представляет из себя брусок с выступающими деревянными стержнями. Стержни можно двигать, что приводит к синхронному перемещению таких же стержней в парном блоке [37].
PSyBench. PSyBench платформа на Tangible Interfaces предназначена для удаленной колоборативной работы. Объекты на столе-дисплее физически синхронизированы с идентичными объектами на удаленном столе, что позволяет пользователям совместно управлять общим пространством, находясь в разных местах. Это часть проекта "Synchronized Distributed Physical Objects" [38].
I/O Bulb and Luminous Room. Проект-манипулирование дополненной реальностью. Компьютерная модель зависит от расположения физических объектов и их частей. I/O Bulb and Luminous Room являются двумя центральными идеями в проекте, целью которого является повсеместная трансформация архитектурного пространства, так что каждая поверхность оказывается способна отображать и собирать визуальную информацию. I/O Bulb является концептуальной эволюцией обычной лампочки [39, 40].
PingPongPlus. Настоящий стол для пин-понга, дополненный визуальными эффектами в реальном времени. С помощью проектора и звуков позволяет наглядно видеть, куда ударится шарик пин-понга и направление его движения во время игры. На принципах пин-понг-плюс могут быть построены любые динамические игры,
предоставляющие дополнительную информацию игрокам, такие как биллиард, теннис, хоккей и т. п. В случае с головоломками могут проецироваться или выводиться подсказки [41].
В новой версии PingPongPlusPlus авторы открыли возможность кастомизации пользовательского интерфейса и опыта всем желающим, открыв API и средства разработки [42]. Аналогичная разработка Andante добавляет персонажей к игре на пианино [43].
musicBottles. Музыкальные бутылки позволяют манипулировать предзаписан-ными мелодиями, открывая и закрывая которые пользователь как бы выпускает звук наружу. В проекте демонстрируется естественное управление через манипуляцию вещами [44].
Reactable. Один из самых известный TUI интерфейсов работы с музыкой. Звуки, которые он издает, зависят от расположения на его поверхности кубиков, символизирующих модули синтезатора. Хотя reactable можно использовать в качестве музыкального инструмента (Бьерк даже взяла его на гастроли в 2007 г.), его реальная практичность под сомнением. Подобные устройства Sensetable и Audiopad были разработаны в 2001 и 2002 гг. в MIT Media Lab (http://tangible.media.mit.edu/ proj ect/sensetable/ и http : //tangible.media.mit.edu/proj ect/audiopad/).
Синтезатор reactable, разработанный в Португалии пять лет назад, прямой наследник системы metaDESK, на которой Хироси Исии из медиалаборатории MIT оттачивал концепцию материального интерфейса в 1997 г. Reactable тоже состоит из стола-дисплея, на который проецируется компьютерное изображение, и набора
материальных кубиков-иконок (создатели геаСаЫе называют их «тангибли»). Необычность геаСаЫе в том, что это не столько синтезатор, сколько музыкальный конструктор. У каждого кубика — свое назначение. Некоторые из них интерпретируются системой как генераторы звуковых частот, другие представляют собой фильтры, третьи — это кубики-секвенсоры. Когда кубик оказывается на столе, он немедленно включается в работу, а на поверхности геаСаЫе появляются линии, соединяющие его с другими. Чтобы изменить настройки модуля синтезатора (например, увеличить частоту, которую он генерирует), достаточно повернуть соответствующий ему «тангибль» вокруг своей оси. Передвижения кубиков отслеживает камера, спрятанная под полупрозрачной поверхностью стола.
Availabot. Устройство под названием Availabot придумали в лондонской студии промышленного дизайна Schulze&Webb. Availabot представляет собой материальное воплощение одного из контактов в мессенджере AIM или ICQ. Когда контакт активен, миниатюрная фигурка уверенно стоит на ножках, но стоит тому уйти в оффлайн, и Availabot безвольно осядет. Для тех, кто готов выстроить на своем столе небольшой отряд таких человечков, предусмотрена особая услуга: каждой фигурке можно придать карикатурное сходство с ее прототипом в реальной жизни [45].
Siftables /Sifteo. Элементы Siftables похожи на детские кубики. ^йео — коммерческое наименование того же самого проекта). Верхнюю сторону элемента занимает миниатюрный жидкокристаллический дисплей. Внутри кубика находится
акселерометр, четыре инфракрасных датчика (по одному на каждую боковую грань) и микропроцессор. Кубики взаимодействуют между собой и компьютером. Они с помощью датчиков «понимают» соприкосновения с другими кубиками и отличают, когда их поднимают, встряхивают или наклоняют. Этого достаточно, чтобы превратить каждый кубик-Siftable в универсальное материальное воплощение цифрового документа. Тестовые приложения, которые разрабатывают изобретатели Siftables в медиалаборатории MIT, демонстрируют уже знакомый набор жестов, используемых в материальных интерфейсах. Чтобы загрузить в кубик случайный документ, его нужно встряхнуть; соприкосновение двух кубиков вызывает копирование информации; быстрый поворот лицевой стороны вниз и обратно — откат к прошлой версии документа. Группа кубиков может быть использована как платформа для детских игр [46, 47].
Cubelets. Cubelets разработан компанией Modular Robotics, это набор-игрушка, повторяющая функциональность проектов ActiveCube и Triangles. Однако модули могут нести моторизированные узлы и снабжаться дополнительным оборудованием и датчиками. Все это позволяет строить игрушечных роботов, машины и другие игрушки, делая игру увлекательной [48].
I/O Brush. Игрушка для детей, позволяющая рисовать цветами и текстурами реального мира. Пользователь может взять любой цвет и текстуру, приложив кисть к реальному физическому предмету, и дальше использовать эту текстуру при рисовании на компьютере этой же кистью. Устройство элегантно стирает еще один барьер между цифровым и физическим миром [49].
Topobo. Механический конструктор, воспроизводящий действия игрока. Пользователь может показать несколько движений, которые потом игрушка воспроизводит. Проект интересен оцифровкой и последующей имитацией действий пользователя. В будущем эти принципы могут быть применены, например, в интерфейсе роботов: отзеркаливая мимику и жесты человека, робот «может добиться» эмпатии и лучшего взаимопонимания [50].
f^O Г)
SpeakCup. Пример технологии, где форма объекта влияет на цифровую информацию. Когда чашка микрофона вогнута, он записывает информацию, когда выгнута — воспроизводит. Один из самых интуитивно понятных примеров использования ТШ интерфейса. Хороший пример для подражания. Подобные интерфейсы желательны в бытовом применении для устройств, которыми пользуются дети, старики, да и любые группы пользователей, не желающие думать о технических особенностях инструмента. Подобный прием инкапсулирует всю сложность устройства, предлагая пользователю элегантную простоту [51].
g-stalt. Система управления контентом, полностью основанная на распознавании жестов пользователя, которые он производит в пространстве [52]. Аналог ДеШег) (http://tangible.media.mit.edu/project/tether/), ориентированный на управление пальцами в воздухе, в том числе одной рукой [53].
ZeroN: Levitated Interaction Element. Проект управляемой магнитной левитации. Позволяет взаимодействовать человеку с левитируемыми предметами. Zeron представляет собой новый физический / цифровой элемент взаимодействия, который может левитировать и свободно перемещаться с помощью компьютера в трехмерном пространстве. Оба компьютера и люди могут перемещать Zeron одновременно. При этом люди и компьютеры могут физически взаимодействовать друг с другом в 3D-пространстве. Пример использования Zeron — это моделирование планетарной системы в учебных целях [54].
inFORM, Physical Telepresence, TRANSFORM, Kinetic Blocks, Materiable. Несколько аналогичных проектов, разработанных в медиалаборатории MIT, позволяющих удаленно управлять поверхностью. Пользуясь поверхностью с переменными
высотами, пользователь может передавать свои жесты на расстоянии и даже манипулировать объектами, как в случае с Kinetic Blocks [55-59].
LineFORM и ChainFORM. Похожие проекты, в которых цепь из автономно управляемых модульных сервоприводов образует единое целое. Напоминает продвинутую змейку Рубика. Цепь имеет двунаправленное взаимодействие с пользователем. Легко принимает различные формы, позволяет продемонстрировать передачу волн или анимировать игрушку, если встроить механизм внутрь игрушки в качестве скелета. Дает огромное количество игровых применений. В отличии от змейки Рубика, которая пассивна в руках играющего, эти проекты сами меняют свою форму и могут самостоятельно закрутить даже узел из своих сегментов [60-61].
1и81йг. Проект inSide позволяет пользователям визуально осмотреть 3D внутреннюю информацию, «снимая» внешнюю оболочку с обозреваемого объекта. Работает с помощью проекторов, проецирующих внутреннее устройство объекта на его поверхность. (Поверхность может быть сложной). Реализует два популярных метода иллюстрации, а именно прозрачность и чертежи. Для управления используются жесты [62].
Thaw. Программное обеспечение, которое позволяет нескольким устройствам, например телефону и компьютеру, работать вместе как единое пространство. На
фото пользователь перетаскивает папку с файлами с экрана компьютера на телефон. Смартфон действует и в качестве физического интерфейса, и в качестве дополнительного графического слоя для поверхностного взаимодействия на экране компьютера. Решение позволяет отслеживать положение смартфона, размещенного над любым экраном. Способ может быть реализован на существующих устройствах без необходимости использования дополнительных аппаратных средств [63].
Phixels — это элементы, содержащие микрокомпьютер и датчики, которые могут работать совместно. Они образуют сетевую структуру, не требующую внешнего компьютера для управления. Могут использоваться для моделирования ландшафта, физических систем, телекоммуникации и др. Поскольку Phixels элементы могут обмениваться информацией друг с другом напрямую, они могут быть организованы в любую структуру. Авторы предлагают применять Phixels для визуализации игры на музыкальном инструменте, для декорирования архитектурного пространства или для художественного выражения [64].
Проект phixels напоминает известные кинетические скульптуры архитектора и дизанера Joachim Sauter, но они не содержали самоуправлемых модулей и их элементы не взаимодействовали друг с другом [65].
5. Выводы
За последние два десятилетия разработан широкий спектр устройств, стирающих грань между компьютерной игрой и реальностью, между цифровым и реальным миром.
Устройства, отклоняющиеся от концепции WIMP (окна, иконки, меню, мышь), создали новое поколение интерфейсов [66].
Хотя не все эти инновации и используются повсеместно, их внедрение сулит повышение вовлеченности пользователя в интуитивное взаимодействие с интерфейсом компьютера, и как результат, повышение коммерческого успеха у проектов. Их использование возможно в десятках областей, таких как робототехника, медицина, бытовая автоматика, а также в образовании, серьезных играх или гей-мификационных механиках [67].
Ощутимые, или материальные, интерфейсы преодолевают разрыв между ки-берпространством и физической средой, делая цифровые объекты осязаемыми и интуитивно управляемыми.
Литература
[1] Ishii H., Ullmer B. Tangible bits: towards seamless interfaces between people, bits and atoms // In Proceedings of the ACM SIGCHI Conference on Human factors in computing systems. — ACM, 1997. P. 234-241.
[2] Seufert E. B. Freemium economics: Leveraging analytics and user segmentation to drive revenue. — Elsevier, 2013.
[3] Osipov I. V., Nikulchev E., Volinsky A. A., Prasikova A. Y. Study of gamification effectiveness in online e-learning systems // International Journal of advanced computer science and applications, 2015. Vol. 6. No. 2. P. 71-77.
[4] Djaouti D., Alvarez J., Jessel J. P. Classifying serious games: the G/P/S model // Handbook of research on improving learning and motivation through educational games: Multidisciplinary approaches. 2011. Vol. 2. P. 118-136.
[5] Scott M. J., Ghinea G. Integrating fantasy role-play into the programming lab: exploring the'projective identity'hypothesis // Proceeding of the 44th ACM technical symposium on Computer science education. — ACM, 2013. P. 119-122. doi:10.1145/2445196.2445237.
[6] Тихонов К. Руками не трогать? // Компьютерра. Cентябрь 2008. http ://old. computerra. ru/terralab/archive/input/378840/
[7] Perenson M. J. Microsoft Debuts 'Minority Report'-Like Surface Computer // PCWorld. May, 2007. http://www.pcworld.com/article/132352/article.html
[8] Markoffoct J. As Apple Gains PC Market Share, Jobs Talks of a Decade of Upgrades // NY-Times. 22 Oct, 2007. http://www.nytimes.com/2007/10/22/technology/22apple.html
[9] Guo C., Sharlin E. Exploring the use of tangible user interfaces for human-robot interaction: a comparative study // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. — ACM, 2008. P. 121-130.
[10] Bainbridge W. S. Berkshire encyclopedia of human-computer interaction. — Berkshire Publishing Group LLC, 2004.
[11] ELO Touch [Электронный ресурс] URL: https://www.elotouch.com/about
[12] Buxton B. Multi-touch systems that I have known and loved // Microsoft Research. 2007. Vol. 56. P. 1-11.
[13] Engelbart D. C. XY Position Indicator for a Display System // US 3541541. USA, November. 1970.
[14] Topolsky J. Apple's Magic Mouse: one button, multitouch gestures, Bluetooth, four-month battery life [Электронный ресурс] URL: https://www.engadget.com/2009/10/20/apples-magic-mouse-multitouch-gestures-bluetooth-four-month/
[15] Szeliski R. Computer vision: algorithms and applications. — Springer Science & Business Media, 2010.
[16] KruegerM. W. Artificial reality. — 1983.
[17]Галеев Б. М. Легендарный Термен. Репрессивная наука. — СПб. : Наука, 1991.
[18] Schou T., Gardner H. J. A Wii remote, a game engine, five sensor bars and a virtual reality theatre // Proceedings of the 19th Australasian conference on Computer-Human Interaction: Entertaining User Interfaces — ACM, 2007. P. 231-234).
[19] Zhang Z. Microsoft kinect sensor and its effect // IEEE multimedia. 2012. Vol. 19. No. 2. P. 4-10.
[20]Ishii H., Ullmer B. Tangible bits: towards seamless interfaces between people, bits and atoms // Proceedings of the ACM SIGCHI Conference on Human factors in computing systems. — ACM, 1997. P. 234-241.
[21] Fitzmaurice G. W., Ishii H., Buxton W. A. Bricks: laying the foundations for graspable user interfaces // Proceedings of the SIGCHI conference on Human factors in computing systems. — ACM Press/Addison-Wesley Publishing Co., 1995. P. 442-449.
[22] Ullmer B., Ishii H. The metaDESK: models and prototypes for tangible user interfaces // Proceedings of the 10th annual ACM symposium on User interface software and technology. — ACM, 1997. 223-232/
[23] Ullmer B. A. Models and mechanisms for tangible user interfaces. Doctoral dissertation. — Massachusetts Institute of Technology, 1997.
[24] Gorbet M. G., Orth M., Ishii H. Triangles: tangible interface for manipulation and exploration of digital information topography // Proceedings of the SIGCHI conference on Human factors in computing systems). — ACM Press/Addison-Wesley Publishing Co., 1998. P. 49-56.
[25] Kitamura Y., Itoh Y., Masaki T., Kishino F. ActiveCube: a bi-directional user interface using cubes // Proceedings. Fourth International Conference on Knowledge-Based Intelligent Engineering Systems and Allied Technologies 2000. — IEEE, 2000. Vol. 1, P. 99-102.
[26] Watanabe R., Itoh Y., Asai M., Kitamura Y., Kishino F., Kikuchi H. The soul of ActiveCube: implementing a flexible, multimodal, three-dimensional spatial tangible interface // Computers in Entertainment (CIE). 2004. Vol. 2. No. 4. P. 1-13. https://pdfs.semanticscholar.org/ acd9Z546adb6bf228710a5d2a378f4870edc03414.pdf
[27] Heaton K. Peano cube, Personal Information Architecture Group and Toys of Tomorrow, 2000.
[28] Jennings P. L. A Theoretical Construct of Serious Play and the Design of a Tangible Social Interface // Shared Encounters. — Springer London, 2009. P. 153-172.
[29] Jennings P. Tangible social interfaces: critical theory, boundary objects and interdisciplinary design methods // Proceedings of the 5th conference on Creativity & cognition. — ACM, 2005. P. 176-186.
[30] Jennings P. Constructed narratives a tangible social interface // Proceedings of the 5th conference on Creativity & cognition. — ACM, 2005. P. 263-266. https://www.cl.cam.ac.uk/events/tangibleinterfaces/TUIworkshop-Jennings.pdf
[31] Ullmer B., Ishii H., Glas D. mediaBlocks: physical containers, transports, and controls for online media // Proceedings of the 25th annual conference on Computer graphics and interactive techniques. — ACM, 1998. P. 379-386.
[32] Ratti C., Wang Y., Ishii H., Piper B., Frenchman D. Tangible User Interfaces (TUIs): a novel paradigm for GIS // Transactions in GIS. 2004. Vol. 8. No. 4. P. 407-421.
[33] Piper B., Ratti C., Ishii H. Illuminating clay: a 3-D tangible interface for landscape analysis // Proceedings of the SIGCHI conference on Human factors in computing systems. — ACM, 2002. P. 355-362.
[34] Frei P., Su V., Mikhak B., Ishii H. Curlybot: designing a new class of computational toys // Proceedings of the SIGCHI conference on Human factors in computing systems. — ACM, 2000. P. 129-136.
[35] Yarin P., Smith J., Ishii H. Fishface [Электронный ресурс] URL: http ://alumni.media. mit.edu/~yarin/fishface/
[36] Su V. C. The design and implementation of inTouch: a distributed, haptic communication system. Doctoral dissertation. — Massachusetts Institute of Technology, 1999.
[37] Piper B., Ishii H. PegBlocks: a learning aid for the elementary classroom // CHI'02 extended abstracts on Human factors in computing systems. — ACM, 2002. P. 686-687.
[38] Brave S., Ishii H., Dahley A. Tangible interfaces for remote collaboration and communication // Proceedings of the 1998 ACM conference on Computer supported cooperative work. — ACM, 1998. P. 169-178.
[39] Underkoffler J., Ishii H. Urp: a luminous-tangible workbench for urban planning and design // Proceedings of the SIGCHI conference on Human Factors in Computing Systems. — ACM, 1999. P. 386-393.
[40] Underkoffler J., Ullmer B., Ishii H. Emancipated pixels: real-world graphics in the luminous room // Proceedings of the 26th annual conference on Computer graphics and interactive techniques. — ACM Press/Addison-Wesley Publishing Co., 1999. P. 385-392.
[41]Ishii H., Wisneski C., Orbanes J., Chun B., Paradiso J. PingPongPlus: design of an athletic-tangible interface for computer-supported cooperative play // Proceedings of the SIGCHI conference on Human Factors in Computing Systems. — ACM, 1999. P. 394-401.
[42]Xiao X., Bernstein M. S., Yao L., Lakatos D., Gust L., Acquah K., Ishii H. PingPong++: community customization in games and entertainment // Proceedings of the 8th International Conference on Advances in Computer Entertainment Technology. — ACM, 2011. P. 24.
[43]Xiao X., Tome B., Ishii H. Andante: Walking Figures on the Piano Keyboard to Visualize Musical Motion // Proceedings of the International Conference on New Interfaces for Musical Expression. — London, 2014. P. 629-632.
[44]Ishii H. Bottles: A transparent interface as a tribute to mark weiser // IEICE Transactions on information and systems. 2004. Vol. 87. No. 6. P. 1299-1311.
[45] Coupard P. P. An Availabot-like computer-controlled push puppet for Linux [Электронный ресурс] URL: http://myspace.voo.be/pcoupard/push_puppet_toy/
[46]Merrill D. J., Kalanithi J. J., Fitzgerald B. P. U.S. Patent No. D635,190. Washington, DC: U.S. Patent and Trademark Office. 2011.
[47] Hunter S., Kalanithi J., Merrill D. Make a Riddle and TeleStory: designing children's applications for the siftables platform // Proceedings of the 9th International Conference on Interaction Design and Children. — ACM, 2010. P. 206-209.
[48] Schweikardt E. Modular robotics studio // Proceedings of the fifth international conference on Tangible, embedded, and embodied interaction. — ACM, 2011. P. 353-356.
[49]Ryokai K., Marti S., Ishii H. I/O brush: drawing with everyday objects as ink // Proceedings of the SIGCHI conference on Human factors in computing systems. — ACM, 2004. P. 303-310.
[50]Rafle H. S., Parkes A. J., Ishii H. Topobo: a constructive assembly system with kinetic memory // Proceedings of the SIGCHI conference on Human factors in computing systems. — ACM, 2004. P. 647-654.
[51] Zigelbaum J., Chang A., Gouldstone J., Monzen J. J., Ishii H. SpeakCup: simplicity, BABL, and shape change // Proceedings of the 2nd international conference on Tangible and embedded interaction. — ACM, 2008. P. 145-146.
[52] Zigelbaum J., Browning A., Leithinger D., Bau O., Ishii H. G-stalt: a chirocentric, spatiotemporal, and telekinetic gestural interface // Proceedings of the fourth international conference on Tangible, embedded, and embodied interaction. — ACM, 2010. P. 261-264.
[53] Lakatos D., Blackshaw M., Olwal A., Barryte Z., Perlin K., Ishii H. T (ether): spatially-aware handhelds, gestures and proprioception for multi-user 3D modeling and animation // Proceedings of the 2nd ACM symposium on Spatial user interaction. — ACM, 2014. P. 90-93.
[54] Lee J., Post R., Ishii H. ZeroN: mid-air tangible interaction enabled by computer controlled magnetic levitation // Proceedings of the 24th annual ACM symposium on User interface software and technology. — ACM, 2011. P. 327-336.
[55] Follmer S., Leithinger D., Olwal A., Hogge A., Ishii H. inFORM: dynamic physical affordanc-es and constraints through shape and object actuation // Proceedings of the 26th annual ACM symposium on User interface software and technology, UIST'13. — ACM, 2013. P. 417-426.
[56] Leithinger D., Follmer S., Olwal A., Ishii H. Physical telepresence: shape capture and display for embodied, computer-mediated remote collaboration // Proceedings of the 27th annual ACM symposium on User interface software and technology. — ACM, 2014. P. 461-470.
[57]Ishii H., Leithinger D., Follmer S., Zoran A., Schoessler P., Counts J. TRANSFORM: Embodiment of Radical Atoms at Milano Design Week // Proceedings of the 33rd Annual ACM Conference Extended Abstracts on Human Factors in Computing Systems. — ACM, 2015. P. 687-694.
[58] Schoessler P., Windham D., Leithinger D., Follmer S., Ishii H. Kinetic Blocks: Actuated Constructive Assembly for Interaction and Display // Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology. — ACM, 2015. P. 341-349.
[59] Nakagaki K., Vink L., Counts J., Windham D., Leithinger D., Follmer S., Ishii H. Materiable: Rendering Dynamic Material Properties in Response to Direct Physical Touch with Shape Changing Interfaces // Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. — ACM, 2016. P. 2764-2772.
[60] Nakagaki K., Follmer S., Ishii H. LineFORM: Actuated Curve Interfaces for Display, Interaction, and Constraint // Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology. — ACM, 2015. P. 333-339.
[61] Nakagaki K., Dementyev A., Follmer S., Paradiso J. A., Ishii H. ChainFORM: A Linear Integrated Modular Hardware System for Shape Changing Interfaces // Proceedings of the 29th Annual Symposium on User Interface Software and Technology. — ACM, 2016. P. 87-96.
[62] Tang S. K., Sekikawa Y., Perlin K., Larson K., Ishii H. inSide [Электронный ресурс] URL: http ://tangible.media. mit.edu/proj ect/inside/
[63] Leigh S. W., Schoessler P., Heibeck F., Maes P., Ishii H. THAW: tangible interaction with see-through augmentation for smartphones on computer screens // Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction. — ACM, 2015. P. 89-96.
[64] Vink L., Dementyev A., Ishii H, Phixels [Электронный ресурс] URL: http ://tangible.media. mit.edu/proj ect/phixels/
[65] Sauter J. Interfaces in Public and Semi-public Space. In The Art and Science of Interface and Interaction Design. — Springer Berlin Heidelberg, 2008. P. 63-73.
[66] Jacob R. J., Girouard A., Hirshfield L. M., Horn M. S., Shaer O., Solovey E. T., Zigelbaum J. Reality-based interaction: unifying the new generation of interaction styles // CHI'07 extended abstracts on Human factors in computing systems. — ACM, 2007. P. 2465-2470.
[67] Schneider B., Jermann P., Zufferey G., Dillenbourg P. Benefits of a tangible interface for collaborative learning and interaction // IEEE Transactions on Learning Technologies. 2011. Vol. 4. No. 3. P. 222-232.
Автор:
Илья Викторович Осипов — директор, i2study Inc. (США, Сан-Франциско).
Technical Equipment of Human-Computer Interaction TUI. Review and Analysis Opportunities to use for Gamification
I. V. Osipov
i2i study, Inc. San Francisco, CA, USA
е-mail: ilyavosipov@gmail. com
Abstract. This article provides an overview of modern technology used in the construction of tangible user interface (TUI). Review focuses on the opportunities TUI as an extension of human-computer interaction in gamification technologies.
Key words: TUI, GUI, tangible user interface, ambient media, augmented reality, ubiquitous computing, Pervasive Computing, gamification, serious games.
References
[1] Ishii H., Ullmer B. (1997) Tangible bits: towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human factors in computing systems, pp. 234-241.
[2] Seufert E. B. (2013). Freemium economics: Leveraging analytics and user segmentation to drive revenue. Elsevier.
[3] Osipov I. V., Nikulchev E., Volinsky A. A., Prasikova, A. Y. (2015) International Journal of advanced computer science and applications, 6(2):71-77.
[4] Djaouti D., Alvarez J., Jessel J. P. (2011) Classifying serious games: the G/P/S model. Handbook of research on improving learning and motivation through educational games: Multidis-ciplinary approaches, 2:118-136.
[5] Scott M. J., Ghinea G. (2013) Integrating fantasy role-play into the programming lab: exploring the'projective identity'hypothesis. In Proceeding of the 44th ACM technical symposium on Computer science education, pp. 119-122.
[6] http://old.computerra.ru/terralab/archive/input/378840/
[7] Perenson M. J. (2007) Microsoft Debuts 'Minority Report'-Like Surface Computer. PCWorld. http://www.pcworld.com/article/132352/article.html
[8] Markoffoct J. (2007) As Apple Gains PC Market Share, Jobs Talks of a Decade of Upgrades. NYTimes. http://www.nytimes.com/2007/10/22/technology/22apple.html
[9] Guo C., Sharlin E. (2008). Exploring the use of tangible user interfaces for human-robot interaction: a comparative study. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 121-130.
[10] Bainbridge W. S. (2004). Berkshire encyclopedia of human-computer interaction. Berkshire Publishing Group LLC.
[11] https://www.elotouch.com/about
[12] Buxton B. (2007). Microsoft Research, 56:1-11.
[13] Engelbart D. C. (1970). XY Position Indicator for a Display System, US 3541541. USA, November.
[14] Topolsky J. (2009) Apple's Magic Mouse: one button, multitouch gestures, Bluetooth, four-month battery life. engadget.com. https://www.engadget.com/2009/10/20/apples-magic-mouse-multitouch-gestures-bluetooth-four-month/
[15] Szeliski R. (2010). Computer vision: algorithms and applications. Springer & Business Media.
[16] KruegerM. W. (1983). Artificial reality.
[17] Galeev B. M. (1991). Legendary Theremin. Repressive science. Nauka. [In Rus]
[18] Schou T., Gardner H. J. (2007). A Wii remote, a game engine, five sensor bars and a virtual reality theatre. In Proceedings of the 19th Australasian conference on Computer-Human Interaction: Entertaining User Interfaces, pp. 231-234.
[19] Zhang Z. (2012) IEEE multimedia, 19(2):4-10.
[20] Ishii H., Ullmer B. (1997). Tangible bits: towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human factors in computing systems, pp. 234-241.
[21] Fitzmaurice G. W., Ishii H., Buxton W. A. (1995). Bricks: laying the foundations for graspable user interfaces. In Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 442-449.
[22] Ullmer B., Ishii H. (1997). The metaDESK: models and prototypes for tangible user interfaces. In Proceedings of the 10th annual ACM symposium on User interface software and technology, pp. 223-232.
[23] Ullmer B. A. (1997). Models and mechanisms for tangible user interfaces (Doctoral dissertation, Massachusetts Institute of Technology).
[24] Gorbet M. G., Orth M., Ishii H. (1998). Triangles: tangible interface for manipulation and exploration of digital information topography. In Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 49-56.
[25] Kitamura Y., Itoh Y., Masaki T., Kishino F. (2000). ActiveCube: a bi-directional user interface using cubes. In Proceedings. Fourth International Conference on Knowledge-Based Intelligent Engineering Systems and Allied Technologies, 1, pp. 99-102.
[26] Watanabe R., Itoh Y., Asai M., Kitamura Y., Kishino F., Kikuchi H. (2004). Computers in Entertainment, 2(4):1-15.
[27] Heaton K. (2000). Peano cube, Personal Information Architecture Group and Toys of Tomorrow.
[28] Jennings P. L. (2009). A Theoretical Construct of Serious Play and the Design of a Tangible Social Interface. In Shared Encounters (Springer London), pp. 153-172.
[29] Jennings P. (2005). Tangible social interfaces: critical theory, boundary objects and interdisciplinary design methods. In Proceedings of the 5th conference on Creativity & cognition, pp. 176-186.
[30] Jennings P. (2005). Constructed narratives a tangible social interface. In Proceedings of the 5th conference on Creativity & cognition, pp. 263-266.
[31] Ullmer B., Ishii H., Glas D. (1998) mediaBlocks: physical containers, transports, and controls for online media. In Proceedings of the 25th annual conference on Computer graphics and interactive techniques, pp. 379-386.
[32] Ratti C., Wang Y., Ishii H., Piper B., Frenchman D. (2004) Transactions in GIS, 8(4):407.
[33] Piper B., Ratti C., Ishii H. (2002). Illuminating clay: a 3-D tangible interface for landscape analysis. In Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 355-362.
[34] Frei P., Su V., Mikhak B., Ishii H. (2000). Curlybot: designing a new class of computational toys. In Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 129-136.
[35] Yarin P., Smith J., Ishii H. (1998) Fishface http://alumni.media.mit.edu/~yarin/fishface/
[36] Su V. C. (1999) The design and implementation of inTouch: a distributed, haptic communication system (Doctoral dissertation, Massachusetts Institute of Technology).
[37] Piper B., Ishii H. (2002). PegBlocks: a learning aid for the elementary classroom. In CHI'02 extended abstracts on Human factors in computing systems, pp. 686-687.
[38] Brave S., Ishii H., Dahley A. (1998). Tangible interfaces for remote collaboration and communication. In Proceedings of the 1998 ACM conference on Computer supported cooperative work, pp. 169-178.
[39] Underkoffler J., Ishii H. (1999). Urp: a luminous-tangible workbench for urban planning and design. In Proceedings of the SIGCHI conference on Human Factors in Computing Systems, pp. 386-393.
[40] Underkoffler J., Ullmer B., Ishii H. (1999). Emancipated pixels: real-world graphics in the luminous room. In Proceedings of the 26th annual conference on Computer graphics and interactive techniques, pp. 385-392.
[41] Ishii H., Wisneski C., Orbanes J., Chun B., Paradiso J. (1999). PingPongPlus: design of an athletic-tangible interface for computer-supported cooperative play. In Proceedings of the SIGCHI conference on Human Factors in Computing Systems, pp. 394-401.
[42]Xiao X., Bernstein M. S., Yao L., Lakatos D., Gust L., Acquah K., Ishii H. (2011). Ping-Pong++: community customization in games and entertainment. In Proceedings of the 8th International Conference on Advances in Computer Entertainment Technology, p. 24.
[43]Xiao X., Tome B., Ishii H. (2014). Andante: Walking Figures on the Piano Keyboard to Visualize Musical Motion. In NIME, pp. 629-632.
[44] Ishii H. (2004) IEICE Transactions on information and systems, 87(6):1299-1311.
[45] Coupard P. P. (2008) An Availabot-like computer-controlled push puppet for Linux.
[46]Merrill D. J., Kalanithi J. J., Fitzgerald B. P. (2011). U.S. Patent No. D635,190. Washington, DC: U.S. Patent and Trademark Office.
[47] Hunter S., Kalanithi J., Merrill D. (2010) Make a Riddle and TeleStory: designing children's applications for the siftables platform. In Proceedings of the 9th International Conference on Interaction Design and Children, pp. 206-209).
[48] Schweikardt E. (2011). Modular robotics studio. In Proceedings of the fifth international conference on Tangible, embedded, and embodied interaction, pp. 353-356.
[49] Ryokai K., Marti S., Ishii H. (2004). I/O brush: drawing with everyday objects as ink. In Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 303-310.
[50] Raffle H. S., Parkes A. J., Ishii H. (2004). Topobo: a constructive assembly system with kinetic memory. In Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 647-654.
[51] Zigelbaum J., Chang A., Gouldstone J., Monzen J. J., Ishii H. (2008). SpeakCup: simplicity, BABL, and shape change. In Proceedings of the 2nd international conference on Tangible and embedded interaction, pp. 145-146.
[52] Zigelbaum J., Browning A., Leithinger D., Bau O., Ishii H. (2010). G-stalt: a chirocentric, spatiotemporal, and telekinetic gestural interface. In Proceedings of the fourth international conference on Tangible, embedded, and embodied interaction, pp. 261-264.
[53] Lakatos D., Blackshaw M., Olwal A., Barryte Z., Perlin K., Ishii H. (2014). T (ether): spatially-aware handhelds, gestures and proprioception for multi-user 3D modeling and animation. In Proceedings of the 2nd ACM symposium on Spatial user interaction, pp. 90-93.
[54] Lee J., Post R., Ishii H. (2011). ZeroN: mid-air tangible interaction enabled by computer controlled magnetic levitation. In Proceedings of the 24th annual ACM symposium on User interface software and technology, pp. 327-336.
[55] Follmer S., Leithinger D., Olwal A., Hogge A., Ishii H. (2013) inFORM: dynamic physical affordances and constraints through shape and object actuation. In UIST, pp. 417-426.
[56] Leithinger D., Follmer S., Olwal A., Ishii H. (2014) Physical telepresence: shape capture and display for embodied, computer-mediated remote collaboration. In Proceedings of the 27th annual ACM symposium on User interface software and technology, pp. 461-470.
[57] Ishii H., Leithinger D., Follmer S., Zoran A., Schoessler P., Counts J. (2015) TRANSFORM: Embodiment of Radical Atoms at Milano Design Week. In Proceedings of the 33 rd Annual ACM Conference Extended Abstracts on Human Factors in Computing Systems, pp. 687694.
[58] Schoessler P., Windham D., Leithinger D., Follmer S., Ishii H. (2015) Kinetic Blocks: Actuated Constructive Assembly for Interaction and Display. In Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology, pp. 341-349.
[59] Nakagaki K., Vink L., Counts J., Windham D., Leithinger D., Follmer S., Ishii H. (2016) Ma-teriable: Rendering Dynamic Material Properties in Response to Direct Physical Touch with Shape Changing Interfaces. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, pp. 2764-2772.
[60] Nakagaki K., Follmer S., Ishii H. (2015) LineFORM: Actuated Curve Interfaces for Display, Interaction, and Constraint. In Proceedings of the 28th Annual ACM Symposium on User Interface Software & Technology, pp. 333-339.
[61] Nakagaki K., Dementyev A., Follmer S., Paradiso J. A., Ishii H. (2016). ChainFORM: A Linear Integrated Modular Hardware System for Shape Changing Interfaces. In Proceedings of the 29th Annual Symposium on User Interface Software and Technology, pp. 87-96.
[62] Tang S. K., Sekikawa Y., Perlin K., Larson K., Ishii H. (2014) inSide http://tangible.media. mit.edu/project/inside/
[63] Leigh S. W., Schoessler P., Heibeck F., Maes P., Ishii H. (2015). THAW: tangible interaction with see-through augmentation for smartphones on computer screens. In Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction, pp. 8996.
[64] Vink L., Dementyev A., Ishii H. (2016) Phixels, http://tangible.media.mit.edu/project/phixels/
[65] Sauter J. (2008). Interfaces in Public and Semi-public Space. In The Art and Science of Interface and Interaction Design (Springer Berlin Heidelberg), pp. 63-73.
[66] Jacob R. J., Girouard A., Hirshfield L. M., Horn M. S., Shaer O., Solovey E. T., Zigelbaum J. (2007). Reality-based interaction: unifying the new generation of interaction styles. In CHI'07 extended abstracts on Human factors in computing systems, pp. 2465-2470.
[67] Schneider B., Jermann P., Zufferey G., Dillenbourg P. (2011). IEEE Transactions on Learning Technologies, 4(3):222-232.
