Введение
Осязаемый пользовательский интерфейс (TUI) – это пользовательский интерфейс, в котором человек взаимодействует с цифровой информацией посредством физической среды. Изначально он назывался Graspable User Interface, но это название больше не используется. Цель разработки TUI – расширить возможности для сотрудничества, обучения и проектирования, придавая физическую форму цифровой информации и используя тем самым человеческую способность воспринимать и манипулировать физическими объектами и материалами. Впервые эта концепция была предложена Радией Перлман как новый язык программирования для обучения детей младшего возраста, аналогичный Logo, но с использованием специальных "клавиатур" и устройств ввода. Другим пионером в области осязаемых пользовательских интерфейсов является Хироси Ишии, профессор Массачусетского технологического института (MIT), возглавляющий группу Tangible Media Group в MIT Media Lab. Его особое видение осязаемых интерфейсов, известное как Tangible Bits, заключается в придании физической формы цифровой информации, делая биты непосредственно манипулируемыми и воспринимаемыми. Tangible Bits стремится к бесшовной интеграции между физическими объектами и виртуальными данными.
Сравнение с графическими пользовательскими интерфейсами
Осязаемый пользовательский интерфейс должен отличаться от графического пользовательского интерфейса (GUI). ГУИ существует только в цифровом мире, в то время как TUI соединяет цифровой мир с физическим. Например, экран отображает цифровую информацию, а мышь позволяет нам непосредственно взаимодействовать с этой информацией. Осязаемый пользовательский интерфейс представляет ввод непосредственно в физическом мире и делает цифровую информацию осязаемой. Осязаемый пользовательский интерфейс обычно разрабатывается для одной конкретной целевой группы из-за ограниченного спектра возможных областей применения. Поэтому дизайн интерфейса должен разрабатываться совместно с целевой группой для обеспечения положительного пользовательского опыта. В сравнении с TUI, ГУИ имеет широкий спектр применений в одном интерфейсе и ориентирован на большую группу пользователей. Мрамор (шарик) представляет собой одно сообщение, оставленное на автоответчике. Бросая мрамор в блюдо, можно воспроизвести соответствующее сообщение или перезвонить вызывающему абоненту. Система Topobo. Блоки в Topobo похожи на блоки LEGO, которые можно соединять, но также могут двигаться самостоятельно благодаря моторизованным компонентам. Пользователь может толкать, тянуть и вращать эти блоки, и они могут запоминать эти движения и воспроизводить их. Реализация, позволяющая пользователю нарисовать изображение на столе системы с помощью настоящей осязаемой ручки. Используя жесты рук, пользователь может клонировать изображение и растягивать его по осям X и Y, как в программе для рисования. Эта система интегрирует видеокамеру с системой распознавания жестов. jive. Внедрение TUI помогло сделать этот продукт более доступным для пожилых пользователей. Пропуска "друзья" также могут использоваться для активации различных взаимодействий с продуктом. Проекционная дополненная модель. SandScape: проектирование ландшафта с помощью TUI. Этот интерфейс позволяет пользователю формировать ландшафт из песка на столе. Песчаная модель представляет собой рельеф, который проецируется на поверхность. В режиме реального времени модель проецирует деформации песка.
Состояние техники
С 1990-х годов интерес к осязаемым пользовательским интерфейсам (TUIs) постоянно растет, и с каждым годом появляется все больше осязаемых систем. В белой книге 2017 года описывается эволюция TUIs для опыта работы с сенсорными столами и предлагаются новые возможности для экспериментов и разработок. В 1999 году Гэри Залевски запатентовал систему подвижных детских блоков с датчиками и дисплеями для обучения правописанию и составлению предложений. Tangible Engine – это проприетарное приложение для создания интерфейсов распознавания объектов для емкостных сенсорных столов с проекцией. Tangible Engine Media Creator позволяет пользователям без опыта программирования быстро создавать приложения на основе TUIs. Группа Tangible Media Group Массачусетского технологического института (MIT) под руководством Хироси Иши непрерывно разрабатывает и экспериментирует с TUIs, включая множество настольных приложений. Система Urp и более продвинутая Augmented Urban Planning Workbench позволяют проводить цифровое моделирование потоков воздуха, теней, отражений и других данных на основе положения и ориентации физических моделей зданий на поверхности стола. Новейшие разработки идут еще дальше, включая третье измерение и позволяя пользователю создавать ландшафты из глины (Illuminating Clay) или песка (Sand Scape). Различные симуляции позволяют анализировать тени, карты высот, уклоны и другие характеристики интерактивно формируемых массивов суши. InfrActables – это коллаборативный стол с обратной проекцией, позволяющий взаимодействовать с помощью TUIs, распознающих состояние объектов. Добавление различных кнопок к TUIs обеспечивает дополнительные функции, связанные с этими объектами. Новые версии технологии могут быть интегрированы в LC-дисплеи с использованием инфракрасных датчиков за LC-матрицей. Tangible Disaster позволяет пользователю анализировать меры по предотвращению и ликвидации последствий катастроф и моделировать различные виды бедствий (пожары, наводнения, цунами и т.д.), а также сценарии эвакуации в ходе совместных сессий планирования. Физические объекты позволяют размещать бедствия на интерактивной карте и дополнительно настраивать параметры (например, масштаб) с помощью дисков, прикрепленных к ним. Коммерческий потенциал TUIs был недавно определен. Многократно награждаемый Reactable, интерактивный осязаемый настольный инструмент, теперь коммерчески распространяется компанией Reactable Systems, выделенной компанией из Университета Помпеу Фабра, где он был разработан. С помощью Reactable пользователи могут интерактивно настраивать свой инструмент, физически размещая различные объекты (представляющие осцилляторы, фильтры, модуляторы) и параметризируя их путем вращения и сенсорного ввода. Microsoft распространяет свою новую платформу на базе Windows, Microsoft Surface (теперь Microsoft PixelSense), с 2009 года. Помимо мультитач-отслеживания пальцев, платформа поддерживает распознавание физических объектов по их контурам. Было представлено несколько приложений, в основном для использования в коммерческих целях. Примеры варьируются от разработки индивидуального графического оформления для сноуборда или скейтборда до изучения деталей вина в ресторане, размещая его на столе и просматривая меню с помощью сенсорного ввода. Также поддерживается совместный просмотр фотографий с фотокамеры или мобильного телефона, который легко подключается при размещении на столе. Еще одна заметная интерактивная инсталляция – instant city, сочетающая в себе игры, музыку, архитектуру и коллаборативные аспекты. Она позволяет пользователю строить трехмерные структуры и создавать город из прямоугольных блоков, что одновременно приводит к интерактивной сборке музыкальных фрагментов разных композиторов. Разработка Reactable и последующий выпуск технологии отслеживания reacTIVision под лицензией GNU/GPL, а также открытые спецификации протокола TUIO стимулировали огромное количество разработок на основе этой технологии. За последние несколько лет было запущено множество любительских и полупрофессиональных проектов за пределами академической среды и коммерции. Благодаря технологиям отслеживания с открытым исходным кодом (reacTIVision) "Осязаемое планирование производства" (The Tangible Factory Planning) – это осязаемый стол на базе reacTIVision, который был представлен на выставке в Университете Баухауса в Веймаре в ознаменование 90-летия со дня основания Баухауса. Посетители могли просматривать и изучать биографии, сложные взаимосвязи и социальные сети членов этого движения. Используя принципы, основанные на воплощенном познании, теории когнитивной нагрузки и воплощенном дизайне, TUIs показали свою способность повышать эффективность обучения за счет предоставления мультимодальной обратной связи. Однако эти преимущества для обучения требуют форм дизайна взаимодействия, которые оставляют как можно больше когнитивных ресурсов для обучения.
The Tangible Factory Planning is a tangible table based on reacTIVision and was on exhibition at the Bauhaus University in Weimar marking the 90th anniversary of the establishment of Bauhaus. Visitors could browse and explore the biographies, complex relations and social networks between members of the movement. Using principles derived from embodied cognition, cognitive load theory, and embodied design TUIs have been shown to increase learning performance by offering multimodal feedback. However, these benefits for learning require forms of interaction design that leave as much cognitive capacity as possible for learning.
Физическая икона
Физическая икона, или фикон, — это материальный вычислительный аналог иконки в традиционном графическом пользовательском интерфейсе, или GUI. Фиконы содержат ссылку на цифровой объект и таким образом передают значение.
История
Физические иконки впервые использовались как материальные интерфейсы в проекте metaDesk, разработанном в 1997 году исследовательской группой "Осязаемые биты" профессора Хироси Ишии в MIT. metaDesk представлял собой стол, поверхность которого отображала видеопроекцию с обратной стороны. Размещение физической иконки на столе активировало датчики, изменяющие видеопроекцию.