Новая жизнь клавиатуры

Клавиатура — само воплощение способа взаимодействия с компьютером «по-старинке», восходящего еще к печатающей машинке и на фоне современных сенсорных интерфейсов кажущегося старомодным, но когда речь идет о наборе текстов, от которого по-прежнему никуда не деться, по эффективности с клавиатурой ничто не сравнится. Благодаря ее физическим качествам — ощутимым клавишам с упругим ходом — пользователи могут набирать символы, не отрывая взгляда от экрана и руководствуясь только тактильными ощущениями. При этом можно достичь очень высокой скорости набора — как неизменно показывают исследования, с помощью физической клавиатуры текст, цифры и команды можно набирать гораздо быстрее, чем с помощью любого другого способа ввода. Вместо противопоставления старого и нового — клавишного и сенсорного — можно их объединить для использования преимуществ двух методов: тактильные ощущения, создаваемые клавиатурой, и гибкость ввода, свойственного динамически меняющемуся визуальному интерфейсу.

Исследователи из Рейнско-Вестфальского технического университета Ахена изобрели силиконовую накладку для интерактивных настольных поверхностей, создающую для виртуальной клавиатуры ощутимые клавиши, отображаемые под прозрачным силиконом. Однако есть и обратный подход — оснащение физических клавиш сенсорными дисплеями, что позволяет сохранить традиционные тактильные и эргономические качества клавиатуры, но при этом предоставляет ряд новых возможностей взаимодействия с нею.

Сенсорно-дисплейная клавиатура

Как показано на рис. 1, прототип сенсорно-дисплейной клавиатуры создан на основе обычной компьютерной клавиатуры, с которой стерта маркировка клавиш, чтобы с помощью расположенного сверху проектора эмулировать наличие клавиши. С помощью проектора удалось проверить концепцию сенсорной дисплейной клавиатуры, но для ее практической реализации в клавиши надо встроить настоящие дисплеи. Например, можно воспользоваться OLED-экранами, как в клавиатуре Optimus Maximus, предложенной «Студией Артемия Лебедева».

Рис. 1. Сенсорно-дисплейная клавиатура: а — прототип создан на основе обычной компьютерной клавиатуры без маркировки; б, в — каждая клавиша соединена с сенсором касания, встроенным в основание клавиатуры; г, д — вместо дисплеев, встроенных в клавиши, используется проектор

Чтобы прототип распознавал прикосновения, 100 датчиков касаний были установлены в основание клавиатуры и соединены медными проводниками с емкостной лентой, помещенной под колпачком каждой клавиши. Помимо этого, были разработаны программные средства для исследования новых возможностей взаимодействия с сенсорно-дисплейной клавиатурой. Проектор, отображавший маркировку на клавишах, был подключен к компьютеру в качестве второго монитора, и клавиатура стала частью общего графического интерфейса, управляемого мышью. Для областей, соответствующих клавишам на «дополнительном дисплее», использовалась таблица преобразования, которая каждому коду клавиши ставила в соответствие определенный прямоугольник в координатном пространстве дисплея. Вместо прямого распознавания нажатий на клавиши операционной системой они передавались через специальный программный слой, распознающий три события: нажатие, касание и отпускание клавиши. За основу была взята аналогия с событиями управления мышкой: нажатие клавиши, наведение курсора и отпускание.

Динамическая «накладка» для клавиш

Простейший способ быстро адаптировать клавиатуру для конкретной программы — это воспользоваться накладкой с альтернативной маркировкой для клавиш. Такие накладки, отображающие клавиши быстрого доступа, существуют, например, для графических редакторов и программ макетирования. Графический дисплей, встроенный в клавиатуру, играет роль динамической «накладки», которую можно переключать для смены алфавита или отображения клавиш быстрого доступа к функциям.

Как показано на рис. 2, маркировку клавиатуры-дисплея можно менять и более сложными способами. На рис. 2, а показана раскладка клавиатуры с ярлыками, роль которых выполняет верхний ряд клавиш. При нажатии на клавишу-ярлык другие ряды начинают отображать соответствующую панель пиктограмм быстрого доступа. Такая клавиатура позволяет запрограммировать тысячи команд, причем доступ к любой из них потребует максимум двух нажатий. Это может быть весьма удобным в функционально богатых приложениях, где большинство возможностей, кроме самых основных, спрятаны в разветвленных меню. На рис. 2, б показана локальная адаптация маркировки в зависимости от контекста взаимодействия — пользователь выбрал на клавиатуре инструмент рисования стрелки, и соседние клавиши временно переключились на отображение кругового меню, позволяющего выбрать дополнительные настройки (в данном случае — стиль линии).

Рис. 2. Динамическая клавиатурная раскладка: а — клавиши верхнего ряда играют роль ярлыков, переключающих маркировку остальных; б — при выборе одной из клавиш быстрого доступа соседние клавиши начинают временно отображать соответствующее меню настроек

Работа с клавиатурой с помощью мыши

Дисплей, отображаемый на клавиатуре, представляет собой продолжение графического пользовательского интерфейса на экране компьютера. Клавиши могут показывать не только различные алфавиты и пиктограммы быстрого доступа к функциям, но и любую графическую информацию — например, инструментальные панели, гиперссылки и изображения. При этом клавиатура представляет собой единое дисплейное пространство, то есть каждый графический объект не обязательно отображается в пределах отдельной клавиши — он может занимать ряд из нескольких клавиш или любой участок клавиатуры. Поскольку клавиатура продолжает основной дисплей, на ней можно пользоваться мышью точно так же, как на двух мониторах, одновременно подключенных к компьютеру.

На рис. 3 показано, что пользователь может переносить графические элементы между экраном компьютера и клавиатурой. Если перетащить пиктограмму с экрана вниз, она в буквальном смысле окажется у вас под руками. При этом не нужно специально программировать клавишу быстрого доступа — сам элемент управления перемещается на клавиатуру, где нажать на него пальцем можно быстрее, чем мышкой на экране.

Рис. 3. Клавиатура служит продолжением графического пользовательского интерфейса, отображаемого на мониторе компьютера. Мышь работает на обоих дисплейных пространствах, и ею можно перетаскивать объекты с экрана на клавиатуру

На рис. 4 показаны примеры графических раскладок клавиатуры. В верхнем ряду отображается гиперссылка, которую перетащили на клавиатуру, — для улучшения читаемости она увеличена. Чтобы открыть ссылку в браузере, достаточно нажать на любую из отображающих ее клавиш. Внизу слева показаны варианты отображения регулятора громкости. Когда используется одна клавиша, то это простой выключатель звука, две клавиши позволяют прибавлять и уменьшать громкость, а если задействовать ряд клавиш, то можно отобразить ползунок, управляемый дискретно при помощи нажатий или плавно с помощью мыши. Пример внизу справа показывает, что управляющий элемент может занимать и несколько рядов клавиш.

Рис. 4. Примеры раскладок клавиатуры. В верхнем ряду увеличенная для читаемости гиперссылка; для управления возможно использовать ряд клавиш; управляющий элемент может занимать несколько клавиш

Добавляем касания

Обычной клавиатуре свойственны только два состояния — клавиша либо нажата, либо нет. Но есть и третье, когда до клавиши дотронулись, но не нажали. Данное состояние называется «присутствие» (Presence), и его можно сравнить с наведением курсора мыши на экранный объект и использовать аналогичным образом. Например, когда пользователь кладет палец на клавишу, на экране может отображаться всплывающая подсказка с описанием функции. Эта широко применяемая в графических интерфейсах особенность позволяет изучать команды, соответствующие пиктограммам, помогая новичкам в освоении интерфейсов.

На рис. 5, а показаны всплывающие подсказки на клавиатуре и демонстрируется взаимозаменяемость пальца и мыши — и то, и другое можно использовать для предварительного просмотра объекта (касание / наведение курсора) и для вызова связанного с ним действия (нажатие на клавишу / щелчок). На рис. 5, б ряд клавиш выше пальцев показывает, какие символы ими прикрыты, а на рис. 5, в клавиши выводят в режиме предварительного просмотра изображение, до пиктограммы которого дотронулся пользователь. В любом из этих примеров отображать картинки, появляющиеся в ответ на касания, может и экран компьютера, чтобы пользователю не приходилось переводить глаза на клавиатуру.

Рис. 5. Вывод подсказок на клавиатуре: a — пример взаимозаменяемости клавиши и мыши; б — ряд клавиш выше пальцев показывает, какие символы ими прикрыты; в — вывод в режиме предварительного просмотра изображения пиктограммы

Распознавание касаний можно применять не только для предварительного просмотра. Так, клавиатура может автоматически переключаться в режим ввода текста, как только пальцы расположились на ней в стартовой позиции для набора. Можно также распознавать двигательные жесты — например, переключать раскладки смахивающим движением или манипулировать с экранными объектами путем различных жестов на клавиатуре двумя руками.

С одной стороны, из-за неровной поверхности клавиатуры на ней трудно выполнять плавные жесты, с другой, эту неровность можно было бы использовать, так как она обеспечивает осязательную обратную связь. Например, движениями двух пальцев вдоль ряда клавиш можно было бы плавно масштабировать объекты на экране: скажем, если отодвинуть палец от соседнего ровно на одну клавишу, объект растягивается на один пиксел.

Касания в сочетании с мышью можно использовать для многорежимного ввода. Касание, благодаря ощущению неровности поверхности клавиатуры, хорошо подходит для выполнения функции «выбрать и удержать», в то время как мышью проще было бы выполнять операцию «выбрать и перетащить». На рис. 4 внизу справа показана реализация одновременного использования касаний и мыши на прототипе: в то время как палец удерживает объект за край, мышь растягивает его.

***

Сенсорно-дисплейная клавиатура дает пользователю кардинально новые возможности взаимодействия с компьютером, но полностью сохраняет и даже повышает присущую клавиатуре эффективность при наборе текстов. Новое устройство одновременно является физической клавиатурой, позволяющей быстро нажимать клавиши, и программной клавиатурой, динамически адаптирующей маркировку. Дополнения — дисплей и механизм распознавания касаний — существенно расширяют возможности такой клавиатуры по сравнению с традиционной. При работе с компьютером пользователям помимо набора текста нужны также многие другие функции, и сенсорно-дисплейная клавиатура предоставляет богатые возможности для их реализации благодаря интерактивной поверхности, которая служит естественным продолжением экрана компьютера и поддерживает многорежимный ввод с помощью рук, пальцев и мыши.

Пользователь неизменно работает быстрее с элементами управления, которые можно потрогать и ощутить, чем с виртуализованными аналогами, имитирующими клавиши, переключатели, ручки управления на экране. Однако виртуальные средства управления обеспечивают высокую гибкость выбора и более широкие возможности при выполнении конкретных заданий. Задача, которую предстоит решить в дальнейших исследованиях, — реализовать одновременно оба эти преимущества. Для этого необходимо выработать способы «овеществления» виртуальных средств управления (например, с помощью тактильной обратной связи на интерактивных поверхностях) и сделать физические интерфейсы более гибкими. Данные исследования должны подлить масла в огонь непрекращающихся споров о том, что лучше — физическое или виртуальное управление.

Ханс Геллерсен (hwg@comp.lancs.ac.uk) — профессор Ланкастерского университета, Флориан Блок (fblock@seas.harvard.edu) — научный сотрудник Гарвардского университета.