«Речь идет о создании следующего сенсорного экрана», — сказал Охто Пентикайнен, генеральный директор компании под названием двоеточие, когда он представил в Digital Trends свою увлекательную систему управления жестами нового поколения. Лучше всего это рассматривать как функцию двойного нажатия Apple на стероидах.
Я разговаривал с Пентикяйненом по видеосвязи во время выставки CES 2024, чтобы узнать больше.
Содержание
Больше, чем приложение
Возможно, вы уже видели приложение Wow Mouse от Doublepoint, представленное для Wear OS на выставке CES 2024, но это только начало того, над чем работает компания. Wow Mouse добавляет элементы управления жестами в умные часы Wear OS, фактически превращая их в мышь, крепящуюся на запястье, которая использует движения пальцев и запястья для управления. Но Wow Mouse — это относительно простая демонстрация того, над чем работает Doublepoint.
«Мы предлагаем нечто гораздо более комплексное, — сказал Пентикайнен, когда его спросили о приложении Wow Mouse, — и мы можем сделать гораздо больше, чем просто нажатие одной кнопки». означает, что вы действительно можете прокручивать объекты и манипулировать ими».
Doublepoint называет эти «микрожесты», и они включают в себя все: от касания для выбора, касания для прокрутки и двойного касания. Наличие дополнительных жестов, помимо жеста двойного касания Double Tap, очень привлекательно и объясняет суть того, почему Пентикяйнен сравнил эту технологию с сенсорным экраном, поскольку она имитирует многие из тех же жестов, которые мы уже видим на них.
Так как же работает система Doublepoint?
Как работают эти жесты
«То, как работает распознавание микрожестов, отличается от компьютерного отслеживания рук», — объяснил Пентикяйнен, используя известное сравнение. «Камера вычисляет положение вашей руки каждую миллисекунду или независимо от частоты кадров, когда ваши пальцы касаются друг друга. Чтобы обнаружить прикосновение, мы используем инерционный измерительный блок».
Блок инерциальных измерений (IMU) звучит как специальное оборудование, но на самом деле он состоит только из акселерометра, гироскопа и магнитометра. Другими словами, основные датчики, которые можно найти почти во всех из них. Умные часы и другие носимые устройства.
«Он ищет вибрацию, которая возникает, когда ваши пальцы касаются друг друга», — сказал Пентикайнен. На этом этапе алгоритмы Doublepoint отличают эту вибрацию от всех других вибраций, возникающих при движении пальцев. Однако инновационный жест «свести и удерживать», который очень необычен и имеет решающее значение для привлекательности алгоритма, немного отличается и гораздо сложнее.
«Для сжимания и удержания нам также необходимо знать, когда пальцы скреплены, и для этого мы фактически используем мониторинг сухожилий. С оптическим датчиком сердечного ритма мы смотрим не на мышцы, а на сухожилия. соединять Ваш палец касается мышцы, и именно движение говорит нам, когда вы перестаете прикасаться», — сказал он.
Конфигурация и точность
Частично успех Apple Double Tap заключается в том, что он работает без установки или настройки, а также чрезвычайно точен. А как насчет системы Doublepoint?
«Мы с самого начала хотели сделать одним из наших преимуществ тот факт, что нам не нужна никакая настройка, и все работает сразу после установки. Это означает, что нам необходим процесс сбора данных от широкого круга людей и учета соответствующих факторов, таких как индекс массы тела (ИМТ), возраст и уровень мелатонина. Нам удалось добиться очень и очень хороших показателей точности. Почти в диапазоне 97-98%. Конечно, еще многое предстоит сделать», — сказал он.
Что также интересно, умные часы с распознаванием жестов Doublepoint можно соединить с другими устройствами Bluetooth, например с устройствами с отслеживанием глаз, чтобы они работали вместе. Это делает управление такими системами более естественным, а также более конфиденциальным, поскольку не требуется распознавание голоса в качестве резервного или альтернативного варианта.
Компания Qualcomm заинтересована
В управлении жестами нет ничего нового, но нет никаких сомнений в том, что система Double Tap от Apple в последнее время вновь пробудила к ним интерес. И, вероятно, этому не будет уделяться больше внимания, пока гарнитура Vision Pro не появится на рынке, поскольку другие конкурирующие системы могут попробовать новые и разные вещи, чтобы сделать управление гарнитурой более простым и интуитивно понятным. Поэтому неудивительно, что Qualcomm заинтересовался технологией Doublepoint.
«У нас есть соглашение о поставщике с Qualcomm», — сообщил Пентикайнен. «Это означает, что идея состоит в том, чтобы встроить наши алгоритмы в чипы Qualcomm, и, конечно же, сегодня они сделают эти чипы доступными для многих различных поставщиков часов и фитнес-трекеров».
Помимо Qualcomm, компания также работает с производителями датчиков над внедрением своего алгоритма в сам датчик. Кроме того, есть собственная эталонная платформа умных часов компании, которая, по словам Пентикайнен, «предназначена для того, чтобы дать людям представление о том, что мы можем сделать». [the algorithms]и покажем, как мы интегрируем это в продукт».
Скоро?
Означает ли это, что скоро появятся новые умные часы от Doublepoint с технологией жестов и сжатия и удержания, которые позволят вам прокручивать, смахивать и изменять такие значения, как громкость или яркость?
«У нас нет подтвержденных сроков, когда наши партнеры смогут вывести свою продукцию на рынок, но я бы сказал, что в настоящее время эти вещи развиваются очень быстро», — сказал Пентикайнен.
В ходе нашей короткой беседы Пентикайнен провел несколько сравнений системы управления жестами Doublepoint и тачскрина, а в конце мы более подробно объяснили, почему он их сделал.
«По сути, сенсорный экран зародился в телефоне, и теперь мы видим его повсюду», — сказал он. «Это позволило использовать все виды новых устройств. В прошлом году Apple удвоила усилия по распознаванию жестов, по сути показывая, что жесты станут ключевой возможностью для улучшения. Поэтому мы просто хотим сделать это возможным для как можно большего числа предприятий, используя, по нашему мнению, новый сенсорный экран».
Пока нам предстоит дождаться появления умных часов с технологией Doublepoint, вы можете опробовать базовую версию. Вау, приложение для мышикоторый теперь можно загрузить через Google Play для некоторых умных часов Wear OS.
Редакционные рекомендации
