Project Gameface — это новая игровая мышь с открытым исходным кодом для громкой связи, которая позволяет пользователям управлять курсором компьютера с помощью движений головы и жестов лица. Люди могут поднять брови, чтобы щелкнуть и перетащить, или открыть рот, чтобы переместить курсор, чтобы любой мог продолжить игру.

Проект был вдохновлен историей стримера видеоигр, страдающего параличом нижних конечностей. Лэнс Карр, который живет с мышечной дистрофией, прогрессирующим заболеванием, ослабляющим мышцы. Лэнс не позволил своим физическим ограничениям помешать ему наслаждаться игрой, поэтому он использовал мышь с отслеживанием головы для управления своим курсором. В 2021 году дом Лэнса загорелся, когда он однажды ночью играл. все снималось вживую и смотрели геймеры по всему миру. Лэнс потерял все свое игровое онлайн-оборудование в огне, включая дорогую мышь с отслеживанием головы, которая является основной технологией, позволяющей ему играть в компьютерные игры.

Услышав историю Лэнса, мы поняли, что должны помочь. Поэтому мы работали с Лэнсом над совместной разработкой Project Gameface, игровой мыши без помощи рук, в которой используются решения с открытым исходным кодом от Google MediaPipe. Движения головы и жесты лица, записанные просто с веб-камеры, распознаются моделями машинного обучения для соответствующего перемещения курсора. Чтобы удовлетворить потребности разных пользователей, мы включили идею размера жеста, которая позволяет пользователям контролировать, насколько заметным должен быть их жест, чтобы вызвать действие мыши.