Малоизвестная особенность человеческого глаза может проложить путь к созданию более совершенных камер в беспилотных автомобилях и еще более эффективной фотографии на смартфоны.
В большинстве случаев, когда вы читаете это, ваши глаза медленно перемещаются слева направо. Но даже когда вы не читаете и не смотрите на неподвижный объект, ваши глаза постоянно двигаются. И, как оказалось, это ключ к улучшению качества человеческого зрения и позволяет роботам, беспилотным автомобилям и, возможно, даже смартфонам видеть более четко.
Команда исследователей из Университета Мэриленда разработала камеру, имитирующую движения человеческого глаза. Камера называется «Камера событий с искусственными микросаккадами» (AMI-EV) и использует вращающуюся камеру. круглая клиновая призма (круглая, но одна сторона призмы имеет острый угол) вращается перед камерой событий, в данном случае камерой Intel RealSense D435, для перемещения изображений.
Даже если движения небольшие, они призваны имитировать саккады человеческого глаза. Саккады описывают три разных уровня движения глаза — быстрые, мелкие подергивания, более медленные движения глаз и микросаккады, которые происходят несколько раз в секунду и настолько малы, что незаметны для человеческого глаза.
Это последнее движение может помочь нам видеть более четко, особенно движущиеся объекты, когда наш глаз перемещается, чтобы сфокусировать изображение на лучшей части сетчатки, заменяя размытие формой и цветом.
Понимая, как эти микродвижения помогают человеческому восприятию, команда оснастила свою камеру вращающейся призмой.
Согласно Краткое содержание статьи«Вдохновленные микросаккадами, мы разработали систему восприятия, основанную на событиях, которая может одновременно поддерживать короткое время реакции и стабильную текстуру. В этой конструкции перед апертурой камеры событий устанавливалась вращающаяся клиновидная призма, которая перенаправляла свет и запускала события».
Исследователи объединили аппаратное решение с программным обеспечением, которое могло компенсировать движение и объединять снятые изображения в стабильное и четкое изображение.
Соответственно отчет в Science DailyЭксперименты оказались настолько успешными, что камеры, оснащенные AMI EV, фиксировали все: от быстродвижущихся объектов до человеческого пульса. Это показывает точное видение.
Когда глаза роботов будут видеть более гуманно, появится потенциал не только для роботов, разделяющих наши зрительные способности, но и для беспилотных автомобилей, которые, наконец, смогут различать людей и другие объекты. Уже есть доказательства того, что Беспилотным автомобилям сложно опознать некоторых людейБеспилотный Tesla, оснащенный камерой AMI-EV, потенциально может различить проносящуюся мимо сумку и выбегающего на улицу ребенка.
Оснащенные камерами AMI EV, гарнитуры смешанной реальности, использующие камеры для объединения реального и виртуального миров, потенциально могут объединять их лучше, создавая более реалистичный опыт.
«…существует множество приложений, с которыми уже взаимодействует большая часть населения, например, системы автономного вождения или даже камеры смартфонов. Мы считаем, что наша новая система камер прокладывает путь для более совершенных и мощных систем», — сказал Яннис Алоймонос, профессор информатики в UMD и соавтор исследования. наука ежедневно.
Это только начало, и аппаратное обеспечение больше похоже на мотор, чем на сверхмаленькую и тонкую камеру, необходимую для лучшего смартфона.
Тем не менее, признание того, что то, чего мы не видим, отвечает за то, что мы видим, и что эта небольшая, но важная способность зрения может быть воспроизведена в роботизированных камерах, является важным шагом на пути к будущему, в котором роботы будут соответствовать человеческому зрительному восприятию.