Каждый раз, когда выходит новый телефон Pixel, вы можете услышать, что «обработка на устройстве» делает возможными его новые интересные функции. Просто взгляните на новые телефоны Pixel 9: такие вещи, как Pixel Studio и Call Notes, работают «на устройстве». И дело не только в телефонах: камеры Nest, умные часы Pixel и устройства Fitbit также используют всю эту функцию «обработки на устройстве». Учитывая устройства, которые его используют, и функции, которые он обеспечивает, это кажется довольно важным.
Можно с уверенностью предположить, что обработка происходит на… ну, на устройстве. Но чтобы лучше понять, что это значит, мы поговорили с Тристаном Апстиллом, который работает в Google почти 20 лет и работает в командах разработчиков Android, Новостей Google и Поиска.
Вы были частью команды, которая помогла разработать некоторые интересные функции наших новых устройств Pixel. Можете ли вы рассказать мне немного о том, над чем вы работаете?
Совсем недавно я работал над Android, где возглавлял команду, занимающуюся объединением различных стеков технологий Google в невероятный и значимый пользовательский опыт. Затем вам нужно придумать, как его построить и отправить.
Поскольку мы довольно часто совершенствуем технологии и внедряем новые, эта работа кажется бесконечной.
Точно! В последние годы мы наблюдаем взрыв возможностей генеративного искусственного интеллекта. Сначала, когда мы начали думать о запуске больших языковых моделей на устройствах, мы подумали, что это что-то вроде шутки, типа: «Конечно, мы можем это сделать, но, возможно, сделаем это «к 2026 году». А производительность технологий развивалась так быстро, что мы смогли запустить функции с помощью нашей интегрированной модели Gemini Nano на Pixel 8 Pro в декабре 2023 года.
Вот о чем я хочу узнать больше: «обработка на устройстве». Давайте разберемся в этом и начнем с того, что именно означает «лечение».
Главный процессор или система на кристалле (SoC) ваших устройств имеет ряд процессоров, специально предназначенных для выполнения задач, которые вы хотите выполнить с помощью этого устройства. Вот почему вы увидите чип (например, чип Tensor в Pixels), называемый «системой на кристалле»: здесь не один процессор, а несколько процессоров, память, интерфейсы и многое другое. вместе. на куске кремния.
Возьмем, к примеру, смартфоны Pixel: процессоры включают в себя центральный процессор или ЦП в качестве основного «двигателя»; графический процессор или графический процессор, который визуализирует визуальные эффекты; и сегодня у нас есть тензорный процессор (TPU), специально разработанный Google для выполнения рабочих нагрузок AI/ML на устройстве. Все эти вещи работают вместе, чтобы помочь вашему телефону выполнять задачи — обработку.
Например, когда вы фотографируете, вы часто эффективно используете всю вычислительную мощность вашего телефона. ЦП будет занят выполнением основных задач, которые контролируют работу телефона, графический процессор будет помогать визуализировать то, что видит объектив, а на высококлассных устройствах Android, таких как Pixel, TPU также предстоит обработать много работы. то, что видит оптический объектив, чтобы ваши фотографии выглядели великолепно.
Понятно. Обработка «на устройстве» подразумевает обработку за пределами устройства. Где именно происходит «обработка вне устройства»?
Обработка вне устройства происходит в облаке. Ваше устройство подключается к Интернету и отправляет ваш запрос на другие серверы, которые выполняют задачу, а затем отправляют результат обратно на ваш телефон. Поэтому, если бы мы хотели взять этот процесс и выполнить его на устройстве, мы бы взяли большую модель машинного обучения, которая выполняет эту задачу в облаке, и сделали ее меньше и эффективнее, чтобы она могла работать на операционной системе и оборудовании устройства. вашего устройства.
Какое оборудование делает это возможным?
Новые, более мощные чипсеты. Например, с Пиксель 9 ПроЭто происходит благодаря нашей SoC под названием Tensor G4. Tensor G4 позволяет этим телефонам запускать такие модели, как Gemini Nano: он способен выполнять эти высокопроизводительные вычисления.
Таким образом, Tensor специально разработан для запуска Google AI, который Также который поддерживает многие возможности искусственного интеллекта Pixel следующего поколения.
ВЕРНО! И возможности генеративного искусственного интеллекта, безусловно, являются одним из них, но обработка на устройстве делает возможным и многое другое. Рендеринг видео, игры, редактирование фотографий HDR, языковой перевод: почти все, что вы делаете на своем телефоне. Все это происходит на вашем телефоне и не отправляется на сервер для обработки.
