Двакеш Патель взял интервью у Джеффа Дина и Ноама Шазира из Google и одной темы, которую он спросил о том, каково это, чтобы объединить или объединить поиск в Google с обучением в контексте. Это привело к увлекательному ответу от Джеффа Дина.

Прежде чем посмотреть, вот определение, которое вам может понадобиться:

Внутреннее обучение, также известное как несколько выстрелов или быстрого разработки, представляет собой метод, при котором LLM приведены примеры или инструкции в рамках подсказки для ввода, чтобы направлять его ответ. Этот метод использует способность модели понимать и адаптироваться к шаблонам, представленным в непосредственном контексте запроса.

Контекстное окно (или «длина контекста») большой языковой модели (LLM) — это количество текста в токенах, которое модель может рассмотреть или «помнить» в любое время. Большее окно контекста позволяет модели ИИ обрабатывать более длинные входы и включать в каждый выход большего количества информации.

Этот вопрос и ответ начинаются в 32 -минутная отметка В этом видео:

https://www.youtube.com/watch?v=v0gji__rycy

Вот стенограмма, если вы не хотите читать это:

Вопрос:

Я знаю, что одна вещь, над которой вы сейчас работаете, — это более длинный контекст. Если вы думаете о поиске Google, у него есть весь индекс Интернета в его контексте, но это очень мелкий поиск. И тогда, очевидно, языковые модели сейчас имеют ограниченный контекст, но они действительно могут думать. Это как Dark Magic, в контекстном контексте. Это действительно может подумать о том, что он видит. Как вы думаете о том, каково было бы объединить что-то вроде поиска Google и что-то вроде обучения в контексте?

Да, я впервые сделаю это, потому что — я немного подумал об этом. Одна из вещей, которые вы видите с этими моделями, это то, что они довольно хороши, но иногда они галлюцинируют и иногда имеют проблемы с фактической. Частично это вы тренировались, скажем, на десятки триллионов токенов, и вы разжигали все это вместе в своих десятках или сотнях миллиардов параметров. Но все это немного мягко, потому что вы собрали все эти токены вместе. Модель имеет достаточно четкое представление об этих данных, но иногда она запутывается и даст неверную дату для чего -то. Принимая во внимание, что информация в окне контекста при вводе модели действительно резкая и ясная, потому что у нас есть действительно хороший механизм внимания в трансформаторах. Модель может обратить внимание на вещи, и она знает точный текст или точные кадры видео или аудио или чем -то, что он обрабатывает. Прямо сейчас у нас есть модели, которые могут иметь дело с миллионами токенов контекста, что довольно много. Это сотни страниц PDF, или 50 исследовательских работ, или часов видео, или десятки часов аудио или некоторую комбинацию этих вещей, что довольно круто. Но было бы очень приятно, если бы модель могла посетить триллионы жетонов.

Может ли он заняться всем интернетом и найти для вас подходящие вещи? Может ли это принять участие в вашей личной информации для вас? Мне бы очень понравилась модель, которая имеет доступ ко всем моим электронным письмам, всем моим документам и всем моим фотографиям. Когда я прошу это сделать что -то, это может как бы использовать это, с моего разрешения, чтобы помочь решить, что я хочу, чтобы это сделать.

Но это будет большой вычислительной задачей, потому что алгоритм наивного внимания квадратичный. Вы едва можете заставить его работать на немало оборудования для миллионов токенов, но нет надежды сделать это просто наивным образом идти в триллионы жетонов. Итак, нам нужно целую кучу интересных алгоритмических приближений к тому, что вы действительно хотели бы: способ для модели концептуально посещать много -много жетонов, триллионов токенов. Возможно, мы сможем поместить всю базу кода Google в контексте для каждого разработчика Google, всего исходного кода мира в контексте для любого разработчика с открытым исходным кодом. Это было бы удивительно. Это было бы невероятно.

Вот где я нашел это:

Обсуждение на форуме в ХПолем

ЧИТАТЬ  Как исправить ошибку «красный свет» на материнской плате | Цифровые тенденции





Source link