Anthropic анонсировала новую функцию быстрого кэширования с Claude, улучшающую способность Claude выполнять повторяющиеся задачи с большими объемами подробной контекстной информации. Новая функция делает его быстрее, дешевле и мощнее и сегодня доступна в бета-версии через Anthropic API.
Кэширование подсказок
Эта новая функция дает огромное преимущество пользователям, которые постоянно используют очень подробные инструкции с примерами ответов и большим объемом справочной информации в командной строке, поскольку Клод может повторно использовать данные с кешем. Это улучшает согласованность вывода, ускоряет ответы Клода до 50 % (меньшая задержка) и делает его использование до 90 % дешевле.
Оперативное кэширование с помощью Claude особенно полезно для сложных проектов, основанных на одних и тех же данных, и полезно для компаний любого размера, а не только для компаний уровня предприятия. Эта функция доступна в общедоступной бета-версии через Anthropic API для использования с Claude 3.5 Sonnet и Claude 3 Haiku.
В объявлении перечислены следующие способы повышения производительности кэширования запросов:
- «Агенты разговоров: сокращайте затраты и задержки при длительных разговорах, особенно с длинными инструкциями или загруженными документами.
- Обработка больших документов: включайте в приглашение полные материалы большого формата без увеличения задержки ответа.
- Подробные наборы инструкций: поделитесь полными списками инструкций, процедур и примеров, чтобы упростить ответы Клода, не неся повторных затрат.
- Мастера кодирования: улучшите автозаполнение и вопросы и ответы по кодовой базе, поддерживая сводную версию кодовой базы в командной строке.
- Использование инструментов на основе агентов: повышение производительности в сценариях с несколькими вызовами инструментов и итеративными изменениями кода, где каждый шаг обычно требует нового вызова API».
Дополнительную информацию об Anthropic API можно найти здесь:
Откройте для себя новейшие модели – цены
Рекомендованное изображение с сайта Shutterstock/gguy
