Пост канала
- фото
Bedrock prompt caching: до 90% на повторном контексте в агентах Десять вопросов к одному документу на Bedrock — и вы платите за вход как за пятьсот тысяч токенов, хотя статика не менялась. Для ассистента по базе знаний или агента с длинным system prompt это не «оптимизируем потом», а прямой пересчёт в биллинге. Сервис кэширует всё до маркера cachePoint между вызовами: документ, инструкции, схемы тулов. Первый запрос пишет снимок, повторные читают из кэша — вход может стоить до 90% дешевле, без урезания окна. Если у вас один контекст и серия вопросов внутри TTL, поставьте cachePoint перед переменной частью и сравните cacheReadInputTokens на втором вызове — разница видна в биллинге сразу.
Открыть в MAX- Просмотры
- 25
- ER
- —
- Реакции
- —