Кеширование запросов
Prompt caching полезен для длинного повторяющегося префикса: системной инструкции, базы правил, описаний tools или большого справочника. Стабильную часть размещайте раньше переменных пользовательских данных. Если provider возвращает детализацию, попадания в кеш видны вusage.prompt_tokens_details.cached_tokens.