Cache read tokeny počítané jako nový vstup
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Jeden agentní tah skončil hláškou o překročení vstupního rozpočtu, přestože jednotlivé iterace přidávaly jen několik nových tokenů. Telemetrie ukázala, že každá iterace znovu vykazovala velký cache_read_input_tokens kontext.
Root cause
Sekce “Root cause”Orchestrátor sčítal všechny vstupní kategorie stejnou vahou:
const equivalent = input + cacheRead + cacheCreate;Při streamovaném volání se usage událost objevila několikrát. Tentýž prompt cache kontext se proto započítal jako plnohodnotný nový vstup v každé iteraci a bezpečnostní limit se vyčerpal násobně rychleji než skutečný náklad.
Fix
Sekce “Fix”Cache read se započítává nákladově ekvivalentní vahou a zaokrouhluje nahoru:
const equivalent = input + Math.ceil(cacheRead / 10) + cacheCreate;Stejný výpočet musí používat backendový limit i dashboard. Regresní test agreguje několik iterací jednoho volání s velkým cache read kontextem a ověřuje, že zůstane pod limitem, zatímco skutečný nový vstup limit dál spolehlivě zastaví.
Po blokaci je vhodné obnovit operaci v nové krátké relaci. Starý dlouhý kontext by jinak dál zvyšoval cache read v každé iteraci.
Jak se tomu vyvarovat v jiných systémech
Sekce “Jak se tomu vyvarovat v jiných systémech”- Detection: Porovnejte
input_tokens,cache_read_input_tokensa počet usage událostí v rámci jednoho API volání. - Anti-pattern: Jediný součet všech vstupních kategorií bez dokumentovaných vah poskytovatele.
- Lepší přístup: Udržujte jednu sdílenou funkci pro cost-equivalent výpočet, používejte ji v limitech i UI a testujte agregované streamované usage události.
Sister bugs / související
Sekce “Sister bugs / související”Příbuznou třídou jsou nekonečné recovery smyčky, které opakují stejný velký kontext bez věcného posunu. Ty vyžadují samostatnou detekci shodného blocker fingerprintu.