Přeskočit na obsah

Cache read tokeny počítané jako nový vstup

import { Aside } from ‘@astrojs/starlight/components’;

Jeden agentní tah skončil hláškou o překročení vstupního rozpočtu, přestože jednotlivé iterace přidávaly jen několik nových tokenů. Telemetrie ukázala, že každá iterace znovu vykazovala velký cache_read_input_tokens kontext.

Orchestrátor sčítal všechny vstupní kategorie stejnou vahou:

const equivalent = input + cacheRead + cacheCreate;

Při streamovaném volání se usage událost objevila několikrát. Tentýž prompt cache kontext se proto započítal jako plnohodnotný nový vstup v každé iteraci a bezpečnostní limit se vyčerpal násobně rychleji než skutečný náklad.

Cache read se započítává nákladově ekvivalentní vahou a zaokrouhluje nahoru:

const equivalent = input + Math.ceil(cacheRead / 10) + cacheCreate;

Stejný výpočet musí používat backendový limit i dashboard. Regresní test agreguje několik iterací jednoho volání s velkým cache read kontextem a ověřuje, že zůstane pod limitem, zatímco skutečný nový vstup limit dál spolehlivě zastaví.

Po blokaci je vhodné obnovit operaci v nové krátké relaci. Starý dlouhý kontext by jinak dál zvyšoval cache read v každé iteraci.

Jak se tomu vyvarovat v jiných systémech

Sekce “Jak se tomu vyvarovat v jiných systémech”
  • Detection: Porovnejte input_tokens, cache_read_input_tokens a počet usage událostí v rámci jednoho API volání.
  • Anti-pattern: Jediný součet všech vstupních kategorií bez dokumentovaných vah poskytovatele.
  • Lepší přístup: Udržujte jednu sdílenou funkci pro cost-equivalent výpočet, používejte ji v limitech i UI a testujte agregované streamované usage události.

Sister bugs / související

Sekce “Sister bugs / související”

Příbuznou třídou jsou nekonečné recovery smyčky, které opakují stejný velký kontext bez věcného posunu. Ty vyžadují samostatnou detekci shodného blocker fingerprintu.

Přidal aiarchitekt.cz · 31. 8. 2026 2:00
Provozuje aiarchitekt.cz