Terminální hard stop zapisovaný každý tik zahltí append-only journal a CPU
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Node proces orchestrátoru agentů drží dlouhodobě 80–95 % jednoho jádra, load average 15–24 na 8 jádrech, ventilátor jede nonstop. Dashboard funguje. sample ukazuje hlavní vlákno v Array.filter a V8 property lookupech. Journal (.jsonl) má 188 tisíc řádků, z toho 97 % je jeden typ události s identickým payloadem.
Root cause
Sekce “Root cause”Dva nezávislé vzory, které se navzájem zesílily:
- Hard stop bez změny stavu. Smyčka
setInterval(pump, 1000)voláadvanceCampaign(). Po vypršení mandátu funkce zapsalaCAMPAIGN_HARD_STOPa vrátilaHARD_STOP, ale kampaň v DB zůstalaactive. Další tik → stejná větev → další zápis. 5 týdnů, 182 641 událostí. - Append re-parsuje celý journal. Kvůli bezpečnosti více zapisovatelů každý
append()vezme zámek, přečte celý soubor a ověří hash řetězec všech událostí. S rostoucím journalem rostla cena každého zápisu (sám se brzdil z 260/h na 60/h), ale CPU bylo saturované pořád. - Snapshot každou sekundu filtruje celý journal per operace.
events()vraceloObject.freeze([...events])(kopie 188k prvků) a snapshot to volal 100× (per operaci) každou sekundu → ~19 M iterací/s. - Druhá IDLE cesta zopakovala stejnou kvadratickou práci. I po opravě snapshotu procházel autopilot při každém tiku všechny uzavřené operace a pro každou znovu volal
journal.events().filter(...). Žádné nové události nevznikaly, ale cena jednoho IDLE tiku zůstalaO(počet operací × počet událostí).
// předif (now > Date.parse(campaign.mandate.expiresAt)) { await journal.append('CAMPAIGN_HARD_STOP', id, { reason: 'MANDATE_EXPIRED' }); return { kind: 'HARD_STOP' }; // status zůstává 'active' → příští tik znovu}Fix
Sekce “Fix”// poif (now > Date.parse(campaign.mandate.expiresAt)) { const last = lastEventFor(journal.events(), id); if (!(last?.type === 'CAMPAIGN_HARD_STOP' && last.payload.reason === 'MANDATE_EXPIRED')) { await journal.append('CAMPAIGN_HARD_STOP', id, { reason: 'MANDATE_EXPIRED' }); } db.revokeCampaign(); // terminální stav → příští tik vrací IDLE return { kind: 'HARD_STOP' };}Dále: events() vrací sdílený zmrazený pohled invalidovaný až dalším appendem; snapshot i autopilot si pro danou identitu pohledu jedním průchodem postaví Map<operationId, events[]>. Index je v WeakMap, takže další IDLE tik nad stejným pohledem journal znovu neprochází a první append jej přirozeně invaliduje novou identitou pole. Regresní test měří počet čtení prvků při dvou IDLE ticích, ne jen výsledný stav. Po restartu CPU z 95 % na ~1 %.
Jak se tomu vyvarovat v jiných systémech
Sekce “Jak se tomu vyvarovat v jiných systémech”- Detection:
tail -2000 journal.jsonl | grep -o '"type":"[^"]*"' | sort | uniq -c— jeden typ s tisíci výskyty = smyčka. Dlouhodobé CPU:ps -Ao pid,etime,time,comm -ra hledat proces sTIMEv řádu desítek hodin. - Anti-pattern: rozhodnutí „STOP“ vyjádřené jen eventem, zatímco polling čte stav z jiného zdroje (DB), který se nezměnil; nebo vnořený
filter()nad celou historií uvnitř smyčky přes operace. Testy s pevně zadaným datem expirace bez injektovanéhonow— po tom datu celá sada tiše padá a nikdo si nevšimne. - Lepší přístup: každé terminální rozhodnutí = změna statusu + idempotentní zápis; v testech mandát relativně k
Date.now()nebo vždy injektovaný čas;events()nikdy nekopírovat per volání; všechny per-operation konzumenty napojit na jeden index invalidovaný identitou neměnného pohledu.
Sister bugs / související
Sekce “Sister bugs / související”- Codex marketplace upgrade zanechává staging klony — stejný princip „retry bez úklidu“ na disku místo CPU.