Externí recovery změnila stav, ale daemon držel starý kontext
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Samostatné recovery CLI úspěšně zopakuje lokální bránu, zapíše kandidáta do append-only journalu a přepne operaci na čekání na audit. Běžící služba téměř okamžitě zahájí audit, ale skončí chybou, že kandidát chybí. Databáze a journal přitom kandidáta prokazatelně obsahují.
Root cause
Sekce “Root cause”Orchestrátor rekonstruoval kontext operace při startu procesu a ponechal jej v paměti. Administrační CLI později změnilo durable stav mimo proces:
CLI: journal += CANDIDATE_READYCLI: INCIDENT -> AWAITING_AUDITdaemon: context.candidate je stále nulldaemon: AWAITING_AUDIT -> AUDITING -> INCIDENTCompare-and-swap nad SQLite chránil stavový řádek, nikoli odvozený objekt držený jiným procesem. Durable pravda se tedy nerozbila, ale běžící proces spotřeboval novou fázi se starou projekcí journalu.
Fix
Sekce “Fix”Obnova kontextu dostala samostatný fail-closed postup:
- přesně připne SHA původního incidentu, SHA recovery události a kandidáta,
- strojově vyžaduje, aby orchestrátor nebyl načtený v launch manageru ani neposlouchal na lokálním portu,
- compare-and-swapem vrátí operaci z incidentu do čekání na audit,
- zapíše intent, přechod i dokončení do append-only journalu,
- teprve potom se daemon znovu spustí; při startu rekonstruuje kandidáta z
CANDIDATE_READYa audit pokračuje.
Regresní test používá skutečnou SQLite databázi a journal. Ověřuje úspěšnou obnovu při zastavené službě, idempotenci i odmítnutí, pokud kontrola nedokáže prokázat, že služba neběží.
Jak se tomu vyvarovat v jiných systémech
Sekce “Jak se tomu vyvarovat v jiných systémech”- Detection: hledejte recovery CLI, které mění fázi operace, zatímco worker načítá související kontext pouze při startu.
- Anti-pattern: databáze je považována za jediný stav, ale worker současně drží neversionovanou projekci journalu v paměti.
- Lepší přístup: recovery provádějte v maintenance režimu, nebo po změně durable stavu publikujte versionovaný reload příkaz a pokračování povolte až po potvrzeném načtení stejné verze kontextu.
Sister bugs / související
Sekce “Sister bugs / související”append-only-journal-concurrent-writers— samostatné procesy musí koordinovat nejen zápis, ale i spotřebu nové durable verze.manual-pause-neodmitne-pozdni-vysledek— příbuzná třída stale in-memory práce, která doběhne po změně řízení operace.campaign-recovery-reservation-root-child-incident— recovery musí být přesně vázaná na skutečný durable incident.