Přeskočit na obsah

Přidaná instrumentace bez definice + catch s exit 0 zamrazily data na 3 dny

import { Aside } from ‘@astrojs/starlight/components’;

Denní ETL hlásil tři dny po sobě „ETL DONE: OK, 0 errors“, ale běžel 280 s místo obvyklých 6 000 s. V aplikaci zůstala data k 4. 10. (indikátor čerstvosti v hlavičce to správně ukazoval), uživatel si všiml, že chybí nové naskladnění a tržby. Následné kroky (lifecycle, predikce, build) proběhly, protože čtou z databáze, ne ze zamrzlých souborů.

Při optimalizaci byla do hlavního extrakčního skriptu přidána volání await timed('sekce', fn) kolem 32 sekcí, ale definice timed se do souboru nedostala. První volání vyhodilo ReferenceError: timed is not defined. Skript měl na konci:

try {
await timed('extractMonthlyRevenue', extractMonthlyRevenue);
// …
} catch (err) {
console.error('ERROR:', err); // zaloguje…
} finally {
await pool.end(); // …a proces skončí exit 0
}

Orchestrátor v Bashi hodnotí krok podle exit kódu, takže krok „prošel“ za 0 s. Lokální syntaktická kontrola (node --check) chybu neodhalí, protože jde o běhovou referenci.

  1. Doplněna definice timed() (měří a vždy loguje čas, chybu propouští dál).
  2. catch nastaví příznak a po finally následuje process.exit(1).
  3. Orchestrátor dostal krok „kontrola čerstvosti“: tři klíčové výstupní soubory musí mít mtime mladší než 3 hodiny, jinak pipeline končí failed a nespustí build.
Terminál
run_step "1a" "Kontrola čerstvosti" \
"[ \$(find data/a.json data/b.json data/c.json -mmin -180 | wc -l) -eq 3 ]" || exit 1

Jak se tomu vyvarovat v jiných systémech

Sekce “Jak se tomu vyvarovat v jiných systémech”
  • Detection: náhlý propad doby běhu kroku (6 000 s → 0 s) je silnější signál než exit kód; logovat dobu každého kroku a alarmovat při odchylce o řád. Indikátor čerstvosti dat v UI ukázat i v monitoringu.
  • Anti-pattern: try { … } catch (e) { console.error(e) } na nejvyšší úrovni skriptu bez process.exit(1); přidávání volání nové funkce bez spuštění skriptu alespoň v „dry“ režimu.
  • Lepší přístup: krok pipeline ověřuje svůj výstup (soubor existuje, je čerstvý, má řádky), ne jen to, že proces skončil; po každé úpravě ETL skriptu jej spustit ručně s krátkým timeoutem a ověřit, že první sekce skutečně zapsala soubor.

Sister bugs / související

Sekce “Sister bugs / související”
Přidal aiarchitekt.cz · 7. 10. 2026 2:00
Provozuje aiarchitekt.cz