Čas převzetí úlohy (lease) zapsaný přes now() závisí na pásmu relace — a oprava formátu se nedá nasadit postupně
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Fronta úloh dává převzatému pokusu patnáct minut. Teprve potom smí plánovaná úloha pokus považovat za opuštěný a převzít ho znovu. V jednom prostředí se rozpracovaný pokus převzal podruhé hned po prvním převzetí — původní zpracování ještě běželo. V jiném zůstal opuštěný pokus ležet déle než hodinu. Když zápis i čtení probíhaly ve stejném pásmu relace, bylo všechno v pořádku, proto to běžné testy neodhalily.
Root cause
Sekce “Root cause”Sloupec je timestamp without time zone. Zápis i obě kontroly lhůty používaly now():
-- převzetí pokusuUPDATE "Event" SET state = 'running', "claimedAt" = now() WHERE …;
-- kontrola lhůty (při dalším převzetí a při výběru z fronty)… WHERE state = 'running' AND "claimedAt" < now() - interval '15 minutes'now() je timestamptz. Při zápisu do sloupce bez pásma se převede na místní čas relace a informace o pásmu se zahodí; při čtení se uložená hodnota vyloží v pásmu té relace, která právě čte. Zápis a čtení přitom běžně dělají různá spojení — webový požadavek a plánovaná úloha, dvě instance aplikace, spojení s jiným výchozím pásmem role nebo databáze.
- zápis v UTC, čtení o hodinu na východ → pokus vypadá o hodinu starší, lhůta „vypršela“ okamžitě;
- zápis na východě, čtení v UTC → pokus vypadá o hodinu mladší, lhůta se o hodinu prodlouží;
- při podzimní změně času nastane jedna místní hodina dvakrát a stáří se spočítá o hodinu špatně i bez jakékoli změny nastavení.
Fix
Sekce “Fix”Čas převzetí se ukládá i porovnává v UTC bez pásma, na všech čtyřech místech najednou (dva zápisy, dvě kontroly):
UPDATE "Event" SET state = 'running', "claimedAt" = (now() AT TIME ZONE 'UTC') WHERE …;
… WHERE state = 'running' AND "claimedAt" < (now() AT TIME ZONE 'UTC') - make_interval(mins => 15)Jiný sloupec téže tabulky (termín dalšího pokusu) zůstal záměrně v místním čase relace — má jiné zapisovatele a jeho sjednocení je samostatná změna. Testovací pomůcky, které „postarší“ převzetí, musely přejít na stejný formát; jinak by testy lhůty prošly nebo selhaly podle pásma stroje.
Postup přechodu, stejný pro nasazení i pro návrat ke starší verzi:
- Zastav všechny, kdo do fronty zapisují: webové instance, plánované úlohy, ruční spouštěče. To, že server už neposlouchá, nestačí — úloha spuštěná před zastavením může ještě doběhnout.
- Počkej, až rozpracované pokusy doběhnou.
- Ověř v každé dotčené databázi, že neexistuje žádný řádek ve stavu rozpracovaného pokusu.
- Nenulový počet nebo stav, který nejde zjistit, znamená zastavit a rozhodnout ručně — ne spustit novou verzi.
- Teprve potom spusť druhou verzi.
Stav je „zmírněno“: sloupec je dál bez pásma a jeho správnost stojí na tom, že UTC používají všichni. Skutečný přechod na produkčních datech je samostatný krok, který kontrola na oddělené instanci nenahradí.
Jak se tomu vyvarovat v jiných systémech
Sekce “Jak se tomu vyvarovat v jiných systémech”- Detection: hledej
now()/CURRENT_TIMESTAMPzapisované dotimestampbez pásma a později porovnávané snow(). Je to bezpečné jen tehdy, když zápis i čtení vždy proběhnou ve stejném pásmu relace — a to u fronty s více procesy nikdo nezaručí. - Test: zapiš v jednom pásmu relace, přečti v jiném (obě pořadí), a přidej stroj s pásmem na západ od UTC. Hranici lhůty ověř skutečným uplynutím času, ne pomocným posunem — posun používá stejnou konvenci jako kód a rozdíl zakryje.
- Vlastnictví pokusu: předčasné převzetí je nebezpečné hlavně tím, že původní zpracování ještě běží. Každý zápis výsledku proto musí nést číslo pokusu a starý pokus musí být odmítnut i ve chvíli, kdy nový teprve běží.
- Kontrola před nasazením: u každé změny, která mění význam uložených hodnot bez migrace, si polož otázku „co se stane s řádky, které zapsala předchozí verze a ještě nejsou uzavřené?“. Když odpověď zní „vyloží se špatně“, nasazení potřebuje okno bez překryvu a kontrolu rozpracovaných řádků.
- Anti-pattern: považovat změnu výrazu v SQL za „bez dopadu na data“, protože nemá migraci.
- Lepší přístup pro nové tabulky:
timestamptz. Lhůta se pak počítá správně v jakémkoli pásmu a změna formátu není potřeba.
Sister bugs / související
Sekce “Sister bugs / související”- Jeden sloupec času zapisují dvě konvence — ORM v UTC a raw SQL now() v čase relace — sousední sloupec téže fronty; tam se lišil jeden zapisovatel, tady byla konvence jednotná, ale závislá na pásmu.
- UTC čas bez pásma v SQL porovnání přebere pásmo relace
- Restart aplikace uprostřed cron jobu nechá RUNNING záznam a dispatcher job už nespustí — proč lhůta převzetí vůbec existuje.