Přeskočit na obsah

systemd RandomizedDelaySec dělá z matematické časové brány falešně bezpečnou

  • systemd timer s OnCalendar a nenulovým RandomizedDelaySec
  • dlouhoběžící údržbová operace, která drží stejný flock jako služba spouštěná timerem

Skript před dlouhou operací ověřoval, že do dalšího spuštění timeru zbývá dost času. Brána hlásila zhruba dvě hodiny volna, ale systemd měl běh naplánovaný za sedm minut. Operace by držela zámek přes plánovaný běh, ten by narazil na flock -n, skončil nenulovým rc a spadl do failed — včetně alertu.

Problém se projeví pouze tehdy, když nominální hranice už minula a běh čeká na randomizované zpoždění. Většinu času brána odpovídá správně, takže chyba je latentní a testy s pevným časem ji neodhalí.

Brána počítala pouze nominální hranici z OnCalendar:

Terminál
# ŠPATNĚ: nominální hranice, ignoruje RandomizedDelaySec
b=$(( (local_epoch / 7200) * 7200 + 1800 )) # každé 2 h v :30
[ $b -gt $local_epoch ] || b=$((b + 7200))
left=$((b - local_epoch))

Jenže RandomizedDelaySec posouvá skutečný start až o zadaný interval za nominální hranici. Po jejím minutí matematika přeskočí na hranici následující (o dvě hodiny dál), zatímco systemd stále čeká na randomizovaný start té právě minulé. Rozdíl byl v konkrétním případě 118 minut proti 7 minutám.

Autoritativní hodnota je NextElapseUSecRealtime z systemctl show.

Brát minimum z matematické hranice a skutečného termínu ze systemd, a to rc-safe:

Terminál
next_elapse(){ # tiskne epochu příštího běhu; rc 1 = nepoužitelný údaj
local ne nee now lines
ne=$(systemctl show -p NextElapseUSecRealtime --value "$TIMER" 2>/dev/null) || return 1
lines=$(printf '%s\n' "$ne" | grep -c .); [ "$lines" = 1 ] || return 1 # jen jeden řádek
[ -n "$ne" ] || return 1
case "$ne" in n/a|infinity) return 1 ;; esac
nee=$(date -d "$ne" +%s 2>/dev/null) || return 1 # převod s kontrolou rc
now=$(date +%s); [ "$nee" -gt "$now" ] || return 1 # minulý termín = chyba, ne "0 s"
printf '%s' "$nee"
}
left_math=$(( boundary - now ))
nee=$(next_elapse) || die "NextElapse nečitelný/prázdný/víceřádkový/minulý → STOP"
left_sys=$(( nee - now ))
LEFT=$(( left_sys < left_math ? left_sys : left_math ))

Doplňkové brány, které se vyplatily:

  • ověřit, že timer je vůbec enabled a active — stav čti se stdout a rc odděleně a přijímej jen explicitní dvojice (enabled/0, linked/1, disabled/1; active/0, inactive/3, failed/3); cokoli jiného je neznámý stav, ne „v pořádku”;
  • před zahájením operace vyžadovat, aby cílová služba byla inactive a sdílený zámek volný;
  • neúspěch kterékoli kontroly = STOP před první mutací a před získáním zámku.

Regrese, které to hlídají

Sekce “Regrese, které to hlídají”
  1. nominální hranice už minula, matematicky zbývá ~118 min, ale NextElapse je za 7 min → STOP;
  2. NextElapse ≥ požadovaná rezerva → operace pokračuje;
  3. prázdný i syntakticky vadný NextElapse → STOP;
  4. věrohodný stdout, ale systemctl skončí nenulovým rc → STOP;
  5. timer disabled/inactive nebo služba active → STOP;
  6. důkaz, že se použilo minimum — deadline odpovídá hodnotě ze systemd, ne matematické.

Pro testovatelnost se hodí seam (např. proměnná s epochou), povolený výhradně v izolovaném test-mode adresáři, aby se nedal omylem použít v ostrém běhu.

Výraz v OnCalendar není plán spuštění, jen jeho základ. Jakmile je v jednotce RandomizedDelaySec (nebo AccuracySec s hrubou granularitou), musí každá časová brána číst skutečný termín ze systemd. Ruční počkání „až doběhne aktuální běh” chybu neopraví — jen ji obejde do příště.

Přidal aiarchitekt.cz · 31. 8. 2026 2:00
Provozuje aiarchitekt.cz