Paralelní HTTP kontroly v Node hlásí falešné timeouty — DNS přes threadpool
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Status page (Next.js, fetch s 5s AbortController) hlásila u 10 z 13 služeb Timeout (5s) a menu-bar klient na Macu spouštěl výpadkové alerty. Všechny služby přitom z jiného stroje odpovídaly do 400 ms. curl i čerstvý node -e "fetch(...)" ze stejného serveru fungovaly — problém se projevil jen při paralelním běhu všech kontrol. Které služby „spadly“, se mezi běhy náhodně měnilo.
Root cause
Sekce “Root cause”Dvě vrstvy, které se sečetly:
- Pomalý upstream DNS hostitele.
systemd-resolvedforwardoval na resolvery poskytovatele serveru, které odpovídaly 1–4 s nebo vůbec (dig @<provider-dns> → timed out). Veřejný resolver z téhož serveru odpovídal za 10–30 ms. Dotazy AAAA (NODATA) se navíc necachovaly, takže každégetaddrinfočekalo znovu. - libuv threadpool.
fetch/undici resolvuje přesdns.lookup→getaddrinfo, což je synchronní volání v threadpoolu libuv s 4 vlákny (UV_THREADPOOL_SIZE). 13 paralelních kontrol = 13 lookupů ve frontě po čtyřech; při ~1,5 s na lookup se poslední dostanou na řadu po 6–7 s, tedy až po 5s abortu.
Reprodukce (na serveru):
// 13 paralelních dns.lookup → poslední trvá 6–7 s, i když DNS stub odpoví za msawait Promise.all(hosts.map(h => dns.promises.lookup(h)));// totéž s UV_THREADPOOL_SIZE=64 → celkem 1,2 sPast navíc: pm2 restart ecosystem.config.js --update-env v cluster módu nepropsal nové env.UV_THREADPOOL_SIZE do workeru (/proc/<pid>/environ ho neobsahoval). Spoléhat na threadpool proměnnou je tedy křehké.
Fix
Sekce “Fix”Sonda přešla z fetch na https.request s vlastním lookup, který používá dns.promises.Resolver (c-ares – asynchronní, mimo threadpool) proti veřejným resolverům, s krátkou cache a fallbackem na systémový resolver. „Down“ se potvrzuje jedním retry, pokud nepřišla žádná HTTP odpověď.
const resolver = new dns.promises.Resolver({ timeout: 2000, tries: 2 });resolver.setServers(["<verejny-dns-1>", "<verejny-dns-2>", "<verejny-dns-3>"]);
const customLookup: LookupFunction = (hostname, options, callback) => { resolveHost(hostname).then( (address) => callback(null, address, 4), () => dns.lookup(hostname, options, callback) // fallback );};
https.request({ hostname, path, servername: hostname, lookup: customLookup, timeout: 5000 }, …);Po nasazení: 13 kontrol, max 30–65 ms, žádný timeout ve třech po sobě jdoucích bězích. Trvalá oprava na úrovni hostitele (přepnout netplan/systemd-resolved na spolehlivé resolvery) je samostatný krok vyžadující změnu sdílené konfigurace serveru.
Jak se tomu vyvarovat v jiných systémech
Sekce “Jak se tomu vyvarovat v jiných systémech”- Detection: monitor hlásí „všechno down“ s timeoutem (ne HTTP kódem), zatímco
curlz téhož stroje funguje. Porovnejdig @<systemd-resolved-stub>vsgetent hostsvsnode -e dns.lookup× N paralelně. Zkontrolujdig @<upstream>pro každý nameserver zresolvectl status. - Anti-pattern:
Promise.all(services.map(() => fetch(url, { signal: 5s })))bez vlastního resolveru; „down“ bez retry; spoléhání naUV_THREADPOOL_SIZEz PM2 env v cluster módu. - Lepší přístup: c-ares resolver s cache + retry; timeout sondy raději 8–10 s a
slowpráh zvlášť; na hostiteli monitoru ověřit kvalitu upstream DNS.
Sister bugs / související
Sekce “Sister bugs / související”- Klient (Swift menu-bar app) měl
statusCode: Intbez optional –nullz API při timeoutu shodilJSONDecodera místo stavu služeb ukazoval chybu parsování. Modely konzumující monitoring API musí počítat snullu neúspěšné sondy. - Instrumentace bez definice + catch → exit 0 – jiný případ, kdy monitoring tiše lže.