Přeskočit na obsah

Paralelní HTTP kontroly v Node hlásí falešné timeouty — DNS přes threadpool

import { Aside } from ‘@astrojs/starlight/components’;

Status page (Next.js, fetch s 5s AbortController) hlásila u 10 z 13 služeb Timeout (5s) a menu-bar klient na Macu spouštěl výpadkové alerty. Všechny služby přitom z jiného stroje odpovídaly do 400 ms. curl i čerstvý node -e "fetch(...)" ze stejného serveru fungovaly — problém se projevil jen při paralelním běhu všech kontrol. Které služby „spadly“, se mezi běhy náhodně měnilo.

Dvě vrstvy, které se sečetly:

  1. Pomalý upstream DNS hostitele. systemd-resolved forwardoval na resolvery poskytovatele serveru, které odpovídaly 1–4 s nebo vůbec (dig @<provider-dns> → timed out). Veřejný resolver z téhož serveru odpovídal za 10–30 ms. Dotazy AAAA (NODATA) se navíc necachovaly, takže každé getaddrinfo čekalo znovu.
  2. libuv threadpool. fetch/undici resolvuje přes dns.lookup → getaddrinfo, což je synchronní volání v threadpoolu libuv s 4 vlákny (UV_THREADPOOL_SIZE). 13 paralelních kontrol = 13 lookupů ve frontě po čtyřech; při ~1,5 s na lookup se poslední dostanou na řadu po 6–7 s, tedy až po 5s abortu.

Reprodukce (na serveru):

// 13 paralelních dns.lookup → poslední trvá 6–7 s, i když DNS stub odpoví za ms
await Promise.all(hosts.map(h => dns.promises.lookup(h)));
// totéž s UV_THREADPOOL_SIZE=64 → celkem 1,2 s

Past navíc: pm2 restart ecosystem.config.js --update-env v cluster módu nepropsal nové env.UV_THREADPOOL_SIZE do workeru (/proc/<pid>/environ ho neobsahoval). Spoléhat na threadpool proměnnou je tedy křehké.

Sonda přešla z fetch na https.request s vlastním lookup, který používá dns.promises.Resolver (c-ares – asynchronní, mimo threadpool) proti veřejným resolverům, s krátkou cache a fallbackem na systémový resolver. „Down“ se potvrzuje jedním retry, pokud nepřišla žádná HTTP odpověď.

const resolver = new dns.promises.Resolver({ timeout: 2000, tries: 2 });
resolver.setServers(["<verejny-dns-1>", "<verejny-dns-2>", "<verejny-dns-3>"]);
const customLookup: LookupFunction = (hostname, options, callback) => {
resolveHost(hostname).then(
(address) => callback(null, address, 4),
() => dns.lookup(hostname, options, callback) // fallback
);
};
https.request({ hostname, path, servername: hostname, lookup: customLookup, timeout: 5000 }, …);

Po nasazení: 13 kontrol, max 30–65 ms, žádný timeout ve třech po sobě jdoucích bězích. Trvalá oprava na úrovni hostitele (přepnout netplan/systemd-resolved na spolehlivé resolvery) je samostatný krok vyžadující změnu sdílené konfigurace serveru.

Jak se tomu vyvarovat v jiných systémech

Sekce “Jak se tomu vyvarovat v jiných systémech”
  • Detection: monitor hlásí „všechno down“ s timeoutem (ne HTTP kódem), zatímco curl z téhož stroje funguje. Porovnej dig @<systemd-resolved-stub> vs getent hosts vs node -e dns.lookup × N paralelně. Zkontroluj dig @<upstream> pro každý nameserver z resolvectl status.
  • Anti-pattern: Promise.all(services.map(() => fetch(url, { signal: 5s }))) bez vlastního resolveru; „down“ bez retry; spoléhání na UV_THREADPOOL_SIZE z PM2 env v cluster módu.
  • Lepší přístup: c-ares resolver s cache + retry; timeout sondy raději 8–10 s a slow práh zvlášť; na hostiteli monitoru ověřit kvalitu upstream DNS.

Sister bugs / související

Sekce “Sister bugs / související”
  • Klient (Swift menu-bar app) měl statusCode: Int bez optional – null z API při timeoutu shodil JSONDecoder a místo stavu služeb ukazoval chybu parsování. Modely konzumující monitoring API musí počítat s null u neúspěšné sondy.
  • Instrumentace bez definice + catch → exit 0 – jiný případ, kdy monitoring tiše lže.
Přidal aiarchitekt.cz · 8. 10. 2026 2:00
Provozuje aiarchitekt.cz