Dočasný archivační cron bez rotace zaplní disk a PM2 hlásí „online“ u mrtvého procesu
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Aplikace za nginx vrací 502 Bad Gateway. pm2 list ukazuje proces jako online, ale s pamětí 0b a vysokým počtem restartů. ss -ltnp port aplikace vůbec neposlouchá. V ps je PID ve stavu <defunct>. V error logu je Segmentation fault (core dumped) a df -h / hlásí 100 % využití, 0 B volných.
Root cause
Sekce “Root cause”Při zavádění nového autorizačního enginu běžel několikadenní „shadow“ režim. Pro něj vznikl hodinový cron:
0 * * * * /root/<pozorovaci-okno>/snapshot.shSkript přilepoval aktuální log aplikace do archive.log, aby pozorovací data přežila rotaci PM2 logů. Okno skončilo po ~5 dnech, cron ale nikdo nevypnul. Za tři měsíce soubor narostl na ~46 GB (z 49 GB disku). Node při zápisu na plný disk spadl, PM2 se ho pokoušel restartovat (144×), nakonec zůstal zombie, který PM2 považoval za živý. pm2 restart pak vrátil Process 0 not found.
Fix
Sekce “Fix”- Uvolnit disk, zachovat jen začátek archivu (data z pozorovacího okna):
Terminál truncate -s 500M /root/<pozorovaci-okno>/archive.log - Vypnout cron (zakomentovat s datem a důvodem, ne smazat):
Terminál crontab -l | sed 's|^0 \* \* \* \* /root/<okno>/snapshot.sh|#DISABLED <datum> &|' | crontab - - Zombie proces z PM2 odstranit a založit znovu (
restartna něj nefunguje):Terminál HOME=/root pm2 delete <app>cd /var/www/<app> && HOME=/root pm2 start node_modules/.bin/next --name <app> -- start -p <port>HOME=/root pm2 save
Jak se tomu vyvarovat v jiných systémech
Sekce “Jak se tomu vyvarovat v jiných systémech”- Detection:
find / -xdev -size +1Gadu -xsh /root/* /var/log/*jako součást každé prod diagnózy; disk alert (např. 80 %) na status page. V PM2 nevěřit sloupcistatus, ověřitss -ltnpacurl localhost:<port>/api/health. - Anti-pattern: cron zapsaný „na pár dní“ bez data konce, append do jednoho souboru bez
logrotatenebotruncatehorní hranice. - Lepší přístup: dočasné crony do
/etc/cron.d/<nazev>s hlavičkou# REMOVE AFTER <datum>; archiv rotovat (logrotatesmaxsize) nebo ukládat per-hodinu a mazat starší než N dní; po skončení okna úkol „vypnout cron“ přímo v runbooku.
Sister bugs / související
Sekce “Sister bugs / související”- PM2 restart přes systemd-run má špatný HOME — bez
HOME=/rootvidíš jiný PM2 démon. - Cron skript bez exec bitu — opačný problém, cron tiše neběží.