Přeskočit na obsah

Dočasný archivační cron bez rotace zaplní disk a PM2 hlásí „online“ u mrtvého procesu

import { Aside } from ‘@astrojs/starlight/components’;

Aplikace za nginx vrací 502 Bad Gateway. pm2 list ukazuje proces jako online, ale s pamětí 0b a vysokým počtem restartů. ss -ltnp port aplikace vůbec neposlouchá. V ps je PID ve stavu <defunct>. V error logu je Segmentation fault (core dumped) a df -h / hlásí 100 % využití, 0 B volných.

Při zavádění nového autorizačního enginu běžel několikadenní „shadow“ režim. Pro něj vznikl hodinový cron:

0 * * * * /root/<pozorovaci-okno>/snapshot.sh

Skript přilepoval aktuální log aplikace do archive.log, aby pozorovací data přežila rotaci PM2 logů. Okno skončilo po ~5 dnech, cron ale nikdo nevypnul. Za tři měsíce soubor narostl na ~46 GB (z 49 GB disku). Node při zápisu na plný disk spadl, PM2 se ho pokoušel restartovat (144×), nakonec zůstal zombie, který PM2 považoval za živý. pm2 restart pak vrátil Process 0 not found.

  1. Uvolnit disk, zachovat jen začátek archivu (data z pozorovacího okna):
    Terminál
    truncate -s 500M /root/<pozorovaci-okno>/archive.log
  2. Vypnout cron (zakomentovat s datem a důvodem, ne smazat):
    Terminál
    crontab -l | sed 's|^0 \* \* \* \* /root/<okno>/snapshot.sh|#DISABLED <datum> &|' | crontab -
  3. Zombie proces z PM2 odstranit a založit znovu (restart na něj nefunguje):
    Terminál
    HOME=/root pm2 delete <app>
    cd /var/www/<app> && HOME=/root pm2 start node_modules/.bin/next --name <app> -- start -p <port>
    HOME=/root pm2 save

Jak se tomu vyvarovat v jiných systémech

Sekce “Jak se tomu vyvarovat v jiných systémech”
  • Detection: find / -xdev -size +1G a du -xsh /root/* /var/log/* jako součást každé prod diagnózy; disk alert (např. 80 %) na status page. V PM2 nevěřit sloupci status, ověřit ss -ltnp a curl localhost:<port>/api/health.
  • Anti-pattern: cron zapsaný „na pár dní“ bez data konce, append do jednoho souboru bez logrotate nebo truncate horní hranice.
  • Lepší přístup: dočasné crony do /etc/cron.d/<nazev> s hlavičkou # REMOVE AFTER <datum>; archiv rotovat (logrotate s maxsize) nebo ukládat per-hodinu a mazat starší než N dní; po skončení okna úkol „vypnout cron“ přímo v runbooku.

Sister bugs / související

Sekce “Sister bugs / související”
Přidal aiarchitekt.cz · 23. 10. 2026 2:00
Provozuje aiarchitekt.cz