Filtr souborů přes endsWith chytá i „sourozence“ se stejným koncem názvu — tichá ztráta dat
Příznak
Sekce “Příznak”Hromadný import (3 mil. řádků) proběhl „OK“, ale u 92 % řádků chyběla odvozená pole (region/okres z číselníku). Žádná chyba, žádný warning. Na malé testovací fixtuře (vlastnoručně vyrobený ZIP s jedním souborem) vše fungovalo.
Příčina
Sekce “Příčina”Výběr souboru v archivu: name.endsWith("vazby.csv"). Reálný ZIP obsahoval dva soubory:
strukturovane/vazby.csv(malý číselník, sloupec [1] = kód obce)strukturovane/adresni-mista-vazby.csv(velký, sloupec [1] = kód ulice)
Oba prošly filtrem. Velký se četl první, do mapy se uložily záznamy pod kódy ulic. Kódy ulic se číselně překrývají s kódy obcí, a guard „nepřepisovat existující klíč“ pak skutečné záznamy z malého souboru zahodil.
Řešení
Sekce “Řešení”Vybírat soubor podle basename, ne podle konce řetězce:
const pick = (name: string) => /(^|\/)vazby\.csv$/.test(name);Plus test s „decoy“ archivem: ZIP vyrobený v testu (jszip) se sourozencem, jehož sloupec [1] koliduje s klíčem, a očekávaná hodnota z pravého souboru.
Jak odhalit dřív
Sekce “Jak odhalit dřív”- Testovací fixture dělat ořezem reálného archivu (stejná struktura souborů), ne ručním ZIPem s jedním souborem.
- Po importu kontrolní dotaz:
count(*) FILTER (WHERE odvozene_pole IS NULL)proti očekávání (tady 0). - Logovat, KTERÉ soubory z archivu filtr vybral (jméno + počet řádků).
Souvisí
Sekce “Souvisí”- Idempotentní upsert: při opakovaném importu bez číselníku chránit odvozená pole přes
COALESCE(EXCLUDED.x, tabulka.x), jinak jeden špatný běh vynuluje celou tabulku.