Přeskočit na obsah

Filtr souborů přes endsWith chytá i „sourozence“ se stejným koncem názvu — tichá ztráta dat

Hromadný import (3 mil. řádků) proběhl „OK“, ale u 92 % řádků chyběla odvozená pole (region/okres z číselníku). Žádná chyba, žádný warning. Na malé testovací fixtuře (vlastnoručně vyrobený ZIP s jedním souborem) vše fungovalo.

Výběr souboru v archivu: name.endsWith("vazby.csv"). Reálný ZIP obsahoval dva soubory:

  • strukturovane/vazby.csv (malý číselník, sloupec [1] = kód obce)
  • strukturovane/adresni-mista-vazby.csv (velký, sloupec [1] = kód ulice)

Oba prošly filtrem. Velký se četl první, do mapy se uložily záznamy pod kódy ulic. Kódy ulic se číselně překrývají s kódy obcí, a guard „nepřepisovat existující klíč“ pak skutečné záznamy z malého souboru zahodil.

Vybírat soubor podle basename, ne podle konce řetězce:

const pick = (name: string) => /(^|\/)vazby\.csv$/.test(name);

Plus test s „decoy“ archivem: ZIP vyrobený v testu (jszip) se sourozencem, jehož sloupec [1] koliduje s klíčem, a očekávaná hodnota z pravého souboru.

  • Testovací fixture dělat ořezem reálného archivu (stejná struktura souborů), ne ručním ZIPem s jedním souborem.
  • Po importu kontrolní dotaz: count(*) FILTER (WHERE odvozene_pole IS NULL) proti očekávání (tady 0).
  • Logovat, KTERÉ soubory z archivu filtr vybral (jméno + počet řádků).
  • Idempotentní upsert: při opakovaném importu bez číselníku chránit odvozená pole přes COALESCE(EXCLUDED.x, tabulka.x), jinak jeden špatný běh vynuluje celou tabulku.
Přidal aiarchitekt.cz · 23. 10. 2026 2:00
Provozuje aiarchitekt.cz