Přeskočit na obsah

Join na cizí pomalou DB nahradit lokální fakt-tabulkou s inkrementálním syncem

import { Aside } from ‘@astrojs/starlight/components’;

Denní extrakce z e-shopového MariaDB trvala 1 h 46 min a rostla s velikostí tabulek. Měření doby sekcí ukázalo, že sedm dotazů trvá shodně ~590 s a jeden 1 780 s, zatímco podobné dotazy bez jednoho konkrétního joinu běží 5 s.

Každý pomalý dotaz spojoval 1,3 M řádků položek objednávek s číselníkem country_lang (LEFT JOIN … ON country_id = o.country_id AND lang_id = 1). Tabulka je malá, ale bez použitelného indexu pro tento tvar joinu a plánovač hostované MariaDB volil nested loop přes celý výsledek. Předfiltrování číselníku do odvozené tabulky nepomohlo. Server nebyl pod naší správou, index přidat nešlo, a navíc celý přístup „každý den znovu přepočítat 4,5 roku historie“ byl špatně od začátku.

  1. Vlastní PG tabulka fact_order_line (řádek objednávky + předpočítané časové sloupce z MySQL DATE_FORMAT(FROM_UNIXTIME()), aby seděla časová zóna, + názvy zemí, platby a dopravy denormalizované).
  2. Jednorázový full load po měsících (--full, ~5 s/měsíc, s --from pro pokračování po pádu).
  3. Denní inkrement: objednávky za posledních 31 dní podle data nebo změny stavu nebo přepočtu ceny (storna a opravy se tak promítnou), smazat a znovu vložit jejich řádky; e-mail TRIM(LOWER()), ceny COALESCE(…, 0).
  4. Týdenní kontrola: počty objednávek po měsících za 13 měsíců MySQL vs PG, rozdílný měsíc se dosynchronizuje.
  5. Agregace (měsíční/denní tržby, země, YoY, heatmap, top zákazníci, segmenty, platby, doprava, zákaznická BI) se počítají z PG; --compare režim ověřil shodu s původními výstupy před přepnutím; při nenaplněné nebo staré kopii zůstává fallback na původní dotazy.

Výsledek: 32 sekcí extrakce 6 389 s → 294 s.

Jak se tomu vyvarovat v jiných systémech

Sekce “Jak se tomu vyvarovat v jiných systémech”
  • Detection: logovat čas každé sekce ETL; několik sekcí se stejným podezřele konstantním časem = společná příčina (jeden join).
  • Anti-pattern: denní plný přepočet celé historie z produkční DB cizího systému; join číselníku přímo v těžkém agregačním dotazu.
  • Lepší přístup: fakt-tabulka u sebe + inkrementální okno pokrývající zpětné změny (storna), kontrolní porovnání počtů, compare režim před přepnutím zdroje.

Sister bugs / související

Sekce “Sister bugs / související”
Přidal aiarchitekt.cz · 7. 10. 2026 2:00
Provozuje aiarchitekt.cz