Join na cizí pomalou DB nahradit lokální fakt-tabulkou s inkrementálním syncem
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Denní extrakce z e-shopového MariaDB trvala 1 h 46 min a rostla s velikostí tabulek. Měření doby sekcí ukázalo, že sedm dotazů trvá shodně ~590 s a jeden 1 780 s, zatímco podobné dotazy bez jednoho konkrétního joinu běží 5 s.
Root cause
Sekce “Root cause”Každý pomalý dotaz spojoval 1,3 M řádků položek objednávek s číselníkem country_lang (LEFT JOIN … ON country_id = o.country_id AND lang_id = 1). Tabulka je malá, ale bez použitelného indexu pro tento tvar joinu a plánovač hostované MariaDB volil nested loop přes celý výsledek. Předfiltrování číselníku do odvozené tabulky nepomohlo. Server nebyl pod naší správou, index přidat nešlo, a navíc celý přístup „každý den znovu přepočítat 4,5 roku historie“ byl špatně od začátku.
Fix
Sekce “Fix”- Vlastní PG tabulka
fact_order_line(řádek objednávky + předpočítané časové sloupce z MySQLDATE_FORMAT(FROM_UNIXTIME()), aby seděla časová zóna, + názvy zemí, platby a dopravy denormalizované). - Jednorázový full load po měsících (
--full, ~5 s/měsíc, s--frompro pokračování po pádu). - Denní inkrement: objednávky za posledních 31 dní podle data nebo změny stavu nebo přepočtu ceny (storna a opravy se tak promítnou), smazat a znovu vložit jejich řádky; e-mail
TRIM(LOWER()), cenyCOALESCE(…, 0). - Týdenní kontrola: počty objednávek po měsících za 13 měsíců MySQL vs PG, rozdílný měsíc se dosynchronizuje.
- Agregace (měsíční/denní tržby, země, YoY, heatmap, top zákazníci, segmenty, platby, doprava, zákaznická BI) se počítají z PG;
--comparerežim ověřil shodu s původními výstupy před přepnutím; při nenaplněné nebo staré kopii zůstává fallback na původní dotazy.
Výsledek: 32 sekcí extrakce 6 389 s → 294 s.
Jak se tomu vyvarovat v jiných systémech
Sekce “Jak se tomu vyvarovat v jiných systémech”- Detection: logovat čas každé sekce ETL; několik sekcí se stejným podezřele konstantním časem = společná příčina (jeden join).
- Anti-pattern: denní plný přepočet celé historie z produkční DB cizího systému; join číselníku přímo v těžkém agregačním dotazu.
- Lepší přístup: fakt-tabulka u sebe + inkrementální okno pokrývající zpětné změny (storna), kontrolní porovnání počtů, compare režim před přepnutím zdroje.
Sister bugs / související
Sekce “Sister bugs / související”- Přidaná instrumentace bez definice + catch s exit 0 zamrazily data na 3 dny
- Past při nasazování:
pkill -f "<vzor>"spuštěný ve stejném ssh příkazu, který vzor obsahuje, zabije vlastní shell; používat[e]xtracta oddělený ssh.