Ruční HTML→text v e-mailovém konektoru dekóduje jen pár entit — diakritika dorazí jako ě
import { Aside } from ‘@astrojs/starlight/components’;
Symptom
Sekce “Symptom”Operátor v zákaznické podpoře vidí u některých e-mailů text jako Děkuju, už jsem se na to díval nebo Dorazila nová zpráva. Část zpráv je prakticky nečitelná. Postižené jsou hlavně e-maily z webmailů, které posílají jen HTML (bez text/plain části), a systémové notifikace webových formulářů e-shopu. AI dostala stejný rozbitý vstup, takže i překlad a souhrn byly horší.
Root cause
Sekce “Root cause”IMAP konektor preferuje text/plain; když chybí, převádí HTML na text vlastní funkcí. Ta odstranila tagy a pak nahradila šest entit natvrdo:
.replace(/ /g, ' ').replace(/&/g, '&').replace(/</g, '<').replace(/>/g, '>').replace(/"/g, '"').replace(/'/g, "'")Všechno ostatní — numerické entity (ě, ř), pojmenované (á, š, ‌, ­, ’) — prošlo beze změny do sloupce s tělem e-mailu, odtud do zprávy v podpoře a do vstupu AI. Průzkum uložené pošty ukázal přes 30 různých pojmenovaných entit; nejčastější byly zwnj, amp, aacute, iacute, nbsp, shy.
Podstata: ruční replace() řetěz není dekodér. Pokrývá to, co autora napadlo při psaní, ne to, co reálně chodí.
Fix
Sekce “Fix”- Konektor: úplný
decodeEntities— numerické dec i hex přesString.fromCodePoint(s kontrolou rozsahu 1…0x10FFFF a vyloučením surrogate, jinakRangeError), pojmenované z tabulky. Volá se až po odstranění tagů, aby<b>zůstalo textem a nestalo se tagem.
export function decodeEntities(text) { return String(text || '').replace(/&#x([0-9a-fA-F]+);|&#(\d+);|&([a-zA-Z]+);/g, (m, hex, dec, name) => { if (hex !== undefined) { const c = parseInt(hex, 16); return isValidCodePoint(c) ? String.fromCodePoint(c) : m } if (dec !== undefined) { const c = parseInt(dec, 10); return isValidCodePoint(c) ? String.fromCodePoint(c) : m } return Object.hasOwn(NAMED, name) ? NAMED[name] : m })}- Příjem v aplikaci: mapování e-mail → zpráva podpory dekóduje tělo ještě jednou (pojistka nezávislá na tom, který konektor poštu přinesl).
- Zpětný doplněk přes admin údržbovou akci: projde jen řádky, kde regex entitu skutečně najde, přepíše text na dekódovaný, nic nemaže, je idempotentní, omezený limitem a kurzorem. Dry-run napřed spočítá dopad.
- Sdílená tabulka pojmenovaných entit žije v aplikaci (TypeScript) a je zrcadlená v konektoru (plain
.mjs); shodu obou tabulek hlídá test, aby se nerozjely.
Jak poznat, že se to týká i tebe
Sekce “Jak poznat, že se to týká i tebe”SELECT count(*) FROM "Email" WHERE "bodyText" ~ '&#[0-9]+;|&[a-zA-Z]+;';SELECT regexp_matches("bodyText", '&([a-zA-Z]+);', 'g') FROM "Email" WHERE "bodyText" ~ '&[a-zA-Z]+;'; -- které entity ti chodíPokud ti zbudou jen & (dvojitě kódované) nebo exotické neznámé názvy, je to v pořádku — neznámé entity dekodér záměrně nechává být.
Související
Sekce “Související”- Konektor preferuje
text/plaina HTML převádí jen jako fallback — proto bug zasáhl jen část odesílatelů a dlouho se nevšiml. - AI vstup má být vždy z už dekódovaného textu; jinak modely „překládají“ i entity.