Přeskočit na obsah

Ruční HTML→text v e-mailovém konektoru dekóduje jen pár entit — diakritika dorazí jako ě

import { Aside } from ‘@astrojs/starlight/components’;

Operátor v zákaznické podpoře vidí u některých e-mailů text jako Děkuju, už jsem se na to díval nebo Dorazila nová zpráva. Část zpráv je prakticky nečitelná. Postižené jsou hlavně e-maily z webmailů, které posílají jen HTML (bez text/plain části), a systémové notifikace webových formulářů e-shopu. AI dostala stejný rozbitý vstup, takže i překlad a souhrn byly horší.

IMAP konektor preferuje text/plain; když chybí, převádí HTML na text vlastní funkcí. Ta odstranila tagy a pak nahradila šest entit natvrdo:

.replace(/&nbsp;/g, ' ').replace(/&amp;/g, '&').replace(/&lt;/g, '<')
.replace(/&gt;/g, '>').replace(/&quot;/g, '"').replace(/&#39;/g, "'")

Všechno ostatní — numerické entity (&#283;, &#x159;), pojmenované (&aacute;, &scaron;, &zwnj;, &shy;, &rsquo;) — prošlo beze změny do sloupce s tělem e-mailu, odtud do zprávy v podpoře a do vstupu AI. Průzkum uložené pošty ukázal přes 30 různých pojmenovaných entit; nejčastější byly zwnj, amp, aacute, iacute, nbsp, shy.

Podstata: ruční replace() řetěz není dekodér. Pokrývá to, co autora napadlo při psaní, ne to, co reálně chodí.

  1. Konektor: úplný decodeEntities — numerické dec i hex přes String.fromCodePoint (s kontrolou rozsahu 1…0x10FFFF a vyloučením surrogate, jinak RangeError), pojmenované z tabulky. Volá se až po odstranění tagů, aby &lt;b&gt; zůstalo textem a nestalo se tagem.
export function decodeEntities(text) {
return String(text || '').replace(/&#x([0-9a-fA-F]+);|&#(\d+);|&([a-zA-Z]+);/g, (m, hex, dec, name) => {
if (hex !== undefined) { const c = parseInt(hex, 16); return isValidCodePoint(c) ? String.fromCodePoint(c) : m }
if (dec !== undefined) { const c = parseInt(dec, 10); return isValidCodePoint(c) ? String.fromCodePoint(c) : m }
return Object.hasOwn(NAMED, name) ? NAMED[name] : m
})
}
  1. Příjem v aplikaci: mapování e-mail → zpráva podpory dekóduje tělo ještě jednou (pojistka nezávislá na tom, který konektor poštu přinesl).
  2. Zpětný doplněk přes admin údržbovou akci: projde jen řádky, kde regex entitu skutečně najde, přepíše text na dekódovaný, nic nemaže, je idempotentní, omezený limitem a kurzorem. Dry-run napřed spočítá dopad.
  3. Sdílená tabulka pojmenovaných entit žije v aplikaci (TypeScript) a je zrcadlená v konektoru (plain .mjs); shodu obou tabulek hlídá test, aby se nerozjely.

Jak poznat, že se to týká i tebe

Sekce “Jak poznat, že se to týká i tebe”
SELECT count(*) FROM "Email" WHERE "bodyText" ~ '&#[0-9]+;|&[a-zA-Z]+;';
SELECT regexp_matches("bodyText", '&([a-zA-Z]+);', 'g') FROM "Email"
WHERE "bodyText" ~ '&[a-zA-Z]+;'; -- které entity ti chodí

Pokud ti zbudou jen &amp; (dvojitě kódované) nebo exotické neznámé názvy, je to v pořádku — neznámé entity dekodér záměrně nechává být.

  • Konektor preferuje text/plain a HTML převádí jen jako fallback — proto bug zasáhl jen část odesílatelů a dlouho se nevšiml.
  • AI vstup má být vždy z už dekódovaného textu; jinak modely „překládají“ i entity.
Přidal aiarchitekt.cz · 27. 9. 2026 2:00
Provozuje aiarchitekt.cz