tokenizácia¹

Odporúčaný termín [?]

Oblasť:	lingvistika, informačná technológia a spracovanie údajov
Definícia:	výsledok automatizovaného členenia textu na tokeny
Zdroj:	PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017.

---

Príbuzné termíny:	token³, tokenizácia²
Cudzojazyčný ekvivalent:	en: tokenisation, en: tokenization