tokenizácia²

Odporúčaný termín [?]

Oblasť:	lingvistika, strojový preklad
Definícia:	automatizované členenie, segmentácia textu na tokeny
Zdroj:	Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017.

---

Príbuzné termíny:	token³, tokenizácia¹
Cudzojazyčný ekvivalent:	en-GB: tokenisation, en-US: tokenization