tokenizácia²

Odporúčaný termín [?]

Oblasť:	lingvistika, informačná technológia a spracovanie údajov
Definícia:	automatizované členenie, segmentácia textu na tokeny
Zdroj:	Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017.

---

Príbuzné termíny:	token³, tokenizácia¹
Cudzojazyčný ekvivalent:	en: tokenisation, en: tokenization