token³

Odporúčaný termín [?]

Oblasť:	lingvistika, informačná technológia a spracovanie údajov, strojový preklad
Definícia:	znak alebo súbor (postupnosť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou
Zdroj:	Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017.

---

Synonymum:	textová jednotka, pozícia¹
Príbuzné termíny:	tokenizácia¹, tokenizácia², tag
Cudzojazyčný ekvivalent:	cs: token, en: token
Poznámka:	Ide o základnú jednotku korpusu, ktorou môže byť slovo, tvar slova, interpunkčné znamienko, číslica a pod.
URL:	https://sk.wikipedia.org/wiki/Token (text)