textová jednotka

Odporúčaný termín [?]

Oblasť:	lingvistika
Definícia:	základná textová jednotka použitá v analýze alebo spracovaní textu, znak alebo súbor znakov formálne oddelených od iného znaku alebo súboru znakov
Zdroj:	Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006.

---

Synonymum:	token³
Cudzojazyčný ekvivalent:	en: token
Poznámka:	Formálne delenie sa môže urobiť napríklad medzerou (tvar slova v texte, interpunkčné znamienko, číslica a pod.)
URL:	http://korpus.juls.savba.sk/