token³

Z STD
Prejsť na: navigácia, hľadanie

Odporúčaný termín [?]

Oblasť: lingvistika, informačná technológia a spracovanie údajov, strojový preklad
Definícia: znak alebo súbor (postuposť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou
Zdroj: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017.

Synonymum: textová jednotka
Príbuzné termíny: tokenizácia¹, tokenizácia²
Cudzojazyčný ekvivalent: cs: token, en: token
Poznámka: Ide o základnú jednotku korpusu, ktorou môže byť slovo, tvar slova, interpunkčné znamienko, číslica a pod.
URL: https://sk.wikipedia.org/wiki/Token (text)