token³
Z STD
Verzia z 17:12, 20. január 2021, ktorú vytvoril Kristina.bobekova (diskusia | príspevky)$7
Odporúčaný termín [?]
Oblasť: | lingvistika, informačná technológia a spracovanie údajov, strojový preklad |
Definícia: | znak alebo súbor (postuposť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou |
Zdroj: | Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017. |
Synonymum: | textová jednotka |
Príbuzné termíny: | tokenizácia¹, tokenizácia², pozícia¹ |
Cudzojazyčný ekvivalent: | cs: token, en: token |
Poznámka: | Ide o základnú jednotku korpusu, ktorou môže byť slovo, tvar slova, interpunkčné znamienko, číslica a pod. |
URL: | https://sk.wikipedia.org/wiki/Token (text) |