token³
Z STD
Verzia z 17:00, 6. júl 2020, ktorú vytvoril Kristina.bobekova (diskusia | príspevky)$7
Odporúčaný termín [?]
| Oblasť: | lingvistika, informačná technológia a spracovanie údajov, strojový preklad |
| Definícia: | znak alebo súbor (postuposť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou |
| Zdroj: | Slovník cudzích slov (akademický). Bratislava: SPN – Mladé letá 2005. |
| Synonymum: | textová jednotka |
| Príbuzné termíny: | tokenizácia¹, tokenizácia² |
| Cudzojazyčný ekvivalent: | cs: token, en: token |
| Poznámka: | Ide o základnú jednotku korpusu, ktorou môže byť slovo, tvar slova, interpunkčné znamienko, číslica a pod. |
| URL: | https://sk.wikipedia.org/wiki/Token (text) |
