Termín:token³: Rozdiel medzi revíziami
Z STD
| Riadok 1: | Riadok 1: | ||
{{Term | {{Term | ||
|Name=token³ | |Name=token³ | ||
| − | |Definition= | + | |Definition=znak alebo súbor (postuposť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou |
| − | |Field=lingvistika, strojový preklad | + | |Field=lingvistika, informačná technológia a spracovanie údajov, strojový preklad |
|Related terms=tokenizácia¹, tokenizácia² | |Related terms=tokenizácia¹, tokenizácia² | ||
|Bibliography=Slovník cudzích slov (akademický), SPN - Mladé letá, Bratislava, 2005 | |Bibliography=Slovník cudzích slov (akademický), SPN - Mladé letá, Bratislava, 2005 | ||
| Riadok 14: | Riadok 14: | ||
|Acceptability=Odporúčaný | |Acceptability=Odporúčaný | ||
|URL=https://sk.wikipedia.org/wiki/Token_(text) | |URL=https://sk.wikipedia.org/wiki/Token_(text) | ||
| + | |Comment=Ide o základnú jednotku korpusu, ktorou môže byť slovo, tvar slova, interpunkčné znamienko, číslica a pod. | ||
}} | }} | ||
| + | [[Category:Korpusová lingvistika]] | ||
[[Category:It]] | [[Category:It]] | ||
Verzia zo dňa a času 21:59, 8. marec 2019
Odporúčaný termín [?]
| Oblasť: | lingvistika, informačná technológia a spracovanie údajov, strojový preklad |
| Definícia: | znak alebo súbor (postuposť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou |
| Zdroj: | Slovník cudzích slov (akademický), SPN - Mladé letá, Bratislava, 2005 |
| Príbuzné termíny: | tokenizácia¹, tokenizácia² |
| Cudzojazyčný ekvivalent: | cs: token, en: token |
| Poznámka: | Ide o základnú jednotku korpusu, ktorou môže byť slovo, tvar slova, interpunkčné znamienko, číslica a pod. |
| URL: | https://sk.wikipedia.org/wiki/Token (text) |
