tokenizácia¹
Z STD
Verzia z 14:08, 30. jún 2020, ktorú vytvoril Kristina.bobekova (diskusia | príspevky)$7
Odporúčaný termín [?]
| Oblasť: | lingvistika, strojový preklad |
| Definícia: | výsledok automatizovaného členenia textu na tokeny |
| Zdroj: | Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006. |
| Príbuzné termíny: | token³, tokenizácia² |
| Cudzojazyčný ekvivalent: | en-GB: tokenisation, en-US: tokenization |
| URL: | http://korpus.juls.savba.sk/ |
