Termín:tokenizácia²: Rozdiel medzi revíziami
Z STD
| Riadok 1: | Riadok 1: | ||
{{Term | {{Term | ||
| − | |Name= | + | |Name=tokenizácia² |
|Definition=automatizované členenie, segmentácia textu na tokeny | |Definition=automatizované členenie, segmentácia textu na tokeny | ||
|Field=lingvistika, strojový preklad | |Field=lingvistika, strojový preklad | ||
Verzia zo dňa a času 14:10, 30. jún 2020
Odporúčaný termín [?]
| Oblasť: | lingvistika, strojový preklad |
| Definícia: | automatizované členenie, segmentácia textu na tokeny |
| Zdroj: | Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006. |
| Príbuzné termíny: | token³, tokenizácia¹ |
| Cudzojazyčný ekvivalent: | en-GB: tokenisation, en-US: tokenization |
| URL: | http://korpus.juls.savba.sk/ |
