tokenizácia

Z STD
Verzia z 16:09, 8. september 2017, ktorú vytvoril Ivor (diskusia | príspevky)$7

Prejsť na: navigácia, hľadanie

Odporúčaný termín [?]

Oblasť: lingvistika
Definícia: výsledok automatizovaného členenia textu na tokeny
Zdroj: Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006.
Cudzojazyčný ekvivalent: en-GB: tokenisation, en-US: tokenization
URL: http://korpus.juls.savba.sk/
Zdroj: „http://terminologickyportal.sk/index.php?title=Termín:tokenizácia¹&oldid=336453“