tokenizácia

Z STD
Verzia z 16:15, 8. september 2017, ktorú vytvoril Ivor (diskusia | príspevky)$7

Prejsť na: navigácia, hľadanie

Odporúčaný termín [?]

Oblasť: lingvistika
Definícia: automatizované členenie, segmentácia textu na tokeny
Zdroj: Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006.
Cudzojazyčný ekvivalent: en-GB: tokenisation, en-US: tokenization
URL: http://korpus.juls.savba.sk/
Zdroj: „http://terminologickyportal.sk/index.php?title=Termín:tokenizácia²&oldid=336954“