tokenizácia¹

Z STD
Prejsť na: navigácia, hľadanie

Odporúčaný termín [?]

Oblasť: lingvistika, strojový preklad
Definícia: výsledok automatizovaného členenia textu na tokeny
Zdroj: Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006.

Príbuzné termíny: token³, tokenizácia²
Cudzojazyčný ekvivalent: en-GB: tokenisation, en-US: tokenization
URL: http://korpus.juls.savba.sk/