tokenizácia¹

Z STD
Prejsť na: navigácia, hľadanie

Odporúčaný termín [?]

Oblasť: lingvistika, strojový preklad
Definícia: výsledok automatizovaného členenia textu na tokeny
Zdroj: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017.

Príbuzné termíny: token³, tokenizácia²
Cudzojazyčný ekvivalent: en-GB: tokenisation, en-US: tokenization