tokenizácia¹

Z STD
Prejsť na: navigácia, hľadanie

Odporúčaný termín [?]

Oblasť: lingvistika, informačná technológia a spracovanie údajov
Definícia: výsledok automatizovaného členenia textu na tokeny
Zdroj: PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017.

Príbuzné termíny: token³, tokenizácia²
Cudzojazyčný ekvivalent: en: tokenisation, en: tokenization