tokenizácia²
Z STD
Odporúčaný termín [?]
Oblasť: | lingvistika, informačná technológia a spracovanie údajov |
Definícia: | automatizované členenie, segmentácia textu na tokeny |
Zdroj: | Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017. |
Príbuzné termíny: | token³, tokenizácia¹ |
Cudzojazyčný ekvivalent: | en: tokenisation, en: tokenization |