Termín:tokenizácia¹: Rozdiel medzi revíziami
Z STD
| Riadok 1: | Riadok 1: | ||
{{Term | {{Term | ||
|Name=tokenizácia¹ | |Name=tokenizácia¹ | ||
| − | |Definition=výsledok automatizovaného členenia textu na tokeny | + | |Definition=výsledok automatizovaného členenia textu na [[Term:token³|tokeny]] |
|Field=lingvistika, informačná technológia a spracovanie údajov | |Field=lingvistika, informačná technológia a spracovanie údajov | ||
|Related terms=token³, tokenizácia² | |Related terms=token³, tokenizácia² | ||
Aktuálna revízia z 22:31, 22. apríl 2021
Odporúčaný termín [?]
| Oblasť: | lingvistika, informačná technológia a spracovanie údajov |
| Definícia: | výsledok automatizovaného členenia textu na tokeny |
| Zdroj: | PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017. |
| Príbuzné termíny: | token³, tokenizácia² |
| Cudzojazyčný ekvivalent: | en: tokenisation, en: tokenization |
