Termín:tokenizácia¹: Rozdiel medzi revíziami
Z STD
| Riadok 2: | Riadok 2: | ||
|Name=tokenizácia¹ | |Name=tokenizácia¹ | ||
|Definition=výsledok automatizovaného členenia textu na tokeny | |Definition=výsledok automatizovaného členenia textu na tokeny | ||
| − | |Field=lingvistika, | + | |Field=lingvistika, informačná technológia a spracovanie údajov |
|Related terms=token³, tokenizácia² | |Related terms=token³, tokenizácia² | ||
|Bibliography=PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017. | |Bibliography=PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017. | ||
|Translations={{Translation | |Translations={{Translation | ||
| − | |Language=en | + | |Language=en |
|Localized form=tokenisation | |Localized form=tokenisation | ||
}}{{Translation | }}{{Translation | ||
| − | |Language=en | + | |Language=en |
|Localized form=tokenization | |Localized form=tokenization | ||
}} | }} | ||
Verzia zo dňa a času 09:39, 15. január 2021
Odporúčaný termín [?]
| Oblasť: | lingvistika, informačná technológia a spracovanie údajov |
| Definícia: | výsledok automatizovaného členenia textu na tokeny |
| Zdroj: | PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017. |
| Príbuzné termíny: | token³, tokenizácia² |
| Cudzojazyčný ekvivalent: | en: tokenisation, en: tokenization |
