Termín:tokenizácia¹: Rozdiel medzi revíziami
Z STD
| Riadok 4: | Riadok 4: | ||
|Field=lingvistika, strojový preklad | |Field=lingvistika, strojový preklad | ||
|Related terms=token³, tokenizácia² | |Related terms=token³, tokenizácia² | ||
| − | |Bibliography=Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017. | + | |Bibliography=PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017. |
|Translations={{Translation | |Translations={{Translation | ||
|Language=en-GB | |Language=en-GB | ||
Verzia zo dňa a času 17:39, 12. január 2021
Odporúčaný termín [?]
| Oblasť: | lingvistika, strojový preklad |
| Definícia: | výsledok automatizovaného členenia textu na tokeny |
| Zdroj: | PODĽA: Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula, 2017. |
| Príbuzné termíny: | token³, tokenizácia² |
| Cudzojazyčný ekvivalent: | en-GB: tokenisation, en-US: tokenization |
