Termín:token³: Rozdiel medzi revíziami
Z STD
| (3 medziľahlé úpravy od jedného ďalšieho používateľa nie sú zobrazené) | |||
| Riadok 1: | Riadok 1: | ||
{{Term | {{Term | ||
|Name=token³ | |Name=token³ | ||
| − | |Definition=znak alebo súbor ( | + | |Definition=znak alebo súbor (postupnosť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou |
|Field=lingvistika, informačná technológia a spracovanie údajov, strojový preklad | |Field=lingvistika, informačná technológia a spracovanie údajov, strojový preklad | ||
| − | |Related terms=tokenizácia¹, tokenizácia² | + | |Related terms=tokenizácia¹, tokenizácia², tag |
| − | |Synonyms=textová jednotka | + | |Synonyms=textová jednotka, pozícia¹ |
| − | |Bibliography=Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Mikula | + | |Bibliography=Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017. |
|Translations={{Translation | |Translations={{Translation | ||
|Language=cs | |Language=cs | ||
Aktuálna revízia z 20:53, 22. apríl 2021
Odporúčaný termín [?]
| Oblasť: | lingvistika, informačná technológia a spracovanie údajov, strojový preklad |
| Definícia: | znak alebo súbor (postupnosť) znakov formálne oddelených od iného znaku alebo súboru znakov napr. medzerou |
| Zdroj: | Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017. |
| Synonymum: | textová jednotka, pozícia¹ |
| Príbuzné termíny: | tokenizácia¹, tokenizácia², tag |
| Cudzojazyčný ekvivalent: | cs: token, en: token |
| Poznámka: | Ide o základnú jednotku korpusu, ktorou môže byť slovo, tvar slova, interpunkčné znamienko, číslica a pod. |
| URL: | https://sk.wikipedia.org/wiki/Token (text) |
