Termín:tokenizácia²: Rozdiel medzi revíziami
Z STD
| (7 medziľahlých úprav od 4 ďalších používateľov nie je zobrazených) | |||
| Riadok 1: | Riadok 1: | ||
{{Term | {{Term | ||
| − | |Name= | + | |Name=tokenizácia² |
| − | |Definition=automatizované členenie, segmentácia textu na tokeny | + | |Definition=automatizované členenie, [[Term:segmentácia²|segmentácia]] textu na [[Term:token³|tokeny]] |
| − | + | |Field=lingvistika, informačná technológia a spracovanie údajov | |
| − | |Field=lingvistika | + | |Related terms=token³, tokenizácia¹ |
| − | + | |Bibliography=Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017. | |
| − | |Related terms= | + | |Translations={{Translation |
| − | + | |Language=en | |
| − | |Bibliography=Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. | + | |Localized form=tokenisation |
| − | |Translations={{Translation|Language=en | + | }}{{Translation |
| + | |Language=en | ||
| + | |Localized form=tokenization | ||
| + | }} | ||
|Acceptability=Odporúčaný | |Acceptability=Odporúčaný | ||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
}} | }} | ||
| − | |||
| − | |||
| − | |||
[[Category:Korpusová lingvistika]] | [[Category:Korpusová lingvistika]] | ||
| + | [[Category:It]] | ||
Aktuálna revízia z 21:31, 22. apríl 2021
Odporúčaný termín [?]
| Oblasť: | lingvistika, informačná technológia a spracovanie údajov |
| Definícia: | automatizované členenie, segmentácia textu na tokeny |
| Zdroj: | Šimková, M.: Výberový slovník termínov a pojmov z korpusovej lingvistiky. In: Šimková, M. – Gajdošová, K. – Kmeťová, B. – Debnár, M.: Slovenský národný korpus. Texty, anotácie, vyhľadávania. Bratislava: Jazykovedný ústav Ľ. Štúra SAV – Vydavateľstvo Mikula 2017. |
| Príbuzné termíny: | token³, tokenizácia¹ |
| Cudzojazyčný ekvivalent: | en: tokenisation, en: tokenization |
