Termín:tokenizácia²: Rozdiel medzi revíziami
Z STD
d (Ivor premiestnil stránku Termín:tokenizácia ² na Termín:tokenizácia², ale neponechal presmerovanie: Premenovanie stránok s indexom) |
|||
| Riadok 2: | Riadok 2: | ||
|Name=tokenizácia | |Name=tokenizácia | ||
|Definition=automatizované členenie, segmentácia textu na tokeny | |Definition=automatizované členenie, segmentácia textu na tokeny | ||
| − | + | |Field=lingvistika, strojový preklad | |
| − | |Field=lingvistika | + | |Related terms=token³, tokenizácia¹ |
| − | |||
| − | |Related terms= | ||
| − | |||
|Bibliography=Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006. | |Bibliography=Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006. | ||
| − | |Translations={{Translation|Language=en-GB|Localized form=tokenisation}}{{Translation|Language=en-US|Localized form=tokenization}} | + | |Translations={{Translation |
| + | |Language=en-GB | ||
| + | |Localized form=tokenisation | ||
| + | }}{{Translation | ||
| + | |Language=en-US | ||
| + | |Localized form=tokenization | ||
| + | }} | ||
|Acceptability=Odporúčaný | |Acceptability=Odporúčaný | ||
| − | |||
| − | |||
|URL=http://korpus.juls.savba.sk/ | |URL=http://korpus.juls.savba.sk/ | ||
| − | |||
| − | |||
| − | |||
}} | }} | ||
| − | |||
| − | |||
| − | |||
[[Category:Korpusová lingvistika]] | [[Category:Korpusová lingvistika]] | ||
| + | [[Category:It]] | ||
Verzia zo dňa a času 08:07, 5. september 2018
Odporúčaný termín [?]
| Oblasť: | lingvistika, strojový preklad |
| Definícia: | automatizované členenie, segmentácia textu na tokeny |
| Zdroj: | Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006. |
| Príbuzné termíny: | token³, tokenizácia¹ |
| Cudzojazyčný ekvivalent: | en-GB: tokenisation, en-US: tokenization |
| URL: | http://korpus.juls.savba.sk/ |
