Mittelholcz Iván: emToken : Unicode-képes tokenizáló magyar nyelvre.
Preview |
Cikk, tanulmány, mű
msznykonf_013_061-069.pdf Download (306kB) | Preview |
Abstract
Cikkünkben az emToken tokenizáló programot mutatjuk be. Ennek főbb tulajdonságai között említhető, a széleskörű UTF-8 támogatás, a konfigurálhatóság, az automatikus tesztkörnyezet és a programkönytár által nyújtott API. Az előállított - XML vagy JSON formátumú - kimenet detokenizálható. A program forráskódja szabadon elérhető GPLv3 licenc alatt. Az emToken az e-magyar eszközlánc tokenizálásért felelős modulja.
| Item Type: | Conference or Workshop Item |
|---|---|
| Journal or Publication Title: | Magyar Számítógépes Nyelvészeti Konferencia |
| Date: | 2017 |
| Volume: | 13 |
| ISBN: | 978-963-306-518-1 |
| Page Range: | pp. 61-69 |
| Event Title: | Magyar Számítógépes Nyelvészeti Konferencia (13.) (2017) (Szeged) |
| Related URLs: | http://acta.bibl.u-szeged.hu/58554/ |
| Uncontrolled Keywords: | Nyelvészet - számítógép alkalmazása |
| Additional Information: | Bibliogr.: 69. p. ; összefoglalás magyar nyelven |
| Date Deposited: | 2019. Jul. 01. 13:19 |
| Last Modified: | 2022. Nov. 08. 11:49 |
| URI: | http://acta.bibl.u-szeged.hu/id/eprint/58997 |
Actions (login required)
 |
View Item |
