Transformer-alapú HuSpaCy előelemző láncok

Szabó Gergő and Orosz György and Szántó Zsolt and Berkecz Péter and Farkas Richárd: Transformer-alapú HuSpaCy előelemző láncok.

[thumbnail of msznykonf_019_305-317..pdf]
Preview
Cikk, tanulmány, mű
msznykonf_019_305-317..pdf

Download (517kB) | Preview

Abstract

Évről évre jelennek meg egyre pontosabb nyílt forráskódú természetes-nyelvfeldolgozó transformer-alapú nyelvi modellek. Viszont ezekre épülő, kifejezetten magyar nyelvre fejlesztett előelemző lánc, ami tartalmaz tokenizálást, mondatra bontást, lemmatizálást, szófaji egyértelműsítést, morfológiai címkézést, függőségi elemzést és névelem-felismerést, idáig nem létezett. Dolgozatunkban bemutatunk egy, a fent említett feladatokat megvalósító transformer-alapú előelemző láncot, amit több különböző magyarra elérhető nyelvi modellel is teszteltünk. Az elkészült rendszer a feladatok nagy részében state-of-the-art eredményeket ért el. Arra is kellő figyelmet fordítottunk, hogy megvizsgáljunk különböző erőforrás-igényű lehetőségeket és bemutassunk olyan módszereket, amelyekkel a leghatékonyabbnak bizonyult rendszerek memóriahasználata csökkenthető.

Item Type: Conference or Workshop Item
Journal or Publication Title: Magyar Számítógépes Nyelvészeti Konferencia
Date: 2023
Volume: 19
ISBN: 978-963-306-912-7
Page Range: pp. 305-317
Language: Hungarian
Place of Publication: Szeged
Event Title: Magyar számítógépes nyelvészeti konferencia (19.)
Event Type: Conference
Event Location: Szeged
Event Dates: 2023. január 26-27.
Related URLs: https://acta.bibl.u-szeged.hu/78307/
Uncontrolled Keywords: Nyelvészet - számítógép alkalmazása
Additional Information: Bibliogr.: p. 315-317. ; ill. ; összefoglalás magyar nyelven
Subjects: 01. Natural sciences
01. Natural sciences > 01.02. Computer and information sciences
Date Deposited: 2023. Mar. 16. 09:38
Last Modified: 2023. Mar. 16. 09:38
URI: http://acta.bibl.u-szeged.hu/id/eprint/78421

Actions (login required)

View Item View Item