Charmen ELECTRA - tokenizációmentes diszkriminatív nyelvi modellezés

Ficsor Tamás and Cserháti Réka and Novák Attila and Mihajlik Péter and Zainkó Csaba and Berend Gábor: Charmen ELECTRA - tokenizációmentes diszkriminatív nyelvi modellezés. In: Magyar Számítógépes Nyelvészeti Konferencia, (18). pp. 45-58. (2022)

[thumbnail of msznykonf_018_045-058.pdf] Cikk, tanulmány, mű
msznykonf_018_045-058.pdf

Download (750kB)

Abstract

Napjainkban a természetesnyelv-feldolgozás területén használt neurális modellek többsége előre definiált szótöredékekből kialakított szótárakkal dolgozik. A kötött szótár használatának eredményeképp az ezekre építő modellek érzékenyek a zajra, doménadaptációjuk költségesebb lehet, ezen felül többnyelvű modellek építése esetén a szótár mérete drasztikusan megnőhet. Ezen problémák orvoslására egy tokenizálómentes ELECTRA architektúrát mutatunk be, amely a Charformer blokkot alkalmazza a tokenizáló modul kiváltására. A modell ∼ 17%-kal kevesebb paramétert tartalmaz, mint a fix szótárral rendelkező társa. Továbbá azonos körülmények között tanított társánál szignifikánsabban jobb eredményt ér el az OpinHuBank adathalmazon. Kutatásunk további eredménye, hogy a huBERT modell finomhangolásával a szentimentosztályozás területén az OpinHuBank adatbázison a korábbi legjobb eredményt meghaladó teljesítményt értünk el.

Item Type: Article
Heading title: Nyelvmodellek
Journal or Publication Title: Magyar Számítógépes Nyelvészeti Konferencia
Date: 2022
Volume: 18
ISBN: 978-963-306-848-9
Page Range: pp. 45-58
Language: Hungarian
Place of Publication: Szeged
Event Title: Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Related URLs: http://acta.bibl.u-szeged.hu/75797/
Uncontrolled Keywords: Nyelvészet - számítógép alkalmazása
Additional Information: Bibliogr.: p. 56-58. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven
Subjects: 01. Natural sciences
01. Natural sciences > 01.02. Computer and information sciences
06. Humanities
06. Humanities > 06.02. Languages and Literature
Date Deposited: 2022. May. 24. 14:56
Last Modified: 2022. May. 24. 14:56
URI: http://acta.bibl.u-szeged.hu/id/eprint/75864

Actions (login required)

View Item View Item