Charmen ELECTRA - tokenizációmentes diszkriminatív nyelvi modellezés

Ficsor Tamás and Cserháti Réka and Novák Attila and Mihajlik Péter and Zainkó Csaba and Berend Gábor: Charmen ELECTRA - tokenizációmentes diszkriminatív nyelvi modellezés.

Cikk, tanulmány, mű msznykonf_018_045-058.pdf Download (750kB)

Abstract

Napjainkban a természetesnyelv-feldolgozás területén használt neurális modellek többsége előre definiált szótöredékekből kialakított szótárakkal dolgozik. A kötött szótár használatának eredményeképp az ezekre építő modellek érzékenyek a zajra, doménadaptációjuk költségesebb lehet, ezen felül többnyelvű modellek építése esetén a szótár mérete drasztikusan megnőhet. Ezen problémák orvoslására egy tokenizálómentes ELECTRA architektúrát mutatunk be, amely a Charformer blokkot alkalmazza a tokenizáló modul kiváltására. A modell ∼ 17%-kal kevesebb paramétert tartalmaz, mint a fix szótárral rendelkező társa. Továbbá azonos körülmények között tanított társánál szignifikánsabban jobb eredményt ér el az OpinHuBank adathalmazon. Kutatásunk további eredménye, hogy a huBERT modell finomhangolásával a szentimentosztályozás területén az OpinHuBank adatbázison a korábbi legjobb eredményt meghaladó teljesítményt értünk el.

Item Type:	Conference or Workshop Item
Heading title:	Nyelvmodellek
Journal or Publication Title:	Magyar Számítógépes Nyelvészeti Konferencia
Date:	2022
Volume:	18
ISBN:	978-963-306-848-9
Page Range:	pp. 45-58
Language:	Hungarian
Place of Publication:	Szeged
Event Title:	Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Related URLs:	http://acta.bibl.u-szeged.hu/75797/
Uncontrolled Keywords:	Nyelvészet - számítógép alkalmazása
Additional Information:	Bibliogr.: p. 56-58. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven
Subjects:	01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences 06. Humanities 06. Humanities > 06.02. Languages and Literature
Date Deposited:	2022. May. 24. 14:56
Last Modified:	2022. Nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/75864

Actions (login required)

View Item