Charmen ELECTRA - tokenizációmentes diszkriminatív nyelvi modellezés

Ficsor Tamás; Cserháti Réka; Novák Attila; Mihajlik Péter; Zainkó Csaba; Berend Gábor: Charmen ELECTRA - tokenizációmentes diszkriminatív nyelvi modellezés.

Cikk, tanulmány, mű msznykonf_018_045-058.pdf Letöltés (750kB)

Absztrakt (kivonat)

Napjainkban a természetesnyelv-feldolgozás területén használt neurális modellek többsége előre definiált szótöredékekből kialakított szótárakkal dolgozik. A kötött szótár használatának eredményeképp az ezekre építő modellek érzékenyek a zajra, doménadaptációjuk költségesebb lehet, ezen felül többnyelvű modellek építése esetén a szótár mérete drasztikusan megnőhet. Ezen problémák orvoslására egy tokenizálómentes ELECTRA architektúrát mutatunk be, amely a Charformer blokkot alkalmazza a tokenizáló modul kiváltására. A modell ∼ 17%-kal kevesebb paramétert tartalmaz, mint a fix szótárral rendelkező társa. Továbbá azonos körülmények között tanított társánál szignifikánsabban jobb eredményt ér el az OpinHuBank adathalmazon. Kutatásunk további eredménye, hogy a huBERT modell finomhangolásával a szentimentosztályozás területén az OpinHuBank adatbázison a korábbi legjobb eredményt meghaladó teljesítményt értünk el.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Nyelvmodellek
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2022
Kötet:	18
ISBN:	978-963-306-848-9
Oldalak:	pp. 45-58
Nyelv:	magyar
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/75797/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 56-58. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2022. máj. 24. 14:56
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/75864

Bővebben:

Tétel nézet