A kis HIL-ELECTRA, HIL-ELECTRIC és HIL-RoBERTa : magyar kísérleti nyelvi modellek tanítása kevés erőforrással

Yang Zijian Győző and Feldmann Ádám and Váradi Tamás: A kis HIL-ELECTRA, HIL-ELECTRIC és HIL-RoBERTa : magyar kísérleti nyelvi modellek tanítása kevés erőforrással.

Cikk, tanulmány, mű msznykonf_018_603-617.pdf Download (474kB)

Abstract

Napjainkban a természetes nyelvfeldolgozás (NLP) területén rohamos tempóban uralkodóvá válnak a neurális hálós technológiák, amelyekhez az egyre nagyobb méretű nyelvi modellek kifejlesztése adja az alapot. Az általános célú nyelvi modellek, mint például a BERT, előtanításához rendkívüli számítási kapacitást és hasonlóan extrém nagy mennyiségű adathalmazra van szükség, amelyek nem mindenütt állnak rendelkezésre. Ezért az egyre nagyobb méretű nyelvmodellek létrehozásával egyidőben kialakult egy ellentétes fejlesztési irány, amely a kisebb modellek kifejlesztését célozta. A kutatásunk fókuszában az kérdés áll, hogy mire képesek a limitált erőforrások mellett kifejleszthető és alkalmazható kisebb nyelvmodellek. Mivel a BERT modell kisebb magyar nyelvű változatairól már születtek tanulmányok, így jelen kutatásunk keretében két másik modell, az ELECTRA és az ELECTRIC, valamint a RoBERTa betanítására fókuszáltunk. A Google Inc. által fejlesztett ELECTRA és ELECTRIC modell sokkal kevesebb erőforrással és futási idővel tanítható be, mint a hagyományos BERT-alapú modellek. A RoBERTa modell nemzetközi viszonylatban kiemelkedő eredményeket ért el számos nyelvelemzési feladatban, mindez indokolttá teszi a magyar nyelvre történő alkalmazását. Eredményeink alapján elmondható, hogy bár természetesen kísérleti modelljeink nem képesek elérni a jelenlegi csúcsteljesítményű magyar nyelvű hagyományos BERT modelleket, azonban modelljeink közel olyan jó, értékelhető eredményeket érnek el kisebb erőforrásigény mellett, ami környezettudatosabb megoldások kifejlesztéséhez vezethet. Továbbá a kis modellek alkalmazása felhasználóbarát, mivel hasonlóan jó eredmények elérése lehetséges lényegesen kisebb modellek alkalmazásával, ami adott alkalmazásban kulcsfontosságú szempont lehet.

Item Type:	Conference or Workshop Item
Heading title:	Poszter, laptopos bemutató
Journal or Publication Title:	Magyar Számítógépes Nyelvészeti Konferencia
Date:	2022
Volume:	18
ISBN:	978-963-306-848-9
Page Range:	pp. 603-617
Language:	Hungarian
Place of Publication:	Szeged
Event Title:	Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Related URLs:	http://acta.bibl.u-szeged.hu/75797/
Uncontrolled Keywords:	Nyelvészet - számítógép alkalmazása
Additional Information:	Bibliogr.: p. 614-617. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven
Subjects:	01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences 06. Humanities 06. Humanities > 06.02. Languages and Literature
Date Deposited:	2022. May. 25. 14:51
Last Modified:	2022. Nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/75903

Actions (login required)

View Item