A kis HIL-ELECTRA, HIL-ELECTRIC és HIL-RoBERTa : magyar kísérleti nyelvi modellek tanítása kevés erőforrással

Yang Zijian Győző; Feldmann Ádám; Váradi Tamás: A kis HIL-ELECTRA, HIL-ELECTRIC és HIL-RoBERTa : magyar kísérleti nyelvi modellek tanítása kevés erőforrással.

Cikk, tanulmány, mű msznykonf_018_603-617.pdf Letöltés (474kB)

Absztrakt (kivonat)

Napjainkban a természetes nyelvfeldolgozás (NLP) területén rohamos tempóban uralkodóvá válnak a neurális hálós technológiák, amelyekhez az egyre nagyobb méretű nyelvi modellek kifejlesztése adja az alapot. Az általános célú nyelvi modellek, mint például a BERT, előtanításához rendkívüli számítási kapacitást és hasonlóan extrém nagy mennyiségű adathalmazra van szükség, amelyek nem mindenütt állnak rendelkezésre. Ezért az egyre nagyobb méretű nyelvmodellek létrehozásával egyidőben kialakult egy ellentétes fejlesztési irány, amely a kisebb modellek kifejlesztését célozta. A kutatásunk fókuszában az kérdés áll, hogy mire képesek a limitált erőforrások mellett kifejleszthető és alkalmazható kisebb nyelvmodellek. Mivel a BERT modell kisebb magyar nyelvű változatairól már születtek tanulmányok, így jelen kutatásunk keretében két másik modell, az ELECTRA és az ELECTRIC, valamint a RoBERTa betanítására fókuszáltunk. A Google Inc. által fejlesztett ELECTRA és ELECTRIC modell sokkal kevesebb erőforrással és futási idővel tanítható be, mint a hagyományos BERT-alapú modellek. A RoBERTa modell nemzetközi viszonylatban kiemelkedő eredményeket ért el számos nyelvelemzési feladatban, mindez indokolttá teszi a magyar nyelvre történő alkalmazását. Eredményeink alapján elmondható, hogy bár természetesen kísérleti modelljeink nem képesek elérni a jelenlegi csúcsteljesítményű magyar nyelvű hagyományos BERT modelleket, azonban modelljeink közel olyan jó, értékelhető eredményeket érnek el kisebb erőforrásigény mellett, ami környezettudatosabb megoldások kifejlesztéséhez vezethet. Továbbá a kis modellek alkalmazása felhasználóbarát, mivel hasonlóan jó eredmények elérése lehetséges lényegesen kisebb modellek alkalmazásával, ami adott alkalmazásban kulcsfontosságú szempont lehet.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Poszter, laptopos bemutató
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2022
Kötet:	18
ISBN:	978-963-306-848-9
Oldalak:	pp. 603-617
Nyelv:	magyar
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/75797/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 614-617. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2022. máj. 25. 14:51
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/75903

Bővebben:

Tétel nézet