Jönnek a nagyok! : BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre

Yang Zijian Győző; Dodé Réka; Ferenczi Gergő; Héja Enikő; Jelencsik-Mátyus Kinga; Kőrös Ádám; Laki László János; Ligeti-Nagy Noémi; Vadász Noémi; Váradi Tamás: Jönnek a nagyok! : BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre.

Előnézet

Cikk, tanulmány, mű msznykonf_019_247-262..pdf Letöltés (483kB) | Előnézet

Absztrakt (kivonat)

Az utóbbi években rendkívüli mértékben felgyorsult a Transformer alapú nyelvmodellek méretének a növekedése. A globális technológiai cégek nagyobbnál nagyobb modelleket tanítanak, amelyek óriási erőforrást és tanítóanyagot igényelnek. Ezekkel a kísérletekkel azt próbálják bebizonyítani, hogy megfelelően nagy méretű modellek, megfelelően sok tanítóanyaggal képesek önmagukban akár finomhangolás nélkül bármilyen nyelvtechnológiai feladatot megoldani. Ebbe a versenybe nem igazán lehetséges beszállni, de arra van lehetőség, hogy az árnyékukban elkezdjünk kísérleteket végezni a nagyobb méretű modellek irányában. Kutatásunkban különböző nagy méretű nyelvmodelleket tanítottunk magyar nyelvre. Betanítottunk egy 6,7 milliárd paraméteres GPT-3, valamint egy GPT-2 és egy BERT-Large modellt magyar nyelvre. A modelleket különböző finomhangolással teszteltük. A BERT-Large modellünk több feladatban is felülmúlta a huBERT modellt, és elsőként hoztunk létre egynyelvű magyar GPT-3 modellt, amelyekkel tudomásunk szerint elsőnek végeztünk prompt kísérleteket few-shot tanulással magyar nyelvre.

Mű típusa:	Konferencia vagy workshop anyag
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2023
Kötet:	19
ISBN:	978-963-306-912-7
Oldalak:	pp. 247-262
Nyelv:	magyar
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (19.)
Konferencia típusa:	Konferencia
Helyszin:	Szeged
Dátum:	2023. január 26-27.
Befoglaló mű URL:	https://acta.bibl.u-szeged.hu/78307/
Kulcsszavak:	Nyelvmodellek, Programozás, Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 259-262. és a lábjegyzetekben ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány
Feltöltés dátuma:	2023. már. 16. 09:03
Utolsó módosítás:	2023. már. 16. 09:03
URI:	http://acta.bibl.u-szeged.hu/id/eprint/78417

Bővebben:

Tétel nézet