Yang Zijian Győző and Dodé Réka and Ferenczi Gergő and Héja Enikő and Jelencsik-Mátyus Kinga and Kőrös Ádám and Laki László János and Ligeti-Nagy Noémi and Vadász Noémi and Váradi Tamás: Jönnek a nagyok! : BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre.
Preview |
Cikk, tanulmány, mű
msznykonf_019_247-262..pdf Download (483kB) | Preview |
Abstract
Az utóbbi években rendkívüli mértékben felgyorsult a Transformer alapú nyelvmodellek méretének a növekedése. A globális technológiai cégek nagyobbnál nagyobb modelleket tanítanak, amelyek óriási erőforrást és tanítóanyagot igényelnek. Ezekkel a kísérletekkel azt próbálják bebizonyítani, hogy megfelelően nagy méretű modellek, megfelelően sok tanítóanyaggal képesek önmagukban akár finomhangolás nélkül bármilyen nyelvtechnológiai feladatot megoldani. Ebbe a versenybe nem igazán lehetséges beszállni, de arra van lehetőség, hogy az árnyékukban elkezdjünk kísérleteket végezni a nagyobb méretű modellek irányában. Kutatásunkban különböző nagy méretű nyelvmodelleket tanítottunk magyar nyelvre. Betanítottunk egy 6,7 milliárd paraméteres GPT-3, valamint egy GPT-2 és egy BERT-Large modellt magyar nyelvre. A modelleket különböző finomhangolással teszteltük. A BERT-Large modellünk több feladatban is felülmúlta a huBERT modellt, és elsőként hoztunk létre egynyelvű magyar GPT-3 modellt, amelyekkel tudomásunk szerint elsőnek végeztünk prompt kísérleteket few-shot tanulással magyar nyelvre.
| Item Type: | Conference or Workshop Item |
|---|---|
| Journal or Publication Title: | Magyar Számítógépes Nyelvészeti Konferencia |
| Date: | 2023 |
| Volume: | 19 |
| ISBN: | 978-963-306-912-7 |
| Page Range: | pp. 247-262 |
| Language: | Hungarian |
| Place of Publication: | Szeged |
| Event Title: | Magyar számítógépes nyelvészeti konferencia (19.) |
| Event Type: | Conference |
| Event Location: | Szeged |
| Event Dates: | 2023. január 26-27. |
| Related URLs: | https://acta.bibl.u-szeged.hu/78307/ |
| Uncontrolled Keywords: | Nyelvmodellek, Programozás, Nyelvészet - számítógép alkalmazása |
| Additional Information: | Bibliogr.: p. 259-262. és a lábjegyzetekben ; összefoglalás magyar nyelven |
| Subjects: | 01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences |
| Date Deposited: | 2023. Mar. 16. 09:03 |
| Last Modified: | 2023. Mar. 16. 09:03 |
| URI: | http://acta.bibl.u-szeged.hu/id/eprint/78417 |
Actions (login required)
 |
View Item |
