HuBERTUSz : alacsony paraméterszámú transzformer modellek létrehozása és kiértékelése magyar nyelvre

Ficsor Tamás; Berend Gábor: HuBERTUSz : alacsony paraméterszámú transzformer modellek létrehozása és kiértékelése magyar nyelvre.

[thumbnail of msznykonf_019_417-432..pdf]
Előnézet
Cikk, tanulmány, mű
msznykonf_019_417-432..pdf

Letöltés (841kB) | Előnézet

Absztrakt (kivonat)

Hazánkban is megnőtt az érdeklődés a transzformer modellek alkalmazása iránt. Éppen ezért a modern előtanítási standardoknak megfelelően (pl. dinamikus maszkolás, mondatsorrend-predikció használata) közzétesszük az általunk előállított tiny, small és medium transzformervariánsokat, amelyeket alapos kiértékelésnek vetettünk alá különböző feladatokon. Eredményeinkből kitűnik, hogy elsődlegesen a tokenosztályozási feladatokon a jóval kisebb paraméterszámmal bíró modellvariánsaink is képesek megközelíteni a nagyságrendekkel több paraméterrel bíró társaik eredményeit.

Mű típusa: Konferencia vagy workshop anyag
Befoglaló folyóirat/kiadvány címe: Magyar Számítógépes Nyelvészeti Konferencia
Dátum: 2023
Kötet: 19
ISBN: 978-963-306-912-7
Oldalak: pp. 417-432
Nyelv: magyar
Kiadás helye: Szeged
Konferencia neve: Magyar számítógépes nyelvészeti konferencia (19.)
Konferencia típusa: Konferencia
Helyszin: Szeged
Dátum: 2023. január 26-27.
Befoglaló mű URL: https://acta.bibl.u-szeged.hu/78307/
Kulcsszavak: Nyelvészet - számítógép alkalmazása
Megjegyzések: Bibliogr.: p. 429-432. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven
Szakterület: 01. Természettudományok
01. Természettudományok > 01.02. Számítás- és információtudomány
Feltöltés dátuma: 2023. már. 16. 11:21
Utolsó módosítás: 2023. már. 16. 11:21
URI: http://acta.bibl.u-szeged.hu/id/eprint/78430
Bővebben:
Tétel nézet Tétel nézet