Ficsor Tamás and Berend Gábor: HuBERTUSz : alacsony paraméterszámú transzformer modellek létrehozása és kiértékelése magyar nyelvre.
Preview |
Cikk, tanulmány, mű
msznykonf_019_417-432..pdf Download (841kB) | Preview |
Abstract
Hazánkban is megnőtt az érdeklődés a transzformer modellek alkalmazása iránt. Éppen ezért a modern előtanítási standardoknak megfelelően (pl. dinamikus maszkolás, mondatsorrend-predikció használata) közzétesszük az általunk előállított tiny, small és medium transzformervariánsokat, amelyeket alapos kiértékelésnek vetettünk alá különböző feladatokon. Eredményeinkből kitűnik, hogy elsődlegesen a tokenosztályozási feladatokon a jóval kisebb paraméterszámmal bíró modellvariánsaink is képesek megközelíteni a nagyságrendekkel több paraméterrel bíró társaik eredményeit.
| Item Type: | Conference or Workshop Item |
|---|---|
| Journal or Publication Title: | Magyar Számítógépes Nyelvészeti Konferencia |
| Date: | 2023 |
| Volume: | 19 |
| ISBN: | 978-963-306-912-7 |
| Page Range: | pp. 417-432 |
| Language: | Hungarian |
| Place of Publication: | Szeged |
| Event Title: | Magyar számítógépes nyelvészeti konferencia (19.) |
| Event Type: | Conference |
| Event Location: | Szeged |
| Event Dates: | 2023. január 26-27. |
| Related URLs: | https://acta.bibl.u-szeged.hu/78307/ |
| Uncontrolled Keywords: | Nyelvészet - számítógép alkalmazása |
| Additional Information: | Bibliogr.: p. 429-432. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven |
| Subjects: | 01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences |
| Date Deposited: | 2023. Mar. 16. 11:21 |
| Last Modified: | 2023. Mar. 16. 11:21 |
| URI: | http://acta.bibl.u-szeged.hu/id/eprint/78430 |
Actions (login required)
 |
View Item |
