Ligeti-Nagy Noémi and Ferenczi Gergő and Héja Enikő and Jelencsik-Mátyus Kinga and Laki László János and Vadász Noémi and Yang Zijian Győző and Váradi Tamás: HuLU : magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából.
![]() |
Cikk, tanulmány, mű
msznykonf_018_431-446.pdf Download (985kB) |
Abstract
A cikkben bemutatjuk a neurális nyelvmodellek nyelvértésének mérésére, kiértékelésére és a modellek összehasonlítására létrehozott adatbázisunkat. Az angol példát (GLUE – Wang és mtsai, 2018 –, illetve SuperGLUE – Wang és mtsai, 2020 – benchmarkok) követve, de a redundanciát mellőzve kiválasztottunk 13 olyan specifikus feladatot és az ehhez kapcsolódó alkorpuszokat, amelyekkel a neurális modellek teljesítménye mérhető. Mivel az angol benchmarkokban szereplő korpuszok közül egyik sem létezik a magyarra, ezeket megtervezzük, megépítjük, majd egységes tesztelési keretbe foglalva közrebocsátjuk ezeket.
Item Type: | Conference or Workshop Item |
---|---|
Heading title: | Korpusz, szövegfeldolgozás |
Journal or Publication Title: | Magyar Számítógépes Nyelvészeti Konferencia |
Date: | 2022 |
Volume: | 18 |
ISBN: | 978-963-306-848-9 |
Page Range: | pp. 431-446 |
Language: | Hungarian |
Place of Publication: | Szeged |
Event Title: | Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged) |
Related URLs: | http://acta.bibl.u-szeged.hu/75797/ |
Uncontrolled Keywords: | Nyelvészet - számítógép alkalmazása, Adatbázis |
Additional Information: | Bibliogr.: p. 443-446. és a lábjegyzetekben ; összefoglalás magyar nyelven |
Subjects: | 01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences 06. Humanities 06. Humanities > 06.02. Languages and Literature |
Date Deposited: | 2022. May. 25. 12:33 |
Last Modified: | 2022. Nov. 08. 11:49 |
URI: | http://acta.bibl.u-szeged.hu/id/eprint/75891 |
Actions (login required)
![]() |
View Item |