HuLU : magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából

Ligeti-Nagy Noémi and Ferenczi Gergő and Héja Enikő and Jelencsik-Mátyus Kinga and Laki László János and Vadász Noémi and Yang Zijian Győző and Váradi Tamás: HuLU : magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából.

Cikk, tanulmány, mű msznykonf_018_431-446.pdf Download (985kB)

Abstract

A cikkben bemutatjuk a neurális nyelvmodellek nyelvértésének mérésére, kiértékelésére és a modellek összehasonlítására létrehozott adatbázisunkat. Az angol példát (GLUE – Wang és mtsai, 2018 –, illetve SuperGLUE – Wang és mtsai, 2020 – benchmarkok) követve, de a redundanciát mellőzve kiválasztottunk 13 olyan specifikus feladatot és az ehhez kapcsolódó alkorpuszokat, amelyekkel a neurális modellek teljesítménye mérhető. Mivel az angol benchmarkokban szereplő korpuszok közül egyik sem létezik a magyarra, ezeket megtervezzük, megépítjük, majd egységes tesztelési keretbe foglalva közrebocsátjuk ezeket.

Item Type:	Conference or Workshop Item
Heading title:	Korpusz, szövegfeldolgozás
Journal or Publication Title:	Magyar Számítógépes Nyelvészeti Konferencia
Date:	2022
Volume:	18
ISBN:	978-963-306-848-9
Page Range:	pp. 431-446
Language:	Hungarian
Place of Publication:	Szeged
Event Title:	Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Related URLs:	http://acta.bibl.u-szeged.hu/75797/
Uncontrolled Keywords:	Nyelvészet - számítógép alkalmazása, Adatbázis
Additional Information:	Bibliogr.: p. 443-446. és a lábjegyzetekben ; összefoglalás magyar nyelven
Subjects:	01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences 06. Humanities 06. Humanities > 06.02. Languages and Literature
Date Deposited:	2022. May. 25. 12:33
Last Modified:	2022. Nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/75891

Actions (login required)

View Item