HuLU : magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából

Ligeti-Nagy Noémi and Ferenczi Gergő and Héja Enikő and Jelencsik-Mátyus Kinga and Laki László János and Vadász Noémi and Yang Zijian Győző and Váradi Tamás: HuLU : magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából. In: Magyar Számítógépes Nyelvészeti Konferencia, (18). pp. 431-446. (2022)

[thumbnail of msznykonf_018_431-446.pdf] Cikk, tanulmány, mű
msznykonf_018_431-446.pdf

Download (985kB)

Abstract

A cikkben bemutatjuk a neurális nyelvmodellek nyelvértésének mérésére, kiértékelésére és a modellek összehasonlítására létrehozott adatbázisunkat. Az angol példát (GLUE – Wang és mtsai, 2018 –, illetve SuperGLUE – Wang és mtsai, 2020 – benchmarkok) követve, de a redundanciát mellőzve kiválasztottunk 13 olyan specifikus feladatot és az ehhez kapcsolódó alkorpuszokat, amelyekkel a neurális modellek teljesítménye mérhető. Mivel az angol benchmarkokban szereplő korpuszok közül egyik sem létezik a magyarra, ezeket megtervezzük, megépítjük, majd egységes tesztelési keretbe foglalva közrebocsátjuk ezeket.

Item Type: Article
Heading title: Korpusz, szövegfeldolgozás
Journal or Publication Title: Magyar Számítógépes Nyelvészeti Konferencia
Date: 2022
Volume: 18
ISBN: 978-963-306-848-9
Page Range: pp. 431-446
Language: Hungarian
Place of Publication: Szeged
Event Title: Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Related URLs: http://acta.bibl.u-szeged.hu/75797/
Uncontrolled Keywords: Nyelvészet - számítógép alkalmazása, Adatbázis
Additional Information: Bibliogr.: p. 443-446. és a lábjegyzetekben ; összefoglalás magyar nyelven
Subjects: 01. Natural sciences
01. Natural sciences > 01.02. Computer and information sciences
06. Humanities
06. Humanities > 06.02. Languages and Literature
Date Deposited: 2022. May. 25. 12:33
Last Modified: 2022. May. 25. 12:33
URI: http://acta.bibl.u-szeged.hu/id/eprint/75891

Actions (login required)

View Item View Item