HuLU : magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából

Ligeti-Nagy Noémi; Ferenczi Gergő; Héja Enikő; Jelencsik-Mátyus Kinga; Laki László János; Vadász Noémi; Yang Zijian Győző; Váradi Tamás: HuLU : magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából.

Cikk, tanulmány, mű msznykonf_018_431-446.pdf Letöltés (985kB)

Absztrakt (kivonat)

A cikkben bemutatjuk a neurális nyelvmodellek nyelvértésének mérésére, kiértékelésére és a modellek összehasonlítására létrehozott adatbázisunkat. Az angol példát (GLUE – Wang és mtsai, 2018 –, illetve SuperGLUE – Wang és mtsai, 2020 – benchmarkok) követve, de a redundanciát mellőzve kiválasztottunk 13 olyan specifikus feladatot és az ehhez kapcsolódó alkorpuszokat, amelyekkel a neurális modellek teljesítménye mérhető. Mivel az angol benchmarkokban szereplő korpuszok közül egyik sem létezik a magyarra, ezeket megtervezzük, megépítjük, majd egységes tesztelési keretbe foglalva közrebocsátjuk ezeket.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Korpusz, szövegfeldolgozás
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2022
Kötet:	18
ISBN:	978-963-306-848-9
Oldalak:	pp. 431-446
Nyelv:	magyar
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/75797/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása, Adatbázis
Megjegyzések:	Bibliogr.: p. 443-446. és a lábjegyzetekben ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2022. máj. 25. 12:33
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/75891

Bővebben:

Tétel nézet