Evaluation Library for the Hungarian Language Understanding Benchmark (HuLU)

Hatvani Péter; Varga Kristóf; Yang Zijian Győző: Evaluation Library for the Hungarian Language Understanding Benchmark (HuLU).

Előnézet

Cikk, tanulmány, mű msznykonf_021_257-268.pdf Letöltés (144kB) | Előnézet

Absztrakt (kivonat)

This paper introduces Hungary’s first fine-tuning and evaluation Python library for the Hungarian Language Understanding Benchmark Kit (HuLU), designed to streamline prototyping and support effective language modeling in Hungarian. The library lets researchers quickly validate their results on the official HuLU leaderboard, handling the full pipeline from training to submission. It supports a range of architectures, including encoders, decoders, and custom PyTorch modules, and it’s ready for both smaller models with standard fine-tuning and larger models using low-rank adaptation and reduced-precision fine-tuning. The library is highly configurable and supports huggingface integration, giving researchers the flexibility of modern training frameworks. Two interfaces are included: a simple command-line interface and a programmatic API for more in-depth customization.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Poszter, laptopos bemutató
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2025
Kötet:	21
ISBN:	978-963-688-034-7
Oldalak:	pp. 257-268
Nyelv:	angol
Kiadó:	Szegedi Tudományegyetem TTIK, Informatikai Intézet
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (21.)
Konferencia típusa:	Konferencia
Helyszin:	Szeged
Dátum:	2025. február 6-7.
Befoglaló mű URL:	https://acta.bibl.u-szeged.hu/88748/
Kulcsszavak:	Nyelvi modell, Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 266-268. ; ill. ; összefoglalás angol nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2025. nov. 12. 13:58
Utolsó módosítás:	2025. nov. 12. 13:58
URI:	http://acta.bibl.u-szeged.hu/id/eprint/88786

Bővebben:

Tétel nézet