Text cleaning with transformer language models for Hungarian

Madarász Gábor; Holl András; Ligeti-Nagy Noémi; Yang Zijian Győző; Váradi Tamás: Text cleaning with transformer language models for Hungarian.

Előnézet

Cikk, tanulmány, mű msznykonf_021_123-135.pdf Letöltés (167kB) | Előnézet

Absztrakt (kivonat)

In language technology, clean data is fundamental for training high-quality models, yet large corpora often contain substantial noise due to OCR errors, missing diacritics, and various user-generated inconsistencies. This paper presents a comprehensive text cleaning pipeline tailored for Hungarian, leveraging transformer-based language models optimized for three key tasks: OCR error correction, diacritic restoration, and filtering grammatically incorrect sentences. We introduce huT5, a Hungarian adaptation of the mT5 model, which significantly reduces model parameters and resource demands while maintaining strong performance on Hungarian-specific text cleaning tasks. The huT5 models were fine-tuned on carefully constructed Hungarian corpora for each task and benchmarked against state-of-the-art methods, demonstrating competitive results, particularly in OCR error correction and diacritic restoration. Our pipeline offers an efficient, freely accessible solution to enhance data quality for Hungarian NLP applications, setting a new standard in resource-efficient, language-specific text cleaning.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Nyelvmodellek
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2025
Kötet:	21
ISBN:	978-963-688-034-7
Oldalak:	pp. 123-135
Nyelv:	angol
Kiadó:	Szegedi Tudományegyetem TTIK, Informatikai Intézet
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (21.)
Konferencia típusa:	Konferencia
Helyszin:	Szeged
Dátum:	2025. február 6-7.
Befoglaló mű URL:	https://acta.bibl.u-szeged.hu/88748/
Kulcsszavak:	Nyelvi modell, Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 133-135. és a lábjegyzetekben ; ill. ; összefoglalás angol nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2025. nov. 12. 13:06
Utolsó módosítás:	2025. nov. 12. 13:06
URI:	http://acta.bibl.u-szeged.hu/id/eprint/88777

Bővebben:

Tétel nézet