Introducing huBERT

Nemeskey Dávid Márk: Introducing huBERT.

[thumbnail of msznykonf_017_003-014.pdf]
Előnézet
Cikk, tanulmány, mű
msznykonf_017_003-014.pdf

Letöltés (268kB) | Előnézet

Absztrakt (kivonat)

This paper introduces the huBERT family of models. The flagship is the eponymous BERT Base model trained on the new Hungarian Webcorpus 2.0, a 9-billion-token corpus of Web text collected from the Common Crawl. This model outperforms the multilingual BERT in masked language modeling by a huge margin, and achieves state-of-the-art performance in named entity recognition and NP chunking. The models are freely downloadable.

Mű típusa: Konferencia vagy workshop anyag
Rovatcím: Nyelvmodellek
Befoglaló folyóirat/kiadvány címe: Magyar Számítógépes Nyelvészeti Konferencia
Dátum: 2021
Kötet: 17
ISBN: 978-963-306-781-9
Oldalak: pp. 3-14
Nyelv: angol
Konferencia neve: Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged)
Befoglaló mű URL: http://acta.bibl.u-szeged.hu/73340/
Kulcsszavak: Nyelvészet - számítógép alkalmazása
Megjegyzések: Bibliogr.: p. 12-14. és a lábjegyzetekben ; összefoglalás angol nyelven
Szakterület: 01. Természettudományok
01. Természettudományok > 01.02. Számítás- és információtudomány
06. Bölcsészettudományok
06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma: 2021. szep. 28. 09:44
Utolsó módosítás: 2022. nov. 08. 11:49
URI: http://acta.bibl.u-szeged.hu/id/eprint/73353
Bővebben:
Tétel nézet Tétel nézet