Introducing huBERT

Nemeskey, Dávid Márk: Introducing huBERT. In: Magyar Számítógépes Nyelvészeti Konferencia, (17). pp. 3-14. (2021)

[img]
Preview
Cikk, tanulmány, mű
msznykonf_017_003-014.pdf

Download (268kB) | Preview

Abstract

This paper introduces the huBERT family of models. The flagship is the eponymous BERT Base model trained on the new Hungarian Webcorpus 2.0, a 9-billion-token corpus of Web text collected from the Common Crawl. This model outperforms the multilingual BERT in masked language modeling by a huge margin, and achieves state-of-the-art performance in named entity recognition and NP chunking. The models are freely downloadable.

Item Type: Article
Heading title: Nyelvmodellek
Journal or Publication Title: Magyar Számítógépes Nyelvészeti Konferencia
Date: 2021
Volume: 17
ISBN: 978-963-306-781-9
Page Range: pp. 3-14
Language: English
Event Title: Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged)
Related URLs: http://acta.bibl.u-szeged.hu/73340/
Uncontrolled Keywords: Nyelvészet - számítógép alkalmazása
Additional Information: Bibliogr.: p. 12-14. és a lábjegyzetekben ; összefoglalás angol nyelven
Subjects: 01. Natural sciences
01. Natural sciences > 01.02. Computer and information sciences
06. Humanities
06. Humanities > 06.02. Languages and Literature
Date Deposited: 2021. Sep. 28. 09:44
Last Modified: 2021. Sep. 28. 09:44
URI: http://acta.bibl.u-szeged.hu/id/eprint/73353

Actions (login required)

View Item View Item