HILBERT, magyar nyelvű BERT-large modell tanítása felhő környezetben

Feldmann Ádám and Hajdu Róbert and Indig Balázs and Sass Bálint and Makrai Márton and Mittelholcz Iván and Halász Dávid and Yang Zijian Győző and Váradi Tamás: HILBERT, magyar nyelvű BERT-large modell tanítása felhő környezetben.

Preview

Cikk, tanulmány, mű msznykonf_017_029-036.pdf Download (317kB) | Preview

Abstract

A dolgozatban bemutatjuk a magyar nyelvű BERT-large modell készítését, amely 3.667 milliárd szavas szövegkorpusz felhasználásával jött létre olyan megoldásokat alkalmazva, amelyek eddig egyedül angol nyelvi modellek létrehozásnál jelentek meg. A célunk olyan felhő alapú komplex számítási környezet létrehozása volt, amelyben mind szoftveres, mind pedig hardveres eszközök állnak rendelkezésre azért, hogy az új, mélytanulás alapú nyelvi modellek magyar nyelvi korpuszokkal tanítva is elérhetővé váljanak, hasonlóan a nagyobb nyelveken már elérhető state-of-the-art modellekhez. A környezet az ONNX keresztplatform megoldásait felhasználva sokkal erőforrás-optimalizáltabban hajtja végre a modellek tanítását. HILBERT, a magyar nyelvű BERT-large nyelvi keretrendszer ONNX, PyTorch, Tensorflow formátumokban rendelkezésre áll.

Item Type:	Conference or Workshop Item
Heading title:	Nyelvmodellek
Journal or Publication Title:	Magyar Számítógépes Nyelvészeti Konferencia
Date:	2021
Volume:	17
ISBN:	978-963-306-781-9
Page Range:	pp. 29-36
Language:	Hungarian
Event Title:	Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged)
Related URLs:	http://acta.bibl.u-szeged.hu/73340/
Uncontrolled Keywords:	Nyelvészet - számítógép alkalmazása
Additional Information:	Bibliogr.: 36. p. ; összefoglalás magyar nyelven
Subjects:	01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences 06. Humanities 06. Humanities > 06.02. Languages and Literature
Date Deposited:	2021. Sep. 28. 10:12
Last Modified:	2022. Nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/73355

Actions (login required)

View Item