HILBERT, magyar nyelvű BERT-large modell tanítása felhő környezetben

Feldmann Ádám; Hajdu Róbert; Indig Balázs; Sass Bálint; Makrai Márton; Mittelholcz Iván; Halász Dávid; Yang Zijian Győző; Váradi Tamás: HILBERT, magyar nyelvű BERT-large modell tanítása felhő környezetben.

Előnézet

Cikk, tanulmány, mű msznykonf_017_029-036.pdf Letöltés (317kB) | Előnézet

Absztrakt (kivonat)

A dolgozatban bemutatjuk a magyar nyelvű BERT-large modell készítését, amely 3.667 milliárd szavas szövegkorpusz felhasználásával jött létre olyan megoldásokat alkalmazva, amelyek eddig egyedül angol nyelvi modellek létrehozásnál jelentek meg. A célunk olyan felhő alapú komplex számítási környezet létrehozása volt, amelyben mind szoftveres, mind pedig hardveres eszközök állnak rendelkezésre azért, hogy az új, mélytanulás alapú nyelvi modellek magyar nyelvi korpuszokkal tanítva is elérhetővé váljanak, hasonlóan a nagyobb nyelveken már elérhető state-of-the-art modellekhez. A környezet az ONNX keresztplatform megoldásait felhasználva sokkal erőforrás-optimalizáltabban hajtja végre a modellek tanítását. HILBERT, a magyar nyelvű BERT-large nyelvi keretrendszer ONNX, PyTorch, Tensorflow formátumokban rendelkezésre áll.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Nyelvmodellek
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2021
Kötet:	17
ISBN:	978-963-306-781-9
Oldalak:	pp. 29-36
Nyelv:	magyar
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/73340/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: 36. p. ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2021. szep. 28. 10:12
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/73355

Bővebben:

Tétel nézet