Nyelvspecifikus transzformer modellek közötti megfeleltetéssel történő zero-shot jelentésegyértelműsítés

Berend Gábor: Nyelvspecifikus transzformer modellek közötti megfeleltetéssel történő zero-shot jelentésegyértelműsítés.

Cikk, tanulmány, mű msznykonf_018_003-014.pdf Letöltés (710kB)

Absztrakt (kivonat)

Cikkünkben egy nyelvspecifikus transzformer modellekre támaszkodó, a jelentésegyértelműsítési feladatot zero-shot módon elvégző eljárást mutatunk be. A javasolt módszer a nyelvközi tudástranszfert a tanítóadatokkal rendelkező forrás-, valamint a tanítóadatokat nélkülöző célnyelv feldolgozására dedikáltan létrehozott egynyelvű előtanított modellekre épít. A nyelvek közötti kapcsolatot az egynyelvű transzformer modellek rejtett rétegei közötti megfeleltetést szolgáló leképezés tanulásával érjük el. Eredményeink megmutatják, hogy az ilyen módon létrehozott, kizárólag angol nyelvű jelentésegyértelműsített szövegeken tanuló modellek hatékonysága szignifikánsan javítható a többnyelvű maszkolt nyelvi modell alkalmazásához képest.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Nyelvmodellek
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2022
Kötet:	18
ISBN:	978-963-306-848-9
Oldalak:	pp. 3-14
Nyelv:	magyar
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/75797/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 12-14. ; ill. ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2022. máj. 24. 14:20
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/75861

Bővebben:

Tétel nézet