Nyelvspecifikus transzformer modellek közötti megfeleltetéssel történő zero-shot jelentésegyértelműsítés

Berend Gábor: Nyelvspecifikus transzformer modellek közötti megfeleltetéssel történő zero-shot jelentésegyértelműsítés. In: Magyar Számítógépes Nyelvészeti Konferencia, (18). pp. 3-14. (2022)

[thumbnail of msznykonf_018_003-014.pdf] Cikk, tanulmány, mű
msznykonf_018_003-014.pdf

Download (710kB)

Abstract

Cikkünkben egy nyelvspecifikus transzformer modellekre támaszkodó, a jelentésegyértelműsítési feladatot zero-shot módon elvégző eljárást mutatunk be. A javasolt módszer a nyelvközi tudástranszfert a tanítóadatokkal rendelkező forrás-, valamint a tanítóadatokat nélkülöző célnyelv feldolgozására dedikáltan létrehozott egynyelvű előtanított modellekre épít. A nyelvek közötti kapcsolatot az egynyelvű transzformer modellek rejtett rétegei közötti megfeleltetést szolgáló leképezés tanulásával érjük el. Eredményeink megmutatják, hogy az ilyen módon létrehozott, kizárólag angol nyelvű jelentésegyértelműsített szövegeken tanuló modellek hatékonysága szignifikánsan javítható a többnyelvű maszkolt nyelvi modell alkalmazásához képest.

Item Type: Article
Heading title: Nyelvmodellek
Journal or Publication Title: Magyar Számítógépes Nyelvészeti Konferencia
Date: 2022
Volume: 18
ISBN: 978-963-306-848-9
Page Range: pp. 3-14
Language: Hungarian
Place of Publication: Szeged
Event Title: Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged)
Related URLs: http://acta.bibl.u-szeged.hu/75797/
Uncontrolled Keywords: Nyelvészet - számítógép alkalmazása
Additional Information: Bibliogr.: p. 12-14. ; ill. ; összefoglalás magyar nyelven
Subjects: 01. Natural sciences
01. Natural sciences > 01.02. Computer and information sciences
06. Humanities
06. Humanities > 06.02. Languages and Literature
Date Deposited: 2022. May. 24. 14:20
Last Modified: 2022. May. 24. 14:20
URI: http://acta.bibl.u-szeged.hu/id/eprint/75861

Actions (login required)

View Item View Item