Neurális nyelvi modellek látens szemantikus információ alapján történő maszkolásmentes előtanítása

Berend Gábor: Neurális nyelvi modellek látens szemantikus információ alapján történő maszkolásmentes előtanítása.

Előnézet

Cikk, tanulmány, mű msznykonf_020_085-095.pdf Letöltés (261kB) | Előnézet

Absztrakt (kivonat)

Cikkünkben bemutatjuk az enkóderalapú nyelvi modellek előtanításának egy olyan lehetséges alternatíváját, amely nem igényli a speciális maszkoló token használatát. Módszerünk lényege abban áll, hogy a neurális modell feladatául az inputban található konkrét szavak rekonstruálása helyett azok felügyelet nélküli módon előállított, kontextusérzékeny látens szemantikus tulajdonságainak meghatározását tűzzük ki célul. A javasolt előtanítás jobb mintahatékonysággal rendelkezik más maszkolt előtanítás alkalmazásához képest, mivel veszteségfüggvényének kiszámítása során minden egyes inputtoken figyelembe vételére lehetőségünk nyílik, szemben a maszkolásra támaszkodó előtanító eljárásokkal, amelyek csupán az input maszkolásra kiválasztott (jellemzően 15%-nyi) tokenje alapján végzik az előtanítást. Azáltal, hogy az előtanítás során az inputszekvenciákat nem kell mesterségesen módosítanunk a maszk tokenek szerepeltetésével, kiküszöbölhetővé válik az a probléma is, ami a klasszikus maszkolt nyelvi modellezés használata esetén abból adódik, hogy a maszkolásért felelős speciális szimbólumokkal csak az előtanítás során találkozunk, míg a végalkalmazások szövegeiből ezek már hiányoznak. Munkánkban egy DeBERTa architektúrájú neurális modell előtanításán és szövegértési feladatokon történő kiértékelésén keresztül illusztráljuk, hogy a módosított előtanítással létrehozott modell jelentősen jobb teljesítményt képes nyújtani a maszkolt nyelvi modellezéssel történő előtanítással létrehozott modellhez képest.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Nyelvmodellek, párbeszéd, gépi fordítás
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2024
Kötet:	20
ISBN:	978-963-306-973-8
Oldalak:	pp. 85-95
Nyelv:	magyar
Kiadó:	Szegedi Tudományegyetem TTIK, Informatikai Intézet
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (20.)
Konferencia típusa:	Konferencia
Helyszin:	Szeged
Dátum:	2024. január 25-26.
Befoglaló mű URL:	https://acta.bibl.u-szeged.hu/88747/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása, Maszkolás
Megjegyzések:	Bibliogr.: p. 94-95. és a lábjegyzetekben ; ill. ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2025. nov. 12. 08:51
Utolsó módosítás:	2025. nov. 12. 08:51
URI:	http://acta.bibl.u-szeged.hu/id/eprint/88755

Bővebben:

Tétel nézet