Kulcsszógenerálás magyar nyelvű, hosszú szövegekből nagy nyelvi modellekkel

Dodé Réka; Yang Zijian Győző: Kulcsszógenerálás magyar nyelvű, hosszú szövegekből nagy nyelvi modellekkel.

Előnézet

Cikk, tanulmány, mű msznykonf_020_257-267.pdf Letöltés (129kB) | Előnézet

Absztrakt (kivonat)

A kulcsszavak jelentős szerepet játszanak a szövegek strukturálásában, az információ kategorizálásában és a szövegek közötti könnyebb eligazodásban. A (jó) kulcsszavak megadása azonban nem mindig egyszerű feladat a szerző számára. Kutatásunkban neurális modelleket alkalmaztunk kulcsszavak generálására, kinyerésére hosszú szövegekből felhasználva a REAL-repozitóriumából gyűjtött szövegeket és a hozzájuk kapcsolódó, szerzők által kézzel megadott kulcsszavakat. Az elvégzett kísérletek során három különböző eszközt teszteltünk. Az első eszköz a fastText volt, amely esetében a kulcsszókinyerés többcímkés klasszifikációs feladat. A második módszer az előtanított, magyar nyelvű PULI nyelvi modell (GPT-3), amelyet finomhangoltunk kulcsszógenerálásra. A kísérletek során a szövegek hosszúsága okozta a legnagyobb problémát, így a harmadik modellnek egy finomhangolt Llama 2 modellt tanítottunk tovább, amely a 2048 token hosszúságú kontextus helyett, amelyet a magyar nyelvű PULI nyelvi modell enged, 32 ezres hosszúságú kontextust kezel. Az eredményeket összehasonlítva láthatjuk, hogy a nyelvi modellek eredményei bíztatóbbak, mint a fastText eredményei, illetve hogy a 32 ezres bemenetű Llama-2 modell azzal, hogy a hosszú szövegek egészén képes tanulni, jóval magasabb pontosságot és fedést ért el, mint a 2048-as bemenetű PULI modell. Továbbá a nyelvi modellek – reményeinknek megfelelően – új, releváns kulcsszavakat is generáltak a meglévő kulcsszókészleten túl.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Poszter, laptopos bemutató
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2024
Kötet:	20
ISBN:	978-963-306-973-8
Oldalak:	pp. 257-267
Nyelv:	magyar
Kiadó:	Szegedi Tudományegyetem TTIK, Informatikai Intézet
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (20.)
Konferencia típusa:	Konferencia
Helyszin:	Szeged
Dátum:	2024. január 25-26.
Befoglaló mű URL:	https://acta.bibl.u-szeged.hu/88747/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 265-267. ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2025. nov. 12. 11:45
Utolsó módosítás:	2025. nov. 12. 12:09
URI:	http://acta.bibl.u-szeged.hu/id/eprint/88767

Bővebben:

Tétel nézet