Yang Zijian Győző; Dodé Réka; Héja Enikő; Laki László János; Ligeti-Nagy Noémi; Madarász Gábor; Váradi Tamás: ParancsPULI: Az utasításkövető PULI-modell.
Előnézet |
Cikk, tanulmány, mű
msznykonf_020_061-072.pdf Letöltés (133kB) | Előnézet |
Absztrakt (kivonat)
Megjelenése óta a ChatGPT a szűkebb szakmai diskurzuson túl a közbeszédet is tematizálta. Sikerét több összetevőnek is köszönheti: például a különböző témájú, széles skálát lefedő, promptokkal történő finomhangolásnak, vagy az emberi visszajelzések integrálásának a finomhangolás folyamatába megerősítéses tanulás segítségével. A ChatGPT megjelenésekor azt nyilatkozták, hogy a finomhangolás során csupán angol nyelvű promptokat használtak, azonban tapasztalhattuk, hogy az alkalmazás ennek ellenére magyarul is kiválóan tudott válaszolni. Ez a tulajdonság a transzfertanulásnak köszönhető, amely lehetővé teszi, hogy a modell egy adott nyelvű tanítóadaton megszerzett tudást a tanítóadatban alulreprezentált vagy egyáltalán nem szereplő nyelvek esetén is alkalmazza. A kutatásunk során a háromnyelvű PULI GPTrio modellt finomhangoltuk magyar, angol és kínai promptokkal, hogy létrehozzuk az első magyar nyelvre tanított utasításkövető GPT-3 modellt. A modell tanításához egy több mint ötezer promptból álló finomhangoló korpuszt állítottunk össze. A finomhangoló korpuszba angol és kínai nyelvű promptokat is kevertünk, hogy a transzfertanulásnak köszönhetően még több különböző típusú feladatot legyen képes megoldani a modell. A promptok összeállításánál figyeltünk arra is, hogy bizonyos kérdésköröket próbáljon elkerülni a modell. Ezzel létrehoztuk – tudomásunk szerint – az első magyar nyelvű, finomhangolt, utasításkövető nagy nyelvi modellt, amely egyaránt képes kérdésekre válaszolni és nyelvtechnológiai feladatokat megoldani.
| Mű típusa: | Konferencia vagy workshop anyag |
|---|---|
| Rovatcím: | Nyelvmodellek, párbeszéd, gépi fordítás |
| Befoglaló folyóirat/kiadvány címe: | Magyar Számítógépes Nyelvészeti Konferencia |
| Dátum: | 2024 |
| Kötet: | 20 |
| ISBN: | 978-963-306-973-8 |
| Oldalak: | pp. 61-72 |
| Nyelv: | magyar |
| Kiadó: | Szegedi Tudományegyetem TTIK, Informatikai Intézet |
| Kiadás helye: | Szeged |
| Konferencia neve: | Magyar számítógépes nyelvészeti konferencia (20.) |
| Konferencia típusa: | Konferencia |
| Helyszin: | Szeged |
| Dátum: | 2024. január 25-26. |
| Befoglaló mű URL: | https://acta.bibl.u-szeged.hu/88747/ |
| Kulcsszavak: | Nyelvészet - számítógép alkalmazása, Nyelvi modell - utasítást követő, PULI |
| Megjegyzések: | Bibliogr.: p. 70-72. és a lábjegyzetekben ; összefoglalás magyar nyelven |
| Szakterület: | 01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom |
| Feltöltés dátuma: | 2025. nov. 12. 08:43 |
| Utolsó módosítás: | 2025. nov. 12. 08:43 |
| URI: | http://acta.bibl.u-szeged.hu/id/eprint/88753 |
 |
Tétel nézet |
