Laki László János; Yang Zijian Győző: Automatikus ékezetvisszaállítás transzformer modellen alapuló neurális gépi fordítással.
Előnézet |
Cikk, tanulmány, mű
msznykonf_016_181-190.pdf Letöltés (360kB) | Előnézet |
Absztrakt (kivonat)
Cikkünkben egy ékezetvisszaállító programot mutatunk be, amelyet a jelenkori „state-of-the-art” transzformer modellen alapuló neurális gépi fordító rendszerrel tanítottunk be. A mobil eszközökön történő üzenetírás elterjedésével és a minél gyorsabb szövegbevitelre való törekvéssel tömeges jelenséggé vált az ékezetes betűk elhagyása a gépelt írásban. Ennek egyik következménye, hogy a interneten elérhető – főleg a szociális médiából származó – korpuszok egy része ékezetmentes. Egy ékezetvisszaállító program segítségével vissza tudjuk állítani az ékezethiányos szavakat, valamint integrálva szövegbeviteli eszközökkel támogatni tudjuk a felhasználók számára a szövegbevitelt. Az általunk létrehozott rendszer, annak ellenére, hogy semmilyen morfológiai elemzőt nem használ, több mint 99,7%-os pontossággal tudja helyesen visszaállítani az ékezeteket magyar nyelv esetében. A hibaanalízis során kiderült, hogy a hibák több mint 50%-a a többértelműségből fakad, illetve, hogy a rendszerünk által ajánlott ékezetesítés utáni mondat is helyes. Készítettünk egy demó felületet is, amelyen ki lehet próbálni a különböző modellek működését.
Mű típusa: | Konferencia vagy workshop anyag |
---|---|
Rovatcím: | Morfológia, helyesírás |
Befoglaló folyóirat/kiadvány címe: | Magyar Számítógépes Nyelvészeti Konferencia |
Dátum: | 2020 |
Kötet: | 16 |
ISBN: | 978-963-306-719-2 |
Oldalak: | pp. 181-190 |
Konferencia neve: | Magyar Számítógépes Nyelvészeti Konferencia (16.) (2020) (Szeged) |
Befoglaló mű URL: | http://acta.bibl.u-szeged.hu/67637/ |
Kulcsszavak: | Ékezetvisszaállító program, Nyelvészet - számítógép alkalmazása |
Megjegyzések: | Bibliogr.: p. 188-190. ; összefoglalás magyar nyelven |
Feltöltés dátuma: | 2020. máj. 05. 09:05 |
Utolsó módosítás: | 2022. nov. 08. 11:49 |
URI: | http://acta.bibl.u-szeged.hu/id/eprint/67671 |
Tétel nézet |