Yang Zijian Győző: Automatikus írásjel-visszaállítás és Nagybetűsítés statikus korpuszon transzformer modellen alapuló neurális gépi fordítással.
Előnézet |
Cikk, tanulmány, mű
msznykonf_017_225-232.pdf Letöltés (356kB) | Előnézet |
Absztrakt (kivonat)
Cikkemben egy írásjelvisszaállító és nagybetűsítő programot mutatok be, amelyet a jelenkori „state-of-the-art” transzformer modellen alapuló neurális gépi fordító rendszerrel tanítottam be. A mobil eszközökön történő üzenetírás elterjedésével és a minél gyorsabb szövegbevitelre való törekvéssel tömeges jelenséggé vált a hibás szövegek írása. Ennek egyik következménye, hogy a interneten elérhető – főleg a szociális médiából származó – korpuszok egy része hibás. Többek között írásjelek hiányoznak, vagy végig kisbetűvel írnak. Az így létrejött korpuszok nem alkalmasak különböző kutatásokhoz, csak tisztítás után. A tisztítás folyamata időigényes, ezért igény van különböző korpusztisztító módszerekre. Az általam létrehozott rendszer, annak ellenére, hogy semmilyen morfológiai és szintaktikai elemzőt nem használ, közel 81%-os f-mértékkel tudja helyesen visszaállítani az alapírásjeleket és elvégezni a nagybetűsítést magyar nyelv esetében.
| Mű típusa: | Konferencia vagy workshop anyag |
|---|---|
| Rovatcím: | Poszter, laptopos bemutató |
| Befoglaló folyóirat/kiadvány címe: | Magyar Számítógépes Nyelvészeti Konferencia |
| Dátum: | 2021 |
| Kötet: | 17 |
| ISBN: | 978-963-306-781-9 |
| Oldalak: | pp. 225-232 |
| Nyelv: | magyar |
| Konferencia neve: | Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged) |
| Befoglaló mű URL: | http://acta.bibl.u-szeged.hu/73340/ |
| Kulcsszavak: | Nyelvészet - számítógép alkalmazása |
| Megjegyzések: | Bibliogr.: p. 231-232. és a lábjegyzetekben ; összefoglalás magyar nyelven |
| Szakterület: | 01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom |
| Feltöltés dátuma: | 2021. szep. 28. 12:51 |
| Utolsó módosítás: | 2022. nov. 08. 11:49 |
| URI: | http://acta.bibl.u-szeged.hu/id/eprint/73370 |
 |
Tétel nézet |
