Automatikus hibajavítás statikus szövegeken

Gulás Máté and Yang Zijian Győző and Dömötör Andrea and Laki László János: Automatikus hibajavítás statikus szövegeken. In: Magyar Számítógépes Nyelvészeti Konferencia, (17). pp. 243-252. (2021)

[thumbnail of msznykonf_017_243-252.pdf]
Preview
Cikk, tanulmány, mű
msznykonf_017_243-252.pdf

Download (451kB) | Preview

Abstract

Kutatásunk célja egy olyan neurális hálózat alapú automatikus hibajavító eszköz létrehozása, amely képes a korpuszok sztenderdizálására. A különböző nyelvtechnológiai feladatok modelljeinek betanításához fontos, hogy a tanítókorpuszok minél kevesebb zajt illetve hibát tartalmazzanak, hiszen a gyenge minőségű tanítókorpuszok rendszerint rosszabb eredményekhez vezethetnek. Az interneten elérhető szövegek nagy része informális, nem ellenőrzött forrásból (pl. közösségi média, fórumok) származik. Tanulmányunkban a közösségi médiában gyakran előforduló gyakori hibákra fókuszálunk. Célunk feltárni és elemezni a hibatípusokat, majd az előfordulásuk alapján statisztikát készíteni. A kiszámolt hiba-előfordulások arányát felhasználjuk egy hibajavító modell tanítására. Kutatásunkban egy transzformer modellen alapuló neurális gépi fordító rendszert használtunk fel a hibajavító modell tanítására. Eredményeink azt mutatják, hogy a neurális gépi fordítás módszere alkalmas a feladatra, azonban több olyan hibatípus is létezik, amelyek további kutatást igényelnek.

Item Type: Article
Heading title: Poszter, laptopos bemutató
Journal or Publication Title: Magyar Számítógépes Nyelvészeti Konferencia
Date: 2021
Volume: 17
ISBN: 978-963-306-781-9
Page Range: pp. 243-252
Language: Hungarian
Event Title: Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged)
Related URLs: http://acta.bibl.u-szeged.hu/73340/
Uncontrolled Keywords: Nyelvészet - számítógép alkalmazása
Additional Information: Bibliogr.: p. 251-252. és a lábjegyzetekben ; összefoglalás magyar nyelven
Subjects: 01. Natural sciences
01. Natural sciences > 01.02. Computer and information sciences
06. Humanities
06. Humanities > 06.02. Languages and Literature
Date Deposited: 2021. Sep. 28. 13:15
Last Modified: 2021. Sep. 28. 13:15
URI: http://acta.bibl.u-szeged.hu/id/eprint/73372

Actions (login required)

View Item View Item