"Feeding the BEAST" - A BEA Speech Transcriber továbbfejlesztése és integrálása neurális nyelvmodellel

Kádár Máté Soma and Dobsinszki Gergely and Mády Katalin and Mihajlik Péter: "Feeding the BEAST" - A BEA Speech Transcriber továbbfejlesztése és integrálása neurális nyelvmodellel.

[thumbnail of msznykonf_019_135-143..pdf]
Preview
Cikk, tanulmány, mű
msznykonf_019_135-143..pdf

Download (274kB) | Preview

Abstract

Cikkünkben a korábban BEAST néven publikált, a BEA-Base adatbázison tanított mély-neuronháló alapú beszédleiratozó modellt meghaladó struktúrát mutatunk be. A használt architektúra magába foglal egy unigram szótöredékeken tanított wav2vec2 alapú akusztikus és egy Transformer alapú nyelvi modellt. Az akusztikus modell az uráli nyelvcsaládba tartozó nyelveken (magyar, finn, észt) önfelügyelten előtanított wav2vec-large struktúrára épül, mely a BEA-Base-en történő finomhangolása és egyes hiperparaméterek optimalizálása után önmagában is felülmúlta a BEAST eredményeit: a korábbi 16.62%-os szóhibarátát 12.08%-ra csökkentette. Az akusztikus modellhez integráltuk a Magyar Nemzeti Szövegtár beszélt nyelvi alkorpuszán tanított mély neurális nyelvi modellt, mely a nyalábkeresés segítségével 10.98%-ra javította a leiratozó szóhibaarányát. Tudomásunk szerint eddig ez a legjobb beszédfelismerési eredmény ezen az adathalmazon.

Item Type: Conference or Workshop Item
Journal or Publication Title: Magyar Számítógépes Nyelvészeti Konferencia
Date: 2023
Volume: 19
ISBN: 978-963-306-912-7
Page Range: pp. 135-143
Language: Hungarian
Place of Publication: Szeged
Event Title: Magyar számítógépes nyelvészeti konferencia (19.)
Event Type: Conference
Event Location: Szeged
Event Dates: 2023. január 26-27.
Related URLs: https://acta.bibl.u-szeged.hu/78307/
Uncontrolled Keywords: Beszédfelismerés, Nyelvmodell, Nyelvészet - számítógép alkalmazása
Additional Information: Bibliogr.: p. 142-143. ; ill. ; összefoglalás magyar nyelven
Subjects: 01. Natural sciences
01. Natural sciences > 01.02. Computer and information sciences
06. Humanities
06. Humanities > 06.02. Languages and Literature
Date Deposited: 2023. Mar. 14. 15:47
Last Modified: 2023. Mar. 14. 15:47
URI: http://acta.bibl.u-szeged.hu/id/eprint/78409

Actions (login required)

View Item View Item