"Feeding the BEAST" - A BEA Speech Transcriber továbbfejlesztése és integrálása neurális nyelvmodellel

Kádár Máté Soma; Dobsinszki Gergely; Mády Katalin; Mihajlik Péter: "Feeding the BEAST" - A BEA Speech Transcriber továbbfejlesztése és integrálása neurális nyelvmodellel.

Előnézet

Cikk, tanulmány, mű msznykonf_019_135-143..pdf Letöltés (274kB) | Előnézet

Absztrakt (kivonat)

Cikkünkben a korábban BEAST néven publikált, a BEA-Base adatbázison tanított mély-neuronháló alapú beszédleiratozó modellt meghaladó struktúrát mutatunk be. A használt architektúra magába foglal egy unigram szótöredékeken tanított wav2vec2 alapú akusztikus és egy Transformer alapú nyelvi modellt. Az akusztikus modell az uráli nyelvcsaládba tartozó nyelveken (magyar, finn, észt) önfelügyelten előtanított wav2vec-large struktúrára épül, mely a BEA-Base-en történő finomhangolása és egyes hiperparaméterek optimalizálása után önmagában is felülmúlta a BEAST eredményeit: a korábbi 16.62%-os szóhibarátát 12.08%-ra csökkentette. Az akusztikus modellhez integráltuk a Magyar Nemzeti Szövegtár beszélt nyelvi alkorpuszán tanított mély neurális nyelvi modellt, mely a nyalábkeresés segítségével 10.98%-ra javította a leiratozó szóhibaarányát. Tudomásunk szerint eddig ez a legjobb beszédfelismerési eredmény ezen az adathalmazon.

Mű típusa:	Konferencia vagy workshop anyag
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2023
Kötet:	19
ISBN:	978-963-306-912-7
Oldalak:	pp. 135-143
Nyelv:	magyar
Kiadás helye:	Szeged
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (19.)
Konferencia típusa:	Konferencia
Helyszin:	Szeged
Dátum:	2023. január 26-27.
Befoglaló mű URL:	https://acta.bibl.u-szeged.hu/78307/
Kulcsszavak:	Beszédfelismerés, Nyelvmodell, Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 142-143. ; ill. ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2023. már. 14. 15:47
Utolsó módosítás:	2023. már. 14. 15:47
URI:	http://acta.bibl.u-szeged.hu/id/eprint/78409

Bővebben:

Tétel nézet