Mély neuronhálós akusztikus modellek súlyinicializálásának vizsgálata

Pintér Ádám; Tóth László; Gosztolya Gábor: Mély neuronhálós akusztikus modellek súlyinicializálásának vizsgálata.

Előnézet

Cikk, tanulmány, mű msznykonf_016_313-321.pdf Letöltés (411kB) | Előnézet

Absztrakt (kivonat)

Az automatikus beszédfelismerés területén az akusztikus modellezésben gyakorlatilag egyeduralkodókká váltak a mély neurális hálók. Az irodalomban számos megoldást találunk arra, hogy hogyan érdemes beállítani a különböző paramétereket a DNN akusztikus modellek tanítása során, azonban általában kevés figyelmet szentelnek annak, hogy a hálók súlyait hogyan érdemes inicializálni. Eközben a gépi tanulási irodalomban ez egy igen aktív terület; a közelmúltban több stratégia is napvilágot látott a DNN kezdősúlyainak beállítására. Jelen munkánkban három ilyen eljárást tesztelünk mély neurális hálós akusztikus modellekben, három különböző aktivációs függvényt (szigmoid, ReLU és szoftplusz) használva. Eredményeink alapján mindenképp érdemes valamilyen speciális súlyinicializálási eljárást alkalmaznunk, ugyanakkor a három vizsgált stratégia (Glorot, He és Edge of Chaos) használatával elért fonémaszintű hibaarányok között nem találtunk szignifikáns különbséget.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Poszter, laptopos bemutató II.
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2020
Kötet:	16
ISBN:	978-963-306-719-2
Oldalak:	pp. 313-321
Konferencia neve:	Magyar Számítógépes Nyelvészeti Konferencia (16.) (2020) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/67637/
Kulcsszavak:	Beszédfelismerés - automatikus, Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 320-321. ; összefoglalás magyar nyelven
Feltöltés dátuma:	2020. máj. 05. 11:15
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/67661

Bővebben:

Tétel nézet