3D konvolúciós neuronhálón és neurális vokóderen alapuló némabeszéd-interfész

Tóth László; Honarmandi Shandiz Amin; Gosztolya Gábor; Zainkó Csaba; Markó Alexandra; Csapó Tamás Gábor: 3D konvolúciós neuronhálón és neurális vokóderen alapuló némabeszéd-interfész.

Előnézet

Cikk, tanulmány, mű msznykonf_017_123-137.pdf Letöltés (516kB) | Előnézet

Absztrakt (kivonat)

A némabeszéd-interfészek célja beszédjel előállítása valamilyen, az artikulációs szervek mozgását rögzítő felvételből, például a nyelvmozgást tartalmazó ultrahang-videóból. Jelenleg erre a konverzióra a mély neuronhálókat alkalmazó megoldások tűnnek a legígéretesebbnek. Képek felismerésére már régóta alkalmazzák a konvolúciós neuronhálókat, a legjobb eredményt azonban akkor kaphatjuk, ha a videó egyes képkockáit nem külön-külön, hanem sorozatként dolgozzuk fel. Egy lehetséges megoldás erre, ha a képeket feldolgozó konvolúciós háló kimeneteinek sorozatát egy visszacsatolt neuronhálóval egyesítjük. Jelen cikkben viszont egy másik megoldással próbálkozunk, nevesül 3-dimenziós konvolúciós hálókat használunk, ahol a képek két dimenziója mellett az idő képezi a harmadik tengelyt. A 3D konvolúciós hálóknak is egy speciális változatát alkalmazzuk, amely a térbeli és időbeli konvolúciós lépéseket felbontott formában végzi el – ezt a fajta hálózatot sikeresen használták már más videófelismerési feladatokban is. Kísérleteinkben a 3D neuronháló némileg pontosabb eredményeket adott, mint a kombinált konvolúciós+visszacsatolt modell, ami azt mutatja, hogy ez a megközelítés alternatívája lehet a rekurrens hálókra épülő, általában lassabban és nehézkesebben tanítható modelleknek.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Beszédtechnológia
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2021
Kötet:	17
ISBN:	978-963-306-781-9
Oldalak:	pp. 123-137
Nyelv:	magyar
Konferencia neve:	Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/73340/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: p. 134-137. és a lábjegyzetekben ; összefoglalás magyar nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2021. szep. 28. 11:38
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/73362

Bővebben:

Tétel nézet