Tóth László and Honarmandi Shandiz Amin and Gosztolya Gábor and Zainkó Csaba and Markó Alexandra and Csapó Tamás Gábor: 3D konvolúciós neuronhálón és neurális vokóderen alapuló némabeszéd-interfész.
Preview |
Cikk, tanulmány, mű
msznykonf_017_123-137.pdf Download (516kB) | Preview |
Abstract
A némabeszéd-interfészek célja beszédjel előállítása valamilyen, az artikulációs szervek mozgását rögzítő felvételből, például a nyelvmozgást tartalmazó ultrahang-videóból. Jelenleg erre a konverzióra a mély neuronhálókat alkalmazó megoldások tűnnek a legígéretesebbnek. Képek felismerésére már régóta alkalmazzák a konvolúciós neuronhálókat, a legjobb eredményt azonban akkor kaphatjuk, ha a videó egyes képkockáit nem külön-külön, hanem sorozatként dolgozzuk fel. Egy lehetséges megoldás erre, ha a képeket feldolgozó konvolúciós háló kimeneteinek sorozatát egy visszacsatolt neuronhálóval egyesítjük. Jelen cikkben viszont egy másik megoldással próbálkozunk, nevesül 3-dimenziós konvolúciós hálókat használunk, ahol a képek két dimenziója mellett az idő képezi a harmadik tengelyt. A 3D konvolúciós hálóknak is egy speciális változatát alkalmazzuk, amely a térbeli és időbeli konvolúciós lépéseket felbontott formában végzi el – ezt a fajta hálózatot sikeresen használták már más videófelismerési feladatokban is. Kísérleteinkben a 3D neuronháló némileg pontosabb eredményeket adott, mint a kombinált konvolúciós+visszacsatolt modell, ami azt mutatja, hogy ez a megközelítés alternatívája lehet a rekurrens hálókra épülő, általában lassabban és nehézkesebben tanítható modelleknek.
Item Type: | Conference or Workshop Item |
---|---|
Heading title: | Beszédtechnológia |
Journal or Publication Title: | Magyar Számítógépes Nyelvészeti Konferencia |
Date: | 2021 |
Volume: | 17 |
ISBN: | 978-963-306-781-9 |
Page Range: | pp. 123-137 |
Language: | Hungarian |
Event Title: | Magyar számítógépes nyelvészeti konferencia (17.) (2021) (Szeged) |
Related URLs: | http://acta.bibl.u-szeged.hu/73340/ |
Uncontrolled Keywords: | Nyelvészet - számítógép alkalmazása |
Additional Information: | Bibliogr.: p. 134-137. és a lábjegyzetekben ; összefoglalás magyar nyelven |
Subjects: | 01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences 06. Humanities 06. Humanities > 06.02. Languages and Literature |
Date Deposited: | 2021. Sep. 28. 11:38 |
Last Modified: | 2022. Nov. 08. 11:49 |
URI: | http://acta.bibl.u-szeged.hu/id/eprint/73362 |
Actions (login required)
![]() |
View Item |