Arthur Frigyes Viktor; Csapó Tamás Gábor: Deep learning alapú agyi jel feldolgozás és beszédszintézis előkészítő munkálatai.
Cikk, tanulmány, mű
msznykonf_018_185-198.pdf Letöltés (6MB) |
Absztrakt (kivonat)
Ebben a cikkben bemutatjuk a nem invazív, elektorenkefalográfián (EEG) alapuló kommunikációs agy-gép interfész (BCI) rendszerekkel kapcsolatos kutatásunk kezdeti eredményeit. Az agyi jelből akusztikus jelbe átalakító konverziós módszer célja, hogy az idegsejtek elektromos aktivitása alapján szintetizáljunk beszédet. A kutatás során a "Kara One" adatbázis beszélőivel végeztünk kísérleteket, melyből párhuzamos EEG és beszédfelvételeket használtunk fel. A cikkben részletesen bemutatjuk az agyi jel előfeldolgozásának lépéseit (szűrés, csatorna választás, zajok és műtermékek (artifact) eltávolítása, független komponens analízis, és szegmentálás). Az előfeldolgozott EEG jelből mély neuronhálóval becsüljük meg a beszéd mel-spektrális paramétereit. Végül egy neurális vokóderrel állítjuk elő a szintetizált beszédet. Az így szintetizált beszéd ugyan nem érthető, de emlékeztet az eredeti jelre, így a kezdeti eredményeket biztatónak tartjuk. A kutatás hosszú távú jelentősége, hogy a beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára.
Mű típusa: | Konferencia vagy workshop anyag |
---|---|
Rovatcím: | Beszédtechnológia |
Befoglaló folyóirat/kiadvány címe: | Magyar Számítógépes Nyelvészeti Konferencia |
Dátum: | 2022 |
Kötet: | 18 |
ISBN: | 978-963-306-848-9 |
Oldalak: | pp. 185-198 |
Nyelv: | magyar |
Kiadás helye: | Szeged |
Konferencia neve: | Magyar számítógépes nyelvészeti konferencia (18.) (2022) (Szeged) |
Befoglaló mű URL: | http://acta.bibl.u-szeged.hu/75797/ |
Kulcsszavak: | Beszédszintézis, Beszédtechnológia, Nyelvészet - számítógép alkalmazása, Elektorenkefalográfia |
Megjegyzések: | Bibliogr.: p. 197-198. ; ill. ; összefoglalás magyar nyelven |
Szakterület: | 01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom |
Feltöltés dátuma: | 2022. máj. 25. 08:59 |
Utolsó módosítás: | 2022. nov. 08. 11:49 |
URI: | http://acta.bibl.u-szeged.hu/id/eprint/75874 |
Tétel nézet |