Similarity based smoothing in language modeling

Szamonek Zoltán; Biró István: Similarity based smoothing in language modeling. In: Acta cybernetica, (18) 2. pp. 303-314. (2007)

Előnézet

Cikk, tanulmány, mű Szamonek_2007_ActaCybernetica.pdf Letöltés (172kB) | Előnézet

Absztrakt (kivonat)

In this paper, we improve our previously proposed Similarity Based Smoothing (SBS) algorithm. The idea of the SBS is to map words or part of sentences to an Euclidean space, and approximate the language model in that space. The bottleneck of the original algorithm was to train a regularized logistic regression model, which was incapable to deal with real world data. We replace the logistic regression by regularized maximum entropy estimation and a Gaussian mixture approach to model the language in the Euclidean space, showing other possibilities to use the main idea of SBS. We show that the regularized maximum entropy model is flexible enough to handle conditional probability density estimation, thus enable parallel computation tasks with significantly decreased iteration steps. The experimental results demonstrate the success of our method, we achieve 14% improvement on a reail world corpus.

Mű típusa:	Cikk, tanulmány, mű
Befoglaló folyóirat/kiadvány címe:	Acta cybernetica
Dátum:	2007
Kötet:	18
Szám:	2
ISSN:	0324-721X
Oldalak:	pp. 303-314
Nyelv:	angol
Kiadás helye:	Szeged
Konferencia neve:	Conference on Hungarian Computational Linguistics (4.) (2006) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/38524/
Kulcsszavak:	Számítástechnika, Nyelvészet - számítógép alkalmazása
Megjegyzések:	Bibliogr.: 314. p. ; összefoglalás angol nyelven
Szakterület:	01. Természettudományok 01. Természettudományok > 01.02. Számítás- és információtudomány 06. Bölcsészettudományok 06. Bölcsészettudományok > 06.02. Nyelvek és irodalom
Feltöltés dátuma:	2016. okt. 15. 12:25
Utolsó módosítás:	2022. jún. 16. 14:03
URI:	http://acta.bibl.u-szeged.hu/id/eprint/12818

Bővebben:

Tétel nézet