The role of interpretable patterns in deep learning for morphology

Ács Judit; Kornai András: The role of interpretable patterns in deep learning for morphology.

Előnézet

Cikk, tanulmány, mű msznykonf_016_171-179.pdf Letöltés (416kB) | Előnézet

Absztrakt (kivonat)

We examine the role of character patterns in three tasks: morphological analysis, lemmatization and copy. We use a modified version of the standard sequence-to-sequence model, where the encoder is a pattern matching network. Each pattern scores all possible N character long subwords (substrings) on the source side, and the highest scoring subword’s score is used to initialize the decoder as well as the input to the attention mechanism. This method allows learning which subwords of the input are important for generating the output. By training the models on the same source but different target, we can compare what subwords are important for different tasks and how they relate to each other. We define a similarity metric, a generalized form of the Jaccard similarity, and assign a similarity score to each pair of the three tasks that work on the same source but may differ in target. We examine how these three tasks are related to each other in 12 languages. Our code is publicly available.

Mű típusa:	Konferencia vagy workshop anyag
Rovatcím:	Morfológia, helyesírás
Befoglaló folyóirat/kiadvány címe:	Magyar Számítógépes Nyelvészeti Konferencia
Dátum:	2020
Kötet:	16
ISBN:	978-963-306-719-2
Oldalak:	pp. 171-179
Konferencia neve:	Magyar Számítógépes Nyelvészeti Konferencia (16.) (2020) (Szeged)
Befoglaló mű URL:	http://acta.bibl.u-szeged.hu/67637/
Kulcsszavak:	Nyelvészet - számítógép alkalmazása, Morfológia
Megjegyzések:	Bibliogr.: p. 178-179. ; összefoglalás angol nyelven
Feltöltés dátuma:	2020. máj. 05. 08:57
Utolsó módosítás:	2022. nov. 08. 11:49
URI:	http://acta.bibl.u-szeged.hu/id/eprint/67672

Bővebben:

Tétel nézet