Ligeti-Nagy Noémi and Héja Enikő and Laki László János and Takács Dávid and Yang Zijian Győző and Váradi Tamás: Hát te mekkorát nőttél! - A HuLU első életéve új adatbázisokkal és webszolgáltatással.
Preview |
Cikk, tanulmány, mű
msznykonf_019_217-230..pdf Download (625kB) | Preview |
Abstract
Az egyre nagyobb számban megjelenő neurális nyelvmodellek jelentőségének felbecsüléséhez elengedhetetlen valamilyen eszköz, amellyel ezek mérhetők és összehasonlíthatók. A nyelvtechnológiában ez a mérőeszköz a benchmark adatbázis, amelyből számtalan elérhető már az angol nyelvre, és több más nyelvre is. A magyarra 2022-ben jelent meg a HuLU benchmark adatbázis-készlet (Ligeti-Nagy és mtsai, 2022), melynek célja, hogy egyre bővülő gyűjteményként a nyelvmodellek magyarnyelvtudásának mérésére szolgáljon. Jelen cikkünkben bemutatunk két olyan új adatbázist, amelyekkel a HuLU-t bővítettük: egyrészt a Recognizing Textual Entailment (RTE) shared taskok anyagából válogatott RTE korpusz magyar fordítását, másrészt a CommitmentBank mintájára létrehozott magyar HuCommitmentBank korpuszt. Ezen kívül bemutatjuk a HuLU használatát megkönnyítő és kiteljesítő webszolgáltatást, amely lehetővé teszi a modellek eredményeinek gyors kiértékelését, és a feltöltött eredmények látványos összehasonlítását. Ezt kihasználva tanulmányunkban bemutatjuk néhány magyarul is tudó nyelvmodellnek a HuLU korpuszain elért eredményeit.
| Item Type: | Conference or Workshop Item |
|---|---|
| Journal or Publication Title: | Magyar Számítógépes Nyelvészeti Konferencia |
| Date: | 2023 |
| Volume: | 19 |
| ISBN: | 978-963-306-912-7 |
| Page Range: | pp. 217-230 |
| Language: | Hungarian |
| Place of Publication: | Szeged |
| Event Title: | Magyar számítógépes nyelvészeti konferencia (19.) |
| Event Type: | Conference |
| Event Location: | Szeged |
| Event Dates: | 2023. január 26-27. |
| Related URLs: | https://acta.bibl.u-szeged.hu/78307/ |
| Uncontrolled Keywords: | Nyelvészet - számítógép alkalmazása, Nyelvmodellek |
| Additional Information: | Bibliogr.: p. 227-230. és a lábjegyzetekben ; összefoglalás magyar nyelven |
| Subjects: | 01. Natural sciences 01. Natural sciences > 01.02. Computer and information sciences |
| Date Deposited: | 2023. Mar. 16. 08:39 |
| Last Modified: | 2023. Mar. 16. 08:39 |
| URI: | http://acta.bibl.u-szeged.hu/id/eprint/78415 |
Actions (login required)
 |
View Item |
