The Art of Reproducible Machine Learning: A Survey of Methodology in Word Vector Experiments

Varování

Publikace nespadá pod Ústav výpočetní techniky, ale pod Fakultu informatiky. Oficiální stránka publikace je na webu muni.cz.

Autoři	NOVOTNÝ Vít
Rok publikování	2020
Druh	Článek ve sborníku
Konference	Proceedings of the Fourteenth Workshop on Recent Advances in Slavonic Natural Language Processing, RASLAN 2020
Fakulta / Pracoviště MU	Fakulta informatiky
Citace
www	Domovská stránka workshopu PDF
Klíčová slova	Machine learning; word vectors; word2vec; fastText; word analogy; reproducibility
Popis	Since the seminal work of Mikolov et al. (2013), word vectors of log-bilinear SVMs have found their way into many NLP applications as an unsupervised measure of word relatedness. Due to the rapid pace of research and the publish-or-perish mantra of academic publishing, word vector experiments contain undisclosed parameters, which make them difficult to reproduce. In our work, we introduce the experiments and their parameters, compare the published experimental results with our own, and suggest default parameter settings and ways to make previous and future experiments easier to reproduce. We show that the lack of variable control can cause up to 24% difference in accuracy on the word analogy tasks.
Související projekty:	Aplikovaný výzkum: softwarové architektury kritických infrastruktur, bezpečnost počítačových systémů, zpracování přirozeného jazyka a jazykové inženýrství, vizualizaci velkých dat a rozšířená realita. Zapojení studentů Fakulty informatiky do mezinárodní vědecké komunity 20