Etude de la reproductibilit\'e des word embeddings : rep\'erage des zones stables et instables dans le lexique (Reproducibility of word embeddings : identifying stable and unstable zones in the semantic space)

Abstract

Les mod\`eles vectoriels de s\'emantique distributionnelle (ou word embeddings), notamment ceux produits par les m\'ethodes neuronales, posent des questions de reproductibilit\'e et donnent des repr\'esentations diff\'erentes \`a chaque utilisation, m\^eme sans modifier leurs param\`etres. Nous pr\'esentons ici un ensemble d'exp\'erimentations permettant de mesurer cette instabilit\'e, \`a la fois globalement et localement. Globalement, nous avons mesur\'e le taux de variation du voisinage des mots sur trois corpus diff\'erents, qui est estim\'e autour de 17\% pour les 25 plus proches voisins d'un mot. Localement, nous avons identifi\'e et caract\'eris\'e certaines zones de l'espace s\'emantique qui montrent une relative stabilit\'e, ainsi que des cas de grande instabilit\'e.

Tasks

Reproductions