Apprentissage de plongements de mots dynamiques avec r\'egularisation de la d\'erive (Learning dynamic word embeddings with drift regularisation)

Abstract

L'usage, le sens et la connotation des mots peuvent changer au cours du temps. Les plongements lexicaux diachroniques permettent de mod\'eliser ces changements de mani\`ere non supervis\'ee. Dans cet article nous \'etudions l'impact de plusieurs fonctions de co\^ut sur l'apprentissage de plongements dynamiques, en comparant les comportements de variantes du mod\`ele Dynamic Bernoulli Embeddings. Les plongements dynamiques sont estim\'es sur deux corpus couvrant les m\^emes deux d\'ecennies, le New York Times Annotated Corpus en anglais et une s\'election d'articles du journal Le Monde en francais, ce qui nous permet de mettre en place un processus d'analyse bilingue de l'\'evolution de l'usage des mots.

Tasks

Reproductions