Repr\'esentations continues d\'eriv\'ees des caract\`eres pour un mod\`ele de langue neuronal \`a vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)

Abstract

Cet article propose une architecture neuronale pour un mod\`ele de langue \`a vocabulaire ouvert. Les repr\'esentations continues des mots sont calcul\'ees \`a la vol\'ee \`a partir des caract\`eres les composant, gr\`ace \`a une couche convolutionnelle suivie d'une couche de regroupement (pooling). Cela permet au mod\`ele de repr\'esenter n'importe quel mot, qu'il fasse partie du contexte ou soit \'evalu\'e pour la pr\'ediction. La fonction objectif est d\'eriv\'ee de l'estimation contrastive bruit\'ee (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous \'evaluons la capacit\'e de notre mod\`ele \`a construire des repr\'esentations continues de mots inconnus sur la t\^ache de traduction automatique IWSLT-2016, de l'Anglais vers le Tch\`eque, en r\'e-\'evaluant les N meilleures hypoth\`eses (N-best reranking). Les r\'esultats exp\'erimentaux permettent des gains jusqu'\`a 0,7 point BLEU. Ils montrent aussi la difficult\'e d'utiliser des repr\'esentations d\'eriv\'ees des caract\`eres pour la pr\'ediction.

Tasks

Reproductions