\'Evaluation de mesures d'association pour les bigrammes et les trigrammes au moyen du test exact de Fisher (Using Fisher's Exact Test to Evaluate Association Measures for Bigrams and Trigrams)

Abstract

Pour d\'eterminer si certaines mesures d'association lexicale fr\'equemment employ\'ees en TAL attribuent des scores \'elev\'es \`a des n-grammes que le hasard aurait pu produire aussi souvent qu'observ\'e, nous avons utilis\'e une extension du test exact de Fisher \`a des s\'equences de plus de deux mots. Les analyses ont port\'e sur un corpus de quatre millions de mots d'anglais conversationnel extrait du BNC. Les r\'esultats, bas\'es sur la courbe pr\'ecision-rappel et sur la pr\'ecision moyenne, montrent que le LL-simple est extr\^emement efficace. IM3 est plus efficace que les autres mesures bas\'ees sur les tests d'hypoth\`ese et atteint m\^eme un niveau de performance presque \'egal \`a LL-simple pour les trigrammes.

Tasks

Reproductions