Comment arpenter sans m\`etre : les scores de r\'esolution de cha\^ de cor\'ef\'erences sont-ils des m\'etriques ? (Do the standard scores of evaluation of coreference resolution constitute metrics ?)

Abstract

Cet article pr\'esente un travail qui consiste \`a \'etudier si les scores les plus utilis\'es pour l'\'evaluation de la r\'esolution des cor\'ef\'erences constituent des m\'etriques de similarit\'e normalis\'ees. En adoptant une d\'emarche purement exp\'erimentale, nous avons v\'erifi\'e si les scores MUC, B3 , CEAF, BLANC, LEA et le meta-score CoNLL respectent les bonnes propri\'et\'es qui d\'efinissent une telle m\'etrique. Notre \'etude montre que seul le score CEAFm est potentiellement une m\'etrique de similarit\'e normalis\'ee.

Tasks

Reproductions