Combien d'exemples de tests sont-ils n\'ecessaires \`a une \'evaluation fiable ? Quelques observations sur l'\'evaluation de l'analyse morphosyntaxique du fran . (Some observations on the evaluation of PoS taggers)

Abstract

L'objectif de ce travail est de pr\'esenter plusieurs observations, sur l'\'evaluation des analyseurs morphosyntaxique en francais, visant \`a remettre en cause le cadre habituel de l'apprentissage statistique dans lequel les ensembles de test et d'apprentissage sont fix\'es arbitrairement et ind\'ependemment du mod\`ele consid\'er\'e. Nous montrons qu'il est possible de consid\'erer des ensembles de test plus petits que ceux g\'en\'eralement utilis\'es sans cons\'equences sur la qualit\'e de l'\'evaluation. Les exemples ainsi « \'economis\'es » peuvent \^etre utilis\'es en apprentissage pour am\'eliorer les performances des syst\`emes notamment dans des t\^aches d'adaptation au domaine.

Tasks

Reproductions