Estimation de la qualit\'e d'un syst\`eme de reconnaissance de la parole pour une t\^ache de compr\'ehension (Quality estimation of a Speech Recognition System for a Spoken Language Understanding task)

Abstract

Nous nous int\'eressons \`a l'\'evaluation de la qualit\'e des syst\`emes de reconnaissance de la parole \'etant donn\'e une t\^ache de compr\'ehension. L'objectif de ce travail est de fournir un outil permettant la s\'election d'un syst\`eme de reconnaissance automatique de la parole le plus adapt\'e pour un syst\`eme de dialogue donn\'e. Nous comparons ici diff\'erentes m\'etriques, notamment le WER, NE-WER et ATENE m\'etrique propos\'ee r\'ecemment pour l'\'evaluation des syst\`emes de reconnaissance de la parole \'etant donn\'e une t\^ache de reconnaissance d'entit\'es nomm\'ees. Cette derni\`ere m\'etrique montrait une meilleure corr\'elation avec les r\'esultats de la t\^ache globale que toutes les autres m\'etriques test\'ees. Nos mesures indiquent une tr\`es forte corr\'elation avec la mesure ATENE et une moins forte avec le WER.

Tasks

Reproductions