Youtaqa : système de questions-réponses intelligent basé sur le deep learning et la recherche d’information

CHAPITRE 4. ANALYSE ET DISCUSSION DES RÉSULTATS

(c) Test

FIGURE 4.3: Matrices de confusion du MC.

D'après la figure 4.3, nous remarquons qu'en fin d'apprentissage, la totalitédes réponses mal classées est de 7 773 réponses, un taux d'erreur de 9% et la totalitédes réponses bien classées est de 109 964, donc un taux de précision de 93%. Nous notons également que le nombre de réponses mal classées durant la validation est de 1992 réponses ce qui est égal à un taux d'erreur de 13% et le nombre de réponses bien classées est de 109 964, de ce fait, un taux de précision de 95%. Le MC a atteint un taux d'erreur et une précision égales à 11% et 91% resp. sur le Test Set.

4.5 Résultats du module d'extraction des réponses MER

Dans cette section, nous allons discuter l'exactitude des résultats du MER. Pour ce faire, nous avons calculéles deux métriques : Loss (Erreur) et Accuracy. Durant l'apprentissage et la validation du modèle, nous avons tracéles courbes pour les deux sous modèles de détection du début et de fin de réponse.

(a) Accuracy (b) Loss

FIGURE 4.4: Graphes d'évaluation du Module d'Extraction de Réponse (Start).

41

CHAPITRE 4. ANALYSE ET DISCUSSION DES RÉSULTATS

Nous observons sur les graphiques figures 4.4 que la courbe de Training Accuracy pour la détection du début a atteint une valeur de 75% au bout de 14 Epochs, tandis que la Validation Accuracy s'est stabilisée à partir du 9ème Epoch à un pourcentage de 70%. Nous enregistrons en parallèle la diminution du Training Loss de ce modèle jusqu'àla valeur 0.75 au 15ème Epoch et le Validation Loss qui s'est figéà la valeur 1.12 à partir du 8ème Epoch.

(a) Accuracy (b) Loss

FIGURE 4.5: Graphes d'évaluation du Module d'Extraction de Réponse (End).

Les courbes de Accuracy et Loss du deuxième sous-modèle de détection de fin sont présentées dans la figure 4.5. Nous remarquons dans ces dernières que la détection du début sur la Training Accuracy a atteint une valeur de 80% après 14 epochs d'apprentissage. Tandis que la Validation Accuracy a accru jusqu'à73% au 9ème Epoch. Nous notons également que le Training Loss de ce modèle a diminuéjusqu'àla valeur 0.75 au 15ème Epoch et le Validation Loss est 1.12 dès le 8ème Epoch.

Dans le but de tester l'efficacitéde notre modèle, nous avons utilisél'évaluateur proposépar SQUAD ¹, qui prend comme entrée un fichier contenant les réponses extraites à partir des contextes de SQUAD pour chaque question du Test Set, et donne en sortie les métriques F1-Score et Exact Match.les résultats enregistrés sont les suivant :

-- »exact»: 86.85,

-- »f1» : 91.58,

-- »total» : 11873,

-- »HasAns total» : 5928.

1. https://rajpurkar.github.io/SQuAD-explorer/

42