CHAPITRE 4. ANALYSE ET DISCUSSION DES
RÉSULTATS
Les résultats présentés ci-dessus
montrent que le Test Set contient 5928 questions
ayant une réponse dans leurs contextes d'un total de
11873 questions. Notre MER a pu atteindre un Exact
Match de 87% et un F1-Score de 92%.
4.6 Déploiement et test du
système
Les résultats obtenus des questions sans
réponses sont liés directement au manque d'informations sur la
base de documents Wikipédia car il y a des questions qui sont
subjectives comme l'opinion sur un sujet ou plus encore des questions de
confirmation (les questions qui ont comme réponses «Oui» ou
«Non»). De plus, et comme nous avons vu
précédemment, chaque module présente une marge d'erreur
à son niveau. Cela dit, la partie des résultats erronés
obtenus sont dus à ces imperfections.
FIGURE 4.6: Exemple d'utilisation du système YouTaQA
Nous estimons que notre système affiche des
performances globales acceptables en prenant en compte la marge d'erreur et les
limites liées à la source d'information de notre système
ainsi qu'un temps d'exécution moyen de 5 6 secondes seulement.
4.7 Conclusion
Dans ce dernier chapitre, nous avons présentéles
résultats donnés par l'implémentation de notre
architecture présentée dans le chapitre précédent.
Nous avons testénos modules et avons présentéet
discutéles résultats obtenus en calculant des métriques
d'évaluation et en présentant des graphes afin de faciliter la
comparaison des expérimentations.
43
Conclusion Générale
Le travail qui nous a étéconfiés dans le
cadre de notre projet de fin d'études, consiste à concevoir et
réaliser un système complet de questions-réponses
basésur la recherche d'information.
Le but principal de notre système était de
fournir une solution complète qui, après l'identification des
problèmes rencontrés dans les travaux précédents,
facilitera la réponse aux questions des utilisateurs. La tâche
principale des systèmes QAS existants étant de répondre
aux questions en exigeant tout de même un passage dans lequel il
extrairait la réponse, notre système permettra aux utilisateurs
d'automatiser la fourniture du passage en utilisant un moteur de recherche
performant et rapide.
Nous nous sommes appuyés sur l'application des
méthodes innovantes basées sur le Deep Learning afin de
décrire et éliminer avec succès les anomalies et les
problèmes que nous avons rencontrés au fil des étapes du
développement de la solution.
Pour but de réaliser le pipeline complet de notre
système nomméYouTaQA, nous avons tout d'abord
implémentéun moteur de recherche en utilisant la base de
documents « Wikipédia » comme source d'in-formations, tout en
considérant chaque section d'article comme étant un document en
lui-même afin d'affiner les résultats de recherche. Ensuite, en se
basant sur le « Deep Learning» et spécialement le
modèle BERT qui permet d'atteindre l'état de l'art à
l'heure oùcette thèse a étérédigée,
nous avons bâti un module de classification de documents qui sert
à reclasser les passages résultants de notre moteur de recherche
en lui fournissant la question et les 5 meilleurs passages, cela nous permet
à chaque fois d'identifier le passage le plus probable et d'avoir une
réponse exacte à une question donnée.
Étant notre Classifieur basésur le « Deep
Learning », nous avons étéamenés à faire un
entraînement à ce dernier, ce qui nous a poussés à
choisir le DataSet de SQUAD réalisépar l'universitéde
Stanford et qui fournit plus de 150.000 paires de question-passage et qui
précise à chaque paire si le passage contient une réponse
à la
44
| 
