CHAPITRE 4. ANALYSE ET DISCUSSION DES
RÉSULTATS
4.3.1 Méthodes de recherche
employées
Nous avons lancél'évaluateur TREC-Eval avec les
4 méthodes de recherche afin de comparer les performances de chaque
méthode et choisir à la fin la meilleure méthode à
utiliser. Ces méthodes seront décrites dans ce qui suit.
VSM SimpleSearch : Dans cette méthode
de requêtage, nous avons utiliséle modèle de classement des
résultats VSM (Voir la Section 2.1.1) tout en utilisant une recherche
simple des mots clés de la requête dans le contenu des articles
seulement.
VSM MultiFieldsSearch : Cette méthode
de recherche est basée sur la recherche multi-champs (Multi-Fields
Search en anglais), c'est-à-dire la recherche des mots d'une
requête est effectuée non seulement sur le contenu de l'article
mais aussi sur le titre de ce dernier.
BM25 SimpleSearch : La présente
méthode est basée sur une simple recherche dans le contenu des
articles. Durant l'étape de classement des résultats, ici nous
utilisons l'approche BM25 au lieu du VSM (Voir la Section 2.1.1).
BM25 MultiFieldsSearch : Là, nous
avons implémentéune méthode de recherche qui emploie la
recherche multi-champs (recherche appliquée dans le contenu et le titre
des articles au même temps). Làaussi, nous utilisons l'approche
BM25.
4.3.2 Discussion des performances des méthodes de
recherche
Après avoir lancél'évaluation de toutes
les méthodes, nous avons tracédes graphes et des histogrammes
afin de comparer les résultats.
Histogrammes MAP, MRR et R-Précision
Les histogrammes dans la Figure 4.1 représenent le MRR,
la MAP et le R Précision de chaque méthode de recherche. Nous
remarquons d'abord que toutes les méthodes qui utilisent la
métrique BM25 comme métrique de classement des documents
surpassent de loin les méthodes VSM en terme de précision
moyenne. Cela dit, la métrique BM25 étant plus
sophistiquée et étant plus précise, permet une recherche
plus performante et plus assurée.
Maintenant, après avoir comparéles deux
métriques de classement, nous passons directement à la
comparaison des méthodes qui utilisent BM25. Làencore, nous
remarquons la supérioritéde la méthode de recherche
BM25 SimpleSearch.
37
CHAPITRE 4. ANALYSE ET DISCUSSION DES
RÉSULTATS
(a) Graphe du MRR des résultats. (b) Graphe du MAP des
résultats.
(c) Graphe du R-Précision des résultats.
FIGURE 4.1: Histogrammes d'évaluation du Module de
Recherche d'Information.
Une chose de plus à remarquer dans l'histogramme du MRR
dans la Figure 4.1, la méthode de recherche BM25 SimpleSearch a
un score MRR et MAP égal à 0.20. Ceci dit, cette méthode
permet d'avoir en moyenne le bon document parmi les 5 premiers documents
retournés, ce qui, d'après notre choix, fournit en
général toujours le bon document que nous cherchons parmi les 5
premiers documents envoyés au classifieur.
Graphes Précision, Rappel et
précision-rappel
Ces autres métriques viennent confirmer ce que nous avons
constatéprécédemment.
Pour les graphes de la précision@K et rappel@K
présentés dans la Figure 4.2, oùK représente le
nombre de résultats retournés suite à une recherche,
permettent d'affirmer les performances supérieures
réalisées par la méthode BM25 SimpleSearch.
Par ailleurs, nous constatons une baisse considérable
de la précision en augmentant le nombre K de résultats
retournés. Quant au rappel, il augmente en augmentant
le nombre K de résultats retournés. Cela est justifiépar
la façon dont la précision et le rappel sont calculés.
D'après la définition des deux métriques, la
précision
| 
