III. DEMARCHE METHODOLOGIQUE
CERNER L'EVALUATION A
L'ECHELLE DE PAYS
Comment mettre en relation un
référé, à savoir l'objet de l'investigation, avec
un référent, à savoir la norme ? L'idée est
d'enchaîner de manière successive, les étapes
d'observation, de comparaison, de jugement, de décision et d'action. En
somme, évaluer...
1. Cadre épistémologique : Quelques rappels
sur la notion d'évaluation
L'évaluation intervient dès lors qu'un
jugement est émis ou un avis sollicité. Pourtant, cette
démarche est accompagnée d'une complexité due à la
confusion entre les valeurs, les intérêts et le vécu de
l'évaluateur (l'analyste) et ceux de l'évalué (l'objet de
l'analyse). Ce processus est souvent accompagné de
préjugés et d'appréhensions associés aux
finalités que le système lui donne. Dans ce même ordre
d'idées, évaluer une économie est un acte qui consiste
à porter un jugement critique, partant d'un éventail de
critères d'ordre qualitatif ou quantitatif. Elle permet de prendre une
décision politique, de lancer un projet économique ou d'entamer
une réforme sociale. Ce jugement de valeur issu d'informations
observées, relève d'une connaissance descriptive. A partir de
là, on associe aux conséquences la polarité positif /
négatif.
Cette pratique est encore fortement associée
aux notes émises par les spécialistes. Elle donne lieu à
des appréciations accessibles au grand public, source de frustration
tout autant que de notoriété. De ce fait, il est utile de
s'interroger sur les fondements de l'évaluation, sur les motivations de
l'évaluateur et sur le recul qu'il peut avoir par rapport à
l'objet de l'évaluation. Rappelons que l'évaluateur et
l'évalué font tous deux parti d'un même système de
représentation, ce qui remet en question l'objectivité de la
démarche ainsi que l'impartialité de l'analyste. Dans ce sens,
l'évaluation ne doit pas se limiter à la juxtaposition ponctuelle
de situations notées mais doit rendre compte des difficultés
rencontrées par l'objet évalué afin d'y remédier,
sans égard au résultat final.
L'intérêt de l'évaluation est
avant tout, de disposer de règles ou, tout au moins, d'un support
théorique régissant la conception, l'élaboration et la
conduite de l'analyse. A l'échelle macroéconomique, il s'agit de
rendre compte du niveau de crédibilité des études
appliquées à l'évaluation des profils-pays (rating et
benchmarking). La théorie relevant de ce domaine reste toutefois peu
développée. La construction du cadre
épistémologique relatif à l'évaluation à
l'échelle de pays, nous a donc été inspirée des
sciences humaines : nous en avons extrait les principes de base, adopté
le raisonnement, puis ajusté la démarche au sujet
ciblé.
a. Un compromis entre objectivité et
subjectivité
L'évaluation est une opération de
conversion dont le point de départ est la représentation
factuelle d'un objet et le point d'arrivée est la représentation
normée de ce même objet (Barbier [1985]). Cependant,
l'évaluateur n'a pas accès à une réalité
purement objective et neutre car il n'y a pas, à proprement parler, de
représentation factuelle donnée avant le jugement. En fait, ce
regard porté sur l'évalué et qui dépend de
l'objectif ciblé produit une représentation de la
réalité qui a pour particularité d'être
normée. A partir de là, l'expert chargé de
l'évaluation se prononce sur ce qu'il observe. Il apprécie puis
estime une valeur, en fonction d'une norme. Il se place ainsi dans une position
intermédiaire, entre le prescripteur qui dit comment devrait être
l'objet évalué et l'observateur qui dit comment est l'objet dans
sa réalité concrète (Dispaux [1984]).
L'évaluation est, par conséquent, une
opération de médiation à l'issue de laquelle il y a prise
de position. Se pose alors un conflit entre l'objectivité de la
méthode et la subjectivité du jugement. L'adjectif «
subjectif » peut mettre le doute sur la rigueur scientifique attendue d'un
critère d'évaluation. C'est pourquoi il est utile de faire le
point sur l'utilisation des critères subjectifs, leurs
propriétés et les méthodes de validation. Mais avant toute
chose, il faut établir une définition consensuelle du
critère subjectif : il s'agit d'une situation difficile à
traduire en donnée numérique directement utilisable dans la
pratique. C'est une variable qualitative pour laquelle il n'existe pas
d'instrument de mesure standard.
L'examen de différentes études
empiriques permet de constater que l'intégration de critères
subjectifs aux côtés de critères objectifs pose des
problèmes de hiérarchisation, de corrélation et de
pondération. Si ces deux types de facteurs coexistent, le critère
objectif ne doit pas nécessairement être considéré
comme critère principal et la place du critère subjectif doit
être discutée au cas par cas, en fonction de la finalité et
de la nature de la situation évaluée. Il semble donc important de
pouvoir hiérarchiser les critères employés en fonction de
la finalité de l'étude. Les critères objectifs semblent
toutefois plus limités et parfois moins pertinents que les
critères subjectifs. Ces derniers permettent de décrire un
état avec plus de subtilité, mais leur utilisation au sein d'une
base de données requiert un effort supplémentaire de conversion,
vu la nécessité d'attribuer une échelle de mesure
spécifique à chaque nouvel indicateur.
Par ailleurs, un problème méthodologique
se pose au niveau de la conception du système de mesure. Pour y
remédier, l'évaluateur peut se baser sur des supports
antérieurs et y apporter des modifications pour adapter l'approche
initiale au nouveau contexte. L'utilisation d'échelles de mesure suppose
l'introduction d'instruments standards validés au préalable. Une
revue de la littérature est alors suffisante car il s'agit
d'agrégats reconnus et fréquemment employés
(l'évolution du PIB est généralement utilisée pour
mesurer la croissance économique et la PPA pour représenter le
niveau de vie). Autrement, l'instrument de mesure doit faire l'objet d'une
description complète dans laquelle il est fait mention des
éléments de validation.
Dans tous les cas, il faut anticiper, fournir et
justifier a priori l'intégralité des détails
relatifs à l'agrégation des données. Concernant la gestion
des données manquantes, la démarche méthodologique doit
être rigoureuse, notamment sur les critères subjectifs. Les
résultats peuvent être difficiles à extraire d'un
échantillon à l'autre car la moindre différence de
contexte peut modifier la sensibilité et la signification d'un
indicateur. Face à l'urgence de la situation, l'analyste ne dispose pas
du temps suffisant pour effectuer des retours réflexifs sur sa
démarche. Ceci réduit la crédibilité de ses
résultats et entraîne des réactions négatives de la
part des évalués : ils ne croient plus en l'opportunité
d'aide que leur offre l'évaluation et appréhendent le moment
où une note, faisant état de leur bilan, est émise. C'est
pourquoi les ratings sont si redoutés par les dirigeants des entreprises
ou des pays sujets à la notation.
| 
