En outre, si elles sont considérées comme pertinentes à la pratique de l'évaluation, notamment en ce qui concerne le rôle et la position de la discipline dans la société, ainsi que leur faisabilité. En général (4), l'éthique introduite par les évaluateurs a tendance à être dans l'intérêt du client de l'évaluation. Les résultats ont également montré l'importance (3) de l'expérience émotionnelle et (4) de l'aspect anxieux du traitement éthique par les évaluateurs.
Apparaissent-elles pertinentes à la pratique de l’évaluation, notamment en termes de rôle et de place de la discipline dans la société, mais aussi en termes de faisabilité ? Tout comme la prise en compte des enjeux éthiques et l’établissement de normes spécifiques à la discipline de l’évaluation, la littérature abordant ce sujet reste relativement nouvelle.
DESCRIPTION DE LA RECHERCHE
RECENSION DES ÉCRITS ET CADRE CONCEPTUEL
- L’intégration de nouveaux standards en évaluation
- Les nouveaux courants théoriques en évaluation : vers l’amplification de la dimension éthique
- Les principales caractéristiques de l’amplification de la dimension éthique en évaluation
- Les conséquences de l’amplification de la dimension éthique
- L’éthique appliquée au domaine de l’évaluation
- Qu’est-ce que l’éthique appliquée?
- L’éthique appliquée à l’évaluation de programme: un domaine récent et en développement
- L’éthique appliquée à l’évaluation de programme: débats et enjeux
- La construction de la position éthique des évaluateurs
- La construction de la position éthique théorique
- La contextualisation de la position éthique
- La temporalité des facteurs d’influence
- Le cadre conceptuel
- Apports et limites de la littérature
- Concepts et relations du cadre conceptuel
- Définition des principaux termes utilisés dans le cadre de la recherche
Une autre conséquence du renforcement de la dimension éthique du domaine de l’évaluation est l’évolution du concept d’engagement de l’évaluateur. L'évaluateur doit donc considérer l'impact direct de ses actions et de l'évaluation sur l'amélioration de la société. Toutefois, la défense de ces valeurs n’est pas sans conséquences sur la définition de la responsabilité de l’évaluateur.
51 Bref, l’éthique de l’évaluation (ses concepts, ses applications et ses normes) se traduit de manière hétérogène dans le domaine de l’évaluation. 66 évaluation (A1), promotion de nouvelles normes (A2), de la culture et du climat organisationnels (A3) et des valeurs éthiques personnelles de l'évaluateur (A4). Le processus de prise de décision (B1) peut être défini principalement par : son timing, son modèle (cognitif, logique ou intuitif), l'implication émotionnelle de l'évaluateur et les influences externes sur le processus.
67 la perception et/ou la prise en compte du contexte social de l'évaluation par l'évaluateur (et notamment des intérêts de certaines parties prenantes).
CADRE MÉTHODOLOGIQUE
- L’opérationnalisation de la question de recherche
- L’apport de l’étude exploratoire
- La stratégie de recherche
- Les méthodes de collecte de données pour la présente recherche
- L’unité d’analyse
- L’échantillonnage
- Les sources et les méthodes de collecte de données
- Le traitement et l’analyse des données
- La diffusion des résultats
- Les critères de qualité de cette recherche
- Mon positionnement comme chercheure et mes valeurs
Ainsi, les données de la littérature ont été synthétisées pour créer une liste de normes qui pourraient être pertinentes dans le domaine de l'évaluation. Le projet Ethics Community Consensus Initiative (ARECCI) utilisé dans le domaine de la santé par le gouvernement de l'Alberta. Les perceptions du niveau prescriptif des codes d’éthique nous indiquent comment les évaluateurs comprennent la fonction de l’éthique dans la discipline de l’évaluation.
Les positions éthiques adoptées par les évaluateurs démontrent le pouvoir important du client/évaluateur au sein du processus d'évaluation. Ce chapitre, divisé en cinq sections, présente les résultats concernant la contextualisation de l'éthique par les évaluateurs. Dans la quatrième et principale partie, les résultats concernant la contextualisation de l'éthique par les évaluateurs sont expliqués.
Tous les évaluateurs participants sont membres de la Société canadienne d'évaluation (SCÉ), à l'exception d'un évaluateur qui n'est membre que de l'American Evaluation Association (AEA). Les positions éthiques théoriques des évaluateurs présentées ici se rapportent à la conception que les évaluateurs ont de l'éthique, avant toute contextualisation à une évaluation spécifique. Comme mentionné précédemment lors de la présentation de la section « Résultats », des efforts ont été déployés pour contribuer à la conceptualisation de l'éthique en évaluation.
Au lieu de cela, ils peuvent être associés à une échelle basée sur la mesure dans laquelle la position d'un évaluateur correspond à chaque échelle. La participation au processus d'évaluation est un concept très actuel dans le domaine de l'évaluation. Toujours en termes de réactivité aux besoins de l'évaluation (en termes de ressources), l'évaluateur a dû réduire sa contribution après l'ajout d'un contrat de travail supplémentaire.
RÉSULTATS
DÉTAILS DE LA COMPOSITION DE LA PARTIE ‘RÉSULTATS’
En fait, la disposition de la section présentant les résultats a été développée pour correspondre à la disposition du cadre conceptuel. Elle a notamment été réalisée en relation avec les deux dimensions principales du cadre conceptuel, à savoir, d'une part, la position éthique théorique des évaluateurs (cadre A) et, d'autre part, sa contextualisation par ces derniers. Pour cette raison, la présentation des résultats est divisée en deux chapitres principaux qui nous renseignent respectivement sur : « Les positions éthiques théoriques des évaluateurs » (chapitre 4) ; et sur : « La contextualisation de l'éthique par les évaluateurs ».
Ce chapitre nous informe notamment sur la compréhension générale de l'éthique par les évaluateurs (point 4.3 Perceptions générales des évaluateurs à l'égard de l'éthique en évaluation), ainsi que sur les différents avis des évaluateurs à l'égard des nouvelles normes (point 4.4 Évaluateurs de l'éthique théorique). Le deuxième chapitre, sur la contextualisation de l'éthique par les évaluateurs, vise à étudier la position éthique contextualisée (cadre C), ainsi que le processus de prise de décision des évaluateurs (cadre B) et les éléments qui l'influencent (respectivement, cadres B1. et B2). S'appuyant sur l'étude de plusieurs situations, ce chapitre nous renseigne principalement sur les positions éthiques théoriques des évaluateurs, leurs positions contextualisées et les éléments qui expliquent leur progression entre ces deux positions (points 5.4.1 Positions éthiques théoriques des évaluateurs, 5.4.2. Objectifs et responsabilités éthiques identifiés avant de procéder aux évaluations, 5.4.3 Problèmes éthiques identifiés lors de la réalisation des évaluations et 5.4.4 Éthique du processus décisionnel).
À la différence de la description fournie au chapitre 4 qui porte sur les 218 répondants, la description des positions éthiques théoriques des évaluateurs dans ce deuxième chapitre ne porte que sur les six évaluateurs participant à l'étude de cas. De plus, dans la section « Résultats », de nombreuses catégorisations sont présentées, notamment pour faciliter la compréhension, mais aussi pour contribuer à la discussion sur la notion d'éthique. Leur répétition s'explique par leur rapport important soit avec la conception de l'éthique, soit avec sa mise en œuvre, soit avec ces deux axes.
Par exemple, la compréhension des principes, les limites de la pratique, la responsabilité de l'évaluateur, ou encore la place prédominante du client sont autant de thèmes abordés par la présentation des résultats, à travers autant de perspectives d'analyse (causes ou conséquences des positions éthiques, éthique théorique ou contextualisée, etc.). Ce chapitre présente donc notamment l'intersection des résultats entre positions théoriques et contextualisées, entre les éléments d'influence qui expliquent ces positions, mais aussi une réflexion plus générale sur la conceptualisation de l'éthique et sa confrontation avec la pratique. Ces diverses intersections et réflexions tout au long du chapitre de discussion sont également liées aux connaissances issues de la littérature.
LES POSITIONS ÉTHIQUES THÉORIQUES DES ÉVALUATEURS
- Rappel de la méthodologie
- Description des répondants
- Perceptions générales des évaluateurs envers l’éthique en évaluation
- Sources des connaissances en éthique
- Valeurs et normes promues par leur organisation
- Principales valeurs éthiques citées
- Perception des contraintes à l’application des codes éthiques
- Perception du degré prescriptif des codes éthiques
- Perception de la fréquence de rencontre d’enjeux éthiques par évaluation
- Variation dans l’identification d’un ‘enjeu éthique’
- L’éthique théorique des évaluateurs
- Résumé des positions éthiques vis-à-vis des standards proposés
- Les différentes conceptions éthiques des évaluateurs
- Éléments influençant les positions des évaluateurs
- Scepticisme et désillusion envers le traitement de l’éthique en évaluation
- L’éthique théorique des évaluateurs : résumé des principaux constats
Le détail de toutes les données démographiques des évaluateurs participant à l'enquête est présenté à l'Annexe F. Deux problèmes ont été spontanément mentionnés par les répondants concernant la mise en œuvre de codes éthiques en évaluation. Concernant la question 35.1 (« un évaluateur doit analyser les coûts et les bénéfices d'une évaluation en tenant compte de leur perception par les participants »), la différence n'est que de 1,8 points en faveur de « souvent » (avec 34,1% pour
A côté de ces principaux constats, un dernier thème abordé est la présence d'un certain scepticisme quant au traitement de l'éthique chez les évaluateurs (point 4.4.4). 20.d Un évaluateur doit adapter et communiquer les résultats de l'évaluation au public. Un évaluateur doit évaluer les mérites d'un programme, même si cela n'est pas obligatoire. Bien qu'elle bénéficie d'un taux d'approbation de 94%, la perception éthique de cette norme varie selon les évaluateurs, notamment en ce qui concerne l'appréciation de la pertinence de son utilisation, le type d'activités envisagées ou, encore, le degré de responsabilité de l'évaluateur.
Sauf pour la diffusion au public et aux bénéficiaires » (gov.) 4.4.2.3 Le degré de responsabilité de l'évaluateur : qui. L’appartenance à certaines catégories d’évaluateurs semble être associée à une vision plus large des responsabilités de l’évaluateur et des droits des parties prenantes. La perception du degré de responsabilité de l'évaluateur a été fréquemment évoquée par les évaluateurs pour justifier leurs positions éthiques.
Il est également (d) le premier interlocuteur de l'évaluateur pour la prise de décision éthique (en amont ou pendant l'évaluation). De manière générale, nous pouvons d’abord conclure que de nombreuses perceptions dans le domaine de l’éthique évaluative sont partagées par les évaluateurs. Il existe donc trois niveaux, du plus restrictif au plus inclusif, liés à l'ouverture de l'évaluateur envers les différentes parties prenantes.
LA CONTEXTUALISATION DE L’ÉTHIQUE PAR LES ÉVALUATEURS
- Rappel de la méthodologie
- Résumé des biographies des évaluateurs
- Contexte des évaluations
- Le mandat évaluatif
- Cartographie des parties prenantes
- Contextualisation de l’éthique par les évaluateurs
- Positions éthiques théoriques des évaluateurs
- Objectifs éthiques et responsabilités identifiés en amont de la réalisation des évaluations
- Enjeux éthiques identifiés lors de la réalisation des évaluations
- Processus décisionnel en éthique
- L’éthique contextualisée : résumé des principaux constats
Les bénéficiaires finaux sont également parfois exclus de tout rôle au sein de l’évaluation. Éva) Une évaluatrice a également mentionné la nécessité d'une implication et d'une acceptation de l'évaluation par les participants pour favoriser ce transfert. Enfin, (e) la participation des parties prenantes (incluant notamment le principe de responsabilité de l'évaluateur) et (f) le respect de la propriété intellectuelle ont également été évoqués par un évaluateur.
Les autres enjeux cités concernaient la modification des résultats (trois cas), la protection de l'évaluateur (deux cas), l'accès au terrain (deux cas) et enfin les activités de plaidoyer (un cas). LES DÉFENSEURS ÉPISTÉMOLOGIQUES : ils placent la validité de l'évaluation au-dessus de toute autre considération ; Et,. Cependant, limitée par les procédures d'accès au financement, la phase de conception de l'évaluation s'est avérée trop courte pour permettre l'inclusion des parties prenantes ciblées.
Deuxièmes thèmes récurrents, les questions éthiques liées à la participation des parties prenantes et à la protection de la confidentialité et/ou de l'anonymat ont émergé dans six évaluations. Concernant l'implication des bénéficiaires, leur manque de connaissances sur le programme évalué a été un obstacle important à leur contribution (1-Ok). Lors de la délivrance du rapport, l'évaluateur a répondu autant que possible aux besoins du client, garantissant ainsi la qualité de l'évaluation.
La balance coûts/bénéfices de l'évaluation pour l'évaluateur a été particulièrement affectée par les ressources limitées initialement prévues dans le contrat et l'attente des données. De plus, le client a fait pression pour que la liste des répondants soit modifiée au détriment de l'évaluation. En termes d’implication des bénéficiaires et des agences gouvernementales et de réponse à leurs besoins (y compris l’établissement de bonnes relations).
De plus, la demande et les documents fournis par l'employé ont été transmis au client et à tous les membres de l'équipe d'évaluation pour assurer la transparence. En ce qui concerne la réponse aux besoins de l'évaluation (y compris l'exactitude de ses résultats), des désaccords minimes dans l'interprétation des données sont apparus entre les membres de l'équipe d'évaluation. 1) Un accord a été trouvé après discussion.
DISCUSSION ET CONCLUSION
DISCUSSION
- La prise en compte des nouveaux standards éthiques par les évaluateurs
- Les valeurs prises en compte
- Le traitement de l’éthique par les évaluateurs
- La conceptualisation de l’éthique en évaluation
- Qu’est-ce que l’éthique évaluative?
- Qui est en charge de définir la morale et les règles de l’éthique évaluative?
- Qui est en charge de l’application de l’éthique évaluative?
- Quelles sont les fonctions de l'Évaluation dans la société? ... et de l'éthique en Évaluation?
- Réflexions sur le déroulement et les résultats de la recherche
- Les considérations éthiques traditionnelles
- Les difficultés rencontrées liées à l’utilisation de méthodes participatives et nécessitant un
- Les limites méthodologiques
- Réflexion sur les résultats obtenus
CONCLUSION ET RECOMMANDATIONS
- Synthèse des principaux constats et points de discussion
- Recommandations
Cartographie des parties prenantes
