Suivi de la mise en œuvre du Cadre horizontal de gestion et de responsabilisation axé sur les résultats

•••

I.J;n~,,.,s,iilé d-'il #0~

tEcc-"arl:e nadonill!ll,e d"',adlll""'nlnldrat: .. lon pdlllliq~L.~M~~îi:

Suivi de la mise en œuvre du Cadre horizontal de gestion et de responsabilisation axé sur les résultats

Effectué au

Secrétariat des langues officielles Patrimoine canadien

Préparé par

Firmin Andzama

En vue de l'obtention de la

Maîtrise en administration publique pour analystes Concentration évaluation de programmes

Gatineau, Québec Octobre 2009

Um~rsiiiléo ~ Q...W~

lli!,c:GI:e ~lonale d'\adrnilnl'llt,,~lon publique

Suivi de la mise en œuvre du Cadre horizontal de gestion et de responsabilisation axé sur les résultats

Effectué au

Secrétariat des langues officielles Patrimoine canadien

Préparé par

Firmin Andzama

En vue de l'obtention de la

Maîtrise en administration publique pour analystes Concentration évaluation de programmes

Gatineau, Québec Octobre 2009

REMERCIEMENTS

Je remercie madame Isabelle Brunet; professeure-conseillère, qui a accepté d'encadrer ce stage. Ses conseils et son support ont été très utiles pour la réussite du stage.

Je tiens aussi à témoigner toute ma gratitude à Jérôme Moisan, Directeur principal du Secrétariat des langues officielles, qui m'a donné l'opportunité de valider ma formation théorique au Secrétariat des langues officielles, ceci, malgré les difficultés et obstacles auxquels il a dû faire face lors du processus d'embauche dans le cadre du Programme fédéral d'enseignement coopératif.

Sans sa disponibilité, ce stage n'aurait pas été possible. Je tiens à lui témoigner toute ma gratitude.

Je remercie également Kirk Giroux, Conseiller principal en politiques, qui n'a ménagé aucun effort pour me guider et me conseiller tout au long du stage. Ses avis, instructions et commentaires, sa patience et son style de gestion ont contribué énormément à l'atteinte des objectifs du mandat de stage.

Ce stage n'aurait pas été un succès sans le concours tout le personnel du Secrétariat des langues officielles qui m'a réservé un accueil très chaleureux. Je remercie particulièrement Geneviève Frenette et Geneviève Postolec pour leur parfaite collaboration et surtout pour leur soutien qui ont facilité mon intégration au sein de l'équipe Planification et Gestion. La disponibilité, les suggestions et les commentaires des personnes ci-dessous mentionnées ont aussi contribué à l'atteinte des objectifs de mon stage :

• Jean-Yves Cayen, Conseiller principal en politiques;

• Michel Briskin, Conseiller principal en politiques;

• Alain Clavet, Conseiller principal en politiques;

• Jo Ann Gagnon, Conseillère principale en politiques;

• Cynthia Dupont, Analyste en politiques;

• Pauline-Brenda Moreau, Adjointe administrative;

• Manon Harrisson, Adjointe administrative; et

• Sarah Patriquin, Adjointe administrative.

Je tiens également à témoigner toute ma gratitude au personnel d'encadrement de la Direction générale, Politique, Planification et Recherche stratégiques.

Je remercie enfin mon épouse et nos enfants pour leur amour et leur support tout au long de ma formation et particulièrement pendant la période de stage au cours de laquelle ils ont dû consentir beaucoup de sacrifices.

TABLE DES MATIÈRES

Remerciements

Liste des sigles ... 3

Introduction ... 4

1. Description du mandat ... 6

IL Contexte du stage ... 8

11.1. Le Programme des langues officielles ... 8

11.2. La Feuille de route pour la dualité linguistique canadienne 2008-2013: Agir pour l'avenir ... 9

Ill. L'organisme d'accueil. ... 1 0 111.1. Patrimoine canadien ... 10

111.2. Le Secrétariat des langues officielles ... 10

IV. Méthodologie ... 12

V. Recension des écrits ... 13

V.1. Les documents administratifs ... 13

V.1.1. Le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) ... 13

V.1.2. Le CHGRR ... 15

V.1.3. La Politique sur l'évaluation du Conseil du Trésor ... : ... 16

V.2. État des lieux en évaluation de programmes ... 17

V.2.1. Cadre d'analyse ... 17

V.2.2. Les niveaux de connaissance en évaluation de programmes ... 18

V.2.2.1. Les connaissances théoriques ... 18

V.2.2.1.1. L'approche post-positiviste ... 18

V .2.2.1.2. L'approche constructiviste ... 19

V.2.2.2. Le second niveau de connaissance: La recherche empirique ... 22

VI. Les livrables ... 24 ·

VI. 1. Le document public du Cadre horizontal de gestion et de responsabilisation axé sur les résultats (CHGRR) ... 24

VI. 2. Les rencontres des comités interministériels ... 32

VI. 3. Le Cadre d'imputabilité et de coordination en langues officielles ... 34

VI. 4. Les tâches ponctuelles ... 34

Conclusion ... 36

Bibliographie ...•... 38

Liste des sigles

CGRR CHGRR

CIGPLO

CS MALO CT

ÉNAP LLO

PCH SCT SLO SGIRLO

Cadre de gestion et de responsabilisation axé sur les résultats Cadre horizontal de gestion et de responsabilisation axé sur les résultats

Comité interministériel de gestion du Programme des langues officielles

Comité des sous-ministres adjoints sur les langues officielles Conseil du Trésor du Canada

École nationale d'administration publique Loi sur les langues officielles

Patrimoine canadien

Secrétariat du Conseil du Trésor Secrétariat des langues officielles

Système de gestion de l'information sur le rendement en langues officielles

Introduction

Ce stage effectué au Secrétariat des langues officielles à Patrimoine canadien s'inscrit dans le cheminement académique de l'École nationale d'administration publique en vue de l'obtention d'une maîtrise en administration publique pour analystes dans la concentration évaluation de programmes. Par ce cheminement, cette institution académique forme des personnes destinées à travailler à titre d'analyste, de conseiller ou de chercheur dans les domaines spécifiques ou connexes à l'évaluation de programmes. Le stage permet de mettre en pratique les connaissances et les habiletés acquises pendant le déroulement du volet théorique du programme de formation. Cette dimension pratique justifiait ma présence au sein du Secrétariat des langues officielles, organisme qui appuie le ministre responsable des Langues officielles dans son rôle de coordination de toutes les activités permettant au gouvernement du Canada de remplir ses obligations et ses engagements en vertu de la Loi sur les langues officielles.

Le présent rapport de stage comprend six parties. La première partie décrit le mandat de stage. Elle précise les objectifs de l'organisme hôte et les attentes spécifiées par le mandataire au début du stage. Elle indique aussi les tâches concrètes spécifiées par le mandataire ainsi que la nature et l'ampleur des réalisations attendues à la fin du stage.

Les deuxième et troisième parties présentent respectivement le contexte du stage et l'organisme d'accueil. Le contexte du stage fait une description succincte du Programme des langues officielles du gouvernement du Canada alors que la troisième partie situe le Secrétariat des langues officielles au sein de Patrimoine canadien et prése:r;lte sa mission et son mandat.

La quatrième partie est consacrée à la méthodologie utilisée lors de la réalisation du mandat de stage. La cinquième partie présente des réalisations accomplies durant les 28 semaines de stage effectué au Secrétariat des langues officielles.

La dernière partie fait une recension des écrits consacrés au domaine couvert par le mandat. Elle présente, d'une part, le Cadre de gestion et de responsabilisation axé

sur les résultats, le Cadre horizontal de gestion et de responsabilisation axé sur les résultats ainsi que quelques éléments de la Politique sur l'évaluation du Conseil du Trésor du Canada. D'autre part, elle fait un état des lieux des connaissances théoriques et empiriques en évaluation de programmes.

1. Description du mandat

Le mandat de stage se décline en trois parties :

• la participation à l'élaboration du document public portant sur le Cadre horizontal de gestion et de responsabilisation axé sur les résultats (CHGRR) de la Feuille de route pour la dualité linguistique canadienne : Agir pour l'avenir (ci-après appelée« Feuille de route»);

• la préparation et la coordination des rencontres des comités interministériels, notamment le Comité des sous-ministres adjoints sur les langues officielles (CSMALO) et le Comité interministériel de gestion du Programme des langues officielles (CIGPLO); et

• la participation à la planification de la deuxième phase du Système de gestion de l'information sur le rendement en langues officielles (SGIRLO).

D'autre part, les attentes du mandataire couvraient les deux dimensions suivantes : la participation active aux différents projets susmentionnés et le respect de la confidentialité en raison de nature sensible de certaines informations auxquelles je devais avoir accès durant le stage.

Ma participation à la planification du SGIRLO s'est limitée à quelques rencontres de travail et à quelques recherches effectuées en vue de documenter cette phase du projet. En contrepartie, la mise à jour du Cadre d'imputabilité et de coordination en langues officielles (ci-après appelé « Cadre de responsabilisation ») et d'autres activités ponctuelles sur lesquelles je reviendrai dans la section dédiée aux résultats ont été ajoutées au mandat de stage.

Les principales activités relatives à l'élaboration du document public du CHGRR consistaient à :

• concevoir des graphiques de la publication;

• rédiger certaines parties de la publication;

• intégrer dans l'ensemble de la publication les commentaires faits par les partenaires de la Feuille de route;

• s'assurer de la concordance de la version française avec la version anglaise; et

• participer aux activités liées au design, à l'impression et à la diffusion de la publication;

Les activités à effectuer pour les rencontres des comités interministériels consistaient à organiser et à coordonner les rencontres. Ce qui inclut:

• la préparation des ordres du jour et des documents des rencontres;

• l'envoi des invitations aux membres des comités;

• la présence aux rencontres;

• la rédaction des comptes rendus;

• la vérification de la concordance des versions françaises et anglaise des comptes rendus des rencontres; et

• le suivi des rencontres.

La mise à jour du Cadre de responsabilisation impliquait :

• l'analyse de divers documents administratifs et juridiques;

• l'élaboration de différentes ébauches à soumettre au Groupe de travail interministériel mis en place à cette fin; et

• la participation aux rencontres du Groupe de travail.

II. Contexte du stage

Pour une meilleure compréhension de la mission et du mandat du SLO (voir ci- dessous) ainsi que pour mieux cerner les enjeux liés à la réalisation du mandat de stage, une brève présentation du Programme des langues officielles et de la Feuille de route s'impose.

II.l. Le Programme des langues officielles

Toutes les institutions fédérales sont assujetties à la Loi sur les langues officielles (LLO). Et c'est à travers le Programme des langues officielles que se fait la coordination des activités qui permettent au gouvernement du Canada de s'acquitter de ses obligations et de ses engagements aux termes de LLO. Cela inclut, entre autres :

• la communication avec le public et l'offre de services au public dans les deux langues officielles;

• l'égalité de statut du français et de l'anglais comme langues de travail dans les institutions fédérales et une participation des Canadiens de langue française et anglaise dans ces institutions;

• la pleine reconnaissance et l'usage du français et de l'anglais dans la société canadienne;

• la promotion de la dualité linguistique au Canada;

• l'appui à l'épanouissement et au développement des communautés francophones et anglophones en situation minoritaires. ¹

La mise en place de programmes pour appuyer l'enseignement dans la langue officielle de la minorité et offrir un soutien aux communautés de langue officielle en situation minoritaire, l'octroi d'une prime au bilinguisme aux fonctionnaires fédéraux, l'offre des services (selon certaines conditions) dans les deux langues officielles, la promotion de la collaboration intergouvernementale en matière de services dans la langue de la minorité et la promotion de la dualité linguistique

1 La dualité linguistique canadienne : Un cadre de gestion pour le Programme des langues officielles; Loi sur les langues officielles.

peuvent être cités à titre d'exemples d'activités matérialisant la mise en œuvre du Programme des langues officielles.

11.2. La Feuille de route pour la dualité linguistique canadienne 2008-2013 : Agir pour l'avenir

Dans le cadre du Programme des langues officielles, le gouvernent du Canada a élaboré une stratégie horizontale afin 9-e mettre un accent particulier sur certains engagements et obligations aux termes de la LLO. Cette stratégie succède au Plan d'action des langues officielles² et est connue sous le nom de Feuille de route pour la dualité linguistique canadienne 2008- 2013 : Agir pour l'avenir. La Feuille de route, rendue publique en juin 2008, représente un investissement de 1,1 milliard de dollars sur cinq ans réparti entre 14 agences et ministères fédéraux.

La Feuille. de route englobe 33 initiatives mises en œuvre par quatorze ministères et agences fédéraux dans cinq domaines :

• valoriser la dualité linguistique auprès de tous les Canadiens;

• bâtir l'avenir en misant sur la jeunesse;

• améliorer l'accès aux services pour les communautés de langue officielle en situation minoritaire;

• miser sur les avantages économiques; et

• assurer une gouvernance efficace pour mieux servir les Canadiens.

La Feuille de route vise à accroître la capacité des Canadiens d'expression française de l'ensemble du pays, et d'expression anglaise du Québec, de vivre et de travailler au sein de communautés dynamiques dans la langue officielle de leur choix. La coordination de l'ensemble des initiatives de la Feuille de route a conduit à l'élaboration et la mise en œuvre d'un CHGRR qui permettra, entre autres, au gouvernement du Canada de surveiller et d'évaluer la mise en œuvre de la Feuille de route et d'utiliser l'information pour faciliter le processus décisionnel et l'élaboration des politiques.

2 Le Prochain acte: un nouvel élan pour la dualité linguistique canadienne- Le Plan d'action pour les langues officielles est l'énoncé de politique du gouvernement du Canada sur les langues officielles pour la période allant de 2003 à 2008.

III. L'organisme d'accueil 111.1. Patrimoine canadien

Le ministère du Patrimoine canadien (PCH) est responsable des politiques et des programmes nationaux qui font la promotion d'un contenu canadien, encouragent la participation à la vie culturelle et communautaire, favorisent la citoyenneté active, appuient et consolident les liens qui unissent les Canadiens.

L'architecture des activités de programmes PCH situe le Programme de coordination des langues officielles dans Y activité de programme Langues officielles. Cette activité contribue au résultat stratégique Les Canadiens ont conscience de leur identité canadienne.³ Le mandat du ministre de Patrimoine canadien en sa qualité de responsable des Langues officielles est de coordonner les mesures prises par le gouvernement fédéral pour se conformer à la LLO. Cette coordination se fait dans le cadre du Programme de coordination des langues officielles de PCH. Et c'est à travers ce programme que le Ministre coordonne la mise en œuvre de la Feuille de route. Le Ministre est soutenu dans ce rôle de coordination par le Secrétariat des langues officielles (SLO).

111.2. Le Secrétariat des langues officielles

Transféré en avril2006 du Bureau du Conseil privé à PCH, la Direction générale des langues officielles des Affaires intergouvernementales est rattachée à la Direction générale, Politique, Planification et Recherche stratégiques de PCH sous le nom de Secrétariat des langues officielles. Le SLO assure le rôle de coordination du Programme des langues officielles et notamment de la Feuille de route. Sa mission est d'appuyer le ministre responsable des Langues officielles ou son délégué ainsi que les cadres supérieurs des ministères, institutions et organismes fédéraux dans la coordination de l'ensemble des activités du gouvernement du Canada en matière de langues officielles. Pour s'acquitter de cette mission, le SLO :

3 Patrimoine canadien, Rapport sur les Plan et Priorités 2009-2010 de. Pour l'année fiscale 2010-2011, ce résultat stratégique sera : Les Canadiens partagent, expriment et apprécient leur identité.

• définit les orientations stratégiques du Programme des langues officielles;

• favorise une action gouvernementale coordonnée;

• fournit des avis et des conseils;

• facilite la collaboration intergouvernementale;

• sensibilise les institutions et ministères partenaires du Programme des langues officielles aux engagements et priorités gouvernementales dans le cadre de la LLO; et

• renforce l'imputabilité des ministères et agences fédéraux.

Le SLO est par ailleurs responsable de l'organisation des activités des comités interministériels mis en place dans le cadre du Programme des langues officielles. Il planifie leurs activités, assure le secrétariat et assure les suivis.

IV. Méthodologie

L'observation et l'analyse documentaire constituent les principales méthodes utilisées pour réaliser le mandat. L'analyse documentaire, définie comme opération qui consiste à présenter sous une forme concise et précise des données caractérisant l'information contenue dans un document ou un ensemble de documents⁴ m'a été d'une très grande utilité dans la réalisation de mon stage.

Une documentation incluant, entre autres, le Plan d'action pour les langues officielles 2003-2008, le Cadre de gestion pour le Programme des langues officielles, la Feuille de route, le CHGRR (version présentée au Conseil du Trésor comprenant plusieurs annexes), différents rapports de reddition de comptes de PCH et la LLO m'a été remise au début du stage. Elle a été complétée tout au long du stage par d'autres documents jugés pertinents pour la réalisation du mandat.

La nature du mandat de stage m'a également permis d'utiliser l'observation comme méthode de travail. Étant donné que le stage constitue un processus d'apprentissage, c'est tout naturellement que l'observation a été utilisée afin de recueillir des informations sur le savoir et le savoir-faire des différentes personnes avec lesquelles j'ai pu être en contact dans le cadre de mon stage.

L'observation participante a été privilégiée. Ce choix se justifie par la possibilité

d'un apprentissage dans un espace circonscrit. L'apprentissage concernait finaiement un ensemble fini et convergent d'interactions.s

4 Association française de normalisation. Vocabulaire de la documentation. Afnor, 1987.

5 Arborio, Anne-Marie et Pierre Fournier, (1999). L'enquête et ses methodes: L'observation directe. Paris, Nathan.

V. Recension des écrits

La nature du mandat de stage a requis l'utilisation d'une littérature portant notamment des documents administratifs et une littérature spécifique portant sur l'évaluation de programmes.

V.l. Les documents administratifs

Parmi les documents administratifs utilisés se trouvent la Politique sur l'évaluation (SCT, 2009a) et quelques outils de gestion du CT notamment Des Résultats pour les Canadiens et les Canadiennes- Un cadre de gestion pour le gouvernement du Canada (SCT, 2000), le Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats (SCT, 2001), le Guide d'accompagnement- L'élaboration des cadres de gestion et de responsabilisation axés sur les résultats pour les initiatives horizontales (SCT, 2002) et la Directive sur la fonction d'évaluation (SCT, 2009b).

V.l.l. Le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) Les outils de gestion et les instruments de politique susmentionnés présentent le CGRR comme un outil de gestion essentiel pour les politiques, programmes et initiatives. 6 Conformément à la philosophie de gestion par résultats qui place le management au cœur des organisations gouvernementales pour des services de qualité, une productivité accrue et une transparence dans l'utilisation des deniers publics (Mazouz et Leclerc, 2008), la gestion dans tous les ministères doit être axée sur l'obtention de résultats et sur la communication des résultats aux représentants élus et aux Canadiens dans des formes simples et compréhensibles.

Les gestionnaires de la fonction publique sont censés définir les résultats stratégiques, diriger leur attention sur l'atteinte de ces résultats, mesurer le rendement de façon régulière et objective, tirer parti de l'information recueillie et modifier leurs interventions afin d'en accroître l'efficience et l'efficacité (SCT, 2000). Ils sont appelés à utiliser le CGRR comme outil de gestion pour planifier, mesurer, évaluer et rendre compte sur les résultats tout au long du cycle d'un

6 Pour alléger le style, nous faisons par la suite uniquement référence au programme.

programme. En règle générale, le CGRR comprend cinq éléments essentiels tel que le précise le CT (SCT, 2001).

Le profil décrit brièvement la nature du programme. Il doit inclure une description contextuelle et permettre à un lecteur externe de comprendre clairement les objectifs visés par le programme et d'évaluer les mesures envisagées pour atteindre ces objectifs. Cette exigence nécessite entre autres de bien définir le contexte du programme.

Le modèle logique montre comment les activités doivent permettre d'obtenir les résultats prévus. Il illustre une séquence logique d'activités et d'extrants ainsi qu'un enchaînement de résultats à l'égard du programme. Le modèle logique identifie les liens entre les activités accomplies dans le cadre du programme et l'atteinte des résultats et décrit de façon succincte l'ensemble des activités qui composent le programme et la séquence des résultats qui devraient découler de ces activités.

La stratégie de mesure continue du rendement garantit que les réalisations seront mesurées comme il convient. La surveillance de la stratégie de mesure du rendement permet de s'assurer non seulement qu'elle est mise en œuvre telle que prévue, mais aussi qu'elle permet d'obtenir des renseignements utiles. Des ajustements appropriés peuvent être apportés au besoin aux activités de mesure du rendement afin de maximiser l'utilité des données recueillies. Les rapports annuels sur le rendement et les études de l'évaluation formative (voir ci-dessous) donnent aux gestionnaires l'occasion de vérifier l'efficacité de la stratégie de mesure du rendement, y compris la mesure dans laquelle l'information recueillie répond aux exigences relatives aux données.

La stratégie d'évaluation précise les tâches d'évaluation nécessaires. Elle contribue aux efforts des gestionnaires pour suivre et faire rapport sur le rendement réel et pour aider les décideurs à évaluer objectivement les résultats du programme. En règle générale, le CGRR distingue l'évaluation formative ou de mi-mandat qui survient tôt , dans le cycle de vie d'un programme de

l'évaluation sommative qui est effectuée lorsque le programme existe depuis suffisamment longtemps pour qu'il soit réaliste de s'attendre à ce que certains résultats aient déjà été atteints. La stratégie d'évaluation précise aussi l'échéancier des évaluations formatives et sommatives, en même temps que toutes les ressources affectées aux principales tâches d'évaluation.

La stratégie d'évaluation représente un ensemble d'enjeux et de questions permettront d'évaluer en profondeur la pertinence, le rendement (le succès, la rentabilité et l'économie d'un programme) tout en fournissant aux gestionnaires des renseignements qui les aideront dans leur prise de décisions.

La stratégie en matière de rapports assure que des mécanismes adéquats permettent de rendre compte des résultats. Une fois par an, chaque ministère et agence du gouvernement fédéral présente un Rapport ministériel sur le rendement qui fait état des résultats obtenus au regard des objectifs énoncés dans leur Rapport sur les plans et les priorités. Ces deux séries de rapports aident à renforcer la responsabilisation des ministères devant le Parlement et les Canadiens en établissant un lien clair entre les engagements et les résultats atteints.

V.1.2. Le CHGRR

Un grand nombre des résultats sociaux et économiques visés par le gouvernement du Canada exigent la contribution de deux ou plusieurs institutions fédérales et d'organisations non gouvernementales. Le Guide d'accompagnement- L'élaboration des cadres de gestion et de responsabilisation axés sur les résultats pour les initiatives horizontales (SCT, 2002) est destiné à aider les ministères et les organismes à élaborer des CGRR applicables aux initiatives horizontales. Il complète le Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats et traite des défis uniques liés à la mise sur pied de CGRR quand diverses organisations collaborent pour atteindre des objectifs communs. L'élaboration du CHGRR pour les initiatives horizontales est reconnue comme une démarche saine et bénéfique de gestion axée sur les résultats.

La gestion des initiatives horizontales exige de préciser dans le cadre d'un CHGRR le modèle logique qui représente l'expression la plus fondamentale de la raison d'être, des activités et des résultats escomptés par l'initiative, les rôles et les responsabilités de chaque partenaire. Le CHGRR permet, entre autres, de parvenir à une perspective commune des partenaires à l'égard des résultats visés, des méthodes à employer pour les atteindre ainsi que des mécanismes à appliquer pour les mesurer et en rendre compte. La gestion d'une initiative horizontale suppose donc la conclusion d'une entente entre les partenaires qui prévoit: la répartition des pouvoirs et des responsabilités; l'investissement conjoint de ressources; le partage des risques; l'atteinte de résultats communs (SCT, 2002).

V.1.3. La Politique sur l'évaluation du Conseil du Trésor

La Politique sur [''évaluation du Conseil du Trésor répond à deux principales préoccupations du gouvernement du Canada :

• favoriser la responsabilisation à l'égard du Parlement et des Canadiens en aidant le gouvernement à rendre compte de façon crédible des résultats obtenus au moyen des ressources investies dans les programmes; et

• éclairer les décisions du gouvernement sur l'affectation et la réaffectation des ressources.

L'évaluation est définie comme la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats (SCT, 2009a). Elle fournit aux Canadiens, aux parlementaires, aux ministres, aux organismes centraux et aux administrateurs généraux une appréciation neutre et fondée sur des éléments probants de l'optimisation des ressources, c.-à-d. de la pertinence et du rendement des programmes.

V.2. État des lieux en évaluation de programmes

Quelques écrits théoriques en évaluation de programmes ont également orienté ma réflexion au cours de la réalisation du mandat. À partir d'un cadre d'analyse nous avons identifié deux niveaux de connaissance en évaluation de programmes.

V .2.1. Cadre d'analyse

Le cadre d'analyse présenté ici reprend essentiellement celui de l'étude réalisée par Nathalie Dubois et Richard Marceau portant sur l'état des lieux théoriques de l'évaluation? Tout en précisant que l'évaluation se trouve actuellement au troisièmé stade de son développement en tant que discipline,s les auteurs indiquent que l'organisation interne des connaissances théoriques d'une discipline à partir de la deuxième phase, fait ressortir quatre composantes (le noyau dur, l'heuristique négative, l'heuristique positive et la ceinture de défense). Ces quatre composantes sont réparties entre deux niveaux de connaissance : le niveau des fondements théoriques, ainsi que le niveau empirique.

Le noyau dur est constitué des éléments fondamentaux de la discipline et correspond aux fondements ontologiques, épistémologiques et théoriques. Il est mis à l'abri des tests empiriques par un ensemble de prohibitions méthodologiques (heuristique négative). L'heuristique négative indique que le noyau dur est réfutable par la discussion méthodologique des protagonistes. Des

7 Cette partie du rapport s'inspire largement de l'étude de Nathalie Dubois et Richard Marceau (2005) «Un état des lieux théoriques de l'évaluation: une discipline à la remorque d'une révolution scientifique qui n'en fmit pas», The Canadian Journal ofProgram Evaluation, volume 20, numéro 1, pp. 1-36.

8 Dubois et Marceau (2005) soutiennent que les disciplines traversent quatre phases pendant leur évolution : la pré-science, la science normale, la crise révolutionnaire et la nouvelle science normale. Au stade de la pré-science, l'évaluation de programme était une discipline désorganisée où différents auteurs publiaient des ouvrages fournissant les premières bases de la discipline. Ce désordre dans les éléments théoriques et empiriques est néanmoins jugé constructif, car il a fourni certains concepts élaborés ultérieurement dans le paradigme post-positiviste. Parmi ces concepts, on peut penser à la mesure objective et à la détermination d'objectifs explicites. Au stade de la science normale, la discipline est devenue plus stable en raison de l'organisation des connaissances autour des fondements post-positivistes. Au stade de la crise révolutionnaire, des idées constructivistes ont vu le jour en sciences sociales et ont également influencé profondément le débat en évaluation. ··

hypothèses sont regroupées dans la ceinture de défense, qui entoure et protège le noyau dur et sont soumises aux essais empiriques. La ceinture de défense se développe grâce à l'heuristique positive, c'est-à-dire un ensemble de théories et de méthodologies constitué dans le but d'appuyer les fondements du noyau dur.

L'heuristique positive comprend l'ensemble des suggestions de changements pouvant être apportés à la lumière des derniers résultats empiriques (Dubois et Marceau, 2005).

V.2.2. Les niveaux de connaissance en évaluation de programmes V .2.2.1. Les connaissances théoriques

Deux niveaux de connaissances théoriques constituent actuellement l'évaluation de programmes : l'évaluation post-positiviste et l'évaluation constructiviste. Pour chacun, il est possible d'identifier les fondements du noyau dur ainsi que les principales variances théoriques acceptées par la communauté scientifique. Ces variances visent ^à adapter les fondements proposés par le noyau à la pratique en évaluation sans pour autant les trahir.

V.2.2.1.1. L'approche post-positiviste

Le premier noyau dur identifiable en évaluation de programmes est de nature post-positiviste et est constitué de trois principaux fondements:

• l'évaluation possède sa propre réalité;

• l'amélioration du bien-être de la collectivité par l'intermédiaire des interventions étatiques;

• l'indépendance entre l'objet d'évaluation et l' évaluateur, car la connaissance est objective et acontextuelle.

Il est possible d'identifier, parmi les théories proposées par Stufflebeam (2001), six approches qui défendent, en totalité ou en grande partie, les fondements du noyau dur post-positiviste. Ces théories sont associées à deux groupes d'approches visant à mesurer le mérite et la valeur d'un programme: les approches évaluatives orientées vers une amélioration des programmes et une

responsabilisation plus grande de la part des décideurs publics, et les approches évaluatives guidées par des questions ou des méthodologies.

Au cœur du premier groupe, on retrouve, premièrement, une théorie qui se concentre sur les besoins du citoyen (consumer-oriented studies). La deuxième théorie émergeant de ce premier groupe concerne l'évaluation orientée vers la prise de décision et la responsabilisation des actions publiques (decision

1

accountability oriented evaluation approach).

Le second groupe propose cinq théories permettant de mesurer le mérite et la valeur d'un programme à l'aide de questions et de méthodes précises :

• la première concerne les «études expérimentales» (experimental studies) qui déterminent les rapports causaux entre les variables indépendantes et dépendantes afin de répondre aux questions précises d'évaluation;

• la deuxième suggère de réaliser l'évaluation des programmes à partir d'une conception théorie du programme (program theory-based evaluation);

• la troisième concerne l'analyse coûts-avantages (cost-benefit analysis approach);

• la quatrième s'appuie sur le jugement critique d'un expert provenant d'un domaine particulier (criticism and connaisseurship);

• la cinquième (mixed-methods studies) propose de recourir à plusieurs méthodes (qualitatives et quantitatives) afin d'évaluer l'efficacité d'un programme. Selon les auteurs qui ont élaboré cette théorie, l' évaluateur doit tirer profit de différents outils qui permettent d'obtenir des informations et ainsi évaluer plus précisément le mérite et la valeur d'un programme. (Dubois & Marceau, 2005)

V .2.2.1.2. L'approche constructiviste

Le second noyau d.ur identifiable en évaluation de programmes est de nature constructiviste. Il est constitué de nouvelles idées inspirées du mouvement critique des connaissances qui influencent les débats en évaluation de

programmes. Ces propositions répondent . à trois principaux fondements ontologiques et épistémologiques :

• l'évaluation ne peut rapporter objectivement à la réalité;

• la réflexion constructiviste est la réalité dite « expérimentale » et présente davantage les résultats d'une négociation entre différents intervenants qu'un jugement objectif de l'évaluateur. L'évaluateur devient donc un partenaire dans la réalisation de l'évaluation : il guide les personnes intéressées par l'évaluation et cela principalement sur le plan des méthodes et des techniques. De plus, le jugement évaluatif qui est porté à la fin de toute évaluation est réalisé autant par l' évaluateur que par l'ensemble des autres acteurs engagés dans l'évaluation.

• .. le troisième fondement qui caractérise la réflexion constructiviste est le désir de développer une compréhension du programme selon l'environnement et le contexte.

Cinq théories parmi celles proposées par· Stufflebeam (2001) défendent, en totalité ou en partie, les fondements du noyau dur constructiviste : quatre accordent une place de choix aux différents acteurs associés au programme alors qu'une seule permet d'étudier le programme à l'aide d'une question ou d'une méthodologie précise.

Le premier groupe d'approches propose quatre théories évaluatives accordant une place de choix aux différents acteurs associés au programme, favorisant une orientation de recherche constructiviste et l'utilisation de méthodes qualitatives.

• la première correspond aux études orientées vers le client du programme.

Selon cette théorie, l'évaluation est réalisée en partenariat avec les acteurs qui soutiennent, développent et administrent le programme;

• la deuxième concerne l'évaluation constructiviste proprement dite (constructivist evaluation). Celle-ci considère que l'évaluation doit engager différents acteurs dans le processus d'évaluation et qu'elle ne doit pas demeurer l'apanage des professionnels en évaluation;

• la troisième concerne l'évaluation démocratique et délibérative (deliberative democratie evaluation). Cette théorie propose d'utiliser le cadre démocratique pour consolider les conclusions d'une évaluation d'un programme;

• la quatrième propose une évaluation qui assure l'utilisation des résultats (utilization-focussed evaluation). Tous les aspects de l'évaluation sont sélectionnés et appliqués de manière à aider les utilisateurs à obtenir de l'information relativement au programme et à utiliser à court terme les résultats de l'évaluation.

Enfin, la cinquième concerne l'évaluation par étude de cas (case study evaluations) et correspond à une approche évaluative permettant d'étudier le programme à l'aide d'une question ou d'une méthodologie précise. L'étude de cas fournit aux acteurs touchés par le programme (stakeholders) une interprétation fondée, détaillée et bien documentée du programme. Cette étude ne permet toutefois pas de juger du mérite et de la valeur sociale du programme (Dubois et Marceau, 2005).

Trois théories parmi celles proposées par Stufflebeam (2001) se retrouvent à l'extérieur des deux ceintures de défense parce que leurs hypothèses centrales ne sont pas conformes aux fondements des noyaux post-positiviste et constructiviste. Ces théories gravitent autour des noyaux durs post-positiviste et constructiviste : la première (objectives-based studies) s'intéresse particulièrement à l'étude des objectifs du programme. Selon cette théorie, l' évaluateur doit formuler et évaluer l'atteinte des objectifs fixés par le client et spécifiés par le gestionnaire du programme. L'évaluation se concentre principalement sur les extrants du programme plutôt que sur les effets; la deuxième (accountability, particularly payment by results studies) vise à accroître la responsabilité du gouvernement envers la mise en œuvre de ses programmes et du rendement de ces derniers Pour cela, l'évaluateur étudie les effets du programme d'une

perspective managériale et organisationnelle. En fonction des résultats managériaux, l' évaluateur propose des sanctions pour ceux qui ont obtenus des faibles résultats et des récompenses pour ceux qui présentent de bons résultats;

la troisième (decision

1

accountability oriented evaluation approach) propose un système intégré de gestion (management information systems) fournissant les informations nécessaires à la gestion et la reddition de compte des programmes.

Cette théorie s'apparente à la théorie post-positiviste mais fournit uniquement des informations à la direction lui permettant d'appliquer et de rendre comptes de sa gestion des programmes (Dubois et Marceau, 2005).

· V.2.2.2. Le second niveau de connaissance: La recherche empirique '

Deux façons d'évaluer les programmes se distinguent principalement quant à l'utilité première des travaux d'évaluation: une évaluation utile à l'avancement des connaissances disciplinaires et une évaluation utile à la prise de décision. Le cadre de réflexion qui guide la réalisation du premier type repose sur l'idée que l'évaluation de programme doit obéir à la même logique et aux mêmes méthodes et techniques que celles associées à la recherche sociale bien qu'elle possède ses propres caractéristiques. Comme pour la recherche, la composante empirique doit relier les fondements théoriques à la pratique en évaluation de programmes.

Selon la nature des études empiriques, elles influencent différemment la discipline: elles peuvent tenter de valider des théories en les appliquant à des cas réels et elles peuvent contribuer au développement (adaptation) du premier niveau de connaissance (noyaux durs et ceintures de défense) grâce au lien intime que l'évaluation entretient avec la pratique. La réalisation d'une évalùation de ce type nécessite une bonne connaissance et une utilisation juste des théories en évaluation de programme.

Le second type présente un aspect plus << instrumental » où l'évaluation se distingue tout à fait de la recherche. Dans cette optique, elle répond à des critères additionnels qui la distinguent de la recherche: sa fonction essentielle est de

donner de la rétroaction aux parties intéressées par le programmes; son intérêt est de valider et d'expliquer la causalité interne d'un programme; les réalités politiques et administratives du programme influencent les décisions quant à la façon de conduire l'évaluation; et ses délais de réalisation, beaucoup plus restreints et rigides que ceux qui marquent les recherches sociales. Selon cette conception, l'évaluation est source d'information contribuant principalement à la prise de décision. Ainsi, l'activité évaluatrice permet de suivre l'évolution d'un programme dans le temps et l'espace, de porter un jugement quant à la poursuite ou non du programme, et de proposer en cours de réalisation, des modifications lui permettant d'être plus efficace.

Deux types d'évaluation sont reconnus comme utiles à la prise de décision. Le premier type, l'évaluation managériale, aide le gestionnaire et les parties prenantes à prendre de décisions particulières. Les évaluations de type managérial se concentrent souvent sur les activités de surveillance ou de suivi d'implantation de programmes qui regroupent un large éventail de données administratives. À la lumière des résultats obtenus par l'évaluation, les administrateurs ajustent leurs activités et leurs façons de faire afin d'améliorer l'efficacité et l'efficience des programmes dont ils ont la responsabilité (Turgeon et Dubois 2000).

Le second type, l'évaluation de légitimation, aide les législateurs et les citoyens à mieux c9mprendre les programmes et à influencer l'intervention publique.

L'évaluation de légitimation ne limite pas son analyse aux éléments qui composent le processus de gestion du programme. Elle s'intéresse à la raison d'être, aux effets et au rendement des politiques et des programmes. Ce type d'évaluation permet au gouvernement de juger de la pertinence des programmes, mais aussi mesurer et apprécier leurs effets, leurs répercussions, ainsi que leur rendement (Turgeon et Dubois, 2000).

VI. Les livrables

VI. 1. Le document public du Cadre horizontal de gestion et de responsabilisation axé sur les résultats (CHGRR)

En mars 2009, le SLO a coordonné une présentation au Conseil du Trésor du Canada (CT). Cette présentation comportait une annexe très élaborée portant sur le CHGRR de la Feuille de route. À partir de cette annexe, notre équipe Planification et Gestion a élaboré, en collaboration avec les 14 partenaires de la Feuille de route, un document public portant sur le CHGRR (voir annexe A). Le CHGRR de la Feuille de route, conformément aux guides du SCT (SCT, 2001, 2002), est un outil de gestion destiné à améliorer la coordination et la mise en œuvre efficace de la Feuille de route, expliquer aux Canadiens comment les différentes initiatives de la Feuille de route sont mises en œuvre, permettre au gouvernement du Canada de surveiller et d'évaluer la mise en œuvre de la Feuille de route et faciliter le processus décisionnel et l'élaboration des politiques. Conformément au mandat de stage, j'ai participé activement à ce projet. Les réalisations incluent notamment:

• l'élaboration des graphiques illustrant les stratégies intégrées des résultats et du rendement (voir figure 1), la reddition de comptes (figure 2) et la stratégie d'évaluation (figure 3).

• la modification des graphiques illustrant le modèle logique (figure 4) et la gouvernance (figure 5) de la Feuille de route;

• la rédaction des parties du document consacrées au modèle logique, aux stratégies de mesure du rendement, à la reddition de comptes et à la stratégie d'évaluation;

• l'intégration dans l'ensemble de la publication des commentaires faits par _ les partenaires; et

• la participation aux activités liées au design et à l'impression et à la diffusion de la publication.

Les différentes réalisations ont été possibles grâce notamment à l'analyse documentaire qui a permis de synthétiser sous forme de modèles différentes informations contenues dans une série de documents. Les compétences et les habiletés acquises au cours du volet théorique de mon cheminement académique à l'ÉNAP notamment celles en évaluation de programme et en gestion de projet ont été très utiles.

Figure 1 : Les stratégies intégrées des résultats et du rendement de la Feuille de route

1---l

1

1

1 Mise en !

1 i

~ œtMedela ^{Mesure du} Feuille de rendement

route

Annuel

1 Élaboration

~

Évaluation de la nouvelle sommative stratégie en

1

horizontale langues

Annuel 2012

1

offd~les

^j

Figure 2 : La reddition de compte de la Feuille de route

Rapport sur les plans Rapport ministériel

et priorités de sur le rendement de

Patrimoine canadien Patrimoine canadien

Dépôt au Parlement Dépôt au Parlement

"

Rapport sur

Mars Octobre

le rendement du Canada

/

^{Parlement Dépôt au}

Rapports sur les

1 Rapports ministériels Octobre

plans et priorités des sur le rendement des

partenaires partenaires

Dépôt au Parlement Dépôt au Parlement

Mars Octobre

Figure 3 : Les évaluations sommatives de la Feuille de route

Ministères 1 Évaluations sommatives individuelles

Agences Avantfévrier 2012¹

1 AINC Il Développement économique

~==~

1 I

l Appui à l'immigration francophone (N-B)

APECA

. 1 Développement économique

~==:;::::::=~

1 BDPRH ¹ Centre d'excellence

~==~

1 CIC 1 Recrutement et intégration des immigrants

~===:::::

1 CNRC 1 Centre de recherche en technologies langagières

~====:::;

1 DEC 1 Développement économique

~===~

1 DEO 1 Développement économique

~===~

1 EFPC 1 Produits d'apprentissage linguistique

~==~

Ile 1 FedNor ¹ Développement économique

[ ]

1 Accès à la justice

1 Cadre de Responsabilisation et de Coordination

~===========~

1 Contraventions

r---~==================~========~

1 Apprentissage de la langue seconde²

PCH

RH DCC

1 Éducation dans la langue de la minorité³

1 Étude du CRTC

1 Programme de traduction

1 Vie communautaire⁴

Vitrines musicales pour les artistes

Cadre de Responsabilisation et de Coordination (SLO) Alphabétisation

Fonds d'habilitation Moyens des ONG⁵

1 Projet pilote de garde d'enfants

~==~

1 SC 1 Formation, réseaux et accès aux services de santé

EJ

!Industrie de la langue

1 Portail linguistique du gouvernement du Canada Bourses universitaires en traduction

Légende:

1 S'il y a lieu. .

Évaluation sommative horizontale de la Feuille de route pour la dualité linguistique

canadienne 2008-2013: Agir pour l'avenir

(2012)

2 Englobe Appui à l'enseignement de la langue seconde, Bourses d'été de langue et Moniteurs de langues officielles.

3 Englobe Appui à l'enseignement dans la langue de la minorité, Bourses d'été de langue et Moniteurs de langues officielles.

4 Englobe Appui aux communautés, Initiatives jeunesse, Fonds de développement culturel et Collaboration intergouvernementale.

5 ONG : Organisation non gouvernementale.

Figure 4 : Le modèle logique de la Feuille de route

~

Les Canadiens bénéficient des avantages de la dualité linguistique, vivent et travaillent au sein de communautés reflétant les valeurs canadiennes en ce qui concerne l'utilisation des langues française et anglaise

et ont accès aux se:rvices gouvernementaux dans la langue de choix ¹

~ !!!

$ ·a;

ro --

~

il

r - -

<Jl <Jl

--ro

i~

~ _!;

-

Capacité des Canadiens d'expression française de l'ensemble du Canada et d'expression anglaise au Québec

de vivre et de travailler au sein de communautés dynamiques dans la langue de choix

Accès à la Accès aux Développement

justice services de des

santé communautés r - - 1 Contraventions ¹ Formation, Éducation dans la

1

réseaux et accès langue ~ela 1 Accès à la aux services de

justice santé

:91 ·:;;

~

--

ê

E

ê'

~

a..

~

minorité Vie

communautaire³ [Moyens des

ONG⁴

1 Alphabétisation Projet pilote de garde d'enfants Recrutement et intégration des immigrants

1 Étude du CRTC Appui à l'immigration francophone (N-B) Appui à l'immigration francophone (N-B)

Développement économique Développement économique Fonds d'habilitation Fonds d'habilitation

1

1

Les Canadiens sont conscients Capacité du

gouvernement du Canada des avantages et ont les outils nécessaires

pour apprécier la dualité linguistique en matière de langues officielles

Capacité de l'industrie langagière Bourses universitaires en traduction Industrie de la langue Centre de recherche en technologies langagières

Connaissance et Accès aux Coordination du Fonction utilisation des expressions Programme des publique langues officielles culturelles langues officielles fédérale Portail 1 Programme de

linguistique du traduction gouvernement du

Canada 1 Vitrines

1 Cadre de JI Centre responsabilisation d'excellence et de coordination

musicales pour Produits les artistes d'apprentissage

linguistique Apprentissage de la langue seconde⁵ Initiatives jeunesse- Promotion de la dualité linguistique

Légende:

1 La langue de choix se réfère à l'une ou l'autre des langues officielles.

2 Englobe Appui à l'enseignement dans la langue de la minorité, Bourses d'été de langue et Moniteurs de langues officielles.

3 Englobe Appui aux communautés, Initiatives jeunesse,

Fonds de développement culturel et Collaboration intergouvernementale.

4 ONG : Organisation non gouvernementale.

5 Englobe Appui à l'enseignement de la langue seconde, Bourses d'été de langue et Moniteurs de langues officielles.

-'

1

Figure 5 : La structure de gouvernance de la Feuille de route

ommissariat

EJ :[J:

b

ues officielles ^aux

cJ

^Parlement

:[J:

\=J

Ministre du Patrimoine canadien et des Langues

offiCielles

:[J: ' 1

Comités permanents des langues officielles

(Chambre des communes et Sénat)

Comité des sous-ministres adjoints sur les

langues officielles

:[J:

Comités interministériels

· -- - - - - -

[

- - - .. - ~Comité ^de

Comité coordination de la terministériel de recherche sur les politiques langues officielles

Comité interministériel de

gestion du Programme des langues officielles

Ministères et agences de la Feuille de route r-· Agence de Bureau du

t -""":J L:-' .--

'5évelCïppement

Affaires promotion dirigeant économique

indiennes et du économique du principal des Immigration de recherches Canada pour

Nord Canada Canada ressources Canada Canada les régions du

= -' = atlantique hu mames - --- - -- - - - - - ^Québec

r=:.- - -

'"""". [ '""'""'

Ressources

humaines et

fo~ct,on Canada 1 Justice Patrimoine

Développement Santé Canada

publique du FedNor Canada canadien

des compétences Canada

Canada - - - --

Coordination

Secrétariat dej langues officielles

Gouvernements provinciaux et

territoriaux

Dialogue

Communautés de langue officielle en situation minoritaire

et autres

ntifique et versitaire

~ munauté

' - - - ---' L partenaires 1 _ _ _

Diversification de l'économie de l'Ouest Canada - ·

Travaux publics et Services gouvernementaux

Canada

Les compétences en évaluation m'ont notamment guidé dans le processus de modification du graphique représentant le modèle logique ainsi que dans la rédaction du texte portant celui-ci. Cette activité a été l'occasion de préciser, tout comme le SCT le souligne (SCT, 2001) que le modèle logique a plusieurs objectifs:

• clarifier à l'intention des gestionnaires et du personnel les liens qui existent entre les activités, les extrants et les résultats prévus de l'initiative;

• clarifier et distinguer les résultats immédiats, intermédiaires et finaux;

• communiquer aux personnes extérieures au projet les justifications, les activités et les résultats prévus du programme;

• vérifier si le programme ou l'initiative est « réaliste » d'un point de vue logique;

• établir l'assise fondamentale sur laquelle les stratégies de mesure et d'évaluation du rendement sont fondées.

Mes compétences en évaluation de programmes m'ont aussi guidé dans la rédaction des textes portant sur la reddition de comptes, la mesure du rendement et l'évaluation de la Feuille de route. Cette exercice a été l'occasion d'expliquer comment les stratégies intégrées de mesure du rendement, de reddition de comptes et d'évaluation vont d'une part permettre de mesurer le rendement et démontrer les résultats de la Feuille de route, et d'autre part, faciliter le processus décisionnel et l'élaboration des politiques. En ce qui concerne la stratégie d'évaluation en particulier, elle précise un ensemble d'enjeux et de questions qui permettent de saisir de façon efficace les résultats atteints par la Feuille de route.

Les enjeux et les questions d'évaluation de la Feuille de route ont été cernés et reliés à des indicateurs de rendement et à des méthodologies précises. Le schéma et le texte sur les évaluations sommatives horizontales identifient clairement :

• le mandataire de l'évaluation;

• les utilisateurs;

• un échéancier précis;

• les différents enjeux à aborder lors de l'évaluation;

• les différentes méthodologies à utiliser pour l'évaluation; etc.

Le constat qui se dégage par rapport au cadre théorique susmentionné est que la stratégie d'évaluation sommative horizontale de la Feuille de route s'inscrit dans l'approche postpositiviste. Elle présente d'une part les caractéristiques de deux approches évaluatives orientées vers une amélioration des programmes et une responsabilisation plus grande des décideurs publics. Il s'agit de l'approche qui se concentre sur les besoins du citoyen (consumer-oriented studies) et de celle orientée vers la prise de décision et la responsabilisation des actions publiques (decision / accountability oriented evaluation approach). Ainsi l'évaluation sommative va s'intéresser aux besoins des communautés de langue officielle en situation minoritaire, à ceux des différentes clientèles de la Feuille de route et alimenter in fine la prise de décision. D'autre part, elle présente les caractéristiques d'une approche qui correspond au groupe d'approches permettant de mesurer le mérite et la valeur d'un programme à l'aide de questions et de méthodologies précises. En effet, comme la mixed-methods studies, la stratégie de l'évaluation sommative de la Feuille de route propose de recourir à plusieurs méthodes notamment qualitatives et quantitatives afin d'évaluer plus précisément le mérite et l'évaluation du programme.

Néanmoins, il est aussi possible d'associer la stratégie de l'évaluation sommative de la Feuille de route à la théorie qui s'assure de l'utilisation des résultats et qui s'inscrit dans l'approche constructiviste. En effet, comme l'utilization-focussed evaluation, les aspects de la stratégie d'évaluation de la Feuille de route ont été choisis de manière de manière à aider les utilisateurs à obtenir de l'information relativement à la mise en œuvre et aux résultats intermédiaires de la Feuille de route et à utiliser à court terme les résultats de l'évaluation.

Au niveau pratique, il est clair que l'évaluation sommative horizontale de la Feuille de route n'est pas une évaluation dont l'objectif est de faire avancer la recherche scientifique. Elle présente un aspect plus instrumental et elle est une source d'information contribuant principalement à la prise de décision. Elle présente les caractéristiques de l'évaluation instrumentale : elle est appelée à valider la pertinence du modèle logique de la Feuille de route et ses délais de réalisation sont beaucoup plus restreints et rigides que ceux qui marquent les sciences sociales.

La participation au projet d'élaboration du document public du CHGRR m'a aussi permis de consolider certaines compétences théoriques en gestion de projet.

Premièrement, j'ai pu apprécier l'aspect pratique de la gestion des risques. En effet, le CHGRR comporte une stratégie de gestion des risques liés à la mise en œuvre de la Feuille de route. L'ampleur de l'exercice de coordination, de reddition de comptes et d'évaluation de cette stratégie gouvernementale rend complexes les activités de suivi, de collecte et d'analyse de l'information. La stratégie de gestion des risques de la Feuille de route identifie en conséquence les principaux risques, les- évalue en fonction de leur impact et de leur probabilité, propose des stratégies d'atténuation pour chacun des risques afin de maximiser les chances d'atteindre les objectifs globaux de la Feuille de route.

Deuxièmement, la réalisation du projet d'élaboration du CHGRR a aussi été l'occasion d'expérimenter les différentes phases de la gestion d'un projet telles que présentées dans le cours de gestion de projet. Elle a été l'occasion de cerner de façon concrète les différents enjeux de la gestion de projet étant donné que j'ai participé à toutes les phases du projet. Ce projet m'a permis d'avoir un exemple concret de l'intégration des différentes composantes d'un projet. Il m'a par ailleurs permis de consolider mes compétences du travail en équipe.

VI. 2. Les rencontres des comités interministériels

Les rencontres des comités interministériels illustrent un aspect de la gouvernance horizontale qui repose sur l'idée que des acteurs de milieux différents travaillent ensemble pour atteindre des objectifs communs en mettant en valeur les expertises, les expériences et les savoirs de chacun.

En

matière de langues officielles, la gouvernance horizontale s'applique à l'ensemble du Programme des langues officielles (voir Figure 5). Les comités interministériels . jouent un rôle très important dans la mise en œuvre de la gouvernance

horizontale.

La coordination horizontale des activités des institutions fédérales dans le cadre de leurs obligations en vertu de la LLO se fait, entre autres, par le biais des comités interministériels qui se réunissent selon une fréquence établie par leurs mandats re