L’étude des formules d’évaluation par les pairs à l’aide de modèles expérimentaux produirait des preuves solides. Dans l’ensemble, les chercheurs sont satisfaits des processus de demande du POSF et d’évaluation par les pairs (plus de 50 % se disent très ou plutôt satisfaits de la plupart des mesures).
Conclusions
Conformément au mandat des IRSC, le POSF soutient des projets dans les quatre thèmes de recherche en santé de l'organisation. Bien entendu, il n’existe pas une seule « bonne façon » de mesurer la création de connaissances associée aux programmes de financement de la recherche.
Création de connaissances
Le nombre d'articles scientifiques publiés grâce à une subvention du POOO donne une meilleure idée de la création scientifique. Les résultats de cette évaluation du Programme ouvert de subventions de fonctionnement influenceront le processus de restructuration des programmes de l'organisation.
Conception et exécution du programme
Le processus d’examen par les pairs du POSF est-il capable d’identifier et de sélectionner l’excellence scientifique future ? Sondage auprès des présidents des comités d'examen par les pairs du POSF, des AS et des évaluateurs, janvier 2012 (n = 457)####. Enquête auprès des présidents des comités d'examen par les pairs du POSF, des AS et des évaluateurs, janvier 2012 (n = 457)####.
Coûts de l'évaluation par les pairs (transport, frais, hôtels, salles de réunion, services de messagerie) (p). Pour comprendre l’analyse effectuée, il est d’abord nécessaire de décrire brièvement le processus actuel d’examen par les pairs du POSF. Les candidatures qui n'auraient pas été acceptées selon le classement des évaluateurs indépendants et qui n'ont pas été personnellement acceptées par le comité d'évaluation par les pairs.
Des candidatures qui n'auraient pas été acceptées selon l'échelle des évaluateurs indépendants, mais qui ont été personnellement acceptées par le comité d'évaluation d'experts. Les candidatures seraient acceptées par des évaluateurs indépendants et personnellement acceptées par le comité d'examen par les pairs. Ces premiers résultats soutiennent encore une fois l’hypothèse selon laquelle le processus d’examen par les pairs du POSF sélectionne l’excellence.
Application des connaissances
L’organisation vise à « appliquer les résultats de la recherche pour améliorer les produits, technologies et outils de santé pour les Canadiens » (p. 13). La commercialisation de la recherche constitue également une priorité absolue pour l’ensemble du gouvernement fédéral. Les données du Système de rapport sur la recherche des IRSC montrent qu'un large éventail de résultats commercialisables ont découlé de la recherche financée par le POSF (tableau 3-1).
Alison Paprica, directrice, Direction de la planification, de la recherche et de l'analyse, ministère de la Santé et des Soins de longue durée de l'Ontario). Les projets de recherche qui servent à démontrer que les résultats de la recherche sont viables et applicables sont essentiels. Le développement des capacités est un élément important du maintien d’une entreprise de recherche de renommée internationale.
Les attitudes à l'égard de la formation et du financement dans les thèmes de recherche des IRSC peuvent varier considérablement entre la recherche biomédicale et les sciences sociales.
Développement de la capacité
Le POSF finance-t-il les chercheurs dans tous les domaines de la recherche en santé ? Source : Basé sur les données du système d'information électronique fourni par l'Unité de mesure opérationnelle et de production de données des IRSC. Source : Rapport de l'Institut des services et des politiques de santé : Réformes d'examen par les pairs – Options pour générer des données probantes (2011).
En raison des faibles notes moyennes, cette question touche davantage les chercheurs des thèmes III et IV. Les données montrent que la culture de recherche des candidats des thèmes III et IV du POSF se traduit par des comportements différents en matière de renouvellement de subvention. Par exemple, le volume de candidatures est élevé dans les concours axés sur les programmes de santé publique et de santé des populations et les chaires de santé publique appliquée de l'Institut.
Les directeurs scientifiques des instituts des thèmes III et IV ont également soulevé la question de la difficulté de trouver des évaluateurs dans des environnements de recherche restreints.
Pertinence du programme
Les objectifs du POSF et des IRSC dans leur ensemble continuent de soutenir et de contribuer aux priorités établies par le gouvernement fédéral, comme l'explique sa Stratégie des sciences et de la technologie 2007 (Industrie Canada, 2007 et 2009). Le programme attire et finance l'excellence dans la recherche en santé depuis 2000 et dépasse les critères (par exemple, les chercheurs en santé des pays de l'OCDE). Je suis tout à fait d’accord : le programme de bourses individuelles est à la croisée de l’innovation et de la découverte.
Le budget fédéral de 2011 a souligné l'importance d'investir continuellement dans l'innovation, l'éducation et la formation, ainsi que le rôle que jouent les trois principaux organismes de financement du Canada pour soutenir la « recherche de percées » et la « recherche en santé d'importance nationale » (Gouvernement du Canada, 2011). ). Le budget fédéral de 2012 réaffirme l'engagement du gouvernement à soutenir la recherche de pointe (Gouvernement du Canada, 2012). Les données démontrent que le programme contribue directement à la réalisation du mandat des IRSC (projet de loi C-13 du 13 avril 2000) et est conforme aux priorités du gouvernement fédéral énoncées dans la Stratégie scientifique et technologique 2007 (Industrie Canada, 2007 et 2009). .
De plus, les récents budgets fédéraux réaffirment l'engagement du gouvernement à soutenir la recherche de pointe et la « recherche en santé d'importance nationale » ainsi que le rôle des trois principaux organismes de financement du Canada pour y parvenir (Gouvernement du Canada, 2011 et 2012).
Contexte du programme
Les concours POSF ont lieu deux fois par an, en mars et septembre ; au moins 400 nouvelles bourses sont attribuées chaque année dans le cadre du concours. Contribuer au développement et au maintien de la capacité de recherche en santé au Canada en soutenant des projets et des programmes de recherche originaux et de haute qualité. Les objectifs du POSF n'ont été mis à jour qu'en 2010-2011 pour inclure les « programmes de recherche ».
Les publications des chercheurs financés par le POSF ont-elles eu un plus grand impact scientifique que celles des chercheurs en santé du Canada et d'autres pays de l'OCDE ? Citations relatives médianes (MCR) des publications financées Facteur d’impact relatif médian (IRM) des publications financées32. L’impact scientifique des publications issues du financement du POSF a-t-il augmenté ou diminué depuis 2005, ou est-il resté stable ?
32 Il a été décidé d'utiliser la citation relative moyenne (RCM) dans ce rapport d'évaluation.
Méthodologie d’évaluation
Informations du Département de planification des processus et des programmes sur le temps des candidats33. Données du SIE Données du SRR Données des IRSC Données des pétitions des chercheurs. L'examen mené s'est concentré principalement sur la « performance scientifique », la génération de connaissances, les données bibliométriques, l'examen par les pairs, les études de gestion scientifique, les études coût-efficacité et d'autres mesures pertinentes pour la recherche menée par les chercheurs.
Un sondage ouvert en ligne a été lancé pour recueillir les commentaires des intervenants sur la réforme de l'ensemble ouvert de programmes des IRSC, et l'Unité d'évaluation a profité de cette occasion pour ajouter des questions sur le temps que les chercheurs consacrent à soumettre une demande de subvention du POSF et les coûts associés. Dans le cadre de l'examen international décennal des IRSC, des chercheurs ont lancé un site Web pour partager leurs points de vue sur le financement de la recherche en santé au Canada. La collecte de données pour « l’étude pilote » a été arrêtée avant l’envoi de la quatrième vague d’invitations.
Afin d'atténuer la possibilité que ces échantillons ne soient pas représentatifs de l'ensemble de la population des chercheurs financés par le POSF, nous avons effectué une comparaison des variables démographiques des deux ensembles de données SRR avec les variables de la population du POSF.
Annexe
Aperçu des questions tómalamentales d'evaluation du SCT par relevant sections du Rapport sur l'evaluation du POSF. Research engagement and outcomes in public health and health services research in Australia ”, Australian and New Zealand Journal of Public Health , vol. The Ingenuity Way: A bibliometric analysis of individuals supported by the Alberta Ingenuity Fund, rapport préparé par M.
LECOMTE, presented to the Alberta Ingenuity Fund on May 22, 2008 [http://www.albertatechfutures.ca/LinkClick.aspx?fileticket=GrtgCMTzSwA %3d&tabid=139]. Comparison of bibliometric statistics obtained from Web of Science and Scopus », Journal of the American Society for Information Science and Technology, vol. Bibliometrics as a Performance Measurement Tool for Research Evaluation: The Case of Research Funded by the National Cancer Institute of Canada », American Journal of Evaluation, vol 31, no 1, 2010, p.
Évaluation sommative des programmes réguliers de subventions de recherche et des initiatives de recherche et de développement, 2010 [http://www.sshrc-crsh.gc.ca/about-au_sujet/publications/SRG_RDI_Evaluation_e.pdf].
Forum des bailleurs de fonds de la recherche interventionnelle en santé des populations - sur invitation, actes préparés pour l'Institut pour la protection de la population et de la santé, 2009. Rapport de la conférence sur l'avancement de la recherche interventionnelle en santé des populations pour promouvoir la santé et l'équité en santé, 2010. INSTITUT DE LA SANTÉ PUBLIQUE ET DES POPULATIONS et INSTITUT DE LA SANTÉ SERVICES ET POLITIQUE.
Perspectives sur le financement de la recherche pour les interventions en santé : contexte et rapport d'entrevue avec des informateurs clés, rapport préparé pour l'Initiative de recherche interventionnelle en santé de la population canadienne, 2009. Innovation Canada : Le pouvoir d'agir – Examen du soutien fédéral à la recherche et au développement – Final du comité d'experts Rapport, 2011 [http://examination-rd.ca/eic/site/033.nsf/vwapj/R-D_InnovationCanada_Final-eng.pdf/$FILE/R-. Institut des services et des politiques de la santé des IRSC – Présentation au conseil consultatif de l'Institut de l'ISPP, 2011.
Rapport final sur la modification de la méthodologie de répartition du financement du PSF et l'impact sur le nombre de demandes financées par le comité d'examen par les pairs, rapport interne des IRSC, 2009.