Premièrement, les lignes directrices et les procédures d'examen des demandes de subvention sont généralement mal documentées dans les manuels des programmes (à l'exception du programme de subventions de recherche ordinaires). Les lignes directrices et procédures de classement et de recommandation devraient également être accessibles en ligne et reproduire exactement la documentation interne du CRSH.
Exigences d’admissibilité
Cependant, lorsqu'on examine le manuel des critères d'admissibilité du programme de subventions régulières de recherche et la section Admissibilité du manuel du comité de sélection du même programme, il apparaît clairement que plusieurs autres critères sont utilisés à l'interne pour déterminer si une demande est recevable (par opposition aux critères lié uniquement au candidat). . Le CRSH n'accordera pas plus d'une subvention pour soutenir le même projet de recherche au cours d'une période donnée. En tant que candidat (chercheur principal ou porteur de projet), un chercheur ne peut postuler à plus d’une bourse de recherche ordinaire ni bénéficier de plusieurs bourses de recherche ordinaires en même temps.
Distinction entre les critères d’admissibilité et les critères administratifs et
- La politique de non-discrimination Metrix 5 du CRSH s'applique aux personnes (candidats) qui satisfont aux conditions d'éligibilité (voir encadré 4). Il est également important de définir, documenter et communiquer toutes les exigences, critères, règles et procédures documentés et tacites qui déterminent l’éligibilité de manière à éviter les risques et les préjugés avant la décision finale du responsable de la demande. Proposition : Science-Metrix propose que le CRSH documente clairement les règles formelles et tacites utilisées pour déterminer l'admissibilité des demandes, documente en détail les règles et les actions administratives attendues des responsables du programme en fonction des situations actuelles, et documente les procédures qui aident à atténuer les risques de préférences et préjugés personnels, linguistiques, de genre, sectoriels, régionaux ou institutionnels.
Procédures de sélection préliminaire
Source : Demande de financement, site Web du CRSH – http://www.sshrc.ca/web/apply/policies/nondiscrimination_e.asp) Manuel du comité de sélection. Science-Metrix propose que le CRSH prépare un manuel de sélection préliminaire pour chaque programme. Ce manuel doit clairement documenter les règles formelles et tacites utilisées pour déterminer la recevabilité des candidatures et documenter en détail les règles et les actions administratives que les responsables du programme doivent mettre en œuvre en fonction des situations actuelles et des procédures documentées pour atténuer ces risques.
Documentation en ligne
Lignes directrices et procédures d’évaluation et de sélection en ligne
Étant donné que les agents de programme peuvent être appelés à discuter de la pertinence de certaines candidatures avec les membres d'un comité de sélection, ce manuel devrait être accessible aux comités de sélection et, idéalement, aux clients du CRSH, dans un souci de rigueur et de transparence. Élevé] Recommandation 2 : Élaborer un manuel de présélection pour chaque programme pour les agents de programme qui tient compte de la recommandation précédente (Recommandation 1). Ce manuel devrait faire une distinction claire entre les critères d'éligibilité et les critères administratifs.
Procédures de notation et de classement en ligne
Critères d'évaluation Science-Metrix 7, la note minimale requise pour chaque critère et la note totale minimale pour la demande de financement. Élevé] Recommandation 3 : Recueillir et normaliser la documentation sur les lignes directrices et les procédures d'évaluation et de sélection, y compris la présentation et la définition des critères d'évaluation dans la documentation en ligne et interne pour tous les programmes. Les lignes directrices et les procédures de notation de chaque programme menant aux recommandations doivent également être documentées et publiées en ligne.
Lignes directrices et procédures en ligne permettant aux comités d’atténuer
Lors de la préparation d'une demande de financement, les clients du CRSH bénéficieront de savoir comment chacun des critères d'évaluation est évalué, par exemple sous la forme d'une liste de notation comprenant des références aux exigences de la demande. Moyen] Recommandation 4 : Créer un manuel téléchargeable et imprimable pour les candidats de chaque programme qui comprend les lignes directrices de candidature, les formulaires de candidature, les critères d'éligibilité et administratifs, les procédures d'atténuation des risques, l'évaluation, les principes de notation et de classement, ainsi que les procédures d'évaluation et de sélection. pas à pas Comme mentionné précédemment, la documentation en ligne du CRSH est répartie sur plusieurs pages Web (HTML) et fichiers PDF.
Documentation interne
- Principes fondamentaux du rôle d’appréciateur et rôle et fonctionnement
- Conflits d’intérêts
- Confidentialité, impartialité et objectivité
- Lignes de conduites et processus d’évaluation et de sélection
- Critères d’évaluation et échelles de notation
- Lignes directrices particulières d’évaluation et de notation
- Lignes directrices et procédures pour les commentaires et la notation
- Lignes directrices et procédures précisant le rôle et les tâches des
- Lignes directrices et procédures régissant le rôle et les tâches des
Les principes fondamentaux régissant les conflits d'intérêts ont déjà été intégrés dans la section Rôle et fonctionnement des comités de sélection. Science-Metrix 11 le volet Responsabilités de la section Rôle et fonctionnement des comités de sélection. En effet, à l’exception des bourses régulières de recherche et des bourses de création en recherche en arts et lettres, aucune directive d’évaluation et de notation n’est documentée dans les manuels de sélection.
La notation, le classement et les commentaires préliminaires des membres du comité sont généralement demandés avant la réunion du comité de sélection. Source : Subventions de recherche régulières – Manuel des membres du comité de sélection) Considérations initiales (évaluation des lettres de candidature).
Évaluation externe
Le CRSH a probablement des raisons précises pour décider si le processus de sélection d'un programme nécessite la participation d'évaluateurs externes. Ce facteur augmente naturellement le risque de discrimination en raison de préférences personnelles, linguistiques, sexuelles, sectorielles, régionales ou institutionnelles et de conflits d'intérêts dans le processus de sélection. Il serait donc bon de prendre en compte l’analyse basée sur les risques de la valeur de l’évaluation externe dans le processus de sélection de ces programmes.
Documentation en ligne
Documentation interne
Classement et distribution des demandes
Examen du budget, de la valeur de la subvention et du classement des
Risques associés au classement et à la disponibilité du budget
Discussions sur les politiques par les observateurs et les membres des
Exigence de bilinguisme
Exemples d’instructions d’admissibilité imprimées comportant un hyperlien
En tant que candidat (chercheur principal ou directeur de projet), un chercheur ne peut, au sein d'un même mécanisme de financement d'un programme de recherche stratégique, faire plus d'une demande de subvention du même type, ni y détenir plusieurs subventions de recherche stratégique en même temps. À titre de candidat (chercheur principal ou directeur de projet), un chercheur peut détenir à la fois une subvention de recherche régulière et une subvention de recherche stratégique, à condition que les objectifs de recherche de chacune diffèrent. Dans le cadre du programme Alliances de recherche université-communauté, le CRSH acceptera plusieurs candidatures provenant de la même université ou organisme communautaire.
Autres lignes directrices d’admissibilité liées aux procédures
La politique de non-discrimination de Science-Metrix 5 du CRSH s'applique aux personnes (candidats) qui satisfont aux critères d'éligibilité (voir l'encadré 4).
Politique de non-discrimination
Procédures d’atténuation de risques documentées (en ligne)
Les risques et biais potentiels associés à des informations incorrectes ou à un manque d’informations seraient réduits. L'accès à ces informations serait grandement amélioré si elles étaient regroupées dans un seul manuel téléchargeable aux formats PDF et Word.
Critères de sélection
Gestion des conflits d’intérêts
Enfin, la section Rôle et fonctionnement des comités de sélection de la documentation des programmes Réalités autochtones et Prix de création en recherche en arts et lettres ne comprend pas de segment sur les responsabilités ni d'instructions étape par étape. Mais surtout, les critères d'évaluation du manuel de sélection du programme Prix recherche création en arts et lettres ne sont pas exactement les mêmes que ceux de la section Évaluation et sélection. Ajoutez également une échelle de notation prédéfinie aux directives de notation des manuels de sélection pour chaque critère enregistré.
Ligne directrice sur les nouveaux chercheurs du programme Subventions ordinaires de
Il n'y a aucun détail sur les procédures permettant aux responsables du programme de garantir que les membres du comité soumettent leurs notes préliminaires à temps. Dans l’ensemble, nous constatons que les lignes directrices et procédures précisant les rôles et fonctions des membres du comité (examinateurs internes) avant la réunion du comité sont raisonnablement bien documentées. Les deux premières phases et le travail d'évaluation préparatoire des membres du comité et des évaluateurs externes constituent le cœur de la procédure d'évaluation.
Lecteurs A et B (sous Responsabilités – Membres des comités)
Élevé] Recommandation 9 : Adopter un flux de travail étape par étape (A, B, C) pour chaque programme et normaliser, documenter et concentrer les rôles, les tâches et les procédures sous-jacentes de chaque partie prenante dans le processus de sélection. Ce flux de travail doit être intégré aux manuels des comités de sélection et doit clairement documenter, pour chaque programme, les lignes directrices et les procédures liées à chaque membre des comités de sélection, telles que les tâches des présidents des comités, du personnel des programmes et des évaluateurs (lecteurs) avant, pendant et après les réunions. Incluez des références aux fonctions des présidents de comité, des agents de programme et des évaluateurs, expliquez les risques et les biais possibles qui peuvent survenir au cours du processus de sélection et fournissez des procédures formelles pour les atténuer.
Lignes directrices pour les évaluations externes
Cependant, certains programmes, malgré l'importance des montants en jeu (dépenses du programme et valeur moyenne des subventions), ne font pas appel à des évaluateurs externes. De plus, les deux programmes suivants ne font appel à des évaluateurs externes que sur une base facultative : CURA et Strategic Research Design Grants. Aussi, le nombre de subventions accordées par ces programmes (avec ou sans évaluation externe) varie de 3 à 31 et le taux de réussite des candidatures éligibles est de 23 à 48 %, ce qui est comparable à celui d'autres programmes où l'évaluation externe est obligatoire.
Nombre d’échelles de notation et valeurs minimales pour la sélection
Examen du budget et valeur de la subvention
Ils s'occupent de la mise en œuvre des politiques et procédures de sélection du CRSH. Malgré l'importance de ce processus de rétroaction, peu de manuels de sélection incluent les commentaires des observateurs, des visiteurs et des membres du comité. Suggestion : Dans la mesure du possible, Science-Metrix suggère que les commentaires et les discussions politiques des observateurs et des membres du comité visant à améliorer le processus soient accessibles et reflétés dans les manuels de sélection et la documentation du site.
Lignes directrices sur les langues officielles utilisées dans le processus de demande
Cette procédure renforce le rôle du président du Comité et des agents de programme en garantissant l'équité, l'exhaustivité et l'intégrité du travail du Comité et en garantissant que toutes les parties prenantes comprennent et appliquent pleinement toutes les politiques et règlements des autorités du CRSH et qu'elles traitent toutes les demandes de manière équitable. Ces informations pourraient aider les nouveaux évaluateurs à prendre conscience des problèmes rencontrés et discutés.
Lignes directrices sur les langues officielles utilisées dans le processus de sélection
Le Service des politiques et de la planification du CRSH nous a fourni des statistiques spécifiques sur les programmes qui ne sont pas systématiquement ou facilement disponibles dans la documentation en ligne ou interne. Des statistiques détaillées ont été produites pour chacun des programmes étudiés, mais les données de deux sous-programmes n'étaient pas accessibles car dans la base de données de la Division des politiques et de la planification, ces données sont regroupées avec celles de leurs programmes parents. Le personnel et les clients du CRSH gagneraient à publier un tableau résumant ces statistiques dans la documentation destinée aux agents de programme, aux candidats et aux membres des comités de sélection.
