Pourquoi un guide spécifique, et pour quoi faire?
Définition
Le terme «guide spécifique » est largement utilisé dans les Lignes Directrices, puisque l'objectif immédiat des Lignes Directrices et leur principal but sont précisément la production de « bons » guides pour l'évaluation de la recherche en développement. Il est dénommé guide spécifique car il est destiné à être utilisé dans des situations bien définies, contextes, disponibilité des ressources, etc.
Certaines personnes préfèrent l'appeler un «guide local» ou un «guide pratique». Ceci est valable pour autant que les Lignes Directrices soient utilisées pour l'écrire.
Un guide spécifique vise à aider d'une manière pratique soit la(es) personne (s) en charge de l'évaluation d'un projet de recherche, d'un chercheur ou d'une équipe de chercheurs, soit en charge d'une publication scientifique. Sa longueur et le contenu peuvent varier considérablement: cela ne doit pas être un document lourd ou compliqué.
La taille et le degré de sophistication du guide spécifique dépendra d'un certain nombre de facteurs tels que:
- le but de son utilisation: (pour quoi ? par qui ?),
- la complexité de l'objet de l'évaluation,
- les exigences exprimées par le commanditaire de l'évaluation,
- le montant des ressources impliquées dans la recherche et / ou les ressources disponibles pour l'évaluer.
Un guide spécifique peut donc être:
- juste un simple questionnaire ou une grille, accompagné de brèves instructions pour son emploi,
- un court texte avec une introduction, des outils et des procédures, et peut-être quelques annexes,
- un manuel à part entière ou un guide.
Leurs auteurs peuvent décider en fonction de leurs objectifs et de leurs besoins, mais ils doivent privilégier si possible la simplicité.
Utilisations
En pratique, le guide spécifique devrait:
- signaler à son lecteur - à savoir l'évaluateur en fonction- de manière aussi précise que possible les renseignements qu'il doit fournir, et quels outils il est sensé utiliser à cet effet,
- fournir à l'évaluateur les outils nécessaires ainsi que les instructions,
- le renseigner sur la façon de concevoir et de mener l'évaluation,
- lui fournir des exemples adaptés .
Après avoir lu l'introduction, suivi les recommandations formulées dans les étapes préliminaires, et avoir relevé dans les pages antérieures des Lignes Directrices les éléments appropriés à leurs besoins et à leur situation, les auteurs d'un guide spécifique ont acquis une représentation claire de la nature, de la taille et du contenu du document qu'ils vont rédiger, à savoir leur propre guide. Dans les présentes Lignes Directrices le cas d'un manuel complet et détaillé a été choisi comme base pour guider les auteurs dans la rédaction de leur propre guide. Le processus sera similaire - mais beaucoup plus léger - lors de la conception d'un document plus simple.
Étapes suggérées pour être suivies par l' (es) auteur (s) d'un guide d'évaluation spécifique:
- Étape 1 Stades préliminaires accomplis ?
- Étape 2 Questions d'évaluation, dimensions, critères
- Étape 3 Sélection des procédures
- Étape 4 Conditions d'évaluation
- Étape 5 Rédaction effective du guide spécifique
Étape 1. Vérifiez si les étapes préliminaires ont été accomplies
La réalisation des étapes préliminaires et les décisions prises à ce moment sont essentielles pour l'élaboration du guide spécifique. Avant de commencer l'élaboration du guide spécifique, quatre aspects principaux doivent être traités:
- Définition des objectifs de l'évaluation
- Identification de la (des) discipline(s) concernée(s) (dans le cas d'une recherche multidisciplinaire, spécifier comment opérer)
- Liste des principales parties prenantes
- Type d'évaluation. Définir clairement si l'évaluation sera participative, externe, ou les deux.
Souvent, ces quatre points ont déjà été précisés par la personne ou l'organisation qui sponsorise/commande la rédaction du guide spécifique. Mais même dans un tel cas, l'auteur du guide spécifique se doit de vérifier les étapes préliminaires au point de vue de leur cohérence et de prendre les décisions nécessaires.
Étape 2. Formuler les questions d'évaluation, décider quelles dimensions seront prises en compte dans le guide spécifique, et sélectionner des critères.
Ces trois processus essentiels sont si étroitement liés, qu'ils devraient être mis en œuvre dans une seule étape, large et répétitive.
Pour formuler les questions d'évaluation, il convient d'utiliser un langage concis et des mots simples:
- Que souhaite savoir l'évaluateur sur la recherche ou sur le chercheur ?
- Pour en faire quoi ?
Puis passer à l'examen des dimensions à utiliser. Il est de plus en plus clair que l'on doive passer à un système d'évaluation multidimensionnelle. D'où la nécessité de choisir soigneusement les dimensions à prendre en considération pour chacun des guides d'évaluation spécifique.
Ensuite, sélectionner les critères à utiliser dans le guide d'évaluation spécifique et expliquer:
- le choix des critères sur base des dimensions sélectionnées
- les principes et les règles pour, si nécessaire, donner du poids aux critères.
Nota bene: Termes de référence
Un lecteur de ces Lignes Directrices a mentionné les «termes de référence» (TDR) comme faisant partie du processus d'évaluation. En fait, à notre avis, les TDR ne concernent pas ces Lignes Directrices: ils appartiennent à une autre catégorie conceptuelle.
Étape 3. Sélectionner et définir des procédures d'évaluation
Cette étape dépendra de décisions prises antérieurement, durant les étapes 1 et 2 ci-dessus.
Étape 4. Vérifier si les conditions pour une évaluation significative sont satisfaites, y compris les considérations éthiques.
Les outils sont-ils susceptibles de fournir des réponses significatives aux questions soulevées au sujet de la recherche ou du chercheur qui est en cours d'évaluation? Quelles sont les conditions à remplir? Cette étape doit être comprise dans chaque guide d'évaluation spécifique.
Les utilisateurs des Lignes Directrices trouveront l'accompagnement nécessaire dans les Annexes sous Conditions pour une bonne évaluation. La liste provisoire fournie dans cette page peut servir pour la conception ou l'évaluation de nouveaux instruments ainsi que comme check-list avant de publier les outils et procédures d’un manuscrit. Chaque auteur doit donc ajouter ce qu'il veut ou adapter la manière dont il formulera les conditions précises qu'il souhaite voir remplir dans chaque situation d'évaluation en particulier.
Fondamentalement, on distingue deux catégories de conditions:
Parmi les conditions opérationnelles, un aspect particulier mérite d'être souligné: la cohérence entre les étapes à laquelle l'utilisateur du guide spécifique doit veiller. Celle-ci peut être garantie d'une façon optimale en vérifiant de manière répétitive si chaque étape suivie jusqu'à présent (soit les étapes proposées ci-dessus, soit tout autre séquence préférée par les auteurs du guide) est compatible avec les suivantes. Cette recommandation peut sembler évidente, mais bon nombre d'instruments d'évaluation génèrent des doutes dans l'esprit des évaluateurs, précisément en raison de la présence de contradictions dans les instructions destinées à l'utilisateur.
Les considérations éthiques acquièrent une importance particulière lorsque des êtres humains sont directement concernés, et donc l'impartialité dans le jugement doit être garantie c’est à dire l'équité.
Il se révélera souvent utile d'anticiper les difficultés que l'évaluateur peut rencontrer en utilisant le guide spécifique. Les erreurs, les pièges ou les inconvénients qu'il peut rencontrer seront identifiés et les manières de les surmonter seront proposées.
Quelques exemples:
- Certains critères dans le guide spécifique sont ambigus ou difficiles à interpréter (parce que par exemple, les instructions d'utilisation ne sont pas claires ou sont incomplètes)
- Biais: les conditions pour atteindre une bonne évaluation ne sont pas pleinement remplies
- Manque de transparence
- Conflits d'intérêts: ils doivent être écartés ou corrigés. Faire appel à l'éthique de l'évaluateur est parfois nécessaire, afin de prévenir ou de corriger de tels biais.
- Utilisation des résultats de l'évaluation à des fins non prévues dans les objectifs d'évaluation énoncés au départ.
- «Faux négatifs» : soit une évaluation négative d'une recherche ou d'un chercheur, alors qu'en réalité, l'évaluation devrait être positive.
- Classement inadéquat de candidats, d'équipes, etc.
- Appel à candidatures ou instructions pour introduire une demande de soutien ne sont pas clairs(ou au moins partiellement incompréhensibles),
- etc.
Étape 5. Rédaction effective du guide spécifique
5.1. Contenu du guide spécifique
Le guide spécifique, dans sa première version, devrait couvrir de manière correcte les points suivants – tout en gardant à l'esprit que l'on peut changer l'ordre et l'importance de chaque section à tout moment:
- Une courte introduction se référant à une série d'annexes (ou à des liens dans le cas d'un guide mis sur un site web). Éléments possibles:
- Qui sont les utilisateurs prévus du guide local (les évaluateurs) ?
- Comment le guide spécifique devrait-il être utilisé ?
- Les pièges, les difficultés à prévoir, et les précautions à prendre pour les éviter.
- Une liste de critères et de procédures à suivre dans un processus d'étapes claires, successives, fournissant des suggestions pratiques. Ci-dessous quelques ajouts utiles :
- Notes sur les variations possibles ou des situations imprévisibles,
- Suggestion aux évaluateurs d'être flexibles, de favoriser les explications claires et la transparence.
- De nombreuses références à des annexes ou à des liens.
- Commentaires, réponses aux FAQ (Frequently Asked Questions, questions posées fréquemment).
- Des annexes ou des liens pour aider les évaluateurs à faire face de manière adéquate à des situations qui peuvent être atypiques.
- Dans certains cas, lorsque cela est jugé opportun, donner des exemples d'outils d'évaluation existants.
5.2 Distribuer les responsabilités entre les auteurs du guide
Un guide sera rarement élaboré par un individu. Il sera plus généralement le travail d'une équipe. Diverses décisions seront prises sur le partage des responsabilités et des tâches entre les auteurs du guide d'évaluation: le comité de travail, les contributions individuelles, l'appel à des consultants externes, etc. Un terrain d'entente sera établi pour parvenir à un consensus entre toutes ces personnes.
Une attention particulière sera accordée à l'opportunité d'avoir un évaluateur externe parmi les utilisateurs du guide spécifique.
5.3 L'écriture effective
Le décor est ainsi planté pour commencer à écrire la première version du guide local.
5.4 Contrôle de cohérence
Retournez aux étapes préliminaires et assurez-vous que toutes les indications énumérées dans cette page ont été dûment prises en considération. Cela ne signifie pas, évidemment, que toutes doivent être adoptées.
Procédez de manière répétitive.
Conception de l'évaluation du guide spécifique
Le guide spécifique ou local devra être évalué après avoir été en usage pendant un certain temps, dans le but de l'améliorer. Les questions essentielles auxquelles une telle évaluation devrait répondre sont les suivantes :
- Les outils et les instructions, etc. sont-ils clairs et bien compris, exempt d'ambiguïtés ?
- Sont-ils utiles (pour atteindre les objectifs de l'évaluation)? Permettent-ils de décider de manière satisfaisante ?
- Respectent-ils les conditions de l'évaluation comme initialement établies? Si oui, dans quelle mesure ?
- Quels sont les résultats et les réalisations obtenus grâce à l'aide du guide spécifique?
- etc.
Dans une large mesure, il est souhaitable de déjà concevoir une telle évaluation au moment de la rédaction du projet de guide, en laissant la voie ouverte à des modifications ultérieures.
Nombreuses sont les personnes en charge de l'évaluation de la recherche sur le développement, à savoir des évaluateurs ou des acteurs qui, sans être eux-mêmes les auteurs d'un guide spécifique, peuvent désirer suivre les étapes ci-dessus émettre un avis critique sur le guide ou sur des parties de celui-ci, à la lumière de leur expérience, de besoins locaux, de l'évolution du contexte, etc.
Commentaire final: nous procédons donc à un appel aux utilisateurs des présentes Lignes Directrices.
Quel que soit le type de grille ou de manuel d'évaluation que vous écrivez, nous vous prions de nous envoyer vos commentaires sur ce chapitre afin de nous aider à l'améliorer à la lumière de votre expérience. Merci d'avance.
