Points à examiner et à prendre en considération avant de commencer à écrire un guide spécifique
Généralités
Cette phase préliminaire est indispensable et concerne tout à la fois l'évaluation de la recherche, celle des chercheurs ainsi que celle des publications scientifiques. Elle a pour objet:
- de faire réfléchir à ce qu’on attend de l'évaluation: qui utilisera le guide spécifique ? Qui en sera le responsable?
- que l’on s’assure que les conditions pour arriver à une bonne évaluation soient remplies, y compris - surtout - les conditions en matière d’éthique,
- que l’on décide de la manière dont sera menée l'évaluation.
Cette phase préliminaire aboutira à la production d’un ensemble de documents écrits, chacun correspondant de manière adéquate à une situation donnée et à ses besoins spécifiques tels que :
- des instruments d'évaluation (liste de critères, questionnaires, grilles, etc)
- des instructions sur la façon d'utiliser la grille ou le questionnaire,
- plus généralement, un ensemble de procédures et de règles à suivre par les évaluateurs.
Cette page donne un aperçu de ces points. Les étapes à suivre pour la rédaction des moyens et de la procédure dans sa forme finale sont décrites dans l'évaluation des projets de recherche , l'évaluation des chercheurs et de l'évaluation des publications scientifiques.
La même phase peut s’appliquer à la révision critique ou à la correction de procédures d’évaluation existantes.
Étapes
Dans cette phase préliminaire, notre conseil est de suivre avec souplesse les étapes suivantes:
Étape 1. Définir les objectifs de l'évaluation
Les objectifs de l'évaluation doivent être clairement définis dès le début du processus de rédaction d'un guide. Fondamentalement, le but de l'évaluation est d'aider la prise de décisions concernant:
- une recherche: évaluer une proposition pour une nouvelle recherche ou l'extension d'une recherche en cours, la publication des résultats, l'application de ces résultats, etc.
- un chercheur: la fourniture de subsides, l'attribution d'un grade, l’attribution d’un prix, la nomination ou la promotion du chercheur, etc.
- une équipe de recherche (principalement l’évaluation de son rendement)
- une publication scientifique
- aussi, dans certains cas, une institution (classement d’universités ou de départements).
Évidemment, la méthodologie d'évaluation d’une recherche pour le développement dépendra du but de l'évaluation. Chaque objectif de recherche demande une approche différente et spécifique. Les auteurs du guide d'évaluation spécifique insisteront donc pour que les évaluateurs (les utilisateurs du guide spécifique) examinent les questions reprises ci-après et décident des réponses de manière explicite. Les questions sont: qu'est-ce que l'évaluateur veut savoir dans ce cas précis? Que fera-t-on des réponses? En d'autres termes, il faut:
- identifier ce qui sera fait avec les résultats et les issues attendus du processus d'évaluation,
- préciser si ce qui sera évalué est ex ante (une proposition de recherche) ou ex post (une recherche déjà effectuée),
- préciser si l'évaluation s'appliquera à une recherche donnée, à un chercheur, ou à une équipe de recherche,
- préciser si l'évaluation est participative ou externe,
- faire des commentaires, le cas échéant, sur les situations particulières possibles.
Dans la plupart des cas, de toute évidence, une seule évaluation aura plus d'un objectif. Des exemples d'objectifs possibles sont donnés dans les objectifs de l'évaluation de la recherche pour le développement
Étape 2. Quelle est (ou sont) la (ou les) discipline(s) ou catégorie(s) de disciplines impliquée(s)?
Il importe de préciser à quelle discipline ou catégorie de discipline les outils et les procédures seront appliqués et de tenir compte de la spécificité de ces disciplines. Il peut être utile d’utiliser pour commencer les trois grands domaines d'activités de l'Académie:
- sciences sociales et humaines,
- sciences naturelles et médicales,
- ingénierie et sciences exactes
D’autres catégories sont répertoriées dans les disciplines ou groupes de disciplines impliquées
- Dans chaque situation il faut éviter de subdiviser abusivement à moins qu'il n'y ait une raison particulière, ce qui en tout cas doit être justifié.
- Il existe des différences entre les sciences humaines d'une part et les sciences exactes et naturelles d'autre part, en particulier en ce qui concerne les publications. Ces différences devront être examinées le cas échéant. Cependant, ce qui peut être très différent, c’est l'ensemble des critères à utiliser, et plus encore le système de notation.
- Le champ de recherche pour le développement est souvent multidisciplinaire (ou mieux : trans-disciplinaire?). Dans un tel cas, les évaluateurs doivent évidemment être en mesure d'utiliser un ensemble exhaustif de critères reflétant les besoins des critères dans leur globalité et la spécificité de chaque discipline concernée. Une négociation peut être nécessaire.
Étape 3. Qui doit être évalué ? Acteurs et parties prenantes
L'identification des acteurs et parties prenantes est logiquement la troisième étape dans la construction d'un guide d'évaluation ou d'outils d'évaluation. Il importe d’identifier de manière précise les futurs utilisateurs du guide spécifique.
Ce sont des personnes ou des organisations qui veillent et ont intérêt à ce que la recherche pour le développement soit de qualité et / ou qui doivent prendre des décisions au sujet de cette recherche - ou des chercheurs - dans ce domaine. Leur diversité est considérable et leurs besoins et situations le sont également. Le présent chapitre doit donc être interprété et utilisé de manière flexible.
Si nécessaire, les responsabilités de chaque acteur seront définies avec des termes de référence appropriés.
Étape 4. Nature et type d'évaluation
La nature et le type d'évaluation décrits dans le guide spécifique dépendront bien sûr des décisions prises aux points précédents. Le guide devrait notamment préciser si l'évaluation sera:
- externe, participative, ou les deux
- nationale ou internationale.
Dans quelques cas, il peut être utile de faire usage d’instruments tels que le Logical Framework ou le CPPE (Comprehensive and Participatory Planning and Evaluation) (tous deux utilisés avec succès dans un contexte quelque peu différent: l'évaluation de projets et programmes de développement). Cet aspect, si nécessaire, peut être abordé ici.
Dans ce dernier cas, les auteurs du guide spécifique d'évaluation peuvent utiliser les références fournies dans les dimensions de l'évaluation; critères et décider si une telle approche s’accorde à leurs besoins.
Étape 5. Dimensions de l'évaluation
Une des plus importantes et des premières opérations à mener dans le cadre d’une évaluation est de choisir des critères. Mais avant de faire un tel choix, l'auteur du guide spécifique doit déterminer quelles dimensions il / elle souhaite évaluer. Une distinction doit en effet être faite entre les dimensions de l'évaluation et les critères utilisés pour exprimer ces dimensions.
Le Dictionnaire Webster fournit une longue liste de définitions du terme "dimension". En fonction de la situation spécifique, une des définitions suivantes pourra être d’application:
- «L'un des éléments ou facteurs constituant une entité complète". ou
- "L’écart ou le degré d’extension".
Une dimension peut ainsi être exprimée en utilisant un ou plusieurs critères. De bons exemples de la façon dont une variété de critères peut être utilisée pour exprimer une seule dimension sont la qualité scientifique ou la valorisation .
Dans le cas de l'évaluation de la recherche pour le développement, outre les deux exemples que nous venons de donner, des dimensions telles que la pertinence pour le développement , la performance et l'impact sont largement utilisés. On trouvera d’autres dimensions dans dimensions de l'évaluation; critères.
Étape 6. Distribuer les responsabilités entre les auteurs du guide spécifique
Un guide est rarement élaboré par un seul individu, il sera plus généralement le résultat du travail d'une équipe. Diverses décisions devront être prises sur la répartition des responsabilités et des tâches parmi les auteurs du guide d'évaluation: travail du comité, les contributions individuelles, appel à des évaluateurs externes, etc. En outre, c’est à ce stade qu’il faut établir les bases pour parvenir à un consensus. Le cadre est alors fixé pour commencer à écrire la première version du guide spécifique.
