Qualité scientifique

Introduction

Dans l'évaluation de la recherche scientifique, il est évident que 'la qualité scientifique' s'avère être un des critères les plus importants, et dans le cas de la recherche pour le développement, elle est sur un pied d'égalité avec une autre dimension-clé: la pertinence pour le développement. Les critères et les procédures d'évaluation sont très semblables à ceux appliqués dans l'évaluation de la recherche en général: examens par les pairs, panels, indices bibliométriques, etc...  L'application pratique de ces outils dans le cas de la recherche pour le développement peut s'avérer parfois assez difficile. Il y a cependant un consensus général pour affirmer que la qualité doit être exprimée de manière identique  pour n'importe quelle recherche scientifique, avec les mêmes problèmes et les mêmes contraintes.

N'importe quel double standard à cet égard doit être rejeté. Extraites des conclusions du Symposium organisé par l'Académie Royale des Sciences d'Outre-Mer sur l'Evaluation de la Recherche pour le Développement en 2009, nous citerons les paroles de Jean Berlamont: "Nous n'aidons pas les pays en développement en faisant des concessions dans le domaine de l'exigence des standards". Dans les mêmes conclusions , Isabel Yepez del Castillo fait une déclaration similaire, exprimant ses regrets que ce ne soit pas rigoureusement appliqué, comme dans certains cas, dans les relations entre l'Espagne et l'Amérique latine. Il y a en outre des raisons éthiques pour ne pas accepter de double standard.

Définition

La définition standard de la «qualité scientifique» est conforme aux principes de la «méthode scientifique». Cette méthode est décrite en termes de formulation, d'essais, et de modifications d' hypothèses, mais ces idées sont ensuite surtout illustrées par des exemples de découvertes scientifiques très révolutionnaires (comme la théorie de Darwin sur l'évolution ou la théorie d'Einstein sur la relativité).
Un critère plus pratique pour la « qualité scientifique » est que la recherche devrait conduire à une nouvelle idée (et cela peut être une hypothèse théorique, une loi expérimentale, la relation de cause à effet entre deux phénomènes, ou une nouvelle technologie, etc...) et que la crédibilité ou l'utilité de cette nouvelle idée soit corroborée par des arguments théoriques ou empiriques (par exemple, une analyse mathématique, une vérification expérimentale, une enquête statistique, etc...). Pour l'aspect «nouveau», nous vous renvoyons à l'annexe Originalité, innovation.

Si nous prenons cette définition à la lettre, elle implique un ensemble de caractéristiques qualitatives telles que:

1. La recherche (et les publications qui en découlent) devrait partir d'une question de recherche bien définie (sinon,pas besoin d’une nouvelle idée).
2. Les chercheurs devraient être au courant des connaissances standard dans le domaine de la recherche effectuée (aussi bien les faits que les hypothèses communément acceptées).
3. Tout raisonnement devrait suivre des règles strictement logiques.
4. Les expériences devraient être reproductibles.
5. Il devrait y avoir libre accès à la description complète des circonstances expérimentales ou théoriques et aux détails. (Pas de truc magique !)

Remarque:

Cette définition de la qualité scientifique peut sembler plutôt idéaliste et difficile à atteindre pour de nombreuses équipes dans les pays en développement.

• Mais elle doit certainement être considérée comme l'objectif final vers lequel la recherche scientifique devrait évoluer, également dans le Sud.
• Les projets de recherche qui ne sont pas conformes à la description reprise ci-dessus peuvent cependant présenter encore un certain intérêt. Une recherche purement descriptive, par exemple, peut constituer une excellente préparation pour un projet ultérieur, parce que les données décrites peuvent donner de l'inspiration pour la formulation d'une nouvelle idée. Néanmoins, certains des aspects mentionnés ci-dessus doivent être présents, telles l'originalité (la description doit contenir des  éléments neufs) et la nécessité d'avoir une question prédéfinie (pourquoi avez-vous besoin d'une nouvelle description ?).

Comment utiliser ces éléments pour l'évaluation d'un projet de recherche (ex ante) ?

Le critère principal pour la réussite d'un projet de recherche est la qualité du chercheur ou de l'équipe de recherche qui propose le projet. Cependant, quelques considérations supplémentaires doivent être prises en compte, et le guide spécifique devrait indiquer clairement qui va effectuer cette évaluation scientifique: une commission d'évaluation générale ou des  évaluateurs externes. Les questions à poser sont les suivantes:

• Le projet dérive-t-il d'une question pertinente qui ne soit pas triviale, et cette question  est -elle clairement formulée dans le cadre du sujet ?
• La réponse à cette question (ou la résolution de ce problème) constituerait-elle vraiment une avancée importante dans le développement ou le progrès de nos connaissances scientifiques ?
• La description du projet confirme-t-elle que le groupe est suffisamment au courant des connaissances actuelles dans ce domaine? Le groupe de chercheurs a-t-il un accès large et adéquat à la littérature scientifique internationale ?
• La méthode proposée pour aboutir à une réponse au problème posé est-elle appropriée ?
• Le groupe possède-t-il les compétences nécessaires pour appliquer cette méthodologie ? Ou le projet comporte-t-il un élément de mise à niveau de leurs compétences pour atteindre le niveau requis ?

Comment utiliser ces éléments pour l'évaluation d'une publication scientifique ?

Puisque nous sommes supposés avoir, après la clôture d'un projet de recherche, un bilan écrit - un rapport ou une publication - les éléments repris ci-dessous feront aussi partie de l'évaluation ex post d'un projet de recherche.
Afin d'évaluer la qualité d'une publication scientifique (ou d'un rapport), il faut distinguer l' évaluation intrinsèque de l'évaluation sur base d'indicateurs externes. Une évaluation intrinsèque par un expert indépendant dans le domaine traité par la publication est généralement considérée comme la meilleure façon d'évaluer la valeur scientifique d'un article. Questions à se poser :
• Le document  est-il bien écrit, a-t-il une structure claire qui souligne le problème de départ, la méthodologie suivie, les résultats obtenus et la conclusion?
• Sa description est-elle suffisamment  complète , et le raisonnement logique parfaitement solide ?
• La conclusion constitue-t-elle une avancée importante de nos connaissances?
Pour une évaluation sur base d' indicateurs externes qui tentent de mesurer l'impact qu'un article a (ou a potentiellement), voir l'Evaluation des publications scientifiques.
 

Comment utiliser ces éléments pour l'évaluation d'un chercheur ?

La valeur scientifique d'un chercheur ne peut être jugée que par ses activités, à savoir les recherches qu'il a menées et ses publications. Pour les très jeunes chercheurs, nous pouvons avoir recours à des interviews ou au témoignage de ses superviseurs. Les questions auxquelles peut vouloir répondre un comité d'évaluation générale sont:

• Quel est le nombre de publications compte tenu du nombre d'années consacrées à la recherche, en prenant en compte les autres fonctions de la personne  (tâches didactiques et de gestion, autres services à la communauté, ...) ?
• Compte tenu des possibilités financières, a-t-il/elle participé à des conférences avec des contributions et des publications scientifiques dans les Comptes-Rendus des conférences ?
• Quelle est la portée des sujets étudiés: y en a-t-il un large éventail ou le même sujet rebattu et rebattu encore ? Quel que soit le cas, cela se justifie-t-il par la nature des problèmes étudiés ?

Il peut également être utile de demander une évaluation par un chercheur senior, qui  connaît personnellement le chercheur à évaluer (même s'il peut avoir tendance à donner une évaluation positive ...). Les questions dans ce cas  pourront être :

• Cette personne manifeste-t-elle une réelle curiosité  la poussant à approfondir le phénomène ou  se satisfait-elle d'un examen superficiel ?
• Est-elle méticuleuse dans l'analyse des détails du travail, et élimine-t-elle toutes les autres hypothèses avant de conclure ?

Comment utiliser ces éléments pour l'évaluation d'un groupe de chercheurs ?

Une équipe ou un groupe de recherche doit être évalué sur base de la composition du groupe, à savoir la qualité de ses membres et de leurs publications (évaluée comme décrit ci-dessus). En outre, il faut considérer les points suivants:

• Le groupe dispose-t-il d'un plan de recherche cohérent, ou chacun poursuit-il son programme favori ?
• Les perspectives pour une réalisation réussie du plan de travail sont-elles satisfaisantes? Toutes les expertises nécessaires sont-elles présentes au sein du groupe ? L'infrastructure est-elle appropriée ?
• Les contacts internationaux du groupe sont-ils satisfaisants ? (Etre intégré dans la communauté scientifique internationale constitue généralement une garantie de qualité scientifique.)

Références