Évaluation des revues scientifiques

Les auteurs d'un guide spécifique choisiront les objectifs en fonction de leurs besoins particuliers. Il est évident que les critères d'évaluation peuvent différer fortement selon l'objectif visé. Néanmoins, la qualité intrinsèque d'un journal sera toujours un critère primordial Nous allons d'abord en discuter en détail. Ensuite, nous nous pencherons sur les autres critères, en fonction de l'objectif choisi.
 

La qualité intrinsèque d'un journal

L'évaluation complète de la qualité d'un journal peut, bien sûr, n'être effectuée que par un expert dans le domaine. Néanmoins, nous énumérons ci-dessous les mesures les plus importantes à prendre en considération lors d'une évaluation indépendante de la qualité d'une revue:

• La qualité scientifique du contenu de la revue
• Sa pertinence pour le développement
• Sa disponibilité et sa visibilité

La qualité scientifique

La qualité d'une revue scientifique dépend, bien sûr, de  la qualité des articles individuels, dépendant à leur tour de:

• la qualité intrinsèque de la recherche qui y est rapportée ainsi que de la capacité d'écriture des auteurs,
• l'examen par les pairs: la notoriété de l'éditeur; la composition du comité de rédaction; le choix des examinateurs; la sélectivité du processus de révision,
• la qualité des éditoriaux et des lettres à l'éditeur.

Une politique éditoriale très sélective, conduisant à un taux de rejet élevé, aboutira généralement à l'obtention d'un journal de haute qualité. Les articles scientifiques majeurs sont cités plus souvent dans d'autres articles que les papiers de moindre importance, et cela a conduit à l'évaluation quantitative de la qualité d'une revue par le calcul du nombre moyen de citations reçues par ses articles pendant une période de temps donnée (par exemple deux ans ). C’est ce qui est appelé «facteur d'impact» de la revue (impact factor, IF). Le Journal of Citation Reports publie chaque année des listes de classement des journaux par catégories de sujets, avec leur IF’s, assortis d'autres mesures quantitatives. Ces listes de classement, témoignent de manière indiscutable d'une discrimination en faveur des revues publiées dans le Nord. (Voir la page sur la bibliométrie pour discussion de cet aspect).

La  pertinence

La pertinence d'un journal exprime dans quelle mesure il est bien adapté à l'usage qui lui est destiné. Par conséquent, nous allons revenir sur ce critère lors de l'examen détaillé des différents objectifs pour la sélection d'un journal. Les aspects les plus importants d'un journal en ce qui concerne  l'évaluation de sa pertinence sont:

• est-il pertinent pour le développement ?
• l'étendue de son contenu est-elle pertinente pour le sujet à traiter ?
• est-il adapté au public ciblé (par rapport à sa langue, à son niveau de complexité, ...) ?

Un journal peut être considéré comme pertinent pour le développement lorsque les résultats des recherches détaillés dans ses articles sont la plupart du temps pertinents pour les pays en développement. Cela peut être une conséquence des sujets traités dans le journal, mais cela peut aussi résulter de la manière dont s'effectue les articles sont sollicités auprès d'éventuels auteurs. Comme de nombreux pays en développement souffrent des mêmes problèmes, un journal avec un grand nombre de publications par des chercheurs de l'un de ces pays sera souvent très utile pour d'autres pays en développement.

Disponibilité et visibilité

Puisque par définition le but d'une publication dans une revue scientifique est de «rendre publics» les résultats de certaines recherches, ce serait un gaspillage d'efforts de publier dans un journal que personne ne peut lire parce que non disponible dans les grandes bibliothèques ou sur l'Internet. En outre, compte tenu du grand nombre de revues scientifiques, la probabilité qu'un lecteur potentiel trouve un article en surfant sur le net au hasard  est presque nulle (sauf peut-être pour les articles dans l’une des  revues les plus prestigieuses). La plupart des articles sont découverts lors de recherches effectuées dans les revues bibliographiques (ou d'indexation) ou dans des bases de données, ou parce que qu'ils sont cités dans un autre document. Le lecteur intéressé est à ce moment confronté au problème de se procurer le texte intégral de l'article qu'il veut consulter. Pour ces raisons, la disponibilité et la visibilité d'un journal sont déterminées par les aspects suivants:

• le journal est-il publié par un des grands éditeurs internationaux ou par une entreprise locale (avec des canaux de distribution limités) ? Bénéficie-t-il  d'un appui institutionnel (d'un institut,d’une université, d’une société scientifique ou professionnelle,d’une fondation, ou autres) ?
• Couverture géographique: est-ce vraiment un journal international ou seulement un journal local avec  un lectorat essentiellement local ?
• Langue de la revue: l'anglais est désormais largement admis en tant que langage universel de la science, et cela signifie que des publications dans d'autres langues (même importantes telles que le français ou l'espagnol) auront un lectorat plus limité, tant qu'aucun logiciel de traduction automatique de bonne qualité ne sera disponible.
• Régularité (périodicité) de publication: un journal avec un calendrier de publication très irrégulier est facilement négligé par les lecteurs potentiels.
• Le journal est-il repris dans les grandes bases de données bibliographiques internationales, afin que les lecteurs puissent facilement être avertis de son contenu ?
• Est-il publié comme un journal Open Access (Accès Libre), avec une disponibilité mondiale sans délai ni obstacles financiers (la "voie en or",la "Golden Road") ? Ces revues en libre accès sont disponibles gratuitement sur Internet. De plus en plus d'articles publiés dans les revues commerciales sont maintenant simultanément rendues disponibles en libre accès via les dépôts institutionnels ou système d'archives rattachés au OAIMHP (Open Archives Initiative Metadata Harvesting Protocol)  de sorte qu'il se  retrouve dans les principaux moteurs de recherche internationaux, (par exemple, BASE, openAIRE, OAIster et Google Scholar? la "voie verte”, la “Green Road”). Certains éditeurs permettent cet archivage en libre accès, mais pas la totalité d'entre eux. Le journal en question permet-il ce canal alternatif de publication? (Une liste complète des politiques appliquées par les différents éditeurs est disponible sur Sherpa / Romeo). Alors que de nombreux chercheurs du monde entier utilisent encore le groupe sélectif ISI de revues à la fois comme principale source d'informations scientifiques et comme débouché privilégié pour la publication de leurs résultats de recherche, il s'avère de plus en plus que les publications en libre accès sont plus souvent citées que les papiers disponibles seulement via un abonnement payant, procurant  ainsi une meilleure visibilité,  une meilleure utilisation et un meilleur impact scientifique.
• L'éditeur précise-t-il quelles sont les exigences de sa revue en matière de droit d'auteur? Si rien n'est spécifié, on doit en principe demander l'autorisation de l'éditeur avant d'utiliser ou de développer ses résultats, ce qui peut être un obstacle à des applications utiles dans les pays en développement. Beaucoup de revues et de dépôts en libre accès incluent donc automatiquement une licence qui permet l'utilisation des résultats - à la condition de citer l'article original - tel que spécifié par l'une des licences de Creative Commons)

Tous ces aspects ne sont pas toujours indépendants: ils sont souvent liés les uns aux autres ou s'influencent les uns les autres.
 

Qualité d’un Journal pour des intervenants spécifiques

Conformément aux objectifs des parties prenantes spécifiques, les éléments à prendre en compte peuvent être différents. Nous pouvons, par exemple, discerner les cas suivants:

• Les journaux eux-mêmes:
  • Les éditeurs de journaux doivent être conscients des critères qui déterminent la qualité d’une revue. Un élément essentiel est d'avoir un comité de rédaction international avec des réviseurs qui - indépendamment des auteurs - vont suivre un ensemble de critères de sélection. Certains journaux appliquent ici la procédure dite de «double aveugle», où non seulement les auteurs ne savent pas qui a examiné leur papier, mais où également les réviseurs ne connaissent pas le nom de l'auteur (bien que les réviseurs puissent parfois deviner qui est l'auteur d'un document, en particulier dans les petites communautés scientifiques ...). La règle la plus importante, cependant, reste que les évaluateurs doivent être en mesure de juger de manière indépendante de leurs relations personnelles avec l'auteur.
  • En ce qui concerne la pertinence, ils doivent déterminer pour quel type d'articles il existe un besoin réel, et en fonction de cela, cadrer la portée de leur journal.
  • La disponibilité la plus large sera atteinte grâce à une politique de libre accès. En conséquence, il n'y aura pas de revenus d'abonnements, de sorte que la revue va devoir trouver un autre modèle financier stable. Pour une discussion sur ces modèles, voir le Open Access Scholarly Information Sourcebook.
• Les auteurs:
  • La qualité scientifique de leur papier dépend de la recherche qu' ils ont effectuée et de leur capacité à rédiger. En publiant dans un journal de haute qualité, les auteurs souhaitent souvent obtenir une reconnaissance internationale et améliorer leur CV, mais cela peut coûter un certain prix puisque de nombreuses revues appliquent des tarifs élevés de publication.
  • Publier dans un journal pertinent pour le sujet du papier soumis augmente certainement les chances que l'article atteingne le public souhaité.
  • Afin de rendre un document visible et disponible pour un large public, rien ne vaut le libre accès, soit dans une revue à accès libre ou dans un journal classique mais assorti d'un archivage dans un dépôt institutionnel. Les auteurs doivent insister pour que leur université installe ce dépôt, pour lequel plusieurs solutions d’accès libre sont disponibles.
• Les universités et les instituts de recherche:
  • Assurer un système de développement  optimal pour les collections a toujours été une tâche importante pour tous les départements de recherche à travers le monde, mais il peut être particulièrement problématique pour les bibliothèques des pays en développement où les budgets sont réduits alors que les journaux de haute qualité sont d’un prix prohibitif. La collaboration avec un groupe de recherche dans le Nord peut être un excellent moyen de se tenir au courant des progrès scientifiques. 
  • Quel que soit le budget disponible, ce sera une tâche délicate de dépenser l'argent à bon escient, de manière à ce qu'avec les moyens disponibles, on puisse acquérir l'ensemble des journaux utiles aux étudiants et aux chercheurs.  Ceci nécessite une bonne collaboration entre les administrateurs universitaires, les chercheurs et les bibliothécaires.
  • De la discussion ci-dessus portant sur les publications en libre d'accès, il semble évident que la priorité doit être donnée à faire autant de publicité que possible pour toutes les sources qualitatives qui sont disponibles gratuitement sur Internet. Ceci  peut se faire de différentes manières, par exemple, via un site bibliothécaire internet donnant les listes des collecteurs d'articles, et des journaux en Open Access de préférence classés par sujet.

Construire le guide spécifique

Les étapes à suivre par les auteurs d'un guide spécifique pour l'évaluation des revues scientifiques sont très similaires à celles prises pour l'évaluation des autres aspects: voir la page sur la rédaction du guide spécifique.

Références