Comment gérer l’évaluation par les pairs d’un congrès académique

Partir des dossiers, pas d’une boîte mail

Si les abstracts vivent dans un outil de formulaire et les commentaires dans les e-mails, la présidence ne peut pas répondre à une question simple : qui a vu cette communication, qui s’est récusé, et ce qui a été dit à l’auteur. Un flux défendable conserve affectation, notes, remarques de comité et lettre de décision sur le même dossier d’abstract que la collecte a déjà créé.

Les conflits avant le scoring

Co-auteurs, collaborateurs récents et règles de même institution devraient bloquer l’affectation, pas apparaître en note de bas de page une fois un score existant. Les comités de congrès ont aussi des conflits sur mesure : une présidence thématique qui a proposé le symposium ne devrait pas l’évaluer en silence. Déclarez ces règles pendant que l’appel est encore ouvert, pas le week-end après la date limite.

Séparer ce que voient les auteurs de ce que voit le comité

Le texte de décision destiné aux auteurs et les remarques confidentielles sont des objets différents. Les mélanger dans une colonne de tableur, c’est ainsi que les commentaires fuient. Configurez la visibilité par rôle : évaluateur, responsable thématique, présidence de programme, secrétariat.

Les décisions doivent devenir des sessions

Accepter, refuser, poster plutôt qu’oral, ou révision invitée n’ont de sens que si le constructeur de programme peut consommer le résultat. Un outil d’évaluation qui exporte un CSV dans l’emploi du temps de l’an dernier reste deux produits. Cette jointure est la raison pour laquelle Eventumbot traite l’évaluation par les pairs comme une partie de l’exploitation de congrès, et non comme une application de jugement isolée.

Laisser une piste d’audit que la présidence suivante peut hériter

Les sociétés font tourner les officers. La présidence entrante devrait voir qui a décliné, qui était en retard, et quelles communications ont été discutées en comité, sans roman de passation. Si votre processus actuel ne survit pas à un nouveau bénévole, ce n’est pas encore un processus.

Le processus en sept étapes

Une fois écrit, le processus est court. Chaque étape doit avoir un responsable et une date.

• L’appel se clôt et le président fige la liste des résumés.
• Les conflits sont déclarés et vérifiés.
• Les évaluateurs sont attribués selon le thème et la charge.
• Les évaluateurs notent selon une grille et rédigent un commentaire pour l’auteur.
• Le comité tranche les cas limites.
• Les décisions sont prises et les lettres envoyées.
• Les résumés acceptés passent dans le programme.

Exemple concret : attribuer les évaluateurs

Prenons une réunion de 300 résumés et 40 évaluateurs. À trois évaluations par résumé, il faut 900 évaluations, soit 22 à 23 par évaluateur. C’est lourd : plafonnez la charge, recrutez une réserve et attribuez d’abord par thème. Gardez cinq à dix évaluateurs non attribués jusqu’aux premiers retraits et réattribuez vite en cas de refus.

Une matrice de décision simple

Convenez des règles avant l’arrivée des notes, pour que les cas limites soient traités de la même façon.

• Note moyenne élevée, évaluateurs d’accord : accepter, en oral ou en poster selon la préférence et la capacité.
• Note moyenne élevée, évaluateurs en désaccord : le responsable de thème lit les évaluations et tranche.
• Note moyenne : accepter en poster si la capacité le permet.
• Note faible, évaluateurs d’accord : refuser avec les commentaires rédigés pour l’auteur.
• Conflit non résolu : le président réattribue avant toute décision.

Avant l’ouverture de la période d’évaluation

Servez-vous de la liste ci-dessous, puis consultez notre grille d’évaluation de résumés et nos modèles d’e-mails pour évaluateurs. Les champs collectés à la soumission, décrits dans notre guide du formulaire de soumission, déterminent la qualité de l’attribution.

• Grille validée et transmise aux évaluateurs.
• Politique de conflits publiée et déclarations recueillies.
• Invitations aux évaluateurs envoyées et acceptées.
• Plafond de charge et liste de réserve décidés.
• Règles de visibilité définies pour évaluateurs, responsables de thème et secrétariat.
• Matrice de décision et modèles de lettres prêts.

Choisir un modèle d’évaluation

Le modèle détermine qui voit l’identité de qui et façonne à la fois l’équité et la charge de travail. Choisissez-le avant l’ouverture de l’appel et indiquez-le dans l’annonce.

• Simple aveugle : les évaluateurs voient les auteurs, les auteurs ne voient pas les évaluateurs. Simple et permet de repérer les conflits, mais peut favoriser les noms connus.
• Double aveugle : aucun des deux ne voit l’autre. Réduit le biais de prestige, mais les auteurs doivent anonymiser leur résumé et les conflits sont plus difficiles à détecter.
• Évaluation ouverte : les identités sont connues des deux côtés. Favorise la courtoisie et la responsabilité, mais certains évaluateurs se retiendront.

Charge des évaluateurs et équité

Un évaluateur qui reçoit cinquante résumés les survolera. Plafonnez la charge et répartissez-la selon l’expertise pour que personne ne juge un travail éloigné de son domaine. Gardez la trace du nombre de résumés de chaque évaluateur et de ceux qui sont terminés, et rééquilibrez à la moitié de la période. Quand un petit nombre d’évaluateurs couvre un sujet étroit, dites-le-leur à l’avance et remerciez-les : ils portent la réunion.

Parler aux évaluateurs pendant la période

Les évaluateurs ont besoin de trois messages : les consignes à l’ouverture de la période, un rappel à mi-parcours avec le nombre de résumés restants et un dernier rappel deux jours avant la date limite. Gardez chacun court, renvoyez aux consignes et donnez un contact nommé. Quand quelqu’un signale un problème, comme un résumé qui ne s’ouvre pas ou un conflit, répondez dans la journée. Les évaluateurs sont bénévoles et la rapidité de la réponse fait partie de la façon dont vous les traitez.

Un ordre du jour de réunion du comité pour les résumés limites

Tous les résumés ne demandent pas une discussion. Préparez la liste des seuls cas limites et utilisez un ordre du jour court pour que la réunion finisse à l’heure.

1. Confirmer les règles de décision (5 min) 2. Résumés aux évaluations contradictoires, par thème (30 min) Pour chacun : lecture des commentaires des deux évaluateurs ; le responsable de thème propose ; le comité décide 3. Résumés proches du seuil pour les posters (15 min) 4. Vérification de capacité : nombre de créneaux oraux et de panneaux posters disponibles (10 min) 5. Confirmer les décisions et la date d’envoi des lettres (5 min)

Garder une trace que vous pourriez montrer à un auteur

Tôt ou tard, un auteur demandera pourquoi son résumé a été refusé. Gardez notes, commentaires et motif de décision avec le résumé. Une note d’une ligne comme « Sous le seuil en solidité ; évaluateurs d’accord » suffit. Si une décision a changé après discussion du comité, consignez pourquoi. Le but n’est pas de défendre chaque décision mais de pouvoir expliquer chacune et de montrer que le processus a été appliqué de façon homogène.

Modes de défaillance courants

Ce sont les problèmes qui abîment le plus souvent un processus d’évaluation.

• Évaluateurs attribués avant la vérification des conflits.
• Grille communiquée seulement après que certains évaluateurs ont commencé.
• Aucune réserve d’évaluateurs, si bien que les refus laissent des résumés avec une seule évaluation.
• Lettres de décision qui reprennent les commentaires confidentiels.
• Modifications tardives du seuil d’acceptation sans trace.
• Personne chargé de relancer les évaluateurs qui se taisent.

Mesurer le fonctionnement du processus

Après les décisions, regardez quelques chiffres : la part d’évaluations rendues à temps, le délai entre la date limite de soumission et les lettres de décision, le nombre de résumés réattribués et l’écart des notes entre évaluateurs. Notez-les et comparez-les à la prochaine édition. Demandez aussi aux évaluateurs, dans une courte enquête, si la charge et les consignes étaient raisonnables. Les chiffres montrent où le processus a été lent ; les commentaires disent pourquoi.