Grille d’évaluation de résumés : critères de notation et exemples

Pourquoi une grille

Sans grille, un 4 chez un évaluateur peut valoir un 2 chez un autre. La grille ne supprime pas le jugement : elle le rend comparable et donne au président de quoi répondre quand un auteur demande pourquoi son résumé a été refusé.

Cinq critères adaptés à la plupart des réunions

Gardez une liste courte. Chaque critère doit pouvoir être évalué à partir d’un résumé de quelques centaines de mots.

• Adéquation au périmètre : le travail a-t-il sa place dans cette réunion et ce thème ?
• Solidité scientifique : la question, la méthode et les conclusions sont-elles cohérentes entre elles ?
• Originalité et portée : cela apporte-t-il quelque chose au public de cette réunion ?
• Clarté : un spécialiste du domaine peut-il suivre sans l’article complet ?
• Adéquation au format : cela fonctionne-t-il en communication orale, en poster, ou seulement dans l’un des deux ?

Échelle avec repères

Utilisez cinq niveaux et décrivez chacun. Les repères comptent plus que le nombre de niveaux.

5 Excellent : contribution claire, méthode solide, enrichirait le programme. 4 Bon : travail solide, faiblesses mineures sans effet sur les conclusions. 3 Acceptable : pertinent mais incomplet ou peu clair sur un point. 2 Faible : problèmes importants de méthode, de preuves ou de clarté. 1 Inadapté : hors périmètre ou ne présente pas de résultat.

Demander une recommandation et un commentaire

En plus des notes, demandez une recommandation (accepté en oral, accepté en poster, refusé) et un court commentaire rédigé pour l’auteur. Réservez les remarques confidentielles au comité à un champ distinct, pour que rien ne fuite dans la lettre de décision.

Exemple concret : noter deux résumés

L’exemple ci-dessous montre comment la grille transforme l’impression d’un évaluateur en une note qu’une autre personne peut suivre. Les deux résumés sont fictifs. Notez que le second est scientifiquement intéressant mais reçoit une note faible en clarté, et que le commentaire dit précisément à l’auteur quoi corriger.

Résumé A : « Prévoir les niveaux des rivières avec un modèle hybride » Adéquation 5 · Solidité 4 · Originalité 3 · Clarté 5 · Format 5 Total 22/25 Commentaire pour l’auteur : Clair et bien structuré. La comparaison avec la référence est convaincante ; précisez la taille du jeu de test. Recommandation : Accepté en oral. Résumé B : « Une nouvelle approche des problèmes d’eaux souterraines » Adéquation 4 · Solidité 3 · Originalité 4 · Clarté 2 · Format 3 Total 16/25 Commentaire pour l’auteur : L’idée est prometteuse mais le résumé ne dit pas quelles données ont été utilisées ni quel résultat a été obtenu. Ajoutez une méthode et un résultat principal. Recommandation : Accepté en poster, sous réserve de révision.

Pondération et notes totales

Additionner cinq notes de poids égal est l’option la plus simple et suffit généralement. Si votre comité estime que certains critères comptent davantage, décidez des pondérations avant la notation et communiquez-les aux évaluateurs, plutôt que de les ajuster après avoir vu les résultats. Quel que soit votre choix, rappelez-vous qu’un total sert à trier les résumés, pas à décider.

• Poids égaux : facile à expliquer, et les évaluateurs n’ont rien à calculer.
• Pondéré : par exemple, la solidité comptée double, si la réunion est très méthodologique.
• Règles de seuil : par exemple, tout résumé noté 1 en adéquation ou en solidité est refusé quel que soit le total.
• Zone limite : convenez à l’avance de la plage de totaux que le comité discutera, par exemple 14 à 17 sur 25.

Adapter la grille au format

Les mêmes cinq critères ne conviennent pas également à tous les types de contribution. Gardez la structure et ajustez l’accent, pour que les évaluateurs ne pénalisent pas un poster parce qu’il n’est pas un exposé complet.

• Communication orale : donnez plus de poids à la clarté et à l’originalité, car le public l’entendra une seule fois.
• Poster : acceptez un travail en cours si la question et la méthode sont solides, et demandez si le rendu visuel fonctionnera.
• Proposition de symposium : ajoutez un critère sur la cohérence des orateurs et la valeur de la séance dans son ensemble.
• Résultats de dernière minute : assouplissez l’exigence d’une méthode complète, mais demandez ce qui a été mesuré.

Biais courants des évaluateurs et comment les réduire

Les évaluateurs sont des experts, et les experts restent humains. Une grille réduit certains biais mais pas tous. Les nommer dans les consignes aux évaluateurs aide à les repérer.

• Effet de halo : une première phrase bien écrite colore le reste. Demandez de noter les critères un par un.
• Biais de prestige : une institution ou un auteur connu relève les notes. Utilisez l’évaluation anonymisée quand la discipline le permet.
• Biais de langue : le résumé d’un locuteur non natif est pénalisé pour le style. Demandez de juger la science et de signaler séparément les problèmes de langue.
• Sévérité et indulgence : certains notent tout bas, d’autres tout haut. Comparez la moyenne de chaque évaluateur à celle du groupe.
• Fatigue : les notes baissent au vingtième résumé. Plafonnez le nombre par évaluateur et suggérez des pauses.

Quand les évaluateurs ne sont pas d’accord

Le désaccord est normal et souvent utile. Fixez un seuil, par exemple un écart de deux points sur le total ou des recommandations opposées, au-delà duquel un troisième évaluateur ou le responsable de thème lit le résumé et tranche. Demandez au troisième lecteur de noter la raison en une ou deux phrases, pour pouvoir expliquer la décision plus tard. Évitez la moyenne comme moyen de clore la discussion : la moyenne d’un 5 et d’un 1 ne dit rien du résumé, seulement des évaluateurs. Quand le désaccord porte sur le périmètre et non sur la qualité, tranchez au niveau du comité et consignez la règle pour la prochaine édition.

Rédiger des commentaires utiles aux auteurs

Le commentaire rédigé pour l’auteur est la seule partie de l’évaluation que la plupart des auteurs liront. Demandez aux évaluateurs de dire ce qui fonctionne, ce qui ne fonctionne pas et ce qu’il faut changer, dans cet ordre, en évitant les remarques personnelles. Un commentaire utile nomme la lacune précise. « Le résumé n’est pas clair » ne donne rien à l’auteur ; « Le résumé ne dit pas combien d’échantillons ont été analysés » lui donne quelque chose à faire. Si les évaluateurs savent que le commentaire sera envoyé à l’auteur, ils écrivent autrement : dites-le clairement et gardez les remarques confidentielles pour le comité dans un champ séparé.

Calibrer avant de noter

Avant la période d’évaluation, faites noter les mêmes trois résumés d’exemple par tous les évaluateurs et comparez. Discutez dix minutes des plus gros écarts. C’est le moyen le moins coûteux de réduire l’écart entre évaluateurs sévères et généreux, et cela marche mieux qu’un long document d’instructions.