Gérer les conflits d’intérêts dans l’évaluation par les pairs d’un congrès

Définir les conflits par écrit

Une politique qui dit « évitez les conflits » n’est pas applicable. Listez ce qui compte, pour que évaluateurs et présidents appliquent la même règle.

• Co-signature d’une publication au cours des [trois] dernières années.
• Même institution ou même département.
• Relation de direction de thèse, d’encadrement ou de proche collaboration.
• Intérêt financier ou commercial dans le travail.
• Relations personnelles pouvant raisonnablement influencer le jugement.
• Cas propres au comité, par exemple le proposant d’un symposium qui évalue ses soumissions.

Recueillir les déclarations à trois moments

Demandez aux auteurs, à la soumission, de nommer les personnes qui ne doivent pas évaluer leur travail. Demandez aux évaluateurs de déclarer leurs conflits à l’acceptation. Demandez-le encore à l’ouverture d’un résumé attribué, car la liste des auteurs n’est visible qu’à ce moment.

Appliquer avant la notation

Un conflit doit bloquer l’attribution ou masquer le résumé, et non apparaître comme une note après la saisie d’une note. Lorsque le système le permet, utilisez les données d’auteurs et d’institutions du dossier pour signaler automatiquement les conflits probables et laissez un président les confirmer.

Quand c’est le président qui est en conflit

Responsables du programme et de thème soumettent aussi des résumés. Décidez à l’avance qui reprend les décisions sur leurs soumissions et inscrivez-le dans la politique, pour que le processus ne dépende pas de quelqu’un qui remarque le problème.

Un exemple de politique de conflits d’intérêts

Adaptez ce plan à votre communauté. Tenez-le sur une page et publiez-le sur la page des évaluateurs et près du formulaire de soumission, pour que auteurs et évaluateurs voient les mêmes règles.

POLITIQUE DE CONFLITS D’INTÉRÊTS 1. Objet Le comité vise à évaluer chaque résumé équitablement et à être perçu comme tel. 2. Ce qui constitue un conflit Un évaluateur a un conflit avec un résumé si, au cours des trois dernières années, il a cosigné avec un auteur, travaillé dans le même département, dirigé ou été dirigé par un auteur, ou s’il a un intérêt financier ou personnel dans le résultat. 3. Déclaration Les auteurs peuvent nommer jusqu’à trois personnes qui ne doivent pas évaluer leur résumé. Les évaluateurs doivent déclarer un conflit avant de noter et ne doivent ni lire ni noter le résumé. 4. Application Le responsable du programme vérifie les déclarations et réattribue les résumés concernés. Les évaluateurs en conflit ne voient pas les évaluations de ce résumé. 5. Membres du comité Les membres du comité qui soumettent des résumés ne participent pas aux décisions les concernant. 6. Traçabilité Les déclarations et réattributions sont enregistrées et conservées avec le résumé.

Trois scénarios et leur résolution

Les politiques se testent sur des cas concrets. Ces trois-là reviennent dans la plupart des appels, et il est utile de convenir à l’avance de la façon de les traiter.

• Un évaluateur s’aperçoit, en cours de lecture, qu’il connaît l’auteur d’une collaboration passée. Il s’arrête, déclare le conflit et le président réattribue le résumé. Toute note déjà saisie est écartée.
• Le sujet est si étroit que presque tous les évaluateurs qualifiés ont un lien avec le groupe. Acceptez les liens mineurs et anciens, par exemple une cosignature d’il y a sept ans, mais exigez une déclaration et demandez à un second évaluateur sans aucun lien de lire le résumé.
• Un responsable de thème a soumis un résumé dans son propre thème. Un autre responsable de thème ou le responsable du programme prend la décision, et le responsable concerné est masqué des évaluations et discussions de ce résumé.

Auto-déclaration et détection automatique

S’en remettre aux seuls évaluateurs pour déclarer les conflits laisse des trous, car on oublie ou on juge qu’un lien n’a pas d’importance. S’en remettre au seul logiciel laisse d’autres trous, car il voit cosignatures et institutions mais pas les relations personnelles. Utilisez les deux et traitez les alertes automatiques comme des invites à confirmer par un humain.

• L’auto-déclaration repère relations personnelles et informelles, mais dépend de la mémoire et de l’honnêteté.
• La détection automatique à partir des données d’auteurs et d’affiliations repère les institutions communes, mais produit des faux positifs et rate les variantes d’orthographe.
• Les exclusions nommées par les auteurs repèrent rivaux et cas sensibles, mais peuvent être détournées ; le président doit examiner les demandes inhabituelles.
• Un contrôle final du responsable du programme avant la notation boucle le circuit et laisse une trace.

Conflits en évaluation simple et double aveugle

Le modèle d’évaluation change le fonctionnement des conflits. En simple aveugle, les évaluateurs voient les auteurs et repèrent eux-mêmes les conflits. En double aveugle, ils ne voient pas les auteurs et ne peuvent donc pas connaître un conflit : le système ou le président doit les rechercher. Les listes d’exclusion des auteurs et l’appariement automatique pèsent alors davantage, et les évaluateurs doivent signaler s’ils pensent reconnaître l’auteur d’après le contenu, par exemple un jeu de données distinctif. Décidez du modèle avant l’ouverture de l’appel, car il détermine ce que les auteurs doivent fournir et quels champs sont masqués.

Que faire quand un conflit est découvert tard

Parfois un conflit apparaît après la saisie des notes, voire après les décisions. Ne l’ignorez pas et ne changez pas discrètement le résultat. Consignez ce qui a été trouvé et quand. Si la note de l’évaluateur en conflit a influencé la décision, demandez à un autre évaluateur d’examiner le résumé de façon indépendante et laissez le président décider avec cette information. Si la décision est déjà communiquée et changerait, contactez l’auteur, expliquez honnêtement et corrigez. Une correction visible protège mieux votre processus qu’une correction cachée, et le prochain président saura quoi faire dans un cas semblable.

Un formulaire de déclaration pour évaluateurs

Un court formulaire garde les déclarations cohérentes. Il peut faire partie de l’e-mail d’acceptation ou de la page de compte de l’évaluateur.

Déclaration de l’évaluateur Nom : [ ] J’ai lu la politique de conflits d’intérêts : [oui] Pour chaque résumé attribué : [ ] Aucun conflit [ ] Conflit (choisir) : cosignature · même institution · directeur ou étudiant · intérêt financier · relation personnelle · autre Commentaire (facultatif, visible du seul président) : [ ]

Informer les auteurs de la politique

Les auteurs doivent savoir qu’une politique de conflits existe et comment elle les protège. Énoncez-la en un paragraphe près du formulaire de soumission et dites comment ils peuvent demander que quelqu’un n’évalue pas leur travail. Le faire tôt réduit les réclamations plus tard et montre que le comité prend l’équité au sérieux.

Garder une trace

Conservez déclarations, dérogations et motifs de toute exception avec le résumé. Si un auteur conteste une décision, le comité peut montrer ce qui a été déclaré et comment cela a été traité. Dites aux évaluateurs ce qui sera enregistré et limitez la visibilité à ceux qui en ont besoin.