Cómo gestionar la revisión por pares en congresos académicos

Partir de expedientes, no de un buzón

Si los abstracts viven en una herramienta de formularios y los comentarios en el correo, la presidencia no puede responder a una pregunta sencilla: quién vio esta comunicación, quién se recusó y qué se dijo al autor. Un flujo defendible mantiene la asignación, las puntuaciones, las notas de comité y la carta de decisión en el mismo expediente de abstract que ya creó la entrada.

Los conflictos antes de puntuar

Los coautores, las colaboraciones recientes y las reglas de misma institución deberían bloquear la asignación, no aparecer como nota al pie cuando ya existe una puntuación. Los comités de congreso también tienen conflictos a medida: una presidencia temática que propuso el simposio no debería revisarlo en silencio. Declare esas reglas mientras la convocatoria sigue abierta, no el fin de semana posterior al plazo.

Separar lo que ven los autores de lo que ve el comité

El texto de decisión dirigido a autores y las observaciones confidenciales son objetos distintos. Mezclarlos en una columna de hoja de cálculo es cómo se filtran los comentarios. Configure la visibilidad por rol: revisor, responsable de tema, presidencia de programa, secretaría.

Las decisiones tienen que convertirse en sesiones

Aceptar, rechazar, póster en lugar de ponencia o revisión invitada solo importan si el constructor de programa puede consumir el resultado. Una herramienta de revisión que exporta un CSV al horario del año pasado sigue siendo dos productos. Esa junta es la razón por la que Eventumbot trata la revisión por pares como parte de la operación de congresos y no como una app de juicio aislada.

Dejar una pista de auditoría que la siguiente presidencia pueda heredar

Las sociedades rotan cargos. La presidencia entrante debería ver quién declinó, quién llegó tarde y qué comunicaciones se discutieron en comité, sin una novela de traspaso. Si su proceso actual no sobrevive a un voluntario nuevo, aún no es un proceso.

El flujo en siete pasos

Puesto por escrito, el proceso es corto. Cada paso debe tener un responsable y una fecha.

• Se cierra la convocatoria y la presidencia congela la lista de resúmenes.
• Se declaran y comprueban los conflictos.
• Se asignan revisores por tema y carga de trabajo.
• Los revisores puntúan con una rúbrica y escriben un comentario para el autor.
• El comité resuelve los casos dudosos.
• Se toman las decisiones y se envían las cartas.
• Los resúmenes aceptados pasan al programa.

Ejemplo práctico: asignar revisores

Tomemos una reunión con 300 resúmenes y 40 revisores. Con tres revisiones por resumen se necesitan 900 revisiones, es decir, 22 o 23 por revisor. Es mucho: limite la carga, recluta una reserva y asigne primero por tema. Mantenga de cinco a diez revisores sin asignar hasta que lleguen las primeras retiradas y reasigne rápido cuando alguien decline.

Una matriz de decisión sencilla

Acuerde las reglas antes de que lleguen las puntuaciones, para tratar igual los casos dudosos.

• Media alta, revisores de acuerdo: aceptar, como oral o póster según preferencia y capacidad.
• Media alta, revisores en desacuerdo: el responsable de línea lee las revisiones y decide.
• Media intermedia: aceptar como póster si la capacidad lo permite.
• Media baja, revisores de acuerdo: rechazar con los comentarios escritos para el autor.
• Conflicto sin resolver: la presidencia reasigna antes de decidir.

Antes de abrir el periodo de revisión

Use la lista siguiente y consulte después nuestra rúbrica para evaluar resúmenes y las plantillas de correo para revisores. Los campos recogidos al enviar, descritos en nuestra guía del formulario de envío, determinan lo bien que se pueden asignar los revisores.

• Rúbrica acordada y compartida con los revisores.
• Política de conflictos publicada y declaraciones recogidas.
• Invitaciones a revisores enviadas y aceptadas.
• Límite de carga y lista de reserva decididos.
• Reglas de visibilidad fijadas para revisores, responsables de línea y secretaría.
• Matriz de decisión y plantillas de cartas listas.

Elegir un modelo de revisión

El modelo decide quién ve la identidad de quién y condiciona la equidad y la carga de trabajo. Elíjalo antes de abrir la convocatoria e indíquelo en el anuncio.

• Simple ciego: los revisores ven a los autores, los autores no ven a los revisores. Sencillo y permite detectar conflictos, pero puede favorecer nombres conocidos.
• Doble ciego: ninguna parte ve a la otra. Reduce el sesgo de prestigio, pero los autores deben anonimizar su resumen y los conflictos son más difíciles de detectar.
• Revisión abierta: las identidades se conocen en ambos sentidos. Favorece la cortesía y la responsabilidad, pero algunos revisores se contendrán.

Carga de los revisores y equidad

Un revisor que recibe cincuenta resúmenes los leerá por encima. Limite la carga y repártala según la especialidad para que nadie deba juzgar trabajos lejanos a su campo. Anote cuántos resúmenes tiene cada revisor y cuántos están completos, y reequilibre a mitad del periodo. Cuando un pequeño número de revisores cubre un tema estrecho, avíseles de antemano y agradézcaselo: sostienen la reunión.

Hablar con los revisores durante el periodo

Los revisores necesitan tres mensajes: las instrucciones al abrirse el periodo, un recordatorio a mitad con el número de resúmenes aún abiertos y un último recordatorio dos días antes del plazo. Mantenga cada uno breve, enlace a las instrucciones y dé un contacto con nombre. Cuando alguien comunique un problema, como un resumen que no se abre o un conflicto, responda en el día. Los revisores son voluntarios y la rapidez de respuesta forma parte de cómo se les trata.

Un orden del día para la reunión del comité sobre casos dudosos

No todos los resúmenes necesitan discusión. Prepare una lista solo de los dudosos y use un orden del día breve para que la reunión termine a tiempo.

1. Confirmar las reglas de decisión (5 min) 2. Resúmenes con revisiones contradictorias, por línea (30 min) Para cada uno: se leen los comentarios de los dos revisores; el responsable de línea propone; el comité decide 3. Resúmenes cercanos al umbral para pósteres (15 min) 4. Comprobación de capacidad: turnos orales y paneles de póster disponibles (10 min) 5. Confirmar las decisiones y la fecha de envío de las cartas (5 min)

Mantener un registro que pueda mostrar a un autor

Tarde o temprano un autor preguntará por qué se rechazó su resumen. Guarde las puntuaciones, los comentarios y el motivo de la decisión junto al resumen. Basta una nota de una línea como «Bajo el umbral en solidez; revisores de acuerdo». Si una decisión cambió tras la discusión del comité, anote por qué. El objetivo no es defender cada decisión, sino poder explicar cada una y mostrar que el proceso se aplicó de forma pareja.

Fallos habituales

Estos son los problemas que con más frecuencia dañan un proceso de revisión.

• Revisores asignados antes de comprobar los conflictos.
• Rúbrica compartida solo después de que algunos revisores hubieran empezado.
• Sin reserva de revisores, de modo que los rechazos dejan resúmenes con una sola revisión.
• Cartas de decisión que repiten los comentarios confidenciales.
• Cambios tardíos del umbral de aceptación sin registro.
• Nadie responsable de reclamar a los revisores que enmudecen.

Medir cómo funcionó el proceso

Tras las decisiones, observe unas pocas cifras: la proporción de revisiones completadas a tiempo, el tiempo desde el cierre del envío hasta las cartas de decisión, el número de resúmenes reasignados y la dispersión de las puntuaciones entre revisores. Anótelas y compárelas con la próxima edición. Pregunte también a los revisores, en una encuesta breve, si la carga y las instrucciones fueron razonables. Las cifras muestran dónde el proceso fue lento; los comentarios dicen por qué.