Rúbrica para evaluar resúmenes: criterios de puntuación y ejemplos

Por qué una rúbrica

Sin rúbrica, un 4 de un revisor puede significar lo que un 2 de otro. La rúbrica no elimina el juicio: lo hace comparable y da a la presidencia algo a lo que remitirse cuando un autor pregunta por qué se rechazó su resumen.

Cinco criterios que sirven para la mayoría de reuniones

Mantenga la lista corta. Cada criterio debe poder valorarse con un resumen de unos cientos de palabras.

• Adecuación al ámbito: ¿pertenece el trabajo a esta reunión y a esta línea temática?
• Solidez científica: ¿son coherentes la pregunta, el método y las conclusiones?
• Originalidad e importancia: ¿aporta algo al público de esta reunión?
• Claridad: ¿puede un especialista seguirlo sin el trabajo completo?
• Adecuación al formato: ¿funciona como comunicación oral, como póster o solo en uno de ellos?

Escala con descriptores

Use cinco niveles y describa cada uno. Los descriptores importan más que el número de niveles.

5 Excelente: aportación clara, método sólido, mejoraría el programa. 4 Bueno: trabajo sólido, debilidades menores que no afectan a las conclusiones. 3 Aceptable: pertinente pero incompleto o poco claro en algún aspecto. 2 Débil: problemas importantes de método, evidencia o claridad. 1 Inadecuado: fuera del ámbito o no presenta ningún resultado.

Pedir una recomendación y un comentario

Además de las puntuaciones, pida una recomendación (aceptar como oral, aceptar como póster, rechazar) y un comentario breve escrito para el autor. Reserve las observaciones confidenciales para el comité en un campo aparte, para que nada se filtre a la carta de decisión.

Ejemplo práctico: puntuar dos resúmenes

El ejemplo siguiente muestra cómo la rúbrica convierte la impresión de un revisor en una puntuación que otra persona puede seguir. Ambos resúmenes son ficticios. Observe que el segundo es científicamente interesante pero puntúa bajo en claridad, y que el comentario dice al autor exactamente qué corregir.

Resumen A: «Predicción de niveles fluviales con un modelo híbrido» Adecuación 5 · Solidez 4 · Originalidad 3 · Claridad 5 · Formato 5 Total 22/25 Comentario para el autor: Claro y bien estructurado. La comparación con la referencia convence; indique el tamaño del conjunto de prueba. Recomendación: Aceptar como oral. Resumen B: «Un nuevo enfoque de los problemas de aguas subterráneas» Adecuación 4 · Solidez 3 · Originalidad 4 · Claridad 2 · Formato 3 Total 16/25 Comentario para el autor: La idea es prometedora, pero el resumen no dice qué datos se usaron ni qué resultado se obtuvo. Añada un método y un hallazgo principal. Recomendación: Aceptar como póster, sujeto a revisión.

Ponderación y puntuaciones totales

Sumar cinco puntuaciones de igual peso es la opción más sencilla y suele bastar. Si su comité considera que algunos criterios pesan más, decida las ponderaciones antes de puntuar y comuníquelas a los revisores, en lugar de ajustarlas después de ver los resultados. Elija lo que elija, recuerde que un total sirve para ordenar resúmenes, no es una decisión.

• Pesos iguales: fácil de explicar, y los revisores no tienen que calcular nada.
• Ponderado: por ejemplo, la solidez cuenta el doble, si la reunión es muy metodológica.
• Reglas de umbral: por ejemplo, todo resumen con 1 en adecuación o solidez se rechaza sea cual sea el total.
• Franja dudosa: acuerde de antemano el rango de totales que el comité discutirá, por ejemplo de 14 a 17 sobre 25.

Adaptar la rúbrica al formato

Los mismos cinco criterios no encajan igual en todos los tipos de contribución. Mantenga la estructura y ajuste el énfasis, para que los revisores no penalicen un póster por no ser una charla completa.

• Comunicación oral: dé más peso a la claridad y la originalidad, porque el público la oirá una sola vez.
• Póster: acepte trabajos en curso si la pregunta y el método son sólidos, y pregunte cómo funcionará visualmente.
• Propuesta de simposio: añada un criterio sobre la coherencia de los ponentes y el valor de la sesión en conjunto.
• Resultados de última hora: relaje la exigencia de un método completo, pero pregunte qué se midió.

Sesgos habituales de los revisores y cómo reducirlos

Los revisores son expertos, y los expertos siguen siendo humanos. Una rúbrica reduce algunos sesgos, pero no todos. Nombrarlos en las instrucciones a los revisores facilita advertirlos.

• Efecto halo: una primera frase bien escrita tiñe el resto. Pida puntuar los criterios uno a uno.
• Sesgo de prestigio: una institución o un autor conocido sube las notas. Use revisión anonimizada donde el campo lo permita.
• Sesgo lingüístico: el resumen de un hablante no nativo se penaliza por el estilo. Pida juzgar la ciencia y marcar aparte los problemas de lengua.
• Severidad e indulgencia: unos puntúan todo bajo y otros alto. Compare la media de cada revisor con la del grupo.
• Fatiga: las notas bajan en el resumen número veinte. Limite el número por revisor y sugiera pausas.

Cuando los revisores no coinciden

El desacuerdo es normal y a menudo útil. Fije un umbral, por ejemplo una diferencia de dos puntos en el total o recomendaciones opuestas, a partir del cual un tercer revisor o el responsable de línea lee el resumen y decide. Pida al tercer lector que anote el motivo en una o dos frases, para poder explicar la decisión más tarde. Evite la media como forma de cerrar la conversación: la media de un 5 y un 1 no dice nada del resumen, solo de los revisores. Cuando el desacuerdo sea sobre el ámbito y no sobre la calidad, resuélvalo en el comité y registre la regla para la próxima edición.

Escribir comentarios que los autores puedan usar

El comentario escrito para el autor es la única parte de la revisión que la mayoría leerá. Pida a los revisores que digan qué funciona, qué no y qué cambiar, en ese orden, y que eviten comentarios personales. Un comentario útil nombra la carencia concreta. «El resumen no es claro» no da nada al autor; «El resumen no dice cuántas muestras se analizaron» le da algo que hacer. Si los revisores saben que el comentario se enviará al autor, escriben de otra manera: dígalo claramente y reserve las observaciones confidenciales para el comité en un campo aparte.

Calibrar antes de puntuar

Antes del periodo de revisión, haga que todos los revisores puntúen los mismos tres resúmenes de ejemplo y compare. Dedique diez minutos a las mayores diferencias. Es la forma más barata de reducir la distancia entre revisores estrictos y generosos, y funciona mejor que un documento largo de instrucciones.