sábado, 26 de febrero de 2011

LOS PROBLEMAS DE LA EVALUACION EN HUMANIDADES



REVISION POR PARES -PEER REVIEW.   Por Anaclet Pons

El pasado verano la Universidad de Virginia acogió uno de los seminarios anuales que celebra su Scholarly Communication Institute. En esta ocasión, el asunto tratado fue: “Emerging Genres in Scholarly Communication”. El balance final está disponible para quien quiera leerlo, así como un breve resumen.

El texto empieza con esta reflexión: “Los actuales modelos basados en la impresión de la producción, evaluación y publicación académicas se han demostrado insuficientes para satisfacer las demandas de los académicos y los estudiantes en el siglo XXI. En las humanidades, lo que el estudioso de la literatura James Chandler llama “the predominating tenure genres” de la monografía y los artículos de revistas se encuentran ante la acometida de una tormenta perfecta de grandes trastornos que afectan a la educación superior. (...)  Los humanistas y sus colegas en las bibliotecas, las editoriales y los gestores de la educación superior necesitan asegurarse que las humanidades alcanzarán un máximo impacto entre los usuarios a través del acceso máximo. La aceleración del desarrollo de nuevos modelos de publicación que lleguen a las comunidades de usuarios más rápidamente es crítica”.

A propósito de todo eso, Dan Cohen recordó hace meses un texto que iba en una dirección parecida. (...) Cohen entresacaba esta afirmación:

“La mayoría de los artículos publicados en PNAS (PNAS es el acrónimo de “Proceedings of the National Academy of Sciences“, una de las revistas más citadas en su ámbito)  se envían directamente a la revista y siguen el proceso de revisión estándar. El consejo editorial nombra a un editor para cada envío directo, quien solicita revisores. Durante el proceso de revisión los autores desconocen la identidad tanto del editor como de los revisores. PNAS se refiere a este método de publicación como “Vía II”. Además de la presentación directa, a los miembros de la National Academy of Sciences (NAS) se les permite “comunicar” hasta dos artículos por año por otros autores. En este caso, los autores envian su texto a los miembros de la NAS, que luego requieren las opiniones de al menos otros dos investigadores y presentan el documento y las evaluaciones al consejo editorial del PNAS para su aprobación. Al igual que con las presentaciones directas, los autores de los artículos “comunicados” desconocen al menos en teoría la identidad de sus revisores, pero no la identidad del editor. PNAS se refiere a este método de publicación como “Vía I”. Por último, los miembros de la NAS están autorizados a “contribuir” con tantos de sus propios trabajos al año como deseen. En este caso, los miembros del NAS eligen a sus propios revisores, recogen al menos dos evaluaciones y presentan su texto junto con las evaluaciones a la junta editorial del PNAS. La revisión por pares ya no es ciega, en tanto los miembros de la NAS seleccionan a sus propios evaluadores. PNAS se refiere a este método de publicación como “Vía III” …

Examinar los trabajos publicados en el PNAS ofrece una oportunidad para evaluar cómo estas diferencias en la presentación y en el proceso de revisión por pares dentro de la misma revista afectan al impacto de los trabajos finalmente publicados. La posibilidad de que el impacto varíe de forma sistemática según la vía escogida ha recibido una gran atención últimamente, en particular a la luz de la decisión de PNAS de suspender la vía I. El análisis de citas que presentamos proporciona un tratamiento cuantitativo de la calidad de los trabajos publicados a través de cada vía, un debate que hasta ahora ha sido en gran medida de naturaleza anecdótica”. Y está es parte de la conclusión de ese estudio:

“El análisis presentado aquí demuestra claramente la variación en el impacto de los trabajos publicados mediante diferentes procesos de revisión en el PNAS. Encontramos que, en general, los textos cuyo autor es miembro de la NAS y ha contribuido al PNAS se citan significativamente menos que los que proceden de envíos directos. Sorprendentemente, sin embargo, encontramos que el 10% de las contribuciones más citadas reciben significativamente más citas que el 10% de los envíos directos más citados. Así, las contribuciones dan textos menos influyentes en promedio, pero es más probable que produzcan textos realmente excepcionales”.

Sospecho, concluye Cohen, que esto será verdad para muchos nuevos tipos de comunicación académica que se liberan de la revisión tradicional inter pares. Debido a su carácter más abierto y despreocupado, estos géneros, como los blogs, sin duda contienen mucha paja, y por tanto se los clasifica de forma estereotipada y negativa por muchos profesores, que (como he señalado en este espacio) son excesivamente conservadores en cuando a la comunicación académica. Pero en ese mar de material no tradicionalemte revisado habrá muchas publicaciones creativas e influyentes. Estoy dispuesto a apostar que eso será aún más pronunciado en las humanidades, donde la revisión por pares tradicional es particularmente hábil en homogeneizar el trabajo académico.
 
Publicado en : Clionauta: Blog de Historia
Noticias sobre la disciplina (Anaclet Pons)
En este post hemos publicado un fragmento. Para leer entero el texto de Pons :
http://clionauta.wordpress.com/2011/02/23/revision-por-pares-peer-review/