lunes, 16 de marzo de 2015

DE CÓMO ENSEÑAR HISTORIA CON VIDEOJUEGOS

De cómo enseñar historia con videojuegos



Por Nicolas Trépanier
Traducción de Anaclet Pons
Publicado en: http://elmalpensante.com



 No es muy frecuente que la academia muestre interés alguno por actividades como los videojuegos. Después de superar el prejuicio de verlos como una total pérdida de tiempo o como una interpretación poco rigurosa de la época, un profesor encuentra en títulos históricos como Assassin’s Creed una valiosa herramienta para orientar su cátedra.

“¿Cuánto de Assassin’s Creed es, digamos… cierto?”. La voz se hace más vacilante a medida que el estudiante se da cuenta de lo tonto que debe parecer preguntando por un videojuego en medio de un sesudo curso de historia en la universidad.
Muchos de nosotros hemos tenido esta experiencia: se plantea una cuestión sobre algunos datos históricos aparecidos en un videojuego, y nosotros, los profesores, no podemos ofrecer otra respuesta más que enumerar todas las cosas en las que el juego es erróneo. Eso suponiendo que sepamos del juego en cuestión, por supuesto.



Me cansé de estar atrapado en el desdén, sobre todo porque sé que muchos estudiantes llegan a la universidad interesados en la historia precisamente porque han jugado con videojuegos de tema histórico. Un curso sobre las Cruzadas, la revolución estadounidense o las guerras napoleónicas quizá suene especialmente interesante para alguien que ha estado allí. Como docentes de historia, ¿eso no nos da algo con lo que trabajar?
Después de diseñar e impartir en dos ocasiones un curso sobre las representaciones de la historia en los videojuegos, las inexactitudes históricas de Napoleon: Total War o Civilization IV son tan obvias para mí como siempre. Pero también me doy cuenta, incluso más de lo que esperaba, de que los videojuegos son una forma muy eficiente para conseguir que los estudiantes se involucren en la historiografía y para ofrecerles una perspectiva crítica y sofisticada que es probable que mantengan viva tiempo después de graduarse.

De la pantalla al aula

 Los nizaríes –o asesinos, como se les conoce en Occidente– fueron una secta chií secundaria que se convirtió en un importante actor político en el Oriente Próximo durante la época de las Cruzadas. Ellos inspiraron la primera de una serie de videojuegos de gran éxito, cuyos capítulos posteriores han explorado la Italia del Renacimiento, el imperio otomano, la guerra revolucionaria estadounidense y, más recientemente, la edad de oro de la piratería en el Caribe. Pero los nizaríes son también objeto de una tradición historiográfica que está caracterizada por unas marcadas representaciones negativas en las fuentes primarias (escritas por los opositores suníes y los perplejos viajeros europeos), por tropos orientalistas (Bernard Lewis, némesis del teórico Edward Said, escribió lo que sigue siendo el mejor bestseller sobre el tema), y el revisionismo posorientalista.
Mirando el primer juego de la serie, ambientado en 1191, algunos podrían argumentar que lo que la mayoría de historiadores puede hacer es listar las (numerosas) imprecisiones del juego, y dejarlo así. Como observé impartiendo este curso, eso supondría perder una oportunidad excepcional para mostrar a los alumnos que la historia no es solo “lo que pasó”, sino más bien el resultado de la investigación, la crítica de las fuentes y los debates entre distintos enfoques teóricos.
El curso que diseñé para el McDonnell Barksdale Honors College en la Universidad de Mississippi es un seminario que requiere de los alumnos jugar con un par de videojuegos de tema histórico mientras leen artículos académicos relacionados con el período o el tema que es central en el juego. Al seleccionar los juegos con los que mis alumnos tienen que jugar, procuré incluir diversos géneros, ya que el componente histórico no cumple el mismo papel en todas partes. Así, juegos de acción y aventura como los de Assassin’s Creed ofrecen una visión relativamente estática del período de tiempo que utilizan como telón de fondo, mientras que juegos de gestión de imperios como los de la serie Total War tratan de simular los procesos sociopolíticos y económicos de una manera más dinámica. Por otra parte, los juegos que tienen por lo menos un par de años son preferibles tanto por su precio relativamente bajo (a diferencia de muchos juegos recientes que pueden ser igual de caros que –¡horror!– un libro de texto universitario) como por su compatibilidad con los modelos antiguos de ordenadores portátiles; esto es una ventaja cuando las últimas consolas de juegos se venden por un precio alrededor de 500 dólares.
Los estudiantes prefieren los títulos más recientes, por supuesto, pero tienen más libertad en la segunda mitad del semestre, cuando un proyecto de investigación individual les obliga a vincular uno o varios juegos de su elección a una cuestión de importancia historiográfica. Así que mis estudiantes han escrito artículos sobre temas que van desde las intrigas políticas o la arquitectura eclesiástica en la Italia del Renacimiento, hasta las ideas populares sobre la naturaleza en la América del temprano siglo XX, y desde las perspectivas culturales en conflicto sobre la guerra en la época de Cortés a las motivaciones de las incursiones vikingas.

Tratar con imprecisiones


Sí, los videojuegos “históricos” están llenos de imprecisiones. Sin embargo, más que una limitación, estas imprecisiones pueden servir de pretexto para debatir. Por ejemplo, ¿qué factores básicos, más allá de la pura ignorancia, causaron estas imprecisiones? ¿De qué manera las diversas influencias culturales, tales como las convenciones del cine, determinan la forma en que presentan la historia? ¿Cómo se relacionan con consideraciones éticas y comerciales? Es bastante sorprendente ver hasta qué punto, por ejemplo, los creadores del original Assassin’s Creed eliminaron cualquier contenido religioso de un juego inspirado en un grupo que una generación anterior de historiadores había presentado como terroristas islámicos. De hecho, plantear estas preguntas a menudo hace que los debates de clase deriven hacia la relación entre estas inexactitudes y las discusiones historiográficas en curso –por ejemplo, observando cómo los académicos actuales critican las investigaciones más antiguas sobre los nizaríes, y tratando de identificar los historiadores cuyas obras podrían haber guiado las decisiones de los diseñadores de los juegos–.



Al final del semestre, los estudiantes se habían hecho muy conscientes de que el término de comparación, al evaluar la fiabilidad de los videojuegos de tema histórico, no es “la historia objetiva y real”, sino más bien el resultado constantemente debatido y a veces contradictorio de la investigación historiográfica. Por tanto, este seminario tuvo éxito, más que la mayoría de los cursos de pregrado, en acercar a los estudiantes al trabajo que hacen los historiadores, no solo como profesores, sino también como investigadores académicos.
En el proceso, los estudiantes también descompusieron el concepto de “inexactitud histórica” en una variedad de subcategorías, tales como la estética (la apariencia visual de los edificios de Jerusalén bajo el sultanato de Saladino), los elementos narrativos pasivos (escenas que proporcionan trasfondo y pretexto a las acciones de los “asesinos”) y la psicología (al preguntar, por ejemplo, si el sistema de castigo/recompensa integrado en la mecánica del juego se corresponde con el contexto cultural del Levante medieval); teniendo en cuenta al mismo tiempo las características singulares de los videojuegos como medio, desde el entorno tridimensional que nos permite explorar, hasta su propósito esencial de creación de una experiencia divertida.

Beneficios


El beneficio más obvio de este seminario fue la excitación que generó entre los estudiantes, quienes rara vez llegan a hablar de videojuegos en el aula. Pero también les dio una forma alternativa de dialogar con las publicaciones académicas. Un típico curso de historia de pregrado se define por un cuerpo de conocimientos dados, por lo general una narración cronológica que representa un consenso académico. Su doble objetivo es el de transmitir este conocimiento a los estudiantes mientras se les capacita en una serie de habilidades intelectuales transferibles a lo largo del camino. Cuando las cosas van bien, los estudiantes salen del curso sabiendo más sobre la Guerra de Sucesión española o sobre la institución de la esclavitud, así como mejoran su pensamiento y sus habilidades de escritura. Al final, sin embargo, pocos estudiantes se dan cuenta realmente de la multitud de debates que han llevado a la creación de ese cuerpo de conocimientos históricos.



En este seminario, los videojuegos con que los alumnos jugaron antes de empezar las clases fueron el principio organizativo central. Concretamente, esto nos permitió dedicar todo nuestro tiempo de debates a la complejidad y a los matices de las fuentes, métodos e interpretaciones de los historiadores. De hecho, el nivel de discusión se acrecentó a medida que pasaban las semanas, y en poco tiempo los estudiantes aludían a los alcances, el tono, el enfoque y los argumentos presentados en los diferentes artículos, invocando consideraciones sobre los retos metodológicos, los enfoques teóricos alternativos y otros debates en curso. El compromiso que tenían con la historiografía, en definitiva, se elevó a un nivel que no recuerdo haber visto entre los estudiantes de pregrado.
La perspectiva crítica que los estudiantes adquirieron en este seminario también podría tener un potencial más duradero que el de un curso medio de historia. Los videojuegos tienden a ser más populares entre los más jóvenes, es cierto, pero se trata de una cuestión generacional más que de edad. Como tal, es muy probable que los videojuegos sobre Cruzadas estén presentes en las vidas de algunos de ellos mucho tiempo después de que hayan vendido sus libros de texto en eBay. Y, de hecho, destacados profesores del Honors College me han dicho que, si bien están acostumbrados a escuchar a los estudiantes discutir sobre los videojuegos por los pasillos, fue a los participantes en este seminario a quienes por primera vez escucharon adoptar un tono decididamente académico y debatir sobre temas como el modelado por computador del cambio social en las conversaciones que tuvieron entre clases.
Por último, el curso permitió que estos estudiantes conocieran la vanguardia de la investigación y el debate académicos, lo que generó un poco de emoción y unas oportunidades únicas. Así, la próxima vez que ofrezca este curso, mis estudiantes leerán un artículo revisado por pares, que fue escrito originalmente para el curso¹.

Más allá de las limitaciones


Alguien se sorprenderá por la idea de un curso sobre videojuegos en la universidad, y con razón. Como medio, los videojuegos están sujetos a unas limitaciones que los hacen incapaces de transmitir los matices y la complejidad de la buena historiografía. Pero es posible reconocer estas limitaciones y, a pesar de ello, emplear el medio de manera constructiva, de una manera que motive a los estudiantes y complemente (aunque, por supuesto, nunca debería sustituir) el currículo ordinario. Y en cuanto a si Assassin’s Creed ofrece un retrato veraz de la historia, bueno, esta es una cuestión a la que vale la pena dedicar un par de semanas de discusiones.

__________________
1.      Joshua Holdenried y Nicolas Trépanier, “Dominance and the Aztec Empire: Representations in Age of Empires II and Medieval II: Total War”, en Matthew Kapell y Andrew Elliott (eds.), Representations of History in Videogames, Bloomsbury Academic, Nueva York, 2013, pp. 107-119. Por cierto, hay que señalar el lugar alarmantemente marginal que los historiadores tienen en los debates sobre la relación entre historia y videojuegos. Por ejemplo, solo una tercera parte de los colaboradores de ese volumen tiene la historia como filiación disciplinaria principal. Pero como primer libro que aborda el tema, también ofrece un punto de partida potencialmente importante para los historiadores interesados en seguir ese camino.

  Nicolas Trépanier es miembro del Departamento de Historia de la Universidad de Mississippi. Su primera monografía académica, 

viernes, 20 de febrero de 2015

LA DECLARACIÓN DE SAN FRANCISCO (DORA) Y LA MALA BIBLIOMETRÍA





La Declaración de San Francisco (DORA) y la mala bibliometría

Isidro F. Aguillo

La publicación de la llamada Declaración de San Francisco (Declaration on Research Assessment Putting science into the assessment of research) (1)  en la que explícitamente se denuncia el uso del factor de impacto como herramienta en los procesos de evaluación de la actividad científica ha sido recibida con entusiasmo por buena parte de la comunidad investigadora. Aunque no tan evidente, la citada Declaración, termina también cuestionando el análisis de citas en particular y la bibliometría en general para los fines de evaluación. Aunque es cierto que se ha abusado del Factor de Impacto de Garfield, más allá de las propias recomendaciones de su creador y de los continuos consejos de la comunidad bibliométrica, el éxito de la Declaración obliga a reflexionar sobre las razones para el rechazo no ya de un indicador particular, sino de toda la estrategia basada en métricas para medir el rendimiento, visibilidad y calidad de la producción científica.

Obviamente hay que excluir del análisis al conjunto de académicos que rechazan cualquier tipo de evaluación de la actividad investigadora, puesto que no se dedican a ella. Por ejemplo, en España los incentivos económicos más importantes de los docentes universitarios están ligados a la actividad investigadora, independientemente de su carga lectiva o los medios o recursos a los que tengan acceso, lo que efectivamente dificulta o imposibilita algún tipo de producción científica. La ausencia de contrapartidas ligadas a otras actividades puede explicar el rechazo a este tipo de incentivos y su sistema de adjudicación.
Un segundo grupo lo constituyen aquellos científicos que han alcanzado un elevado estatus académico, incluyendo un reconocido prestigio entre sus pares locales, a partir de explotar relaciones y otros resultados intangibles, cuando no contribuciones de impacto muy localizado, pobre calidad o insignificantes. La bibliometría en estos casos puede descubrir, quizás inopinadamente para muchos de sus colegas y discípulos, las carencias y limitaciones de la carrera del investigador en cuestión. Es obvio que los interesados rechacen, incluso de manera violenta, la generalización de métodos objetivos de evaluación.
El presente ensayo pretende analizar, si además de los colectivos contrarios a las métricas, hay otras razones para explicar el rechazo de un uso más extendido de los indicadores bibliométricos. Adelantaré al lector que mi tesis es que los intereses comerciales de los productores de bases de datos bibliométricas, la desidia de la comunidad de especialistas en técnicas métricas, la mala praxis de muchos aficionados y algunos profesionales y el desconocimiento temerario de los gestores políticos y académicos pueden estar detrás de este lamentable e injustificado rechazo. De forma sintética, se intentará establecer que la causa última es la generalización en las últimas décadas de un fenómeno que doy en llamar “mala bibliometría”.

El pecado original: Los “índices de citas” de Garfield.
El monopolio durante varias décadas de las bases de datos del ISI explica en el largo plazo algunos de los problemas que enfrentamos en la actualidad. Dejando a un lado los importantes sesgos en la cobertura de la producción científica mundial, hay que destacar varias decisiones técnicas y comerciales claves:
Una unidad de trabajo, la revista, que aunque útil para construir indicadores de actividad (producción), es manifiestamente inadecuada para crear indicadores de visibilidad o impacto. Todo ello unido a una clasificación temática de las revistas muy subjetiva, mal reflejo de las relaciones disciplinares de los títulos incluidos. Como parte de una política inmovilista que caracterizó a este sistema hasta la aparición de Scopus, muchas de las categorías continuaron existiendo incluso cuando era evidente su artificiosidad.
Un indicador principal (el infame factor de impacto, que crea un artefacto de citas esperadas en lugar de citas reales, que pueden ser valores muy diferentes) común a todas las disciplinas (que en realidad tienen diferentes distribuciones y escalas) con una ventana temporal (dos años) inapropiada para muchas de las áreas y que penalizaba la estabilidad interanual de un sistema muy dinámico.
La ausencia de un sistema de desambiguación tanto de nombre de autores como de normalización de los nombres de instituciones en las afiliaciones.
La utilización de una matriz de citas que identificaba pares revista-revista en vez de artículo-artículo (citante-citado).
El (posterior) sistema de cuartiles, construido sobre posiciones en la lista, y no como lógicamente había que hacer, sobre los valores absolutos del indicador.

De esos barros vinieron lodos
En las décadas de los 80s y 90s el acceso a los datos de las bases del ISI solo se podía realizar a través de complejas y caras estrategias en Dialog o mediante lentísimos lectores de CD-ROM de aún más caros discos, guardados celosamente por expertos poco proclives a compartirlos y frecuentemente no actualizados. Alternativamente, una edición en papel impresa y vendida clandestinamente del “Journal Citation Reports” se convertía en manos de inexpertos investigadores de todo el país en piedra filosofal objeto de adoración. Aún hoy tan magno documento es pieza central, única si excluimos los intereses personales o disciplinares, de las discusiones en los famosos comités de expertos.
Los trabajos descriptivos de materias e instituciones se multiplican, muchos de ellos tesis doctorales, aunque en la mayoría de los casos se trata de meros conteos sin valorar aspectos clave tanto de la estructura de la organización ni de las prácticas de publicación de la disciplina. Es frecuente, por ejemplo, que se utilice la temática general de las revistas, siguiendo a rajatabla la sesgada clasificación del ISI para delimitar la producción en un área, lo que o bien infrarrepresenta dicha producción al excluir contribuciones publicadas en revistas no incluidas o, por el contrario, incluye múltiples publicaciones ajenas si el área tiene algún componente metodológico de carácter horizontal a otras disciplinas.
La consecuencia lógica, pero nunca reconocida salvo por algún honrado miembro de tribunal, fue la estupefacción de los especialistas que ni reconocían los patrones mostrados ni estaban de acuerdo con los líderes identificados. Cabe recordar la famosa visita de Garfield, que en un tour por España presentaba los resultados para el país que había obtenido de manera automática, y que mostraba una lista de científicos españoles muy citados. En muchos casos, aparte del asombro de los auditorios, los resultados causaron hilaridad entre los responsables ministeriales.
Aunque es posterior, es necesario señalar que el producto “Essential Science Indicators” sigue esa misma tradición de no realizar control documental sobre los resultados obtenidos de forma automática. Se puede comprobar fácilmente los problemas de normalización de nombres (autores con 30.000 publicaciones), los fallos en las afiliaciones o las disparatadas clasificaciones y aun así sigue siendo utilizado por los amigos de la bibliometría fácil (véase por el ejemplo el ranking turco URAP).
La comunidad bibliométrica publicó durante esos años números trabajos criticando abiertamente el uso abusivo del factor de impacto, con el asentimiento explícito del propio Garfield presente en muchas ocasiones. Pero al igual que las críticas a los problemas de cobertura solo como introducción a prolijos análisis que utilizaban tanto la denostada fuente como el inadecuado indicador. Cierto es que algunos de ellos proponían alternativas, juiciosas unas (como por ejemplo factores modificados por disciplina, o factores con ventanas más dilatadas), inviables otras, pero que nunca dieron lugar ni a bases de datos más inclusivas, ni a JCRs alternativos y ni siquiera a un acuse de recibo por parte de ISI, ya Thomson.
La ausencia de desarrollo de herramientas alternativas, complementarias o derivadas por parte tanto de la comunidad métrica como de ISI/Thomson es un claro símbolo del fracaso de la bibliometría, no como disciplina científica, todavía brillante, sino como técnica incontestable y objetiva en los procesos de evaluación.

Autorías, conteos y colaboraciones
La aparición de la plataforma WoS permitió incrementar de forma considerable la cantidad y calidad de los estudios bibliométricos. No solo se podía filtrar de forma más precisa los resultados por autor, afiliación, disciplina o palabra clave, sino que el análisis de citas pasó a utilizar citas reales en vez de citas esperadas. Aunque la desambiguación de autores seguía siendo un proceso laborioso, los trabajos micro, meso y macro eran ahora viables y al alcance de cualquiera con un poco de dedicación. Sin embargo, la supuesta facilidad generó en seguida una grave problemática. Así superado el modelo Medline de atribuir toda la autoría al primer autor/institución, y antes de que la inflación del número de firmas cuestionara el conteo fraccionado puro, la mayoría de los bibliómetras aceptaron como estándar el conteo completo, es decir asignar el 100% a todos y cada uno de los autores de los trabajos.
Este acuerdo tácito favoreció los estudios de co-autoría, perdón quiero decir de colaboración, el sucedáneo de la bibliometría fácil en un tema de cada vez mayor importancia estratégica en la definición de políticas científicas. El tratamiento descuidado de las colaboraciones asimétricas (frecuentes en Iberoamérica) provocó el rechazo de resultados poco informados, nuevamente para descrédito de la disciplina. Pero quizás la distorsión de mayor impacto en el largo plazo fue que el conteo completo favoreció, aunque sea indirectamente, el aumento del número de publicaciones con múltiples firmas y también el número medio (moda) de estas. Es necesario recordar que en muchos países de Latinoamérica el incremento porcentual de la co-autoría explica incluso mucho más que el aumento de su producción bruta. Es decir, que la supuesta mejora de la actividad científica de muchas instituciones y países, de la que se ufanan políticos y gestores, no es sino un puro artefacto técnico. Cómo si no se explicaría que la producción científica española crezca de forma constante incluso después de muchos años de profunda crisis de financiación (lustros, que invalidan explicaciones basadas en condicionantes técnicos como el retraso en la publicación de resultados).

Scopus
El fin del monopolio que supone la publicación por parte de Elsevier de la base Scopus parece traer algunas mejoras. Se cita normalmente la mayor cobertura, especialmente en ciencias sociales y humanas, aunque ya todos los expertos reconocen que esa extensión afecta sobre todo a la cola de distribución de la calidad. Aunque se incrementa el número de revistas, no aumenta de manera similar el número de trabajos, y los criterios de inclusión parecen más relajados. Pero esto tiene una consecuencia, lógica entre competidores comerciales que luchan por un mismo mercado, y que o bien ha pasado inadvertida a muchos usuarios o simplemente han preferido ignorarla: WoS/Thomson incrementa también su cobertura, incorporando centenares de títulos “locales” o “regionales”, lo que quiere decir que de forma artificiosa se aumenta el volumen de la producción científica a nivel mundial, pero también a nivel individual, institucional o nacional. La solución obvia de empezar a usar indicadores relativos, especialmente en los estudios temporales, no parece casar bien con ciertos intereses interesados de expertos buscando financiación.
La aparición de Scopus revoluciona también la batería de indicadores disponibles. Se generaliza el uso del índice h, sin tener en cuenta recomendaciones para matizar según edad académica o particularidades disciplinares, y Thomson introduce el factor de impacto de 5 años y el Eigenfactor, propuestas que cosechan un absoluto fracaso. Se critica su complejidad, comentario también utilizado para describir las alternativas para Scopus (curiosamente no desarrolladas por la propia Elsevier), como el SNIP (CWTS) o el SJR (Scimago). Es cuando menos extraño que ninguno de estos indicadores claramente superiores, opinión que cualquiera con conocimientos de algebra o simple espectador del éxito del algoritmo de Google suscribiría, haya sido adoptado de forma generalizada para la construcción, por ejemplo, de cuartiles de revistas. Más sorprendente aún es la reciente introducción del indicador CPP (¡citas por artículo!) por parte del CWTS, básicamente un remedo del factor de impacto, lo que nos hace retroceder décadas.

Rankings
Si hay un ejemplo paradigmático del fracaso histórico de la bibliometría éste es el éxito del llamado Ranking de Shanghái, un trabajo propio de un estudiante de secundaria, que sin base bibliométrica, indicadores cuestionables y nula evolución a lo largo de más de una década se ha posicionado como referente de “prestigio” en la evaluación de las Universidades. Sorprende que trabajos más rigurosos (y mucho más tardíos) como el Ranking de Leiden o el de Scimago no hayan logrado competir y que incluso compartan análisis con subproductos como el Ranking NTU o el ya citado URAP.
Pero, a los efectos de este análisis, el ranking más interesante es posiblemente el de Times Higher Education (THE). Aunque utiliza, como el ranking de QS y el de US&World News, datos de encuestas de opinión, obviamente información subjetiva y sesgada, también usa, y en un elevado porcentaje datos bibliométricos. La fuente de estos es nada menos que Thomson que no es un mero suministrador, sino que ha desarrollado específicamente indicadores para este ranking. El despropósito es inaudito y el fiasco de tal calibre que THE ha decidido cambiar de proveedor y pasarse a la competencia (Scopus): El indicador es relativo al tamaño de la producción en cada disciplina, utiliza un umbral ridículo y acepta conteos completos en áreas como la astrofísica y la física de altas energías. Ello da lugar a que, por ejemplo, universidades con un firmante entre los miles del trabajo que informa del descubrimiento del Bosón de Higgs permita situarlas entre las mejores del mundo.
No obstante, los rankings han tenido la virtud de volver a poner la bibliometría en el centro del debate, incluso en países con escasa tradición en el uso de indicadores métricos. Pero no siempre las interpretaciones son correctas, lo que queda bien ilustrado con sugerencias mediocres como incrementar la producción en cuartiles inferiores, en vez de cuidar la publicación de excelencia, aumentar las co-autorías explicita e independientemente de la colaboración real o simplemente “obligar” la normalización de las firmas y afiliaciones.

Google Scholar, en español Google Académico
Un pecado habitual tanto dentro como fuera de la comunidad bibliométrica era identificar las carencias específicas de las fuentes (WoS, Scopus) como problemáticas intrínsecas de las disciplinas. Los análisis DAFO confundían (y aún lo hacen con la Webometría y la Altmetría) limitaciones coyunturales con problemas estructurales. La aparición de un tercer contendiente (Google Scholar) demuestra que con las herramientas adecuadas se puede evaluar objetivamente la publicación informal, las contribuciones en monografías o el creciente número de publicaciones en acceso abierto y todo ello independientemente de la disciplina, pues todas ellas (incluyendo ciencias sociales, humanidades y tecnologías, tradicionalmente maltratadas en las otras fuentes) aparecen razonablemente representadas en esta base de acceso gratuito.
Lamentablemente, aunque concediendo que GS tiene todavía muchas limitaciones, muchos autores están ignorando esta herramienta en sus agendas de investigación. El hecho de que algún caso se denigre o desprecie nos lleva a cuestionar si hay también intereses comerciales por parte de equipos ligados mediante acuerdos preferenciales con los otros proveedores. Incluso no sería atrevimiento cuestionar si la propia Declaración DORA no oculta asimismo intereses mercantiles.
En todo caso, señalar que la actitud ante este nuevo actor no es pro-activa, no se reclama su presencia, no se discuten sus propuestas, no se sugieren desarrollos y todo ello en un contexto, donde bajo una apreciación puramente personal, la continuidad y supervivencia de GS no está en absoluto garantizada.

No matéis al mensajero.
Una crítica cada vez más extendida a la evaluación basada en indicadores bibliométricos es la supuesta incapacidad de estos para identificar malas prácticas, incluyendo exceso de auto-citación, círculos de citas, falsas autorías, plagios y otras trampas varias. Ciertamente descubrir las estrategias más sofisticadas puede ser complicado, pero en mi opinión ese no es el problema principal. Como demuestran los hechos, incluso ante el flagrante “delito” el corporativismo de la academia dificulta el adecuado castigo de esas prácticas por mucho que los especialistas en métricas las identifiquen y denuncien. En el contexto de esta contribución, la buena bibliometría no solo ha de entenderse en el sentido de publicar correctos y rigurosos estudios sino también en el de hacer públicos los datos de la forma más transparente posible. No es frecuente la publicación de perfiles personales, de grupos o de organizaciones que permitan el escrutinio público de los datos y la posible denuncia de comportamientos poco éticos, pero son dichas herramientas y resultados los que pueden guiar a una mejor gobernanza del sistema.

A modo de conclusión
Un grupo de profesionales de la bibliometría, crecientemente preocupados por el descrédito de la disciplina, motivado a nuestro parecer por la proliferación del uso poco informado y descuidado de las bases de datos bibliométricas, la poca transparencia en un entorno cada vez más comercializado y la convivencia ignorante o interesada de gestores y políticos, nos hemos venido reuniendo en los últimos años en congresos científicos en Viena, Berlín y Leiden para estudiar la situación. Se está preparando un borrador de un documento que frente al DORA recibirá el nombre de Declaración de Leiden y que, en espera de su redacción definitiva, hace un llamamiento para desterrar la mala bibliometría y confiar estos estudios a profesionales con experiencia comprobada. De momento, nada que objetar.

(1)       American Society for Cell Biology (2013). San Francisco Declaration on Research Assess (DORA). http://www.ascb.org/dora-old/files/SFDeclarationFINAL.pdf

Isidro F. Aguillo
Miembro del Grupo ThinkEPI
ORCID 0000-0001-8927-4873
ResearcherID: A-7280-2008
Scholar Citations SaCSbeoAAAAJ