Reflexionando sobre rankings científicos y la ambiguedad de los criterios de ordenamiento

Hace unos días, en el medio de una conversación familiar, surgió el tema de los indicadores de evaluación que se emplean en el medio científico, y como nos ubican a nosotros, como país, en el contexto mundial. En el momento comenté algunas cuestiones, pero también me quedé con algunas dudas, ya que no recordaba números y tendencias con detalle. Por tal razón, decidí hacer un pequeño relevamiento, particularizando en mi área de experiencia, o sea, la ingeniería, y en especial, la ingeniería electrónica. Pero antes de comenzar, voy a presentar la herramienta con la cual voy a hacer este relevamiento.

El lema "Publish or Perish" (Publica o Muere) es casi litúrgico en el ámbito científico mundial. Fuente: Deviant Art.

La base de datos

Para este pequeño experimento casero me voy a basar en la base de datos Scimago Journal & Country Rank (SJR). El grupo de investigación SCImago está formado entidades científicas españolas, más precisamente por el Consejo Superior de Investigaciones Científicas (CSIC) y las Universidades de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares, que trabajan en análisis y representación de información. Uno de sus desarrollos es el portal público SCImago Journal & Country Rank, SJR, que incluye una serie de indicadores científicos de revistas (en la jerga académica, journals) y países, realizado a partir de la información contenida en la base de datos Scopus® (de la editorial Elsevier B.V.). Estos indicadores, que abarcan desde el año 1996 hasta el presente, se usan para evaluar y analizar diferentes dominios científicos, cubriendo cerca de 21500 journals diferentes de 5000 editoriales internacionales, y alcanzando a unos 239 países (aclaración, no son todos países, también incluyen colonias no independientes y territorios con disputas de soberanía, como las islas Malvinas).

SCImago Journal & Country Rank (SJR).

¿Cómo podemos evaluar el desempeño de un país o una institución?

Para empezar, es bueno comentar que uno de los indicadores para evaluar el desempeño de científicos, instituciones y países es número de publicaciones científicas realizadas. Este indicador es discutible, y de hecho hay numerosos debates sobre la pertinencia o no de usarlo como "termómetro" de la ciencia. Podemos hablar de proyectos, patentes, recursos humanos, impacto socioeconómico, pero todos esos otros indicadores son más complejos y solo se pueden evaluar en contexto. Por ejemplo, puedo tener muchas patentes, pero si nadie las compra o las licencia, no sirven de nada, podrían ser inventos sin utilidad real. El impacto social y económico también es difícil de evaluar, y depende mucho de la posición del evaluador. Se usa las publicaciones científicas como indicador por los siguientes motivos:

- Si fueron publicadas es porque las evaluó un comité de revisores especialistas y determinó que su contenido es científicamente correcto y relevante.

- Si una publicación es citada por otros autores, significa que se trata de un tema de interés y que el material es usado por otras personas.

- Por lo tanto, si un investigador publica en revistas que "garantizan" (esto es muy relativo) la rigurosidad científica, y a su vez esas publicaciones son muy citadas, entonces podemos concluir que el investigador en cuestión es bueno y está trabajando en algo útil, de actualidad.

Las revistas científicas ("journals") se han convertido en el tesoro más preciado de investigadores y grupos de investigación. Sin embargo, además de las cuestiones sobre el criterio de selección de trabajos y las razones por las cuales determinadas revistas son buenas y otras no, aparece una amenaza (y una tentación) para los investigadores: las editoriales "predatorias", que publican casi cualquier cosa a cambio de una tarifa. Es un tema que excede a esta nota, pero que trae mucha cola. Fuente: Phys.org.

El contexto mundial

Veamos primero, a vuelo de pájaro, la situación en una escala mundial. En lo que sigue, a no ser que aclare lo contrario, el periodo de análisis comprendido es 1996-2016. En la escala de países aparece a la cabeza, lejos, EE.UU., y atrás le siguen una cohorte de viejos conocidos: China, Reino Unido, Alemania, Japón, Francia, Canadá, etc. El primer país latinoamericano que aparece en la lista es Brasil, en el puesto Nº15, seguido de México en el Nº29 y Argentina en el Nº 37. El que sigue es Chile, en el Nº 45, y de ahí en más se dispersa el resto de países de la región. Esta clasificación corresponde al caso general, o sea, todas las áreas disciplinares. Cuando queremos hilar un poco más fino la cosa cambia. Por ejemplo, cuando ordenamos la escala pero solamente considerando publicaciones del área de ingeniería, nos encontramos con algunas sorpresas. En este caso el primer lugar es ocupado por China, apenas por encima de EE.UU. Un escalón más abajo, con menos de un tercio del peso de los dos primeros, aparecen Japón, Alemania, Reino unido, Francia y Corea del Sur. Ahora los países latinoamericanos se ven relegados a los puestos 18 (Brasil), 33 (México), 48 (Argentina) y 54 (Chile). Si hilamos todavía más fino y analizamos solo la categoría de la Ingeniería Eléctrica y Electrónica, los primeros puestos permanecen casi iguales, aunque China y EE.UU permutan sus lugares, al igual que Corea del Sur y Francia. Las posiciones latinoamericanas se mantienen o decaen un par de lugares: 20 (Brasil), 33 (México), 50 (Argentina) y 54 (Chile).

Ranking mundial de publicaciones, sin discriminar por áreas ni temáticas. Fuente: SJR.

Ranking mundial de publicaciones correspondientes al área de Ingeniería (general). Nótese que China y EE.UU. tiene un empate muy justo, pero triplican, y más, a sus inmediatos seguidores. Fuente: SJR.

El ranking correspondiente a las publicaciones en la rama de las ingenierías eléctrica y electrónica vuelve a mostrar un panorama similar: EE.UU. y China ocupan cómodamente el 1º y 2º lugar, y sacan una diferencia de 3 a 4 veces respecto de sus seguidores más inmediatos. Fuente: SJR.


Hacer una comparativa tan despareja entre países muy desarrollados y otros en vías de desarrollos puede hacernos llegar a conclusiones erróneas. Además, los datos reflejados en SJR son absolutos, y no están relativizados, por ejemplo, al tamaño de la población. Por ambas razones, vamos a poner la lupa en el continente americano y examinemos más en detalle el caso de Latinoamérica, incorporando datos poblacionales para ajustar y relativizar la escala.

Ranking latinoamericano para todas las áreas del conocimiento. Fuente: SJR.

El caso de Latinoamérica

Empecemos el análisis con los datos crudos, tal como nos los ofrece el SJR. Nuevamente veremos que se repite la misma secuencia de antes: primero Brasil, segundo México, luego Argentina, Chile, Colombia, etc, etc. ¿Cuál grande es la diferencia entre estos países? Entre el primero y el segundo hay una relación de 2,9 veces, mientras que las relaciones entre segundo y tercero, tercero y cuarto, y cuarto y quinto la diferencia se achica y mantiene en, aproximadamente, 1,5 veces. Veamos que pasa si ahora afectamos esta escala y la relativizamos a la población de cada país o a su PBI. Esta es una forma algo básica de "pesar" resultados en condiciones de igualdad, ponderando los países no tanto por lo que producen sino por la relación que esto guarda con su tamaño (sea poblacional o económico). Aquí vemos algunas sorpresas interesantes, porque la lista se reordena de diferentes formas:

Tabla ponderada de las publicaciones en todas las áreas del conocimiento, ordenada según la cantidad de publicaciones cada 1000 habitantes.


Cuando medimos los trabajos publicados en relación a la población de los países, la lista sufre algunos cambios de posiciones que son llamativos. Lo primero que vemos es que los tres primeros países se "caen", pero no en ese orden, sino al revés. Argentina, que estaba tercera, relega tres posiciones y queda sexta. Brasil cae del primero al séptimo puesto, mientras que México lo hace desde el segundo al décimo. Entre los primeros cinco puestos nos encontramos con algunos rendimientos sorprendentes, como los de Barbados, Puerto Rico, Uruguay y Trinidad y Tobago. Pero, sin desmerecer a estos cuatro, el más sorprendente es Chile, ya que es el único entre los primeros cinco de la tabla general que escala posiciones. Los otros cuatro son casos algo particulares, donde el nivel de publicaciones no es muy elevado, y la población es reducida, lo cual termina dando un cociente elevado. Sin embargo, Chile tiene tiene un nivel de publicaciones que está un 30% por debajo de la Argentina, pero con una población que es la mitad. Mirando la escala ponderada por población, podemos asegurar que Argentina se encuentra en una posición bastante buena dentro de la región latinoamericana. Pero antes de seguir elucubrando, veamos la tabla ponderada con el PBI.

Tabla ponderada de las publicaciones en todas las áreas del conocimiento, ordenada según la cantidad de publicaciones por cada millón de dólares de Producto Bruto Interno (PBI).

La tabla ponderada por millones de dólares de producto bruto interno, PBI, vuelve a mostrar algunos cambios de posiciones notorios. Nuevamente Chile sube en la escala, hasta alcanzar el primer lugar. Brasil deja la primera posición, pero solo para bajar a la segunda. Sin embargo, ese descenso, que parece muy pequeño, implica que, si Brasil quisiese estar en primer lugar, debería llevar el nivel de publicaciones a 844000, un salto del 12% en el acumulado, que es imposible de lograr en un tiempo corto (no hay que olvidar que los números analizados representa un período completo de veinte años, de 1996 a 2016). Argentina cae al sexto puesto, de nuevo, al igual que México, que lo hace al décimo. Si bien esta ponderación por PBI es un poco burda, ya que no estoy teniendo en cuenta cuantos millones de dólares del mismo se dedican a ciencia y tecnología, nos da una otra visión de los datos. Se puede ver que Chile tiene un rendimiento que es superior al que podría corresponderle por su población y economía, mientras que México y Colombia son el caso contrario, donde su rendimiento parece ser menor a lo que cabría esperar. Argentina y Brasil muestran un comportamiento que es más consistente con la clasificación general, sin ponderar. De hecho, si quitamos a Barbados, Jamaica, Trinidad y Tobago, etc. (no es un juicio de valor, estamos hablando de volúmenes de publicaciones muy diferentes), tanto Argentina como Brasil quedarían entre los primeros cinco sin discutir.


Ingenierías latinoamericanas

Veamos ahora que pasa con las ingenierías en Latinoamérica. Los primeros cinco puestos siguen ocupados por los mismos países, con un mínimo intercambio de posiciones entre Chile y Colombia. Cuando afectamos la producción científica en ingeniería por la población se vuelven a intercambiar puestos. Chile escala desde el quinto al segundo puesto, apenas por debajo de Puerto Rico, y bastante por encima de Trinidad y Tobago y Brasil. Argentina baja al sexto puesto, seguida de México, que desciende del segundo al séptimo lugar. Sin menospreciar el desempeño de Uruguay, Puerto Rico y Trinidad y Tobago, su producción está entre cinco y treinta veces por debajo de los países del "top 5", por lo que podríamos reescribir el ranking de esta forma: 1º Chile, 2º Brasil, 3º Argentina, 4º México, 5º Colombia.


Tabla ponderada de las publicaciones en todas las especialidades de las ingenierías, ordenada según la cantidad de publicaciones cada 1000 habitantes.

El análisis en función del PBI tiene un perfil diferente. Ahora Brasil mantiene el primer lugar, seguido de Chile, Colombia y México. Argentina desciende hasta el séptimo lugar, dejando espacio para Cuba y Trinidad y Tobago. Este cambio de posiciones guarda algunas diferencias con el mismo análisis en función del PBI pero para todas las áreas del conocimiento. Chile y Brasil siguen liderando la tabla, pero Colombia y México obtienen una mejor calificación que en el caso anterior, mientras que la Argentina vuelve a repetir su poción, entre un sexto y un séptimo puesto. Una posible explicación a este fenómeno podría ser que la ingeniería no es la rama más fuerte de la ciencia en Argentina, o que, por el contrario, México y Colombia privilegian la investigación en ingeniería por sobre otras áreas.

Tabla ponderada de las publicaciones en todas las especialidades de las ingenierías, ordenada según la cantidad de publicaciones por cada millón de dólares de Producto Bruto Interno (PBI).

La ingeniería electrónica en Latinoaméricana

Vamos a hilar un poco más fino, y veamos que sucede con el rubro de las ingenierías eléctrica y electrónica. El motivo de esta elección no es caprichoso, responde a que es mi área de conocimiento, y el único lugar donde puedo opinar con cierto criterio. El ranking en este caso, como en los anteriores, está encabezado por los mismos cinco países, con un orden similar. El reordenamiento por población nos da algunos resultados similares a los análisis previos: Chile escala al segundo puesto, Brasil desciende dos posiciones, y México, Argentina y Colombia ocupan los puestos 6, 7 y 8. En el "top 5" aparecen, otra vez, Puerto Rico, Uruguay y Trinidad y Tobago. La relación de magnitudes entre las publicaciones en ingeniería electrónica realizadas por Chile, por cada mil habitantes, es superior a la de Brasil en más del 40%, mientras que la de éste respecto a la de México es solo del 15%, y la del país azteca respecto de Argentina es del 30%.


Tabla ponderada de las publicaciones en las áreas de ingenierías eléctrica y electrónica, ordenada según la cantidad de publicaciones cada 1000 habitantes.

Por último, pero no menos interesante, tenemos el caso de las publicaciones ponderadas por PBI. Aquí me encontré con la sorpresa de que hay cuatro de los países del "top 5" que permanecen en él, con algún cambio de posiciones, mientras que Argentina cae al octavo puesto. La relación entre Argentina y, por ejemplo, Colombia, en el cuarto lugar, es del 35%. La distancia con Brasil trepa a más del 100%.

Tabla ponderada de las publicaciones  en las áreas de ingenierías eléctrica y electrónica, ordenada según la cantidad de publicaciones por cada millón de dólares de Producto Bruto Interno (PBI).

Mi opinión respecto de estos últimos datos es que, por un lado, el nivel de publicaciones no refleja fielmente el impacto de las mismas, y por otro lado, que falta darle mucha más visibilidad a los trabajos científicos en estas áreas , al menos en lo que respecta a nuestro país. Los intercambios científicos entre investigadores nacionales y otros de la región latinoamericana o incluso del mal llamado "primer mundo" muestran que la calidad de los trabajo realizados aquí no tiene nada que envidiar a los realizados en otras partes. Lo que sí salta a la vista, especialmente cuando uno tiene la posibilidad de interactuar, por ejemplo, con centros de investigación europeos, es la abismal diferencia en equipamiento, infraestructura y financiación, por no mencionar todas las trabas que conlleva hacer investigación desde Argentina (podría ponerme pesado y hablar sobre cuestiones como la importación de insumos, la compra de equipamiento, etc., que se ve afectada por interminables trámites que en más de una ocasión frustran la inversión).

Conclusión: demasiados números

Cómo se puede ver, según como analicemos estos datos podemos llegar a diferentes conclusiones: estamos bien, estamos mal, estamos a mitad de tabla, etc. Por lo tanto, mi primera conclusión es que son demasiados números, y que podemos leer en ellos casi cualquier cosa. Lo realmente importante es no olvidar la relatividad de estas escalas, ya que lo único que informan es sobre la cantidad de publicaciones científicas y sus citas, pero no dicen nada acerca de su pertinencia, utilidad, innovación, etc. Si pudiéramos visualizar otros índices, como cantidad de patentes, número de egresados, doctorados, proyectos de investigación, etc, podríamos llegar a conclusiones similares o incluso totalmente contrapuestas. Incluso un análisis temporal, viendo lo que en matemáticas se denomina como derivada, es decir, la tasa de variación en función del tiempo, nos revela algunos altibajos llamativos. Por ejemplo, Venezuela solía estar en el "top 5" hasta principios del nuevo milenio, pero después se desploma fuertemente. Por el contrario, Colombia y Chile, que tenían desempeños más flojos en los años '90, empiezan a subir fuertemente en la última década. Así que cuidado, no juzguemos a la ligera. Una escala, un ranking, es solamente eso, un ordenamiento de datos con algún criterio, pero nada más. La realidad de un país, tanto en ciencia como en otras áreas, es mucho más compleja que esto. Por eso, prefiero dejar este análisis abierto, invitarlos a discutir estos números y pensar en como podemos hacer como país, y también como región, para que, más allá de la cantidad de publicaciones científicas, se logre que la ciencia local genere avances en nuestro medio social, económico y cultural. Nos vemos en la próxima entrada.

Un chiste clásico sobre la importancia de la ciencia. Fuente: Naukas.

P.S.: Lamentablemente se me juntaron varias cosas y no llegué a armar ni retomar ningún texto relativo al día de hoy, que se conmemora el Día del Veterano y de los Caídos en la Guerra de Malvinas. No quiero dejar pasar esto por alto, así que desde Bahía Sin Fondo quiero recordar a los que dieron su vida por la Patria y que, a pesar de la realidad imperante en la actualidad, hay que volver a decir, una y mil veces más: Las Malvinas son Argentinas.

Comentarios