martes, 28 de febrero de 2017

El revisor sobresaliente / The outstanding reviewer

Reconozco que esta nota está dirigida a un grupo de personas muy particular. Mejor dicho, no está dirigida en forma exclusiva, pero sí trata sobre un tema que es especialmente sensible para los que nos desempeñamos en el ambiente científico nacional (podría decir internacional y la situación sería la misma). Es una especie de catarsis tardía de algo que pasó hace unos meses, al momento de enviar un manuscrito a una revista científica de cierto prestigio en el área de la ingeniería eléctrica/electrónica. Pero antes de ir al meollo del asunto, voy a resumir brevemente que significa enviar un manuscrito a una revista para que lo entienda el público en general.

El proceso de revisión por pares, visto como una caja cerrada por donde entran los trabajos en un lado y salen por otro, ya sea rechazados (el que sale eyectado por el techo) o aceptados (el que sale por la derecha). Fuente: Entre Libros.

Para que un artículo sea publicado en una revista científico/académica debe pasar por un proceso conocido como revisión por pares, cuyo objetivo es evaluar la calidad, originalidad, factibilidad, rigor científico, etcétera, del trabajo, antes de su publicación. La revisión la realizan otros especialistas en el área, de forma anónima para el autor (el único que conoce la identidad de estos revisores es el/los editor/es de la revista). Los resultados de estas revisiones pueden ser tanto extremos (rechazado o aceptado) o intermedios (aceptado con cambios, rechazado pero con la sugerencia de reformar y reenviarlo, etc).


El problema de la revisión por pares, hoy en día, es la enorme cantidad de trabajos que se publican por año, y la escasez de profesionales idóneos que hagan las revisiones. Por eso puede ocurrir que un trabajo sea rechazado, o incluso aceptado, por la escasa experiencia, rigurosidad, o afinidad temática del revisor. En general se trata de una tarea que se hace en forma gratuita, por lo que la mayoría dedica el tiempo mínimo necesario para estos trabajos. En mi caso, yo he revisado artículos para varias revistas y congresos, pero desde hace un tiempo estoy participando solo en la revisión de trabajos que estén relacionados con mi área de investigación, porque los que no se relacionan me demandan mucho más tiempo y no puedo garantizar que la revisión sea 100% rigurosa. Pero conozco muchos casos donde esto no es prurito, como voy a evidenciar en las próximas líneas.

Otra forma de ver el proceso de revisión por pares, en donde la publicación se convierte en una carrera de obstáculos en el que hay que sortear revisores y editores con igual destreza. Fuente: Linkedin Sambit Sahoo.

Hace unos meses, con mi grupo de trabajo, enviamos un artículo a una revista especializada. No voy a aburrirlos con los detalles técnicos, pero se trataba de un análisis de diferentes técnicas de sincronismo para emplear en la red eléctrica, tanto para medición como para control. La revista en cuestión, Electric Power Systems Research (EPSR) está catalogada como del primer cuartil (un criterio de clasificación que básicamente dice que está dentro del grupo del 25% de las mejores revistas del área). Después de unos meses, recibimos una respuesta del editor en jefe, que nos decía que los revisores habían encontrado al trabajo interesante, pero que debíamos corregir o ampliar algunas cuestiones. A continuación, seguía un listado de comentarios de tres revisores anónimos diferentes.

Hasta este punto no hay nada que destacar, es el proceso normal por el que pasa cualquiera que quiere publicar en una revista científica. Lo que se salió del libreto fueron los comentarios de uno de los revisores, más precisamente, el tercero.
Reviewer #3: I appreciate the Editor to give me a chance to review an interesting and valuable paper. I found some merits in the both methodology and results. In my opinion, this paper has a good potential to be published in the journal. However, I have also some concerns on the different parts of the manuscript. If only the author(s) address carefully to all of my comments, I'll recommend publication of the manuscript in the journal:

* There is no any line number in the manuscript. It is difficult for us to review and to cite to the text.
* Add some of the most important quantitative results to the Abstract.
* These sentences aren't necessary and should be deleted: "This paper is organized as follows: The advantages of using a variable sampling period is provided in Section 2. Then, Section 3 analyses the operating principles of SRF-PLL and VSP-PLL. Their corresponding mathematical models are described, and the dynamic responses are compared. It is worth noticing that a conventional PLL structure is adopted for this analysis to make it more general. Subsequently, Section 4 discusses the issues to be considered in the implementation of synchronous sampling with regard to the maximum range of variation of the sampling period; and the proposed HSP is presented in Section 5. Finally, Section 6 and Section 7 cover the experimental results of iPLLs employing HSP and the conclusions drawn from this work, respectively.".
* In the last paragraph of the Introduction, the authors should clearly mention the weaknesses point of former works (identification of the gaps) and describe the novelties of current investigation to justify us the paper deserves to be published in this journal.
* In this study the authors have used nonlinear models to simulate the results. In this case, it is necessary to cite some of the successful applications of these models to justify the methodology and to indicate advantages of current paper. For this purpose, cite all of the below papers:
Sprinkle and Trickle Irrigation System Design Using Tapered Pipes for Pressure Loss Adjusting
Comparison of surface irrigation simulation models: Full hydrodynamic, zero inertia, kinematic wave
Analysis of potential evapotranspiration using 11 modified temperature-based models
Comparison of the ARMA, ARIMA, and the autoregressive artificial neural network models in forecasting the monthly inflow of Dez dam reservoir
Simulation of open- and closed-end border irrigation systems using SIRMOD
* Focus on the advantages of the mathematical model of SRF-PLL and VSP-PLL with respect to the obtained results.
* Discuss the variations of the response of VSP-PLL without limitation in the sampling period.
* At the end of the manuscript explain implications and future works considering the outputs of current study.
* Quality of the language needs to improve by a native English speaker for grammatically style and word use.

El revisor empieza su evaluación agradeciendo al editor y destacando el potencial del trabajo. Luego declara, como si fuera una sutil amenaza, el comentario de "Sin embargo, tengo algunas observaciones en diferentes partes del manuscrito. Solo si los autores corrigen cuidadosamente todos mis comentarios, yo voy a recomendar la publicación del manuscrito en la revista". Parece inocente, pero no lo es. Más bien se trata de un "hace lo que yo digo y no preguntes". Acto seguido enumera una lista de observaciones que oscilan entre cosas intrascendentes y cosas que están en el texto y que parece que no se molestó en leer. Sin embargo, lo más, pero más, interesante se halla en la mitad, donde dice que "... los autores han usado modelos no lineales para simular los resultados. En este caso es necesario citar algunas referencias de aplicaciones exitosas de estos modelos para justificar la metodología y resaltar las ventajas de la propuesta. Por esta razón CITE TODOS LOS ARTÍCULOS LISTADOS ABAJO" (las mayúsculas son mías). Si lo que seguía eran trabajos afines al nuestro, me hubiese tomado la molestia de ver si era necesario agregar algo. Sin embargo, el listado de trabajos que enumera el anónimo revisor no solo no tiene nada que ver con mi trabajo, sino ¡que ni siquiera son artículos de ingeniería electrónica!. Un rápido vistazo a los títulos nos revela que son trabajos sobre modelos de irrigación, cosa que se relaciona con los sistemas de sincronismo de la misma manera que el reglamento de fútbol se relaciona con las operaciones a corazón abierto. Lo llamativo es que todos esos trabajos tenían un único autor en común (y de hecho cuatro de ellos eran trabajos de un solo autor), a quien llamaremos MV.

¿Para qué deberíamos publicar los resultados científicos? Pues ni más ni menos para comunicar nuestros avances y así enriquecer al resto de la comunidad científica, y por extensión al resto de la sociedad. Es una forma también de separar paja de trigo y poder filtrar prácticas pseudocientíficas. Fuente: Un planeta con canas.

Una búsqueda rápida me llevó directo a, por un lado, las webs típicas científicas, donde se podía ver su desempeño como investigador, y por otro lado, a su propia web personal (que curiosamente está fuera de línea desde hace unas semanas). La primera sorpresa que me llevé es que se trata de una persona más joven que yo, con menos antecedentes, pero cuyos trabajos tienen un gran impacto, ya que son muy citados. En este punto el lector bien podría pensar que hay envidia de mi parte, pero no, lo que hay es sorpresa, y una pregunta latente: ¿cómo cara** lo hace? En su web personal MV declara ser un "outstanding reviewer" (revisor destacado, o sobresaliente) de varias decenas de revistas científicas de todas las áreas. Esto ya no me cerraba para nada. Si tu área de investigación es la agronomía (o las comunicaciones, neurociencias o biología marina, da igual), es muy razonable que hagas tareas de revisión en revistas de tu área, que es donde podés aportar tu experiencia y conocimientos. En lo personal yo he participado como revisor de varias revistas y congresos internacionales, pero siempre sobre temas que guardan al menos una pequeña relación con mis tareas de investigación. Sería irresponsable, y poco ético, hacer revisiones sobre temas donde no tengo ningún tipo de conocimiento, incluyendo áreas de la misma electrónica donde nunca me he desempeñado.

Una palabra que no debemos olvidar en el proceso de investigación y comunicación: ÉTICA. Fuente: Science.
Llegado a este punto, el panorama era cada vez más confuso y no encajaban las piezas. Algo se me escapaba. Así que decidí ver que tipo de autores lo citaban, y me hallé con la más diversa variedad de temas. Desde personas trabajando en agronomía (esta es la parte lógica) hasta personas que trabajaban en electrónica de potencia para energías renovables o sistemas de control de vehículos aéreos no tripulados (por ejemplo drones). Esto no tiene ningún sentido, me dije, y traté de razonar como una persona que publica artículos sobre drones puede citar a alguien que trabaja en agronomía. La respuesta fue muy simple: agregando citas sin sentido, en modo "sábana", citadas de manera ambigua y escondidas entre el montón.

Así fue como quedo en evidencia el modus operandi de MV: dedica gran parte de su tiempo a revisar trabajos de cualquier tipo, genera reportes de revisión ambiguos y genéricos, donde lo único que hace es pedir al autor que agregue unas citas a sus trabajos, y ¡voila! se convierte en un investigador superreferenciado. ¿Qué hicimos nosotros? Pues no tuvimos en cuenta su pedido y adjuntamos una nota de reclamo al editor en jefe de la revista, además de la típica carta de respuesta a los otros revisores. La respuesta del editor tardó menos de 24 horas: Habían aceptado nuestro trabajo. ¿Estaba el editor metido en esto y quiso evitar líos? No lo sé ¿Se le coló un revisor de ética cuestionable y no se dio cuenta? Puede ser.

 
¿Habrá que recurrir a Godzilla para romper al modelo actual de revisión y pasar a otro mejor? [Fuente: The scholarly kitchen]

En fin, hasta aquí el resumen de una revisión que podría calificar como bizarra. ¿Es algo anormal? Pues me temo que no. Buscando un poco en la web, o charlando con algunos colegas, siempre se repiten las mismas historias. El método de evaluación de los resultados científicos tiene muchos defectos y hasta el momento no se ha encontrado una propuesta superadora. Mientras el sistema siga la regla del "publica o muere", se va a seguir incentivando la maquinita de escribir artículos por el artículo en si mismo. Pero eso no quiere decir que publicar sea malo, todo lo contrario, al publicar el conocimiento se expande y todos nos beneficiamos. Pero, ¿es la publicación la única medida de nuestro aporte? Se podría pensar en el impacto social y/o productivo de las investigaciones, pero mucha gente trabaja investigando en temas de ciencia básica, cuya aplicabilidad e impacto todavía no son visibles. En fin, creo que es un debate que excede esta humilde nota. Los dejo con la inquietud, y ya saben, si necesitan que alguien les revise un trabajo, no importa de que área sea, pues escribanle a MV, no los va a defraudar.

Hasta la próxima.

No hay comentarios:

Publicar un comentario