Buscando la calidad en un artículo científico

Callan las cuerdas.

La música sabía

lo que yo siento.

Jorge Luis Borges. 1981. Diecisiete haiku.

La calidad de los artículos de una revista científica ha sido el tema, directamente o indirectamente de una gran cantidad de ensayos, revisiones, análisis, meta análisis, teorías y otros discursos. Sin embargo en la práctica sigue siendo un problema, no porque se desconozca cómo lograrlo sino, por la fuerte presión de los investigadores por utilizar la publicación científica como una justificación a su actividad. Esta situación seguiría vigente y en algunos casos fortalecida en un escenario donde las instituciones tienen una fuerte preferencia por un voluminoso currículo frente a substanciales seminal papers.

Buscando al responsable de la calidad

Podríamos empezar por preguntarnos que es calidad, cómo identificarla, qué elementos debe tener un artículo de calidad, etc. Por otro lado, ¿quién evalúa la calidad de un artículo? Si la calidad de un bien o servicio está definida por la satisfacción de los clientes (del mercado) entonces podríamos pensar que sería muy fácil decidir, o mejor dicho que ellos (los clientes) decidan qué artículos son de calidad. Sin embargo, el artículo científico sigue otro proceso, que va desde la exigencia del cumplimiento de normas y estándares durante la investigación, la aplicación de paradigmas de la ciencia cuando es redactado, hasta la revisión por pares (peer review) cuando llega a manos del comité editorial.

Muchas veces se menciona al factor de impacto como una medida de la calidad del artículo, lo cual obviamente variará según la temática (por ejemplo el tema de reproducción de nudibranquios frente a tratamiento del cáncer), los comportamientos y estilos de escribir de las comunidades científicas1.

La responsabilidad de la creación de un artículo de calidad es solamente del investigador (autor o autores de la obra), sin embargo el editor es el que aprecia y valora la condición de calidad. Esta actividad puede convertirse en un dolor de cabeza si es que no se cuentan con claros elementos (o por lo menos elementos materiales) para definir las características del producto a producir.

El más acá de las recetas de cocina

Existen muchas publicaciones, libros y artículos que proporcionan una serie de pautas para escribir y ser exitosos en publicar; algunos indican incluso como seleccionar la revista; detallan una serie de tips que supuestamente permitirán al autor publicar su trabajo. En algunos casos, sugieren que la calidad del artículo, si llegase a ser publicado, podría ser medido con los famosos índices de impacto2, lo cual es simplemente una alienación o en todo caso una superficialidad.

Robert Day3 recalca que el artículo científico es escrito y publicado dentro de un escenario que exige una formalidad establecida por la comunidad científica y la sociedad, una formalidad definida por tres siglos de tradiciones cambiantes en la práctica editorial y la ética científica; además de ser influenciada por los medios en los que se publicará.

El pensamiento de la investigación científica en la actualidad exige que las investigaciones, y en consecuencia un artículo científico sea especifico en el problema a investigar (un objeto reconocible por la comunidad científica), debe ser objetivo (basado en datos, pruebas o acercamientos validables), ser novedoso (no haberse publicado antes), deben ser útiles (en el sentido de proporcionar conocimiento para fortalecer otros logros, no en el sentido de utilidad práctica, material o monetaria), debe ser reproducible (es decir otros investigadores deben tener todos los elementos para repetir el experimento o las observaciones -nosotros nos referimos a trazabilidad), debe cumplir con tener una hipótesis que puede ser sometida a una prueba para comprobar si es falso o verdadero (falsabilidad)4.

Lo que el pensamiento científico esconde es el elemento creativo, como solucionar un problema bajo los parámetros indicados. La hipótesis, el diseño, casi como escribir un poema con versos de métrica estricta, no es imposible, lograrlo implicaría estar muy cerca de la calidad requerida para un artículo.

La sombra de los errores horror

Los errores siempre asoman tras nosotros cuando queremos hacer una introspección ante nuestro espejo de producción científica, ahí están, algunos los arrastramos desde la época escolar, no son conscientes, solamente afloran. Los peores son causados por ignorancia y dejadez. Garcia-Berthou y Alcaraz5 analizando artículos de Nature y el BMJ (British Medical Journal) encontraron incongruencias y errores estadísticos que se filtraron a través de la redacción del trabajo, el análisis, la revisión de los editores y del peer review. Aquí, cabe resaltar que este tipo de errores puede trascender y causar malas interpretaciones posteriormente, y podrían estar revelando la presencia de otros errores y calamidades que subyacen en cálculos más primarios, en las observaciones más elementales. Pregúntense ustedes ¿Qué siente un editor cuando descubre un error así? ...(horror).

En nuestra área del conocimiento (la biología), Alejandro Bortolus6 analizó la problemática de la mala taxonomía. El 62,5% de los artículos de importantes revistas de ecología que incluyen listados de especies no proporcionaban indicios de haber sido revisados por un especialistas; y menos del 2,5% enunciaron que tuvieron vouchers depositados en algún museo o centro de referencia. En algunos casos la mala taxonomía no causa modificaciones en las conclusiones de los trabajos. Pero en otros casos, las malas identificaciones tienen consecuencias en el manejo ambiental y en la conservación de especies. Las especies sibilinas, hacen de la mala taxonomía un problema científico, social y económico, afectando comúnmente estudios de biogeografía, fisiología y ecología. Por este motivo el cuidado y la minuciosidad en los aspectos taxonómicos, su trazabilidad y el depósito en un museo o centro de referencia adquieren relevante importancia para la calidad de los artículos.

Aceptando la realidad, limpiando de abrojos

Por otro lado el peer review, una parte del proceso editorial en toda revista científica, es reconocido como un elemento del sistema de la ciencia, generalmente se señalan sus aportes positivos sobre la calidad de la publicación, en la medida que contribuyen a mejorar la comunicación y eliminar los defectos7; pero también son criticados como poco eficientes y causante de malos comportamientos y fraudes8; de todas maneras el peer review tiene un impacto sobre la calidad del artículo9. Para mejorar la calidad de los artículos también se ha probado el éxito de un entrenamiento del los peer review10, lo cual podria ser tomado en cuenta para acelerar los procesos de edición.

En una comunidad científica esperamos un trabajo en conjunto. El editor y el peer review son elementos que junto con el autor pro- porcionan la calidad esperada al artículo. Si pudiéramos cuantificar la calidad, los artículos con más calidad deberian de ser aquellos donde las comunidades científicas se sienten plenamente identificadas con su misión de producir y aportar a la sociedad y no ocurría eso donde hay un ensamblaje de investigadores que tienen por objetivo agregarse más puntos al currículo vitae.

La calidad de los insumos: una harina sin gorgojos

En la actualidad existe una demanda social por los denominados productos naturales. Para un sector de la sociedad es una forma de vida, no solamente por desear tener una vida sana y un cuerpo prístino sino por el comercio de una serie de productos que se atribuyen propiedades sobre la salud y el funcionamiento del organismo. También es cierto que gran parte de la población mundial no tiene recursos para acceder a productos farmacéuticos y que la medicina no tradicional cubre este gran vacío11.

Los ensayos para probar el efecto de un extracto o las propiedades de una planta deben ser estandarizados y seguir guías o protocolos definidos, estos consideran desde el trivial hecho de producir agua destilada, cuidado de animales, protocolos para realizar los ensayos y procedimientos para informar los resultados. Diferentes instituciones ofrecen guías y lineamientos para el trabajo con animales de experimentación12, 13, 14,15. Estas instituciones se dedican a evaluar e informar sobre el uso científico, tecnológico y ético de los animales y los recursos biológicos, brindar alternativas para las pruebas de investigación, educación y ensayos de productos farmacéuticos. Sin embargo, también se ha analizado sobre la existencia de un gran porcentaje de estudios con procedimientos y diseños experimentales inadecuados16 que producen reportes (artículos) de mala calidad. En algunos casos las guías de procedimientos responden a normas o exigencias legales.

En resumen buenas prácticas en los cuidados de los animales de experimentación, buenas prácticas en los reportes y análisis estadísticos, permitirán mejorar la calidad de la información y del artículo científico17, y esto no se aplica solamente a trabajos de carácter farmacológico18. Ante la pregunta ¿por qué no quieren citar mi artículo? Podríamos revisar el artículo en busca del cumplimiento de todas esas guías que hemos mencionado.

Morirse por publicar y publicar para vivir

La expresión "publicar o morir" que acicateaba al investigador para que no deje sus descubrimientos en el cuaderno de apuntes, puede transformarse en "publicar para vivir" que mas bien describe a un investigador que se obliga a publicar, tanto como la figura de un burócrata que se obliga a marcar la tarjeta al entrar al trabajolo que sigue después de eso es esperar algún beneficio, si se trata del investigador, o la hora de la salida en el caso del burócrata.

La calidad que buscaremos en el artículo la encontraremos en los cimientos de la investigación, la hipótesis, el diseño, la metodología y la información, la calidad subyace en todo el procedimiento y no solamente en la redacción. La redacción es un aspecto que solamente nos da indicios de cierta habilidad en la comunicación y no necesariamente la que espera la comunidad científica y la sociedad en general.

Muchos de los elementos mencionados arriba no se incluyen en las pautas para presentación de trabajos en revistas científicas, pero la comunidad a la que se dirige espera encontrarlos. Todos los elementos mencionados son parte de la comunicación científica, de su estructura, obviarlos puede producir dudas, incomprensión o confusión; un artículo de buena calidad debe evitar esas situaciones, debemos cuidar el mensaje, los elementos que contribuyen a especificarlo, son un meta mensaje, que está diseñado para seguir construyendo la ciencia.

References

1 Szklo, Moyses. 2006. Quality of scientific articles. Revista de Saúde Pública 40: 30-35. doi:10.1590/S0034-89102006000400005.

2 Buela Casal G. 2004. Assessing the quality of articles and scientific journals: proposal for weighted impact factor and a quality index. Psychology in Spain 8(1): 60-76

3 Day, Robert A. 2005. Como Escribir y Publicar Trabajos Científicos. Publicación Científica y Técnica No. 598. Tercera edición. Organización Panamericana de la Salud. p:8

4 Caivano J.L. 1995. Guía para realizar, escribir y publicar Trabajos de investigación. Arquim. Buenos Aires. p: 1-6.

5 Garcia-Berthou E., & C. Alcaraz. 2004. Incongruence between test statistics and P values in medical papers. BMC Medical Research Methodology 4 (1): 13. doi:10.1186/1471-2288-4-13.

6 Bortolus, Alejandro. 2008. Error Cascades in the Biological Sciences: The Unwanted Consequences of Using Bad Taxonomy in Ecology. AMBIO: A Journal of the Human Environment 37: 114-118.

7 Benos D.J., E. Bashari, J.M. Chaves, et al. 2007. The ups and downs of peer review. Advances in Physiology Education. 31:145-152.

8 Campanario J.M. 2002. El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones - Revista española de Documentación Científica 25(3): 276-285.

9Publishing Research Consortium/Mark Ware Consulting. 2008. Peer Review: benefits, perceptions and alternatives. Publishing Research Consortium. Pp:22

10 Schroter S., N. Black, S. Evans, J. Carpenter, F. Godlee, y R. Smith. 2004. Effects of training on quality of peer review: randomised controlled trial. BMJ: British Medical Journal 328 (7441): 673- 673. doi:10.1136/bmj.38023.700775.AE.

11 WHO (World Health Organization). 1999. Traditional, Complementary and Alternative Medicines and Therapies. Washington DC, WHO Regional Office for the Americas/Pan American Health Organization (Working group OPS/OMS).

12 Council for International Organizations of Medical Sciences (CIOMS) (http://www.cioms.ch/)

13 Office of Laboratory Animal Welfare. Nhi.(http://grants.nih.gov/grants/ olaw/)

14 Institute for Laboratory Animal Research (http://dels.nas.edu/global/ ilar/About-Us)

15 Science Council of Japan. 2006. Guidelines for Proper Conduct of Animal Experiments. http://www.scj.go.jp/en/animal/index.html

16 Festing M.F.W. & D.G. Altman. 2002. Guidelines for the Design and Statistical Analysis of Experiments Using Laboratory Animals. ILAR Journal 43(4):245-258

17 Kilkenny C., W.J. Browne, I.C. Cuthill, M. Emerson & D.G. Altman. 2010. Improving Bioscience Research Reporting: The ARRIVE Guidelines for Reporting Animal Research. PLoS Biol 8 (6): e1000412. doi:10.1371/journal.pbio.1000412.

18 Portaluppi F., Y. Touitou & M.H. Smolensky. 2008. Ethical and Methodological Standards for Laboratory and Medical Biological Rhythm Research. Chronobiology International 25: 999-1016. doi:10.1080/07420520802544530.