Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia/Use of the h index to rank scientific Latin American journals: Colombia a case study

Abstract

The future of scientific journals in Latin America is uncertain. The inability to calculate bibliometric indicators to classify and homologate journals according to globally-used quartiles reduces journal visibility. For instance, Colombian journals classified in the National Bibliographic Database Publindex (BBNP) under categories A1, A2, B and C, have low rates of indexing in international databases, such as Web of Science or Scopus, thus limiting the estimation of bibliometric indicators for comparison at an international level. In this case study, articles published between 2003 and 2007 were taken from 211 journals selected from the BBNP- 2008. Using Google Scholar, Publish or Perish software and the Scopus database, impact and productivity indicators were quantified and compared creating a regional ranking (Q1-Q4). They were subsequently homologated internationally with the Scimago Journal Ranking (SJR). The h index proved the best indicator to generate the ranking of 170 Colombian journals based on quartiles (Q1-Q4) able to be homologated with SJR quartiles. We propose this methodology for classifying and homologating Latin American journals that are not indexed internationally, as a useful tool for publishers, publishing houses, information agencies and public policy decision-makers concerning education, science and technology, both regionally and globally. [PUBLICATION ABSTRACT]

Headnote

Cómo citar este artículo/ Citation: Romero-Torres, M.; Acosta-Moreno, L.A.; Tejada-Gómez, M.A. (2013). Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia. Revista Española de Documentación Científica, 36(1):e003. doi: http://dx.doi.org/10.3989/redc.2013.1.876

Resumen: El futuro de las revistas científicas en Latinoamérica es incierto. La incapacidad de calcular indicadores bibliométricos útiles para clasificarlas y homologarlas con cuartiles de referencia mundial reducen su visibilidad. Por ejemplo, las revistas colombianas clasificadas en la Base Bibliográfica Nacional Publindex (BBNP) bajo las categorías A1, A2, B y C, poseen baja indexación en bases de datos internacionales como Web of Science o Scopus, limitando la estimación de indicadores bibliométricos para su comparación a nivel internacional. Como estudio de caso se seleccionaron 211 revistas de la BBNP-2008, tomando artículos publicados entre 2003 y 2007. Utilizando Google Académico, el software Publish or Perish y la base de datos Scopus, se cuantificaron y compararon indicadores de productividad e impacto para construir un ranking local (Q1-Q4) y realizar una homologación internacional con Scimago Journal Rank (SJR). El índice h resultó el mejor indicador para generar un ranking basado en cuartiles (Q1-Q4) de 170 revistas colombianas, homologables con cuartiles de SJR. Se propone esta metodología para clasificar y homologar las revistas latinoamericanas no indexadas, como herramienta útil para editores, editoriales, empresas de información y tomadores de decisiones en políticas públicas de educación, ciencia y tecnología a nivel regional y mundial.

Palabras clave: Google Académico; índice h; Colombia; ranking; políticas.

Use of the h index to rank scientific Latin American journals: Colombia a case study

Abstract: The future of scientific journals in Latin America is uncertain. The inability to calculate bibliometric indicators to classify and homologate journals according to globally-used quartiles reduces journal visibility. For instance, Colombian journals classified in the National Bibliographic Database Publindex (BBNP) under categories A1, A2, B and C, have low rates of indexing in international databases, such as Web of Science or Scopus, thus limiting the estimation of bibliometric indicators for comparison at an international level. In this case study, articles published between 2003 and 2007 were taken from 211 journals selected from the BBNP- 2008. Using Google Scholar, Publish or Perish software and the Scopus database, impact and productivity indicators were quantified and compared creating a regional ranking (Q1-Q4). They were subsequently homologated internationally with the Scimago Journal Ranking (SJR). The h index proved the best indicator to generate the ranking of 170 Colombian journals based on quartiles (Q1-Q4) able to be homologated with SJR quartiles. We propose this methodology for classifying and homologating Latin American journals that are not indexed internationally, as a useful tool for publishers, publishing houses, information agencies and public policy decision-makers concerning education, science and technology, both regionally and globally.

Keywords: Google Scholar; h index; Colombia; ranking; policies.

1. INTRODUCCIÓN

La ciencia latinoamericana en los últimos años ha hecho esfuerzos considerables para aumentar su participación en el circuito mundial de publicaciones científicas, buscando acortar la inequidad existente entre países desarrollados y subdesarrollados (Spinak, 1996; Salager-Meyer, 2008), inequidad descrita por Gibbs (1995) años atrás como el fenómeno de ciencia perdida en el tercer mundo. Aun cuando la comunicación científica en el ámbito latinoamericano tiene sus propios paradigmas (Spinak, 1996; Wagner, 2008), la visibilidad de las revistas académicas y sus productos de investigación es regulada por los mismos principios generales, ligados éstos al uso estratégico de los mecanismos y medios digitales de divulgación en la red mundial de información para que un usuario encuentre, acceda, analice, emplee, retroalimente y, finalmente, cite estos productos (e.g., artículos científicos, revistas, libros, secuencias genómicas o patentes).

La visibilidad mundial de revistas es determinada cualitativa y cuantitativamente por factores como la presencia y capacidad de consulta a través de librerías digitales o bases globales de indexación (Hull y otros, 2008); el nivel de reconocimiento por la comunidad científica mundial (Figueira y otros, 2003); su patrón de citación que determina su posicionamiento en los buscadores, sus ventajas acumulativas (Chen y otros, 2007) y posterior citación (Katz, 1999; Leydesdorff, y Bensman, 2006). Así mismo, la pertenencia de autores y consejo editorial a sociedades científicas (Ren y Rousseau, 2002; Leydesdorff, y Bensman, 2006) o pequeños mundos (Newman, 2003), la cantidad relativa de producción de artículos en un área a nivel mundial (Ingwersen, 2000) y redes sociales (Eysenbach, 2011) entre otros.

Es intuitivo encontrar que la visibilidad, citación e influencia intelectual es dominada por Estados Unidos, Inglaterra, Canadá y otros países desarrollados (Adams, 1998), no solo porque controlan los factores anteriormente expuestos, además porque allí las publicaciones académicas son en sí mismas una industria (Bergstrom, 2004; Bergstrom y Bergstrom, 2006). Ante la confirmación de la importancia de los sistemas de clasificación de revistas (Butler, 2008) y su efecto, entre otros, sobre las clasificaciones mundiales de universidades, recientemente en Latinoamérica ha crecido la preocupación por el futuro de las revistas académicas locales (Téllez-Zenteno y otros, 2007) porque la mayoría de estas y su personal científico están en la periferia de estos procesos de comunicación, sus servicios y beneficios (Gevers, 2009).

Se reconoce que desde años atrás, las revistas latinoamericanas no son ajenas a las tendencias de cambio, indexación, globalización y comparación (Ríos Gómez y Herrero Solana, 2005), sugiriendo una etapa de transición desde un sistema de divulgación e incentivos que hace énfasis en publicaciones domésticas (cerrado y endogámico), hacia uno visible internacionalmente que se soporta en redes de conocimiento y es medido por indicadores de citación.

De tal forma el modelo de comunicación de las revistas académicas de países en vía de desarrollo (respecto a países desarrollados) posee ciertos atributos tales como:

i. Bajo reconocimiento internacional de sus avances de investigación (Gevers, 2009), consecuencia de la calidad (creatividad, originalidad y contribución en un área) de sus artículos (Arunachalam y Manorama, 1989; Zhou y Leydesdorff, 2007).

ii. Barrera lingüística de los autores (Bertrand y Hunter, 1998; Zhou y Leydesdorff, 2007).

iii. Baja disponibilidad de acceso en línea (Zhou y Leydesdorff, 2007) ya que pocas revistas se incluyen en los principales sistemas de indexación (e.g., Web of Knowledge, Scopus o Medline) (Gorbea-Portal y Suárez-Balseiro, 2007).

iv. Los estándares de calidad editorial son altamente variables (Zhou y Leydesdorff, 2007), ya que existe una proliferación de revistas de corta vida, baja calidad editorial y científica, con pocos canales de distribución (Gevers, 2009).

v. Existen relaciones endogámicas entre países y revistas, como reflejo de lo que ocurre en el resto del sistema de comunicación científica que integran estas revistas (Gorbea- Portal y Suárez-Balseiro, 2007).

vi. La mayor proporción de la producción nacional se publica en revistas domésticas, por lo cual, una considerable cantidad de publicaciones no están incluidas en índices de citación (Bertrand y Hunter, 1998), llevando a que los autores y el conocimiento sean invisibles al resto del mundo (Figueira y otros, 2003).

vii. Las revistas no son una industria, no son subsidiadas apropiadamente y hacen énfasis en sostener la actividad de investigación local (Gevers, 2009).

viii. La visibilidad internacional depende de la colaboración con pares extranjeros (Gevers, 2009; Jimenez-Contreras y otros, 2010) que publican sus trabajos en revistas generalmente no latinoamericanas.

Este artículo hará énfasis en el problema indicado en el numeral iii, con el ánimo de medir la visibilidad de revistas Latinoamericanas no indexadas, ello mediante el empleo de un estudio de caso. Lo anterior es importante para Web of Knowledge o Scopus, quienes en los últimos años han deseado incorporar en las bases de datos el conocimiento latinoamericano, seleccionando las revistas más pertinentes en diferentes áreas.

Colombia recientemente modificó sus políticas públicas del Sistema Nacional de Ciencia y Tecnología (Ley 1289 de 2009), invocando la necesidad de establecer mecanismos de evaluación de los resultados de investigación de las instituciones de educación e investigación públicas y privadas. Este cambio de políticas ha impulsado en estas instituciones la comparación de su productividad y calidad en el ámbito local, regional y global por medio de indicadores como los presentados en las clasificaciones mundiales de universidades (e.g., clasificación de Shanghai), iberoamericana (e.g., Ranking Iberoamericano SIR 2010) o colombiana a través del Atlas Colombiano de la Ciencia. Ante los resultados de estas clasificaciones las instituciones colombianas han planteado estrategias que buscan revertir la tendencia de sus indicadores. Esto puede interpretarse como el ingreso formal de la ciencia colombiana en todas sus escalas desde investigadores hasta instituciones y revistas académicas, al sistema internacional de evaluación por indicadores de citación.

Actualmente Colombia cuenta con la Base Bibliográfica Nacional Publindex (BBNP), sistema orientado a la indexación de revistas según criterios de calidad científica y editorial. Esta cuenta con un comité nacional que evalúa más de trescientas revistas académicas de instituciones y asociaciones colombianas, para regular su indexación, clasificación y homologación (Charum, 2004). BBNP tiene un sistema de clasificación de cuatro categorías (A1, A2, B y C), que alcanza una revista tras cumplir criterios de calidad científica (cantidad de artículos originales de investigación); calidad editorial (cumplimiento de normas editoriales); estabilidad (antigüedad y cumplimiento de periodicidad); y visibilidad y reconocimiento nacional e internacional (inclusión en sistemas internacionales de indexación). Para dar un ejemplo, las revistas indexadas en el Journal Citation Reports corresponderían a la categoría A1, mientras que las incluidas exclusivamente en el índice bibliográfico generalista regional Scielo, corresponderían a categoría A2.

Así mismo, este sistema de clasificación tiene dos importantes consecuencias en el Sistema Nacional de Ciencia y Tecnología e Innovación y en el Ministerio de Educación. Sobre el escalafón docente de instituciones de educación superior, media y básica al determinar ascensos laborales y bonificaciones salariales; y sobre la clasificación de los grupos de investigación colombianos, al influir sobre el puntaje relativo de las publicaciones nacionales o internacionales, lo que repercute en la financiación de proyectos de investigación.

Debido a que la mayor parte de las revistas científicas colombianas o latinoamericanas no pueden seguir las tendencias de globalización (Laborde, 2009), es probable que universidades y sociedades científicas clausuren decenas de éstas, particularmente revistas con alta endogamia, baja calidad científica, incumplimiento en cronogramas de publicación, deficientes tecnologías de información y bajos niveles de citación, entre otros. No así, permanecerán aquellas que representan a sociedades científicas consolidadas, sean altamente visibles, posean procesos de calidad para la indexación internacional y las que gestionen mejor los subsidios público/privados.

Entre los principales criterios a tener en cuenta para la indexación internacional, la selección de destinos de publicación por parte de los autores, o inclusive la permanencia o cierre de una revista, son sus indicadores de citación. Aunque el uso de estos indicadores es controvertido (Alfonso y otros, 2005; Camps, 2008; Todd y Ladle, 2008), a través de medidas como la cantidad de artículos publicados, cantidad de citas, el Factor de Impacto(TM) (Todd, 2009) o los índices Eigenfactor, Scimago Journal Rank, SNIP e índice h, entre otros (Torres-Salinas y Jimenez- Contreras, 2010), se mide y compara el desempeño en investigación de revistas académicas, individuos, grupos e instituciones (Van Leeuwen y otros, 2003; Puche, 2011). No obstante, por años han existido limitaciones para el cálculo de indicadores de las revistas regionales debido a su baja presencia, en relación con su cantidad actual, en índices de citación internacionales como Web of Knowledge o Scopus (Gómez y otros, 1999).

A pesar de esta limitante, una alternativa para determinar indicadores de citación de las revistas regionales es a través del servicio de Google Académico en conjunto con el software Publish or Perish (Jacsó, 2008; Spiroski y Gogusev, 2008; Bontis y Serenko, 2009; Harzing y van der Wal, 2009) donde es posible determinar varios indicadores de citación como la cantidad de artículos visibles en Google Académico, las citas recibidas, citación promedio, o el índice h, entre otros. Este último, desde su publicación por Hirsch (2005), ha recibido atención por parte de la comunidad científica como un indicador complementario para la comparación de revistas académicas (Braun y otros, 2006; Saad, 2006; Bador y Lafouge, 2010). Con base en lo anterior, para las revistas colombianas indexadas en el BBNP se plantearon como objetivos: 1) cuantificar, relacionar y seleccionar indicadores de citación, y basado en ello, 2) realizar un ranking de revistas colombianas de acuerdo a su visibilidad.

2. MATERIALES Y MÉTODOS

2.1. Selección de revistas

Durante el mes de agosto de 2008 se consultó la Base Bibliográfica Nacional Publindex (BBNP) 2008-I (http://scienti.colciencias.gov.co:8084/ publindex) y su actualización. Se seleccionaron 211 revistas, de las cuales nueve pertenecían a la categoría A1, cuarenta y dos a la categoría A2 y cincuenta a la categoría B. Para la categoría C se tomó una muestra representativa de 108 revistas (α = 0.05, β = 0.9). En el portal de búsqueda de la BBNP entre los años 2003 a 2007, para cada revista se realizó un conteo de la cantidad de artículos publicados (cantidad de artículos indexados por revista en la BBNP (ARBBNP). Se definió artículo en su sentido más amplio incluyéndose todos los ítems disponibles, tales como artículos originales, artículos de revisión, editoriales, cartas al editor, traducciones y revisiones de libro. Se consideró como la producción total de artículos publicados para el quinquenio a la sumatoria del total de artículos en la BBNP.

2.2. Obtención de indicadores de citación

Para estimar los indicadores de citación en Google Académico (GA) se utilizó el sofware Publish or Perish (PoP) versión 1.9 (Harzing y van der Wal, 2009). Mediante la opción Journal Impact Analysis (Figura 1), teniendo en cuenta todas las áreas de conocimiento y un rango temporal entre 2003 a 2007, se realizó la búsqueda utilizando el título exacto (incluyendo tildes) de cada una de las 209 revistas.

En la caja de resultados de PoP (Figura 1), se consultó en la opción Papers la cantidad de artículos indexados por revista (ARGA), en la opción Citations la cantidad de citas por revista (CRGA) y en la opción h-index el índice h (hGA). Para cada revista se eliminaron manualmente los resultados de las referencias duplicadas (caja de selección de la columna Cites) teniendo como criterios: a) títulos de revistas similares en la columna Publication; b) duplicidad del título en idioma inglés de un ítem ya citado en idioma español, y c) referencias incompletas con campos vacíos. Para los ítems con algún grado de incertidumbre, se consultó la validez de la referencia accediendo a su vínculo en Google Académico y de ser necesario, se consultó directamente la fuente primaria.

Así mismo, para las revistas colombianas indexadas en Scopus, por medio de la opción Citation Tracker, teniendo en cuenta la auto citación, y se determinó la cantidad de artículos indexados por revista (ARSC), la cantidad de citas por revista (CRSC) y el índice h. Para establecer las categorías internacionales de cuartiles (Q1-Q4), en diciembre de 2011 consultamos el Scimago Journal Rank (SJR) del año 2008 con filtro de revistas para Colombia y teniendo en cuenta las citas totales. Para el momento de la toma de datos en 2008, las revistas Biomédica e Historia Crítica se encontraban indexadas en Scopus, pero no rankeadas en SJR.

2.3. Cálculo de otros indicadores

Para calcular el porcentaje de visibilidad de cada revista en Google Académico (VIGA), se estimó una proporción entre la cantidad de artículos indexados en GA o producción visible (ARGA) y la cantidad de artículos indexados en la BBNP o producción real (ARBBNP). Para cada revista visible en GA, se calculó la citación promedio por artículo en cinco años (CAGA) como la relación: citas por revista (CRGA) / artículos publicados (ARBBNP).

Bajo el supuesto de que las revistas no son homogéneas entre sí respecto a sus áreas de conocimiento, y que existen pocas revistas para realizar una clasificación en áreas específicas, las revistas se agruparon en dos áreas de conocimiento general: ciencias y ciencias sociales. En cada área se calculó para cada revista el índice de citación promedio normalizado (CPN) a través de la relación (CAGA/CAAREA) donde CAGA indicó las citas promedio por artículo y CAAREA las citas promedio por artículo para el área, equivalentes éstas a los índices CPP (Average Citation per publication) y FCS (Field Citation Score) propuestos por Moed y otros (1995) y corregidos por Opthof y Leydesdorff(2010). En nuestro estudio CAAREA se calculó como el promedio de todos los indicadores CAGA de las revistas de ciencias o ciencias sociales. La relación indica citas observadas / citas esperadas, de tal forma que, si la relación es > 1.0 (e.g. 3.0), significa que la tasa de citación promedio de un artículo de esa revista es tres veces mayor al promedio nacional en el área.

2.4. Análisis estadístico y selección del mejor indicador

Para establecer relaciones de asociación se realizaron pruebas de correlación de Pearson entre las variables indicadoras (Tabla I). Los valores de ARBBNP, ARGA y CRGA se transformaron a Log10 para reducir su varianza, sumando uno a los valores de cero citas para su transformación (Leydesdorffy Bensman, 2006). Se asignaron puntajes a las categorías de la BBNP de la forma A1=1, A2=2, B=3 y C=4. Se verificó el cumplimiento de los supuestos paramétricos εi independientes N (0, σ2), utilizando un nivel de significancia del 95%.

La selección del mejor indicador tuvo en cuenta tres criterios. En primer lugar, ser linealmente independiente o en caso de existir dependencia, explicar un porcentaje elevado de varianza. Para esto se realizó un análisis de factores (Leydesdorff, 2006; Bensman y Leydesdorff, 2007) entre los indicadores (Tabla I), exceptuando BBNPCAT y los indicadores relacionados con Scopus. Se utilizó como método de extracción el análisis de componentes principales sin rotación y se consideró un componente significante, aquel con un valor propio (λ) mayor a 1, un valor de comunalidad o cantidad de varianza aportada por cada variable al factor mayor que 0,80 y un factor de carga (contribución única de cada variable al factor) mayor a 0,7 (Hardle y Hlávka, 2007). En segundo lugar, que pueda calcularse y compararse con otras revistas internacionales visibles en Google Académico y tercero, que el mismo indicador exista en Scopus y Web of Science.

Con el fin de establecer la relación de asociación y dependencia lineal entre los índices h de Google Académico y Scopus, se llevó a cabo una correlación de Pearson y una regresión lineal. Se empleó suma de cuadrados Tipo I (secuenciales) y se verificó el cumplimiento de los supuestos de una regresión εi independientes N (0, σ2) (Chatterjee y otros, 2000), utilizando en todos los casos un nivel de confianza del 95%.

2.5. Clasificación de las revistas colombianas

El ranking de revistas se realizó organizando en orden descendente los valores del índice h de Google Académico (hGA). Posteriormente estos se agruparon en los cuartiles Q1, Q2, Q3 y Q4, lo que permite una analogía con las categorías empleadas por el Journal Citation Report / Scimago Journal Rank, para revistas.

3. RESULTADOS

3.1. Cuantificación, relación y selección de indicadores de citación

Para 211 revistas pertenecientes a la BBNP 2008-I, se realizó un recuento de 25.850 artículos de 112 revistas del área de ciencias y 99 revistas de ciencias sociales (Tabla II). A través del software Publish or Perish se estimaron índices de citación para 170 revistas (41 revistas sin valores de citación o datos disponibles en la red) lo cual representa una visibilidad total de revistas en Google Académico de 80,95%. La producción total visible en GA fue de 8.984 artículos (34,75%).

En las áreas de ciencias y ciencias sociales se presentaron entre indicadores correlaciones positivas y negativas débiles (0.3 < r < 0.6), intermedias (0.6 < r < 0.8) y fuertes (0.8 < r < 0.9) (Tablas III y IV).

En ciencias, un mayor índice hGA se asoció positivamente con todos los indicadores (excepto BBNPCAT). Así mismo, una mayor productividad (ARBBNP) se asoció con una mayor citación por revista en GA (CRGA) y un mayor índice hGA, entre otras correlaciones (Tabla II). En cuanto a los indicadores de Scopus (datos no presentados en tablas), la cantidad de citas por revista en Scopus (CRSC) se asoció positivamente con la cantidad de citas por revista en GA (CRGA) (r = 0,72; p = 0,18); y el índice h de Scopus (hSC) se asoció positivamente con la cantidad de citas por revista en GA (CRGA) (r = 0,75; p = 0,13) y con el índice h de GA (hGA) (r = 0,66, p = 0,39). En todos los casos (n=10).

En ciencias sociales existió una correlación negativa de la BBNPCAT con algunas variables indicadoras, como también asociaciones positivas entre otros indicadores (Tabla IV). En cuanto a los indicadores de Scopus, no existieron correlaciones significativas con ninguna variable (datos no presentados en tablas).

Para seleccionar el mejor indicador, el análisis de factores mostró que en el área general de ciencias las variables indicadoras no fueron linealmente independientes y se encuentran en el mismo espacio vectorial (excluyendo BBNPCAT). El análisis mostró que en la combinación lineal de las variables, un solo factor explicó el 66.58% de la varianza (λ = 3,99). Las variables CRGA y hGA aportaron la mayor comunalidad al factor 89,40 y 81,91%, respectivamente; así como los mayores factores de carga -0,94 y -0,90, respectivamente.

En el análisis de factores de ciencias sociales, en un solo factor se explicó en 59,38% la varianza de la combinación lineal de las seis variables (λ = 3,56). De forma similar que en ciencias, las variables CRGA y hGA aportaron la mayor comunalidad al factor 80,12 y 79,51%, respectivamente; así como los mayores factores de carga -0,89 en ambos casos. De tal forma que por sus ventajas comparativas entre revistas y bases de datos, se seleccionó el índice h de Google Académico (hGA) como el mejor indicador.

Así mismo, al tomar los valores de h como una sola muestra, existió una correlación intermedia entre los índices h de Google Académico y Scopus (r = 0,64; p < 0.05; n = 16), no obstante, existió una relación de dependencia lineal débil entre (hSC = 0,534 + 0,499*hGA; R2 Ajustado = 0,37; p < 0.01), que sugiere un poder predictivo intermedio de hSC en función de hGA, como también una sobreestimación de los valores hGA en relación con los de hSC. Por otra parte, en cuanto a la asociación entre los cuartiles de nuestro ranking y los cuartiles de Scimago Journal Rank (basados en SJR), no fue significativa la asociación en ciencias (r = 0,08; n = 9); no obstante, seis de nueve revistas de ciencias clasificadas como Q1-Q2, correspondieron a los cuartiles Q3-Q4 de SJR. En cuanto a ciencias sociales existió una correlación fuerte (r = 1; n = 5), allí las revistas Q1 y Q2 de nuestro ranking correspondieron con cuartiles Q3 y Q4 de SJR, respectivamente.

3.2. Ranking de revistas colombianas

Se construyó un ranking para 93 revistas del área general de ciencias y 77 del área general de ciencias sociales. Estas se clasificaron con base en su valor de índice hGA (Tablas V y VI). En el ranking los cuartiles estimados presentaron valores iguales para las dos áreas de conocimiento, los cuales fueron: primer cuartil (h > 3), segundo cuartil (h = 3), tercer cuartil (h = 2) y cuarto cuartil (h = 1).

El ranking basado en el índice h reubicó algunas revistas desde categorías inferiores (A2, B y C) hacia los primeros lugares en relación con la clasificación original. Por ejemplo, en el área general de ciencias el primer y segundo lugar fue ocupado por revistas categoría A2 (Colombia Médica) y B (Livestock Research for Rural Development), así mismo, dos revistas categoría C fueron reclasificadas al primer cuartil. En el área general de sociales ocupó el primer lugar una revista categoría A2 (Revista de Economía Institucional) y tres revistas categoría C fueron reclasificadas al primer cuartil.

4. DISCUSIÓN

Se presentaron indicadores de citación para 170 revistas de la BBNP y un ranking de revistas basado en el índice hGA. El conjunto de revistas mostró una producción total de 25.850 artículos, visibles en Google Académico en 34,75%, y en total citados 5.771 veces. Google Académico encontró casi cinco veces más citas (4,83:1) y casi siete veces más artículos (6,69:1) que Scopus, respectivamente.

No existió un patrón de correlación consistente entre la productividad por revista y el índice h, pero sí una correlación positiva entre la cantidad de citas recibidas, su visibilidad en GA y el índice h. Aunque Katz (1999) describe situaciones donde existen ventajas acumulativas o "efecto Mateo", donde sujetos (revistas) altamente productivos ganan ventajas acumulativas incrementando sus beneficios, en el caso de las revistas colombianas no necesariamente las revistas más productivas o de mayor tamaño son las más citadas. Visto de otra forma, para una revista con poco tamaño o poco visible, la probabilidad de ser citada para aumentar de cuartil no dependería de aumentar su producción, sino de factores asociados con la calidad de los artículos y otras características (Egghe y Rousseau, 1990; Leydesdorff, 1998); no obstante, esta explicación podría ser tratada como una hipótesis a probar en el futuro.

El ranking de revistas empleó como indicador al índice hGA, porque los indicadores seleccionados fueron redundantes entre si y porque en el análisis multivariado el índice hGA explicó un porcentaje alto de la varianza del factor. Así mismo, la comparación del índice hGA es posible con cualquier revista en el ámbito latinoamericano o internacional (Hodge y Lacasse, 2011), y su correlación posible con revistas Web of Science o Scopus (Scimago Journal Rank). Excluimos la cantidad de citas recibidas en Google Académico (CRGA) porque requeriría la normalización al tamaño de las revistas (i.e., factor de impacto), llevando a los potenciales problemas estadísticos de las distribuciones sesgadas. Así mismo, excluimos la citación promedio normalizada que tiene alcance solo en el ámbito nacional.

El índice h es ampliamente abordado en la literatura en términos de su alcance, aplicaciones, variantes o limitaciones, para este propósito ver las revisiones de Alonso y otros (2009), Norris y Oppenheim (2010), Egghe (2010) o Waltman y van Eck (2011), entre otras, por lo cual enfatizaremos en su uso como indicador para la comparación de revistas, como también en la técnica utilizada para su cálculo, reconociendo que la teoría puede ser aplicable indistintamente de la unidad de análisis (i.e., individuos, revistas, grupos de investigación o instituciones).

En su origen Hirsh (2005) planteó el índice h para comparar la calidad de individuos y para identificar a futuros académicos exitosos (Hirsch, 2007); no obstante, dada su versatilidad, su sencilla formulación e interpretación, hacen al índice h útil para la comparación de revistas, y es común encontrar en la literatura razones adicionales para su uso como indicador de referencia; entre otras, la actualización casi en tiempo real a través de Google Académico; evita los problemas estadísticos del factor de impacto como indicador (Hodge y Lacasse, 2011); identificaría aquellas revistas (científicos) que consistentemente producen un flujo de buenos trabajos sostenidamente en el tiempo, sobre aquellas que producen muchos trabajos, pero poco citados (Hirsch, 2005); está correlacionado con los índices de Factor de Impacto (Schubert y Glänzel, 2007; Vanclay, 2008; Bador y Lafouge, 2010) y Eigenfactor (TM) (Yin, 2011); como también captura las dimensiones ortogonales tamaño e impacto en un solo indicador (Leydesdorff, 2009).

No obstante, sus críticos apelan a que esta última característica, es a la vez una de sus desventajas, porque puede mal interpretar su valor (Leydesdorff, 2009) y generar rankings inconsistentes (Waltman y van Eck, 2011). Por ejemplo, una revista con h = 5 puede tener cinco artículos con cinco citas cada uno, sin importar cuantos artículos hayan sido publicados o escritos y citados por debajo de ese número, castigando la alta productividad. De forma similar, una revista con h = 5 puede tener cinco artículos altamente citados sin importar el nivel de citación de los restantes (Norris y Oppenheim, 2010), premiando la baja productividad. Otra desventaja, implica que una vez, una revista ha adquirido un índice h este no decrece, aún si la revista está inactiva, con el peligro potencial de disminuir su calidad en el tiempo (Norris y Oppenheim, 2010), lo cual es una desventaja para nuevas revistas (Egghe, 2010).

Otro de los puntos críticos, es el método de estimación del índice bajo el software Publish or Perish. Existen desventajas como la imposibilidad de remover la auto-citación (Norris y Oppenheim, 2010); el tiempo extenso de verificación y corroboración de las referencias en comparación con Scopus o Web of Knowledge (Falagas y otros, 2008; Jacsó, 2008), por lo cual la consulta de información debe hacerse en un lapso corto de tiempo, y por último, la calidad de los metadatos recuperados debido a duplicidad de referencias, aspecto en el cual GA ha recibido críticas en torno a la calidad de sus datos (Jacso, 2005), ver un mayor detalle de limitantes en Moussa y Touzani (2010) o McKercher (2008). No obstante estas limitantes, soluciones como Clean PoP pueden emplearse como ayuda automática para la depuración de datos (Baneyx, 2008).

Se han comparado indicadores de citación para revistas entre WoS, Scopus y GA. Por ejemplo, en revistas de medicina Kulkarni y otros (2009) determinaron que GA y Scopus generaron un mayor número de citas respecto a WoK. Franceschet (2010) en revistas de ciencias computacionales mostró que GA calculó respecto a WoS valores mayores de los indicadores. Ahora bien, en relación al índice h calculado con Publish and Perish, se ha determinado su correlación con los valores calculados en WoK. Harzing y van der Wal (2009) compararon 838 revistas de negocios y economía y encontraron una buena correlación entre estas, con una tendencia a la sobreestimación en GA. Así mismo, Vanclay (2008) encontró una correlación significativa (r = 0.93, n = 43) para revistas de ciencias forestales, y Franceschet (2010) entre dos grupos de revistas de ciencias computacionales (Spearman 0,78 y 0,61).

A pesar de los argumentos a favor y en contra, el índice y el método de estimación que proponemos son, por ahora, la opción más plausible para establecer rankings de revistas dentro del ámbito colombiano (extensible al latinoamericano). Dada la correlación reportada entre el índice h y otros indicadores como el Factor de Impacto y el Eigenfactor(TM), el índice puede emplearse como herramienta para el monitoreo, i.e., reubicar y posicionar revistas locales o para conocer la distancia donde se encuentran revistas no indexadas (como la mayoría de las revistas latinoamericanas), respecto a revistas indexadas en el Journal Citation Report o Scimago Journal Rank (SJR).

Aunque nuestro trabajo mostró una correlación y dependencia lineal intermedias entre los índices h de Google Académico y Scopus, que sugiere una sobreestimación de h de Google Académico respecto a Scopus, en el futuro esta podrá tomarse como hipótesis a probar, al contar hoy en día con mayor cantidad de revistas colombianas y latinoamericanas indexadas en Scopus; sin embargo, deben ser explorados otros atributos como la antigüedad de las revistas, la cantidad de artículos originales de investigación y revisiones por revista, número de autores de instituciones extranjeras, más revistas por área general de conocimiento, o áreas más específicas, entre otros, para una mejor comprensión de la dinámica de las revistas locales y regionales.

4.1. Ranking de revistas colombianas

Se realizó un ranking para 170 revistas de ciencias y ciencias sociales empleando el índice h, el cual reubicó algunas revistas de categorías inferiores (A2, B y C) hacia los primeros lugares en relación con la clasificación original. El índice h, se ha reportado rescata de la oscuridad a aquellos investigadores (en este caso revistas) que han hecho contribuciones significativas al conocimiento pero que no han ganado suficiente reputación para ser reconocidos (van Raan, 2006). En nuestro estudio el ranking expresa a través de la citación el uso de las revistas por la comunidad científica y no la académica, lo cual no fue considerado (actualmente tampoco lo es) en la clasificación de la BBNP.

La BBNP fue creada para controlar la calidad de las revistas colombianas y para dar soporte al incremento salarial de profesores e investigadores del estado colombiano. Ésta clasifica las revistas midiendo criterios de calidad científica, calidad editorial, estabilidad, visibilidad y reconocimiento nacional e internacional, en términos de características editoriales internacionalmente adoptadas. No obstante, creemos es tiempo de abandonar el actual sistema de clasificación basado en categorías A1, A2, B y C, para migrar a un sistema de clasificación que utilice indicadores que faciliten la homologación y comparación de revistas internacionalmente. En términos prácticos proponemos tres esquemas de homologación de las categorías BBNP. Primero, las categorías BBNP son equivalentes con el cuartil de Scimago Journal Rank o Journal Citation Reports (A1 = Q1, A2 = Q2, B = Q3 y C = Q4). Segundo, una homologación progresiva que considera las actuales categorías nacionales B y C (A1 = Q1-Q2, A2 = Q3-Q4, B y C) y tercero, un ranking de revistas regionales por área general o específica de conocimiento basado en índice h en el cual se calcularían cuartiles Q1-Q4.

Reconocemos que todo el conocimiento científico colombiano es valioso, no obstante, creemos que las revistas que no inicien estrategias y acciones para mejorar su calidad editorial, visibilidad e indicadores, están amenazadas. En tal sentido, sugerimos que estas acciones deben estar encaminadas a aumentar su visibilidad internacional, a fortalecer las revistas dentro de sociedades científicas, así como aumentar el uso del conocimiento científico por la toda comunidad, incluyendo el estado, ya que el conocimiento de las revistas colombianas no es empleado consistentemente para tomar decisiones de gobierno. Así mismo, ante el aumento del presupuesto nacional para ciencia, tecnología e innovación, estas acciones funcionarían como un seguro adicional para garantizar el buen uso de los recursos públicos destinados a este proposito, abriendo el debate entre el costo de publicar en revistas por suscripción vs. el costo de perder recursos públicos en investigaciones de baja calidad publicadas en revistas invisibles (i.e., fenómeno de ciencia perdida).

Sin embargo, es muy importante reconocer que el modelo basado en indicadores (citacionista) puede no aplicar a la realidad colombiana o latinoamericana, ya que tanto las revistas e investigadores se encuentran en desventaja competitiva (León-Sarmiento y otros, 2005) respecto a sus pares internacionales, particularmente por la poca inversión destinada del PIB a investigación, como también por los diferentes estados de desarrollo de las instituciones nacionales (Bucheli y otros, 2012).

Para finalizar, como lo plantea Wagner (2008), aun cuando las entidades del estado tienen un rol central en promover y regular la actividad científica, las políticas en ciencia no deben soportarse sobre limites nacionales. Nuevos lineamientos, ojala con estándares internacionales de calidad editorial y científica deberían guiar las políticas en el futuro.

5. CONCLUSIONES

Con la metodología empleada es posible realizar un ranking y homologación de revistas latinas no incluidas en el Web of Science o Scopus. Esto se validó en el caso de Colombia para las revistas de las áreas generales de ciencias y ciencias sociales, donde la clasificación inicial de la Base Bibliográfica Nacional Publindex cambió, al aplicar el índice h. La indexación en Google Académico es una estrategia adecuada para mejorar la visibilidad de las revistas de investigación, ya que permite su monitoreo a través de indicadores bibliométricos. Se espera realizar una nueva medición para determinar el cambio en los indicadores y ranking de las revistas.

6. AGRADECIMIENTOS

Deseamos agradecer a Gerardo Figueredo, Nathalie Chingate y Luis Manuel Silva por la colaboración en la recolección y organización de datos. También a Wilson López por las primeras ideas para la construcción de esta manuscrito, al igual que a revisores anónimos. Finalmente por el apoyo en el análisis bibliográfico a Trigal Velásquez del programa de Jóvenes Investigadores de Colciencias y Juanita Carolina Rodríguez Rodríguez.

References

7. BIBLIOGRAFÍA

Adams, J. (1998). Benchmarking international research. Nature, 396 (6712), 615-618.

Alfonso, F.; Bermejo, Y.; Segovia, J. (2005). Impactology, impactitis, impactotherapy. Revista Española de Cardiologia, 58 (10), 1239-1245.

Alonso, S.; Cabrerizo, F. J.; Herrera-Viedma, E.; Herrera, F. (2009). H-index: A review focused in its variants, computation and standardization for different scientific fields. Journal of Informetrics, 3 (4), 273-289.

Arunachalam, S.; Manorama, K. (1989). Are citationbased quantitative techniques adequate for measuring science on the periphery? Scientometrics, 15 (5-6), 393-408.

Bador, P.; Lafouge, T. (2010). Comparative analysis between impact factor and h-index for pharmacology and psychiatry journals. Scientometrics, 84 (1), 65-79.

Baneyx, A. (2008). "Publish or perish" as citation metrics used to analyze scientific output in the humanities: International case studies in economics, geography, social sciences, philosophy, and history. Archivum Immunologiae et Therapiae Experimentalis, 56 (6), 363-371.

Bergstrom, C. T. (2004). The costs and benefits of library site licenses to academic journals. Proceedings of the National Academy of Sciences, 101 (3), 897-902.

Bergstrom, C. T.; Bergstrom, T. C. (2006). The economics of ecology journals. Frontiers in Ecology and the Environment, 4 (9), 488-495.

Bertrand, I.; Hunter, L. (1998). African index medicus- a cooperative undertaking. Health Libraries Review, 15 (1), 17-20.

Bontis, N.; Serenko, A. (2009). A follow-up ranking of academic journals. Journal of Knowledge Management, 13 (1), 16-26.

Braun, T.; Glanzel, W.; Schubert, A. (2006). A hirschtype index for journals. Scientometrics, 69 (1), 169-173.

Bucheli, V.; Díaz, A.; Calderón, J.; Lemoine, P.; Valdivia, J.; Villaveces, J.; Zarama, R. (2012). Growth of scientific production in colombian universities: An intellectual capital-based approach. Scientometrics, 1-14.

Butler, D. (2008). Free journal-ranking tool enters citation market. Nature, 451 (7174), 6-6.

Camps, D. (2008). Limits of bibliometrics indicators in biomedical scientific research evaluation. Colombia Medica, 39 (1), 74-79.

Charum, J. (2004). La construcción de un sistema nacional de indexación, el caso de publindex. Convergencia, 11 (035), 293-309.

Chatterjee, S.; Hadi, A. S. (2006). Regression Analysis by Example. Hoboken, New Jersey; John Wiley & Sons. p.416.

Chen, P.; Xie, H.; Maslov, S.; Redner, S. (2007). Finding scientific gems with google's pagerank algorithm. Journal of Informetrics, 1 (1), 8-15.

Egghe, L. (2010). The hirsch-index and related impact measures. Annual Review of Information Science and Technology, 44, 65-114.

Egghe, L.; Rousseau, R. (1990). Introduction to informetrics: Quantitative methods in library, documentation and information science. Elsevier, Amsterdam, 450 p.

Eysenbach, G. (2011). Can tweets predict citations? Metrics of social impact based on twitter and correlation with traditional metrics of scientific impact. Journal of Medical Internet Research, 13 (4), e123.

Falagas, M. E.; Pitsouni, E. I.; Malietzis, G. A.; Pappas, G. (2008). Comparison of pubmed, scopus, web of science, and google scholar: Strengths and weaknesses. Faseb Journal, 22 (2), 338-342.

Figueira, I.; Jacques, R.; Leta, J. (2003). A comparison between domestic and international publications in brazilian psychiatry. Scientometrics, 56 (3), 317-327.

Franceschet, M. (2010). A comparison of bibliometric indicators for computer science scholars and journals on web of science and google scholar. Scientometrics, 83 (1), 243-258.

Gevers, W. (2009). Globalizing science publishing. Science, 325 (5943), 920.

Gibbs, W. W. (1995). Lost science in the third world. Scientific American, 273, 92-99.

Gómez, I; Sancho, R; Moreno, L; Fernández, M. T. (1999). Influence of Latin American journals coverage by international databases. Scientometrics, 46 (3), 443-456.

Gorbea-Portal, S.; Suárez-Balseiro, C. A. (2007). Análisis de la influencia y el impacto entre revistas periféricas no incluidas en el science citation index. Revista Interamericana de Bibliotecología, 30 (2), 47-70.

Hardle, W.; Hlávka, Z. (2007). Multivariate statistics: exercises and solutions. New York; Springer, p.368.

Harzing, A.W.; van der Wal, R. (2009). A google scholar h-index for journals: An alternative metric to measure journal impact in economics and business. Journal of the American Society for Information Science and Technology, 60 (1), 41-46.

Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102 (46), 16569-16572.

Hirsch, J. E. (2007). Does the h index have predictive power? Proceedings of the National Academy of Sciences, 104 (49), 19193-19198.

Hodge, D. R.; Lacasse, J. R. (2011). Evaluating journal quality: Is the h-index a better measure than impact factors? Research on Social Work Practice, 21 (2), 222-230.

Hull, D.; Pettifer, S. R.; Kell, D. B. (2008). Defrosting the digital library: Bibliographic tools for the next generation web. Plos Computational Biology, 4 (10), e1000204.

Ingwersen, P. (2000). The international visibility and citation impact of scandinavian research articles in selected social science fields: The decay of a myth. Scientometrics, 49 (1), 39-61.

Jacso, P. (2005). As we may search - comparison of major features of the web of science, scopus, and google scholar citation-based and citation-enhanced databases. Current Science, 89 (9), 1537-1547.

Jacsó, P. (2008). The pros and cons of computing the h-index using google scholar. Online Information Review, 32 (3), 437-452.

Jimenez-Contreras, E.; Torres-Salinas, D.; Ruiz-Perez, R.; Lopez-Cozar, E. D. (2010). Investigación de excelencia en españa: ¿protagonistas o papeles secundarios? Medicina Clinica, 134 (2), 76-81.

Katz, J. S. (1999). The self-similar science system. Research Policy, 28 (5), 501-517.

Kulkarni A.V.; Aziz. B.; Shams, I.; Busse, J.W. (2009). Comparisons of Citations in Web of Science, Scopus, and Google Scholar for Articles Published in General Medical Journals. JAMA-Journal of the American Medical Association. 302(10), 1092-1096.

Laborde, J. (2009). La evaluación científica y las revistas nacionales. Acta zoológica mexicana, 25 (3), 683-717.

León-Sarmiento, F.; Bayona-Prieto, J.; Bayona, E.; León, M. (2005). Colciencias e inconciencias con los científicos colombianos: De la edad de piedra al factor de impacto. Revista de Salud Pública, 7 (2), 227-235.

Leydesdorff, L. (1998). Theories of citation? Scientometrics, 43 (1), 5-25.

Leydesdorff, L. (2007). Visualization of the citation impact environments of scientific journals: An online mapping exercise. Journal of the American Society for Information Science and Technology 58(1), 25-38.

Leydesdorff, L. (2009). How are new citation-based journal indicators adding to the bibliometric toolbox? Journal of the American Society for Information Science and Technology, 60 (7), 1327-1336.

Leydesdorff, L.; Bensman, S. (2006). Classification and powerlaws: The logarithmic transformation. Journal of the American Society for Information Science and Technology, 57 (11), 1470-1486.

McKercher, B. (2008). A citation analysis of tourism scholars. Tourism Management, 29 (6), 1226-1232.

Moed, H. F.; Debruin, R. E.; Vanleeuwen, T. N. (1995). New bibliometric tools for the assessment of national research performance - database description, overview of indicators and first applications. Scientometrics, 33 (3), 381-422.

Moussa, S.; Touzani, M. (2010). Ranking marketing journals using the google scholar-based hg-index. Journal of Informetrics, 4 (1), 107-117.

Newman, M. (2003). The structure and function of complex networks. Siam Review, 45 (2), 167-256.

Norris, M.; Oppenheim, C. (2010). The h-index: A broad review of a new bibliometric indicator. Journal of Documentation, 66 (5), 681-705.

Opthof, T.; Leydesdorff, L. (2010). Caveats for the journal and field normalizations in the CWTS ("Leiden") evaluations of research performance. Journal of Informetrics, 4 (3), 423-430.

Puche, R. C. (2011). El factor de impacto, sus variantes y su influencia en la promoción académica. MEDICINA (Buenos Aires), 71 (5), 484-489.

Ren, S.; Rousseau, R. (2002). International visibility of chinese scientific journals. Scientometrics, 53 (3), 389-405.

Ríos Gómez, C.; Herrero Solana, V. (2005). La producción científica latinoamericana y la ciencia mundial: Una revisión bibliográfica (1989-2003). Revista Interamericana de Bibliotecología, 28 (1), 43-61.

Saad, G. (2006). Exploring the h-index at the author and journal levels using bibliometric data of productive consumer scholars and business-related journals respectively. Scientometrics, 69 (1), 117-120.

Salager-Meyer, F. (2008). Scientific publishing in developing countries: Challenges for the future. Journal of English for Academic Purposes, 7 (2), 121-132.

Schubert, A.; Glänzel, W. (2007). A systematic analysis of hirsch-type indices for journals. Journal of Informetrics, 1 (3), 179-184.

Spinak, E. (1996). Los análisis cuantitativos de la literatura científica y su validez para juzgar la producción latinoamericana. Boletín de la Oficina Sanitaria Panamericana, 120 (2), 139-145.

Spiroski, M.; Gogusev, J. (2008). Macedonian medical journals have very limited scientific influence. Macedonian Journal of Medical Sciences, 1 (2), 10-16.

Téllez-Zenteno, J.; Morales-Buenrostro, L.; Estañol, B. (2007). Análisis del factor de impacto de las revistas científicas latinoamericanas. Rev Med Chile, 135 (4), 480-487.

Todd, P. A. (2009). Ambiguity, bias, and compromise: An abc of bibliometric-based performance indicators. Environment and Planning A, 41 (4), 765-771.

Todd, P. A. ; Ladle, R. J. (2008). Hidden dangers of 'citation culture'. Ethics in Science and Environmental Politics, 8 (1), 13-16.

Torres-Salinas, D. ; Jimenez-Contreras, E. (2010). Introduction and comparative study of the new scientific journals citation indicators in Journal Citation Reports and Scopus. El Profesional de la Informacion, 19 (2), 201-207.

Van Leeuwen, T.; Visser, M.; Moed, H.; Nederhof, T.; Van Raan, A. (2003). The holy grail of science policy: Exploring and combining bibliometric tools in search of scientific excellence. Scientometrics, 57 (2), 257-280.

van Raan, A. F. J. (2006). Comparison of the hirschindex with standard bibliometric indicators and with peer judgment for 147 chemistry research groups. Scientometrics, 67 (3), 491-502.

Vanclay, J. K. (2008). Ranking forestry journals using the h-index. Journal of Informetrics, 2 (4), 326-334.

Wagner, C. S. (2008). The new invisible college: Science for development. Brookings Institution Press, 157 p.

Waltman, L.; van Eck, N. J. (2011). The inconsistency of the h-index. Journal of the American Society for Information Science and Technology, 63 (2), 406-415.

Yin, C. Y. (2011). Do impact factor, h-index and eigenfactor (tm) of chemical engineering journals correlate well with each other and indicate the journals' influence and prestige? Current Science, 100 (5), 648-653.

Zhou, P.; Leydesdorff, L. (2007). A comparison between the china scientific and technical papers and citations database and the science citation index in terms of journal hierarchies and interjournal citation relations. Journal of the American Society for Information Science and Technology, 58 (2), 223-236.