El análisis bibliométrico de la producción española en Ciencias Sociales y Humanas. ¿Contamos con las fuentes necesarias?

Mesa redonda celebrada en el Centro de Ciencias Humanas y Sociales (CCHS) del CSIC, el 13 de noviembre de 2009.

El objetivo de esta actividad era plantear el debate sobre las dificultades para realizar estudios bibliométricos en las áreas de Ciencias Humanas y Sociales. La mesa fue organizada por la Unidad de Análisis Documental y Producción de Bases de Datos ISOC, motivada por el interés de su equipo de trabajo en que este recurso pueda contribuir a que las fuentes de datos nacionales permitan apoyar los procesos de evaluación científica. A continuación se resumen las intervenciones que completaron la mesa.

1. El uso de indicadores bibliométricos en Ciencias Sociales y Humanas

María Bordons Gangas (Grupo ACUTE, Instituto de Estudios Documentales sobre Ciencia y Tecnología, CCHS-CSIC).

Los indicadores bibliométricos han experimentado un auge importante en los últimos años, demandados por los agentes implicados en la evaluación científica. Aunque no pueden resolver todas las necesidades de medida de la actividad científica, son necesarios para aportar objetividad a los estudios de la actividad investigadora y complementan el juicio de expertos. Sin embargo, las Ciencias Sociales y, sobre todo, las Humanidades tienen características específicas que justifican la existencia de un debate abierto sobre la aplicación de indicadores bibliométricos en estas disciplinas.

Las herramientas utilizadas en las ciencias experimentales no tienen la misma validez para las Humanidades y Ciencias Sociales debido a la orientación local o regional de muchos estudios, la amplitud de canales de publicación al margen de las revistas, el escaso consenso sobre qué títulos conforman un núcleo básico de revistas de alta calidad para cada disciplina, la necesidad de utilizar ventanas de citación más amplias y el carácter más individual de las investigaciones. Los investigadores utilizan con más frecuencia para publicar las revistas nacionales, que no están, en muchos casos, bien cubiertas por las bases de datos internacionales multidisciplinares. Asimismo, tienen gran importancia las monografías, que en algunas disciplinas de las ciencias Humanas reciben más citas que los artículos de revista.

Por ello, es necesario adaptar los estudios bibliométricos a las características propias de las Ciencias Sociales y Humanas, y utilizar, además de las bases de datos internacionales multidisciplinares, las bases de datos especializadas y las de revistas nacionales, así como fuentes sobre monografías y publicaciones no académicas. Especial interés tienen las iniciativas orientadas a desarrollar indicadores para valorar la calidad de revistas nacionales y monografías.

2. ¿Se tienen en cuenta las revistas españolas en la evaluación de la actividad investigadora en Ciencias Sociales y Humanas?

Elías Sanz Casado (Laboratorio de Estudios Métricos de Información, Universidad Carlos III de Madrid).

La actividad científica es compleja, multidimensional y difícil de medir; las fronteras científicas son cada vez más difusas y cada vez es más importante la transversalidad. En España existen excelentes grupos de investigación en las áreas de Ciencias Sociales y Humanas pero no es fácil determinar la calidad de estos investigadores a través de estudios bibliométricos, pues realizan una investigación más local y nacional, que no se recoge bien en bases de datos internacionales. Los indicadores no son siempre precisos para conocer su visibilidad e impacto o incluso la propia productividad.

Las agencias de evaluación (ANECA, ACAP, CNEAI) han variado sus criterios y han dado entrada a fuentes alternativas a WoS y Scopus. En los criterios establecidos se hace referencia a bases de datos especializadas, al European Referente Index for the Humanities (ERIH), Latindex, IN-RECS/RECJ, RESH, DICE.

Las revistas españolas juegan un papel muy importante en la difusión de los resultados de investigación de las Ciencias Sociales y Humanas, por ello se hace necesario apoyar y financiar las bases de datos españolas ya existentes y aunar esfuerzos para tener unas fuentes de datos de calidad y de referencia. Los editores deben ser conscientes de que deben introducir mejoras en la calidad de sus publicaciones. Es insostenible seguir apoyando revistas de calidad baja. En consecuencia, se debería apostar por las mejores y éstas son las que deben estar presentes en las bases de datos nacionales.

3. Implicación del Centro de Ciencias Humanas y Sociales en la evaluación continua de la actividad científica de sus investigadores

Vicente Rodríguez (Vicedirector de Investigación, Centro de Ciencias Humanas y Sociales del CSIC).

El CSIC ha realizado un gran esfuerzo institucional para que el CCHS sea un referente para las Ciencias Humanas y Sociales, y contribuya a mejorar la posición de estas disciplinas en España y en el conjunto de las áreas científicas de esta Agencia Estatal. El CCHS está implicado en la evaluación continua ligada al cum- plimiento de objetivos y en el desarrollo de instrumentos adecuados para el análisis de la producción científica, aunque es consciente de la falta de consenso sobre el modelo de valoración de la actividad científica.

Igualmente, el centro desea mejorar los estándares de calidad. Se cuenta con revistas consolidadas, pero es necesario aumentar la internacionalización de los canales de publicación. Se dispone de bases de datos para la evaluación, pero aún hay trabajo por hacer para desarrollar una estrategia de evaluación científica continua y orientada a una investigación científica de calidad.

Por ello, en el Plan Estratégico 2010-2013 del CCHS se han establecido dos medidas: la creación de una base de datos para la evaluación de toda la producción científica de los investigadores del centro y el desarrollo de un proyecto intramural sobre indicadores que permitan la evaluación objetiva de la calidad tanto de las revistas como de las monografías. Éstas se deberían evaluar con una garantía de objetividad semejante a la de las revistas científicas, a través de la categorización de las principales editoriales de monografías de carácter científico. El compromiso del CCHS con la calidad ha traducirse en un esfuerzo colectivo.

4. Instrumentos para el análisis bibliométrico de la producción española en Ciencias Sociales y Humanas

Evaristo Jiménez Contreras (Grupo Evaluación de Ciencia y de la Comunicación Científica, Universidad de Granada).

España es uno de los países con mejor información asociada a indicadores bibliométricos sobre la actividad de sus investigadores. Se cuenta actualmente con las fuentes necesarias para evaluar la producción científica publicada en revistas, pero las monografías, que son esenciales para las Humanidades, carecen de recursos bibliométricos asociados para su evaluación precisa.

Existen productos nacionales con amplia infomación (Bases de datos del CSIC, Dialnet, IN-RECS/RECJ, DICE, Latindex, repositorios institucionales), así como otros parcialmente útiles. Su validez depende del juicio de las agencias de evaluación. Por otra parte, ha mejorado notablemente el número de revistas españolas en los recursos internacionales (WoS, Scopus, ERIH). Los grupos de investigación EC3 y EPUC están en fase de rediseñar sus herramientas para crear una base de datos conjunta. La evaluación de las monografías se está explorando a través de encuestas.

El grupo EC3 ha trabajado en mejorar la fiabilidad de los datos de los investigadores con la creación del Directorio Nacional de Autores, que está en fase de implementación, y ha lanzado también instrucciones a través de FECYT sobre cómo se deben normalizar los nombres de los autores.

En cuanto a la financiación de las fuentes de datos, no es misión de los grupos de investigación mantenerlas. Su gestión deberá ser asumida por una institución pública o alguna iniciativa privada, o bien desaparecerán. La misión del investigador es mejorar su diseño y su metodología.

5. Una propuesta de análisis de las monografías a través de los catálogos de bibliotecas

Daniel Torres Salinas (Universidad de Navarra, miembro del Grupo Evaluación de Ciencia y de la Comunicación Científica).

Para la evaluación de las monografías es necesario explorar fuentes alternativas y nuevas metodologías, como la presencia en los catálogos de las bibliotecas de instituciones relevantes en las diferentes disciplinas. Se pueden aplicar técnicas bibliométricas a los OPAC para describir cuantitativamente un campo científico. Partiendo de la hipótesis de que hay analogías entre el análisis de citación y el análisis de catálogos, se establece el concepto de inclusión en el OPAC como indicador de calidad.

En este sentido, se ha realizado un estudio adaptado al campo de la Economía que muestra la viabilidad de un sistema de indicadores basados en la inclusión de obras especializadas en los fondos de un conjunto seleccionado de instituciones. Se han calculado varios indicadores de inclusión: número de inclusiones, promedio de inclusiones, promedio de inclusiones normalizado, tasa de inclusión, tasa de difusión, etc.

El sistema se basa en la captura de registros a través del protocolo Z39.50, interrogando la clasificación por materias realizada por los bibliotecarios. Se han obtenido indicadores para España con garantía de que son monografías académicas. También se ha analizado la concentración editorial para definir el núcleo de editoriales que publican la mayor parte de los libros y sus ámbitos de distribución geográfica. Esta metodología se podría aplicar en España con la extracción de datos de REBIUN.

6. Proyecto I3C, Índice Iberoamericano de Investigación y Conocimiento

Elena Corera (Grupo SCImago, Instituto de Políticas y Bienes Públicos, CCHSCSIC).

El Índice Iberoamericano de Investigación y Conocimiento es un proyecto financiado con fondos del Plan E. El objetivo fundamental es integrar en un repositorio nacional las publicaciones de investigación de calidad contrastada que se editan en nuestro país en las diferentes lenguas con el objetivo de darles la máxima difusión posible, ayudando a superar la tradicional invisibilidad internacional de gran parte de la ciencia publicada en España.

Se generará un sistema de acceso abierto que ayudará a internacionalizar y mejorar la calidad de los resultados de investigación, y facilitará la inclusión de estas publicaciones en los índices internacionales. También contribuirá al proceso de creación de un sistema de repositorios iberoamericanos como pieza indispensable en el desarrollo del Espacio Iberoamericano del Conocimiento.

Este sistema de información cubre todas las áreas científicas, con especial énfasis en las Ciencias Humanas y Sociales, con una única plataforma de acceso que permita tanto la recuperación de información bibliográfica como el análisis y la evaluación científica. En definitiva, es un proyecto integral e integrador, que pretende converger con iniciativas semejantes existentes en España y Latinoamérica e incorporar a los diferentes grupos de investigación en una plataforma pública, basada en la filosofía del acceso abierto.

El proyecto ha sido encomendado al CSIC, pero será preciso sumar esfuerzos con otros agentes públicos y privados del sistema de ciencia y tecnología. Se está trabajando en varias alianzas: Bireme (SciELO), PKP (OJS), FECYT (RECYT), Thomson (WoS) y Elsevier (Scopus). Igualmente se buscará la convergencia con las agencias nacionales de evaluación.

7. Conclusiones y debate

Las principales conclusiones de esta mesa redonda fueron:

* La conveniencia de que los esfuerzos institucionales fomenten la convergencia de las fuentes de datos complementarias.

* La importancia de asegurar la financiación de las plataformas y bases de datos ya existentes para favorecer la optimización de recursos.

* La necesidad de desarrollar indicadores específicos para las monografías y de seleccionar fuentes apropiadas para su valoración.

En el turno de preguntas se formularon algunas ideas interesantes para la reflexión colectiva:

* Las dudas sobre la pervivencia de un número elevado de revistas de escasa calidad que no cumplen un papel científico relevante y no tienen impacto.

* La influencia que los sistemas actuales de evaluación pueden tener sobre la variación en los hábitos de publicación de los autores, ya que se está desalentando la elaboración de monografías y capítulos de libros. Los sistemas de evaluación no deberían desvirtuar el objeto de estudio.

* La preocupación por la homologación de las fuentes nacionales a nivel internacional, y en especial en relación con proyectos europeos como ERIH.

* Los problemas derivados de aplicar a las monografías los mismos criterios de valoración de calidad editorial que se utilizan para las revistas.