La paradoja de la mejora de reproducibilidad en la investigación empírica en Ingeniería de Software: Reflexiones derivadas de un estudio de caso

Abstract

Abstract: Numerous piapers focus on improving the reproducibility of empirical studies in Software Engineering. Ibis motivated us to study one of these proposals, as a Case Study, from a reproducibility perspective based on communication, knowledge, and motivation aspects. [...]we found that, although reanalyzed proposal is highly formal and unspecialized, it contrasts with the knowledge and motivation aspects. [...]it seems that the proposal's exclusive approach to processes produces a contrary' outcome, this is adding effort and terminological confusion to reproducibility activities.

Headnote

Resumen: Muchos trabajos se enfocan en mejorar la reproducibilidad de los estudios empíricos en Ingeniería de Software. No obstante, varias de las soluciones propuestas son complejas y difíciles de aplicar. Esto nos motivo a estudiar una de estas propuestas, a modo de Estudio de Caso, desde una perspectiva de reproduci bi I idad basada en aspectos de comunicación, conocimiento y motivación. Como resultado, encontramos que, aunque la propuesta analizada es altamente formal y no especializada, esta esta en contraposición con los aspectos de conocimiento y motivación. En conclusion, piarece ser que el enfoque exclusivo de la propuesta hacia los procesos genera un efecto contrario al deseado, anadiendo esfuerzo y confusion terminologica a las actividades de reproducibilidad.

Palabras-clave: Estudio de caso: Empirismo: Reproducibilidad.

Abstract: Numerous piapers focus on improving the reproducibility of empirical studies in Software Engineering. However, several of the solutions proposed are comples and difficult to apply. Ibis motivated us to study one of these proposals, as a Case Study, from a reproducibility perspective based on communication, knowledge, and motivation aspects. As a result, we found that, although reanalyzed proposal is highly formal and unspecialized, it contrasts with the knowledge and motivation aspects. In conclusion, it seems that the proposal's exclusive approach to processes produces a contrary' outcome, this is adding effort and terminological confusion to reproducibility activities.

Keywords: Case study: Empiricism; Reproducibility.

1.Introducción

La replicación de estudios es una importante actividad en el terreno de la investigación científica. En la ingeniería de software empírica, la replicación se ha caracterizado por presentar dificultades de ejecución (Biffl, Serral, Winkler, Dieste, & Juristo, 2013) que afecta negativamente a la generación de conocimiento científico. La importancia de la replicación radica en la corroboración y validación de resultados (Rozier & Rozier, 2014). Por lo tanto, la ingenier a de software, as como otras disciplinas, deber an apoyarse en la replicación de estudios para generalizar los hallazgos o encontrar casos en los que la generalización no es posible.

Sin embargo, existen diferentes métodos emp ricos aplicables a diferentes situaciones. En ingenier a de software destacan la experimentación, las revisiones sistemáticas y los estudios de caso, destacan como los métodos más utilizados (Magalhaes, Silva, Santos, & Suassuna, 2015). Estos métodos pueden ser aplicados de acuerdo con el grado de generalización de los resultados, as como el nivel de profundidad de conocimiento alcanzado. No obstante, la aplicación de cada método requiere un conocimiento adecuado de parte de los investigadores para lidiar con las limitaciones que cada tipo de estudio representa (Easterbrook, Singer, Storey, & Damian, 2008). Por esta razón, existen innumerable literatura que profundiza sobre las decisiones y estrategias de cada método, agregando un nivel de subjetividad a lo largo del proceso de investigación (por ejemplo, a nivel de: criterios, fundamentos, interpretaciones, entre otros elementos durante la recolección, extracción, análisis, síntesis). Como resultado, replicar los procedimientos aplicados en una investigación no siempre es una tarea fácil de ejecutar por otros investigadores.

El grado de reproducibilidad de un estudio está determinado por la calidad de descripción de los procedimientos ejecutados y el nivel de acceso al material original utilizado. En este escenario, este estudio se enfoca en el análisis de la reproducibilidad del método de Revisión Sistemática de Literatura (RSL). Las RSL son ampliamente usadas para la obtención de fundamentos o perspectivas sobre una temática, apoyándose fundamentalmente en el seguimiento de una serie de procedimientos que pretenden asegurar la validez científica. Al respecto de este método, existe una gran cantidad de publicaciones que incluyen gu as completas sobre el proceso entre las que destacan autores como Barbara Kitchenham (Kitchenham, Budgen, & Brereton, 2016), cuyo enfoque es la Ingeniería de Software Basada en la Evidencia. En sus publicaciones se han definido fases del proceso de revisión sistemática que incluyen: Planeación, Ejecución, y Documentación de la revisión. De igual manera se cuentan con plantillas y gu as de reporte que incluyen cuestionamientos a considerar para asegurar un alto nivel de calidad del proceso investigativo. No obstante, la ejecución de este tipo de estudios sigue adoleciendo de una complejidad operativa que se origina por la granularidad de procedimientos que se aplican en cada fase.

Este trabajo tiene como propósito estudiar una propuesta de mejora del proceso de RSL, desde una perspectiva de reproducibilidad basada en aspectos de comunicación, conocimiento y motivación. Para esto, el art culo se estructura de la siguiente forma. La sección 2 inicia con una premisa planteada en una investigación previa, de la que parte los autores de la mejora propuesta (Cuadros, 2019). En la sección 3 se presenta la metodología que se ha utilizado para analizar la propuesta de mejora. En la sección 4 se presenta los resultados del análisis. Finalmente, en la sección 5 se presenta las conclusiones y trabajo futuro.

2.Antecedentes

La replicación ha sido abordada en el mundo científico desde la llamada "Crisis de la reproducibilidad·, destacada principalmente en disciplinas enfocadas a las ciencias sociales y del comportamiento (Pashler & Wagenmakers, 2012). Esta crisis hace referencia a un problema metodológico observable a través de la dificultad o incapacidad de replicar estudios, pese a la importancia que la replicación tiene en la generación del conocimiento científico. Sin lugar a duda, varias disciplinas (por no decir todas) han padecido esta crisis; no obstante, algunas disciplinas alcanzaron un nivel de madurez mayor a través del establecimiento de procesos formales que otras, como es el caso de las ciencias médicas (Jedlischka, Juristo, & Rombach, 2014). En el caso de la ingeniería de software, un indicador de esta crisis es el bajo numero de replicaciones publicadas contrastado con el número de estudios empíricos publicados (Anchundia & Fonseca, 2017). Como corolario, podríamos indicar que en ingeniería de software empírica se han ejecutado el suficiente número de estudios como para entender el problema y buscar mecanismos que incentiven la realización de replicaciones.

En un estudio prerío (Anchundia & Fonseca, 2020) exploramos el fenómeno de la replicación de experimentos en ingeniería de software. Esta investigación perseguía entender las causas que repercuten en la mínima reproducibilidad a traves de una extensa revision de I iteratura. Las causas fueron exploradas categor izando las particularidades de las herramientas de investigación, en contraste con las necesidades de los investigadores en el ámbito de la reproducción de experimentos. La definición de herramientas en nuestro contexto es entendida como las propuestas formuladas que soportan las actividades de investigación, ya sean estas plantillas, guias, marcos de trabajo, mejores practicas, plataformas, aplicaciones de software, paquetes de laboratorio, entre otras. Como resultado, deanalizar y depurar alrededor de mas de 2.000 estudios1, se determino que existen brechas entre las necesidades y las herramientas de soporte al proceso de experimentación.

Los hallazgos de esta investigación partieron del anal isis de efectos recopilados de las experiencias evidenciadas en los estudios primarios. Estos efectos se agruparon en tres aspectos, para facilitar la comprensión de nuestro contexto de investigación: Mecanismos de Comunicación, Administración de Conocimiento, y Motivaciones; los cuales son dominios que directamente influencian los niveles de reproducibilidad de una investigación. Por lo tanto, al observar efectos negativos en estos aspectos, el nivel de reproducibilidad disminuirá. En la Figura 1, graficamos el marco de trabajo conceptual que denota los principales efectos negativos encontrados.

Estos aspectos permiten categorizar otros efectos observables de la siguiente manera. El aspecto de comunicación se refiere a los medios usados para transferir el conocimiento, es decir los métodos o estrategias usadas. El aspecto de conocimiento hace referencia a las estructuras (documentales o digitales) usadas para capturar y clasificar la información. El aspecto de motivación se enfoca en los facil itadores, conductuales o tecnológicos, que intervienen en un experimento.

El estudio también permitió recopilar diferentes herramientas que fueron propuestas con el objetivo de mejorar los aspectos antes descritos. Estas herramientas son tan diversas y pueden ir desde recomendaciones hasta plataformas altamente especializadas a un dominio de un problema en particular. Por esta razón, podríamos clasificar las herramientasdeacuerdocon su nivel deespecializacion. Por otro lado, estas herramientas también pueden variar de acuerdo con su nivel de formalidad, pudiendo ser altamente flexibles o de aplicación altamente rigorosa. Para comprender mejor la clasificación de las herramientas presentamos cuatro cuadrantes que permiten asignar las diferentes propuestas y de esta manera, asociar las "bondades" y "falencias" asociadas a estos cuadrantes (ver Figura 2).

Se puede resumir los cuadrantes de la siguiente manera:

* A mayor especializacion, las herramientas son mas adecuables a un dominio especifico requiriendo un conocimiento muy particular por parte de los investigadores, al mismo tiempo, dificultando en gran manera la transferencia hacia otros dominios.

* Por otro lado, a mayor formalidad, el esfuerzo (tiempo y conocimientos) requerido para aplicar una herramienta aumenta, pero asegura una gestión mas explícita de conocimientos, datos, entre otros recursos o artefactos.

En la fase de selección de estudios relevantes de la investigación previa se identificaron varios estudios respecto al método de investigación RSL, que finalmente fueron descartados, pero que constituyeron el punto de partida de la investigación realizada por Cuadros (2019). La autora recopila actividades que repercuten en la complejidad del proceso entre las que destacan: (i) Formulación de preguntas de investigación, (ii) Proceso de búsqueda, (iii) Intercambio de conocimiento, (iv) Selección de estudios, y (v) Evaluación de la calidad.

A traves de un diagrama causa-efecto recopila una serie de ralees del problema caracterizadas por:

* Los procesos altamente costosos en términos de conocimiento previo, habilidades requeridas, esfuerzo intelectual y tiempo.

* Presencia de conocimiento tacito sobre la ejecución de actividades, y que pudo ser explorada a través del análisis de las redes sociales (investigativas) de los participantes.

A partir de esos resultados se lleva a cabo un proceso de mejora para RSL. Inicialmente realizo un levantamiento para recopilar los procesos básicos de una RSL. Seguidamente explora la incorporación de técnicas de gestión de conocimiento para lidiar con el conocimiento tacito del proceso. Como resultado, obtiene una propuesta que incluye mejoras al proceso de RSL con énfasis en actividades de reproducibil idad.

Esta propuesta sera analizada en base a nuestro marco conceptual mostrado en la Figura 1, para determinar sus ventajas y desventajas de acuerdo con el cuadrante de catalogación presentado en la Figura 2.

3.Metodología

Dado que la replicación es un proceso que aun presenta dificultades de ejecución, y tomando en cuenta que existen muchas propuestas que persiguen su mejora, consideramos de gran valor analizar como una nueva propuesta contribuye o no a la mejora de la reproducibilidad. Para este análisis consideramos al método denominado Estudio de Caso como el más apropiado dado que este permite observar, de primera mano, cómo un fenómeno (implementáción de una mejora al proceso de replicación) es desarrollado sin una intervención controlada (Kitchenham, Budgen, & Brereton, 2016). Para el desarrollo del proceso metodológico se seguirán las gu as propuestas por Yin (Yazan, 2015).

3.1.Definición del estudio

La problemática por resolver en esta investigación gira entorno al grado en que las diferentes propuestas enfocadas a mejorar la reproducibilidad de estudios emp ricos en ingenier a de software alcanzan su propósito. El objetivo consecuente a esta problemática está planteado a través de una plantilla GQM (Basili, 1992) como se muestra en la Tabiat.

3.2. Diseño del estudio

Sobre el objetivo de investigación nos planteamos la siguiente interrogante:

El enfoque procedimental de las propuestas de mejora son adecuados para incrementar la reproducibilidad de los estudios emp ricos?

Para poder contestar la pregunta, nos enfocamos en estudiar un caso específico en donde se ha llevado a cabo un proceso minucioso sobre necesidades a ser resueltas y se ha implementado mecanismos para determinar la mejor solución posible, en este escenario, el estudio seleccionado cumple con los siguientes criterios:

* El estudio recopila las causas de problema a ser resueltos;

* El estudio analiza el proceso de ejecución/replicación de un estudio emp rico en ingeniería de software (RSL);

* El estudio identifica puntos sensibles como candidatos a ser mejorados;

* El estudio plantea una propuesta que incorpora cambios o mejoras;

* El estudio incluye una evaluación de la mejora propuesta.

3.3. Recopilación de datos

Los datos recopilados del estudio de caso se enfocan en la revisión documental del estudio y entrevista con sus autores sobre la construcción de la mejora. En este sentido se recopila el propósito de las mejoras planteadas y se analiza qué justificaciones operativas, técnicas o teóricas existen sobre estas. Adicionalmente se evalua como la mejora ha sido ejecutada.

3.4.Auálisis de datos

El analisis llevado a cabo en esta investigación tiene un enfoque cualitativo. Consiste en validar cómo las diferentes mejoras pueden aportar (de forma positiva o negativa) a cada uno de los aspectos que afectan a la reproducibilidad (ver Figura i) dado el objetivo que pretende conseguir el estudio seleccionado. Adicionalmente se cataloga a la propuesta dentro de uno de los cuadrantes de herramientas para indagar sobre las posibles ventajas y desventajas de la propuesta, que se muestran en la Figura 2.

3.5. Amenazas a la validez

Para garantizar la validez de los resultados en este estudio de caso se consideraron estrategias para la validez de constructo, validez interna, validez externa y fiabilidad de acuerdo con las recomendaciones de Yin (Yazan, 2015) como se muestra en la Tabla 2.

4.Resultados

4.1. Recopilación de datos de la mejora propuesta

La propuesta de Cuadros siguió las etapas mostrados en la Figura 3 para la construcción de su solución.

En la primera etapa se realiza una recopilación de problemas que se asemejan a los encontrados en el proceso de replicacion de experimentos. El metodo aplicado fue un mapeo sistemático de literatura mismo que conto con una revision en pares y la definición de grupos de control para incrementar la validez de los resultados, el proceso de revision se resume en la Tabla 3.

En la segunda etapa se hace un levantamiento de procesos en el que se recabo una serie de procedimientos referentes a las tres fases generales propuestas por Kitchenham (Kitchenham, Budgen, & Brereton, 2016) (Planeación, Ejecución y Documentación de la revisión). En este punto, para la propuesta se tomaron como base nueve estudios de los cuales se extrajeron sus aportes y brechas para mejora (Cuadros, 2019). La propuesta sugirió la adicionaron nueve nuevos procesos (ver Figura 4) en las fases de planeación, ejecución, y documentación que se enfocan en la aplicación de: plantillas de protocolo, Visual Text Mining, QuasiGoldStandard, y actividades de corroboración de los procesos.

En la tercera etapa se realizo la aplicación de estrategias de gestión de conocimiento a través de la evaluación e identificación de actividades por parte de grupos de trabajo sobre la percepción de problemas de gestión de conocimiento. En esta etapa participaron 6 grupos de estudiantes de tres promociones d ištintas. Como resultado se puntualizaron problemas en procesos críticos, permitiendo la descomposición del proceso en nuevas fases y subprocesos En la Figura 5 se observa un proceso identificando problemas y su version mejorada.

Finalmente, en la cuarta fase, se define un nuevo flujo de procesos que integra las perspectivas compiladas en las fases previas. Esta propuesta es validada a traves de un método basado en entrevistas a expertos cuyo objetivo principal se define como "Determinar el nivel de aceptación del modelo propuesto para realizar mapeos sistemáticos de literatura comparado con el modelo tradicional'. Esta entrevista estructurada fue enfocada a investigadores que hayan tenido experiencias previas en la realización de revisiones de literatura en ingeniería de software. Las principales preguntas formuladas en esta actividad fueron:

* Piensa que es Util el proceso de SMS en una investigación ¿Por que?

* ¿Conoce el aporte de Barbara Kitchenham al SMS en la Ingeniería de Software?

* Desde su punto de vista ¿Que opinas del proceso actual de SMS?

* ¿Que ventajas encuentra al proceso actual de SMS?

* ¿Ha enfrentado alguna dificultad al realizar SMS? ¿Qué tipo de dificultad ha tenido?

* Usted ha comentado que el proceso es largo y complicado, ¿Podría indicarme en que etapa o etapas del proceso ha tenido ese tipo de problemas?

* ¿Que mejoras propondría al modelo actual?

* En los pasos trabajados ¿Como describirla su experiencia con el nuevo proceso de SMS?

* ¿Como describirla su experiencia con la herramienta de apoyo al SMS?

* ¿Que ventajas cree que aporte el tener un registro de los pasos realizados al proceso de SMS?

* ¿Cree que esta etapa de planificación ha mejorado en relación con el proceso anterior?

* Algún comentario o duda sobre el tema de la encuesta real izada.

4.2.Validación de los datos sobre la mejora propuesta

La validación de la propuesta se enfoca en analizar la mejora propuesta desde el punto de vista de los aspectos inmersos en la reproducibilidad. La propuesta a estudiar se plantea como objetivo el siguiente:

"Estructurar un modelo de proceso quefacilite la ejecución y la reproducibilidad de losMapeos Sistemáticos de Literatura, basado en los paradigmas de Gestión del Conocimiento y Minería de Procesos

Para la evaluación de la propuesta se considera los aspectos y efectos considerados para la replication de experimentos (Anchundia & Fonseca, 2017) como ítems de evaluación (ver Tabla 4), mientras que los puntajes fueron promediados por los autores de este estudio, y estuvieron definidos por los siguientes criterios:

(·0 Considera que la mejora aporta en gran manera a la reducción del efecto observado

(-) Considera que la mejora no aporta o aporta de forma mínima en la reducción del efecto observado

(·) Considera que la mejora podría contribuir al incremento del efecto observado

(?) Considera que no se tiene información suficiente para evaluar el impacto de la mejora sobre el efecto observado

Con respecto a la catalogación de la herramienta, se llecjo a la conclusion que la herramienta (propuesta de mejora a procesos de RSL) podna asignarse al cuadrante Q IV (ver Figura 2) debido a que presenta las siguientes características:

* Especialización de dominio: (baja especialización) A pesar de que el método a mejorar es específico (RSL), las mejoras hacen referencia a los procesos del metodo como tal, sin hacer distinción al dominio de aplicación. Es decir, los procesos añadidos no han sido pensados en aportar a un tipo de investigación en particular, por lo que el mismo metodo mejorado puede ser aplicado sin importar la investigación.

* Formalización procedimental: (alta formalidad) En contraposición al punto anterior, el metodo RSL ha sido anal izado desde el punto de vista procedimental y se han especificado, de forma minuciosa, pasos rigurosos a seguir con el objetivo en el estudio de Cuadros.

5.Conclusiones y trabajo futuro

La reproducibilidad ha sido un topico de dominio comun en todas las disciplinas científicas; a la vez, que es un atributo complejo de alcanzar cuando se ejecuta un estudio. Como tal, disciplinas como la ingeniería de software siguen buscando mecanismos que permitan maximizar reproducción de estudios en pro de la construcción del conocimiento científico. Sin embargo, tal como el estudio de caso contemplado, existen numerosos estudios que han enfocado sus mejoras a los procesos, planteando, ya sean, actividades estrictas, pasos secuenciales lineales, y procedimientos rigurosos. Nosotros consideramos que estas mejoras, pese a probar ser de aporte significativo a la reproducibilidad, paradójicamente incrementan la complejidad de la ejecución de los procesos metodológicos de una investigación. Como trabajo futuro se plantea profundizar el análisis del esfuerzo al aplicar los procedimientos mejorados; pudiéndose explorar la aplicación de enfoques distintos a mejoras procedimentales.

Como conclusión al análisis del estudio del caso planteado consideramos que la propuesta, al parecer, agrega valor a los procesos de reproducción a costa del incremento de la complejidad de las actividades. De acuerdo con nuestro marco conceptual, se añade dos efectos negativos como resultado, siendo estos, procesos costosos (en términos de aprendizaje, aplicación, recursos y otro tipo de esfuerzos) y la confusión terminológica que pueda generarse al incluir conceptos nuevos a los investigadores que ejecuten una RSL, debido a representar procesos complementarios. As mismo, basado en la catalogación de nuestros cuatro cuadrantes, creemos que la mejora podr a a adir una alta formalidad que podr a ir en contra de procesos agiles de investigación, lo cual requerir a una investigación más profunda sobre este hallazgo.

Contestando a la pregunta de investigación, El enfoque procedimental de las propuestas de mejora son adecuados para incrementar la reproducibilidad de los estudios emp ricos? Consideramos que el enfoque a los procedimientos podr a agregar complejidad terminológica e incrementado la rigurosidad en la forma que se ejecuta la RSL mejorada, por lo tanto, el enfoque no ser a el más adecuado.

Footnote

1 Enlace a repositorio epnecuador-my.sharepoint.com

References

Referencias

Anchundia, C. E., & Fonseca, E. (2017). La replication de experimentos en ingeniería de software, un dilema asociado con la generación del conocimiento. 20th Conferencia Iberoamericana en Software Engineering (CIbSE 2017), 41.

Anchundia, C. E., & Fonseca, E. (2020). Resources for reproducibility of experiments in empirical software engineering: Topics derived from a secondary study. IEEEAccess.

Basili, V. R. (1992). Software modeling and measurement: the goal/question/metric paradigm. Technical Report UMIACS TR-92-96.

Biffl, S., Serral, E., Winkler, D., Dieste, О., & Juristo, N. (2013). Replication Data Management: Needs and Solutions. ACM / IEEE International Symposium on EmpiricalSoftwareEngineering andMeasurement, 233-242.

Cuadros, A. (2019). Mapeos sisteaticos de literatura asequibles y reproducibles aplicando gestión del conocimiento y mineria de procesos. Sangolqu : Universidad de las fuerzas armadas ESPE.

Easterbrook, S., Singer, J., Storey, M.-A., & Damian, D. (2008). Selecting Empirical Methods for Software Engineering Research. En Guide to Advanced Empirical Software Engineering (págs. 285-311).

Jedlischka, A., Juristo, N., & Rombach, D. (2014). Reporting experiments to satisfy professionals' information needs. Empirical Software Engineering, 1921-1955.

Kitchenham, B., Budgen, D., & Brereton, P. (2016). Evidence-Based Software Engineering andSystematicReviews. Boca Raton: CRC Press.

Magalhaes, C., Silva, F., Santos, R., & Suassuna, M. (2015). Investigations about replication of empirical studies in software engineerng: A systematic mapping study. Information and Software Technology, 76-101.

Pashler, H., & Wagenmakers, E.-J. (2012). Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspectives on psychological science : a journal of the Association for Psychological Science, 528-550.

Rozier, K. Y., & Rozier, E. W. (2014). Reproducibility, Correctness, and Buildability: the. IEEE International Symposium on Ethics in Science, Technology and Engineering, 1-13.

Yazan, В. (2015). Three approaches to case study mehtos in Education: Yin, Merriam, and Stake. The Qualitative Report, 134-152.