DevOps en el desarrollo SaaS desde el punto de vista de los expertos

Abstract

Abstract: Currently there is a growing interest in the development of service-oriented software (SaaS) that meet high standards, very quickly and that guarantee customer or user satisfaction with the product. In this research, a systematic literature review was conducted in which the main attributes of DevOps in SaaS development were obtained these attributes were used to evidence the impact of DevOps in the development of SaaS applications through a survey-web where Latin American experts expressed their opinion on the subject. Antecedentes El desarrollo de software ha adquirido importancia con el pasar de los años, tanto en el sector científico como en el industrial (Jabbari et al., 2016), esto se debe a la necesidad de entregar a sus usuarios finales, desarrolladores o stakeholders, herramientas de alta calidad en el menor tiempo posible (Debois, 2008), lo que ha permitido el surgimiento de metodologías ágiles como Programación Extrema, Scrum y Kanban, que, en poco tiempo, han logrado posicionarse dentro de la industria de software. Continuous Integration, Continuous Testing, Continuous Delivery, Continuous Deployment, Continuous Monitoring.

Headnote

Resumen: En la actualidad existe un creciente interés en el desarrollo de software orientado a servicios (SaaS) que cumplan con altos estándares, con gran rapidez y que garanticen la satisfacción del cliente o usuario con el producto. DevOps es capaz de satisfacer las necesidades antes mencionadas y poner fin a la brecha que existe entre los equipos de desarrollo y operación. No obstante, aún se debe evidenciar su impacto en el desarrollo de software. En esta investigación se realizó una revisión sistemática literaria en la que se obtuvo los principales atributos de DevOps en el desarrollo de las SaaS, se utilizó estos atributos para evidenciar el impacto de DevOps en el desarrollo de aplicaciones SaaS mediante un survey-web en donde expertos latinoamericanos expresaran su opinión en el tema.

Palabras-clave: DevOps; ingeniería de software; SaaS; Impacto; estimación.

Abstract: Currently there is a growing interest in the development of service-oriented software (SaaS) that meet high standards, very quickly and that guarantee customer or user satisfaction with the product. DevOps can meet the aforementioned needs and end the gap that exists between development and operation teams. However, its impact on software development remains to be seen. In this research, a systematic literature review was conducted in which the main attributes of DevOps in SaaS development were obtained these attributes were used to evidence the impact of DevOps in the development of SaaS applications through a survey-web where Latin American experts expressed their opinion on the subject.

Keywords: DevOps; software engineering; SaaS; Impact; estimation.

1. Introducción

En la actualidad, existe un creciente interés por el desarrollo de software de forma ágil que cumplan con altos estándares de calidad que garanticen la satisfacción del cliente o usuario. Esto ha estimulado que las organizaciones incursionen en prácticas y metodologías que optimicen los tiempos de entrega sin impactar negativamente en la calidad del software.

Al mismo tiempo, con la rapidez que avanza la tecnología, estas prácticas y metodologías deben ser lo suficientemente capaces de satisfacer la exigencia de desarrollar software en las nubes, como lo pueden hacer los Software as a Services (SaaS). En tal sentido, las incursiones realizadas han llegado a buen puerto, ya que se dio paso a la creación de DevOps, capaz de satisfacer las necesidades antes mencionadas y poner fin a la brecha que existe entre los equipos de desarrollo y operación operación (Jabbari et al., 2016). Sin embargo, se debe evidenciar el impacto en el desarrollo de software.

Por lo expuesto, es importante medir el proceso de desarrollo de software, ya que es la forma más objetiva de comprender y mejorar su proceso. Atendiendo a estas consideraciones, se hace necesario realizar mediciones, pues no hay otra forma de determinar si se está mejorando o no, de otra forma las decisiones se basarían solo en evaluaciones subjetivas, lo cual puede llevar a malas estimaciones o interpretaciones erróneas del proceso (Mills & Shingler, 1988). En la presente investigación, se realizó dos evaluaciones para evidenciar el impacto de DevOps en el desarrollo de aplicaciones SaaS. Esto, bajo una revisión sistemática de la literatura, de la cual se extrae los atributos de DevOps inmersos en el desarrollo de aplicaciones orientadas a servicios o software as a service (SaaS). Estos atributos sirven como base para conocer su importancia y la opinión de los expertos en el área de DevOps; también para ser evaluados bajo un modelo de estimación de costos. Este artículo se ha organizado de la siguiente forma: en la sección 2, se realiza una revisión sistemática de la literatura para extraer los atributos de DevOps; en la sección 3, se evidencia la importancia de DevOps en el desarrollo de SaaS desde el punto de vista de los expertos en la sección 4, se muestra la discusión de la información recolectada y, finalmente, en la sección 5, se tienen las conclusiones del trabajo.

2. Antecedentes

El desarrollo de software ha adquirido importancia con el pasar de los años, tanto en el sector científico como en el industrial (Jabbari et al., 2016), esto se debe a la necesidad de entregar a sus usuarios finales, desarrolladores o stakeholders, herramientas de alta calidad en el menor tiempo posible (Debois, 2008), lo que ha permitido el surgimiento de metodologías ágiles como Programación Extrema, Scrum y Kanban, que, en poco tiempo, han logrado posicionarse dentro de la industria de software. Sin embargo, el incremento en la demanda de servicios y la competencia en el mercado, en la actualidad, ha creado la necesidad de incursionar en nuevas prácticas de desarrollo como DevOps.

Dentro de esta perspectiva, es importante señalar que el concepto DevOps fue promovido en el año 2008 por Patrick Debois (Debois, 2008) para nombrar la corriente que tiene como objetivo reducir la brecha existente entre desarrollo y operaciones; mitigando, de esta manera, la ineficiencia producida por la división organizacional entre los procesos. Así, desde su surgimiento hasta la actualidad, DevOps, al pasar de los años, ha tomado fuerza en la literatura científica (Jabbari et al., 2016), en su revisión literaria sistemática, define DevOps como "una metodología de desarrollo, que busca crear un puente entre desarrollo y operaciones, enfatizando la comunicación y la colaboración, integración continua, control de calidad y entrega con implementación automatizada utilizando un conjunto de mejores prácticas para el desarrollo". Hay que resaltar, que, dentro de la literatura científica, muchos académicos coinciden al concluir que todo el potencial que ofrece DevOps se puede explotar al implementarse para el desarrollo de aplicaciones cloud (de Bayser et al., 2015).

Por las razones mencionadas, este trabajo se basa, en parte, en un estudio previo sobre un marco de trabajo DevOps para el desarrollo de aplicaciones SaaS. En ese estudio, se realizó una revisión sistemática literaria que detalla la relación de DevOps con el entorno cloud, las mejoras obtenidas en el desarrollo de software al implementar DevOps en el desarrollo de software, las actividades presentes de DevOps en el desarrollo de SaaS y ofrece un marco de trabajo para la implementación de las etapas de DevOps en las fases del desarrollo de una aplicación SaaS.

Reexaminando la literatura científica existente, no se encontró ningún estudio que destaque el impacto de DevOps en el desarrollo de una aplicación SaaS. En base al estudio previo, el objetivo de este proyecto de investigación es conocer el impacto que tiene DevOps en el desarrollo de software, el cual nos lleva a formular las preguntas claves de esta investigación:

Qi: ¿Cuál es el impacto de DevOps en el desarrollo de aplicaciones SaaS desde el punto de vista de los expertos?

Para responder estas interrogantes, se decidió que el mejor método para la realización de esta investigación sería utilizar las revisiones literarias sistemáticas de Barbara Kitchenham (Kitchenham et al., 2009). Para conocer la opinión de los expertos, se optó por la aplicación del método Survey-Web (P. de Marchis, 2012), (de Rada, 2012), (Eckert et al., 2017). Además, de una revisión literaria en un estudio previo, se determinó la metodología como DevOps se implementaría en el desarrollo de una aplicación SaaS. En esta investigación, es necesario extraer los atributos de DevOps que se destacan dentro del desarrollo de aplicaciones SaaS, lo cual llevó a examinar nuevamente la literatura para conocer estos atributos. En esa línea, DevOps ha sido considerado como un factor clave en el desarrollo de software (Lwakatare et al., 2019), tanto que, en (Gupta et al., 2017), se identifican sus principales etapas asociadas al ciclo del software general: Continuous Integration, Continuous Testing, Continuous Delivery, Continuous Deployment, Continuous Monitoring. Por su parte, el desarrollo de SaaS es similar, mas no igual al del software tradicional, debido a que comparte fases que se encuentran dentro del ciclo del software, por lo que es oportuno conocer las fases que inciden de forma directa con SaaS. Es por ello que, se destacan las fases dentro del ciclo de vida para el desarrollo de un software con naturaleza orientada a servicios (Espadas et al., 2008): Software Specification, Software Building, Software Deployment, Software Usage, Software Maintenance, ver tabla 1.

Los resultados obtenidos en el análisis de la literatura nos muestran que, al implementar las etapas de DevOps en las fases del desarrollo de una aplicación SaaS, podemos obtener una lista de atributos, los cuales practica DevOps y que sobresalen al momento de desarrollar una aplicación SaaS como se observa en la Tabla 1. Inicialmente eran más de 20, atributos, se optó por reducirlos a 10, basados en su disposición a la ingeniería Software dentro de la industria actualmente y también por su participación en el desarrollo y mantenimiento de una aplicación SaaS. Asimismo, la Tabla 2 proporciona una descripción general de cada uno de estos atributos.

3. DevOps en el desarrollo SaaS desde el punto de vista de los expertos

En esta sección, se explica y desarrolla la evaluación de los atributos de DevOps, de tal manera que el instrumento utilizado para realizar esta labor es el Survey-Web, debido a que proporciona múltiples beneficios, de lo cual podemos destacar que es adecuado para profesionales del software que tienen buen acceso a Internet, gran rapidez en la recolección de información, menor costo para la investigación, además, mejora las respuestas permitiendo elementos audiovisuales y evitan errores de transcripción (de Rada, 2012). La población objetivo para este Survey- Web está constituida por 50 profesionales de software senior que trabajan o han trabajado en empresas que implementaron DevOps en su ciclo de desarrollo de software; para esto, se le dio una breve descripción y propósito del Survey-Web a cada empresa, para así elegir los profesionales que reunieran los requisitos para completar el Survey-Web. Se aplicó un método de muestreo aleatorio simple, ya que del total de los encuestados se extrajo una muestra de 30 surveys para ser evaluada. El cuestionario del Survey-Web se desarrolló en base a 10 atributos DevOps (Planificación continua, Revisión automática de código, Pruebas automatizadas, Prueba de métricas y políticas, Patrón de ramificación, Actualizaciones continuas, Despliegue automatizado, Infraestructura como código, Retroalimentación y Herramientas automatizadas para monitorear). Para la evaluación se uso una escala de likers de 5 puntos, en donde 1 indica que no hay ningún impacto del atributo en la implementación de DevOps; mientras que la evaluación de 5, indica un impacto muy alto del atributo en la implementación de DevOps. La escala Likert es una escala psicométrica utilizada por los investigadores para capturar las respuestas de los encuestados. Esta escala supone que la distancia entre cada elemento es igual (Joshi et al., 2015).

3.1. Análisis de datos y resultados.

Para evaluar los resultados obtenidos de la encuesta, se analizó cada atributo de manera individual, por lo cual el método apropiado para analizar la encuesta ha sido Likert-Type (Harpe, 2015). También se evaluó la fiabilidad de los atributos y se verificó utilizando el Alfa de Cronbach, el cual determina cuán estrechamente se relacionan entre sí los elementos de un grupo, midiendo la consistencia interna de los elementos en un conjunto de datos. El valor de 0.7 o más para el Alfa de Cronbach se considera aceptable y se cree que los elementos de un grupo están estrechamente relacionados y son confiables (Frías-Navarro, 2019).

En la Tabla 4, se observan los resultados obtenidos de las herramientas de análisis estadístico utilizadas para realizar la evaluación del Survey-Web; el primer paso consistió en la evaluación de fiabilidad mediante el Alfa de Cronbach. Los valores para el Alfa de Cronbach fueron más de 0.7 para todos los atributos, lo que indica una buena fiabilidad de los datos, teniendo un resultado de 0.81 de los 10 atributos de DevOps. El alto valor del Alfa de Cronbach significa una mayor coherencia y una relación más estrecha entre los atributos. Ahora bien, al analizar los resultados de cada atributo, que se acumuló de la muestra de 30 cada una de las respuestas de la escala por pregunta y se calculó la frecuencia mediante porcentajes como se observa en la tabla 4.

A partir de la Tabla 4, podremos concluir que existe una clara aceptación por parte de los profesionales en la utilización de DevOps en el desarrollo de software; pero, también se debe considerar el punto medio de nuestra escala Likert; debido a que, al ser una escala psicométrica, los puntos se pueden agrupar en tres grandes conjuntos, que destacan el uso de dicho atributo y su importancia en el desarrollo de software en los rangos "Muy alto" y "Alto", así como de acuerdo con su uso, ya que facilita y mejora el proceso; "Bajo" y "Sin impacto" no muestra ninguna importancia en su uso y es irrelevante; "Impacto Medio" se traduce como no está ni de acuerdo ni en desacuerdo con su uso, o que su importancia o relevancia podría depender de otros factores como la madurez de la implementación de DevOps para el desarrollo de software en la organización. De lo anterior, podemos resaltar los atributos Patrón de ramificación (Branching Pattern), Revisión automática de código (Automated code review) e Infraestructura como código (Infrastructure as a code), dos de estos atributos son técnicas relativamente nuevas (Revisión automática de código (Automated code review) e Infraestructura como código (Infrastructure as a code); es un hallazgo interesante dado que los resultados proporcionan un fuerte soporte a la implementación de DevOps y al impacto de su utilización para el desarrollo de SaaS.

4. Discusión

(Debois, 2008), determina que DevOps nace como una alternativa para eliminar la brecha que existe entre los equipos de desarrollo y operación, logrando así elevar la calidad y minimizar el tiempo de entrega de los productos de software. DevOps es una corriente que no cuenta con muchos años de madurez, por lo cual no existe evidencia científica del impacto de DevOps en el desarrollo de aplicaciones SaaS.

En el presente trabajo se identificaron las características provechosas al evaluar el impacto de DevOps en las aplicaciones SaaS. A pesar de que DevOps puede contar con más atributos (Gupta et al., 2017), bajo una búsqueda exhaustiva en la literatura científica se identificó, y se eligieron diez atributos destacados por encima del resto, también asociados a las etapas de DevOps y las fases de desarrollo de una aplicación SaaS. Los diez atributos que conforman el presente estudio fueron sometidos a dos perspectivas de evaluación, para conocer su impacto en el desarrollo de aplicaciones SaaS. La primera evaluación la cual fue un survey-web, se evidencio en el análisis de fiabilidad mediante el Alfa de Cronbach que los atributos de DevOps están estrechamente relacionados y son confiables (Frías-Navarro, 2019). Igualmente, se evaluó los resultados obtenidos en el survey-web, se analizó cada atributo de manera individual aplicando el método LikertType (Harpe, 2015). Este demostró una clara aceptación por parte de los profesionales, en la utilización de DevOps en las aplicaciones SaaS. Aun cuando, el método Likert-Type evidencio la aceptación por parte de los profesionales, cabe destacar que tres atributos recibieron una calificación moderada en "Impacto Medio" que se puede interpretar de que no está ni de acuerdo ni en desacuerdo con su uso, o que su importancia o relevancia podría depender de otros factores como la madures de la implementación de DevOps para el desarrollo de Software en la organización. Estos atributos son Patrón de ramificación (Branching Pattern), Revisión automática de código (Automated code review) e Infraestructura como código (Infrastructure as a code), de los cuales dos de estos son técnicas relativamente nuevas (Revisión automática de código (Automated code review) e Infraestructura como código (Infrastructure as a code).

5. Conclusión

Medir el proceso de desarrollo de software es la forma más objetiva de comprender y mejorar el proceso de desarrollo. Atendiendo a estas consideraciones, es imperativo realizar mediciones, ya que no hay otra forma de determinar si se está mejorando o no. De otra forma, las decisiones estarían basadas solo en evaluaciones subjetivas, lo cual puede llevar a malas estimaciones o interpretaciones erróneas del proceso. En ese mismo contexto, en la literatura científica no hay investigaciones en las que se estudie el impacto de DevOps en el desarrollo de aplicaciones SaaS. Ese vacío lo empezaremos a llenar con el presente estudio, que comprende dos evaluaciones distintas para evidenciar el impacto de DevOps en el desarrollo de aplicaciones SaaS.

Atendiendo las preguntas claves de la presente investigación, se evidenció el impacto de DevOps en el desarrollo de aplicaciones SaaS desde el punto de vista de los expertos mediante un Survey-Web. El cuestionario de Survey-Web se elaboró en base a 10 atributos DevOps; consistió en preguntas de tipo objetivo que pedían a los encuestados que proporcionaran información sobre la importancia de estos atributos en una escala Likert de 5 puntos. Los resultados obtenidos demostraron que los atributos de DevOps están estrechamente relacionados y son confiables; también se mostró, mediante el método Likert-Type, la aceptación de los atributos destacados de DevOps por los expertos en el desarrollo de aplicaciones SaaS. Así mismo, se evidencio que los atributos Patrón de ramificación (Branching Pattern), Revisión automática de código (Automated code review) e Infraestructura como código (Infrastructure as a code), recibieron un porcentaje de 43%, 37% y 40% respectivamente en "Impacto Medio". Esto se traduce en que no está ni de acuerdo ni en desacuerdo con su uso, o que su importancia o relevancia podría depender de otros factores como la madures de la implementación de DevOps para el desarrollo de Software en la organización. Por lo cual, se destacó que dos de estos atributos son técnicas relativamente nuevas Revisión automática de código (Automated code review) e Infraestructura como código (Infrastructure as a code). Lo cual puede ser motivo principal de dicha evaluación por parte de los expertos.

Por su parte, al evaluar el impacto de DevOps bajo la lupa de los modelos de estimación se comprobó que todos los atributos de DevOps, excepto por el atributo de retroalimentación (Feedback), causan un impacto al estimar un software, lo cual demuestra la importancia de utilizar DevOps en el desarrollo de aplicaciones SaaS. Considerando los resultados obtenidos, proponemos que se realicen investigaciones basadas en la comparación métricas y métodos para el desarrollo de software, con la finalidad de determinar el impacto de cada una en el desarrollo de aplicaciones SaaS, además se podrían evaluar otros modelos de estimación.

Agradecimiento

Secretaría Nacional de Ciencia, Tecnología e Innovación (SENACYT, Panamá), por la beca de estudio de Máster otorgada dentro del programa de maestría en ciencias de tecnología de la información y comunicación, 2019-2020. Como también al Sistema Nacional de Investigación SNI-SENACYT del cual, uno de los autores es miembro. De igual manera, Universidad Tecnológica de Panamá y Facultad de Ingeniería de Sistemas Computacionales.

Contribución de los Autores

Conceptualización, R.P, M.V.; metodología R.P,M.V.; análisis formal, R.P. y M.V.; investigación, R.P, M.V.; escritura-original R.P,M.V.; escritura-revisión y edición, M.V.; autor de correspondencia M.V.

Sidebar

Recebido/Submission: 30/05/2020

Aceitaçâo/Acceptanee: 27/07/2020

References

Referencias

Artač, M., Borovšak, T., Di Nitto, E., Guerriero, M., & Tamburri, D. A. (2016). ModelDriven continuous deployment for quality devops. QUDOS 2016 - Proceedings of the 2nd International Workshop on Quality-Aware DevOps, Co-Located with ISSTA 2016, 40-41. https://doi.org/10.1145/2945408.2945417

Artac, M., Borovssak, T., Di Nitto, E., Guerriero, M., & Tamburri, D. A. (2017). DevOps: Introducing infrastructure-as-code. Proceedings - 2017 IEEE/ACM 39th International Conference on Software Engineering Companion, ICSE-C 2017, 497-498. https://doi.org/10.1109/ICSE-C.2017.162

de Bayser, M., Azevedo, L. G., & Cerqueira, R. (2015). ResearchOps: The case for DevOps in scientific applications. 2015 IFIP/IEEE International Symposium on Integrated Network Management (IM), 1398-1404. https://doi.org/10.1109/ INM.2015.7140503

de Rada, V. D. (2012). Ventajas e inconvenientes de la encuesta por internet. Papers, 97(1), 193-223. https://doi.org/10.5565/rev/papers/v97n1.71

Debois, P. (2008). Agile Infrastructure and Operations: How Infra-gile are You? Agile 2008 Conference, 202-207. https://doi.org/10.1109/Agile.2008.42

Eckert, K., Favret, F., Suénaga, R., & Kairiyama, T. (2017). Modelo de análisis de información desestructurada utilizando técnicas de recopilación y minería web. XIX Workshop de Investigadores En Ciencias de La Computación (WICC 2017, ITBA, Buenos Aires), 978-987-42-5143-5, 320-324. http://sedici.unlp.edu.ar/ handle/10915/61738

Erich, F., Amrit, C., & Daneva, M. (2014). Report: DevOps Literature Review IWSM Mensura 2014 View project Complexity Methods for Predictive Synchromodality (Comet-PS) View project Report: DevOps Literature Review. https://doi.org/10.13140/2.1.5125.1201

Espadas, J., Concha, D., & Molina, A. (2008). Application Development over Softwareas-a-Service Platforms. 2008 The Third International Conference on Software Engineering Advances, 97-104. https://doi.org/10.1109/ICSEA.2008.48

Frías-Navarro, D. (n.d.). APUNTES DE CONSISTENCIA INTERNA DE LAS PUNTUACIONES DE UN INSTRUMENTO DE MEDIDA Análisis de la consistencia interna de las puntuaciones de un instrumento de medida. Retrieved May 8, 2020, from https://www.uv.es/friasnav/AlfaCronbach.pdf

Gupta, V., Kapur, P. K., & Kumar, D. (2017). Modeling and measuring attributes influencing DevOps implementation in an enterprise using structural equation modeling. Information and Software Technology, 92, 75-91. https://doi.org/10.1016/j.infsof.2017.07.010

Harpe, S. E. (2015). How to analyze Likert and other rating scale data. In Currents in Pharmacy Teaching and Learning (Vol. 7, Issue 6, pp. 836-850). Elsevier Inc. https://doi.org/10.1016/j.cptl.2015.08.001

Hummer, W., Rosenberg, F., Oliveira, F., & Eilam, T. (2013). Testing idempotence for infrastructure as code. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 8275 LNCS, 368-388. https://doi.org/10.1007/978-3-642-45065-5_19

Jabbari, R., bin Ali, N., Petersen, K., & Tanveer, B. (2016). What is DevOps? Proceedings of the Scientific Workshop Proceedings of XP2016 on - XP '16 Workshops, 1-11. https://doi.org/10.1145/2962695.2962707

Joshi, A., Kale, S., Chandel, S., & Pal, D. (2015). Likert Scale: Explored and Explained. British Journal of Applied Science & Technology, 7(4), 396-403. https://doi.org/10.9734/bjast/2015/14975

Kitchenham, B., Pearl Brereton, O., Budgen, D., Turner, M., Bailey, J., & Linkman, S. (2009). Systematic literature reviews in software engineering - A systematic literature review. Information and Software Technology, 51(1), 7-15. https://doi.org/10.1016/j.infsof.2008.09.009

Larman, C., & Basili, V. R. (2003). Iterative and incremental development: A brief history. In Computer (Vol. 36, Issue 6, pp. 47-56). https://doi.org/10.1109/ MC.2003.1204375

Lwakatare, L. E., Kilamo, T., Karvonen, T., Sauvola, T., Heikkilä, V., Itkonen, J., Kuvaja, P., Mikkonen, T., Oivo, M., & Lassenius, C. (2019). DevOps in practice: A multiple case study of five companies. Information and Software Technology, 11^(March 2017), 217-230. https://doi.org/10.1016/j.infsof.2019.06.010

Lwakatare, L. E., Kuvaja, P., & Oivo, M. (2015). Dimensions of devOps. Lecture Notes in Business Information Processing, 212, 212-217. https://doi.org/10.1007/9783-319-18612-2_19

Mills, E. E., & Shingler, K. H. (1988). Software Metrics SEI Curriculum Module SEICM-12-1.1 December 1988 Software Metrics.

Mullaguru, S. N. (2015). Changing Scenario of Testing Paradigms using DevOps - A Comparative Study with Classical Models. Undefined.

P. de Marchis, G. (2012). La validez externa de las encuestas en la "web". Amenazas y su control. Estudios Sobre El Mensaje Periodístico, 18(0), 263-272. https://doi.org/10.5209/rev_esmp.2012.v18.40980

Patwardhan, A. (2016a). Embracing Agile methodology during DevOps Developer Internship Program. CoRR, abs/1607.01893. http://arxiv.org/abs/1607.01893

Patwardhan, A. (2016b). Embracing Agile methodology during DevOps Developer Internship Program. CoRR, abs/1607.0. http://arxiv.org/abs/1607.01893

Shihab, E., Bird, C., & Zimmermann, T. (2012). The effect of branching strategies on software quality. International Symposium on Empirical Software Engineering and Measurement, 301-310. https://doi.org/10.1145/2372251.2372305

Stillwell, M., & Coutinho, J. G. F. (2015). A DevOps approach to integration of software components in an EU research project. 1st International Workshop on Quality-Aware DevOps, QUDOS 2015 - Proceedings, 1-6. https://doi.org/10.1145/2804371.2804372

Ustinova, T., & Jamshidi, P. (2015). Modelling multi-tier enterprise applications behaviour with design of experiments technique. 1st International Workshop on Quality-Aware DevOps, QUDOS 2015 - Proceedings, 13-18. https://doi.org/10.1145/2804371.2804374

Virmani, M. (2015). Understanding DevOps & bridging the gap from continuous integration to continuous delivery. 5th International Conference on Innovative Computing Technology, INTECH 2015, 78-82. https://doi.org/10.1109/INTECH.2015.717336