Leveraging Text Generation for Enhanced User Story Quality

Abstract

Context: User stories play a crucial role in agile software development because of their structured format and ease of implementation. However, development teams face the challenging task of managing the variety of information required from multiple sources to craft user stories manually. Furthermore, poor-quality user stories can hinder communication among team members, potentially causing delays or leading to errors in the development process. Goal: This thesis investigates the state-of-the-art in the automatic generation of user stories and proposes various text generation models to assist in writing user stories within Agile Software Development (ASD) projects. We hypothesize that employing these models can help software practitioners write user stories more efficiently and with improved quality. Method: A range of research methods were used to construct and evaluate this thesis. Firstly, we conducted a Systematic Literature Review (SLR) to summarize the evidence on the topic. Based on the findings of our SLR, we introduced our two first text generation models for user stories (N-gram and GPT) and used a quantitative framework of metrics to compare them. Subsequently, we improved the N-gram model created and performed a controlled experiment followed by a survey designed to evaluate the use of text generation models for user stories. Results: The SLR found that there is a shortage of user stories corpora to support the implementation of text generation models for user stories as well as a wide variety of different Natural Language Processing (NLP) techniques and Machine Learning (ML) algorithms to specify user stories automatically. Only a few studies are concerned about the quality of the user stories generated by the approaches presented. Quantitative evaluation of the initial N-gram model using BLEU, ROUGE, and BERTScore metrics showed that while GPT models excelled in developing more comprehensive user stories, N-gram models demonstrated a higher degree of semantic sensitivity. Finally, our controlled experiment revealed that the upgraded version of the N-gram model enhanced the consistency and uniformity of the user stories compared to the manual writing method and brought important insights about user stories employment. Conclusion: The use of text generation models for supporting the writing of user stories is promising. These models accelerated the composition process and improved the quality of the resulting user stories. We encourage further investigations in the direction of refining the N-gram models technique or training other Large Language Models (LLMs) to support the writing of user stories in different contexts with varied templates.

Alternate abstract:

Contexte: Les récits d’utilisateurs jouent un rôle crucial dans le développement de logiciels agiles en raison de leur format structuré et de leur facilité de mise en oeuvre. Cependant, les équipes de développement sont confrontées à la tâche difficile de gérer la variété des informations requises à partir de sources multiples pour rédiger manuellement les récits d’utilisateurs. En outre, des récits d’utilisateur de mauvaise qualité peuvent entraver la communication entre les membres de l’équipe, ce qui peut entraîner des retards ou des erreurs dans le processus de développement. Objectif: Cette thèse étudie l’état de l’art dans la génération automatique d’histoires d’utilisateurs et propose divers modèles de génération de texte pour aider à la rédaction d’histoires d’utilisateurs dans le cadre de projets de développement de logiciels agiles. Nous émettons l’hypothèse que l’utilisation de ces modèles peut aider les praticiens du logiciel à écrire des histoires d’utilisateurs plus efficacement et avec une meilleure qualité. Méthode: Plusieurs méthodes de recherche ont été utilisées pour élaborer et évaluer cette thèse. Tout d’abord, nous avons effectué une revue systématique de la littérature pour résumer les preuves sur le sujet. Sur la base des résultats de cette analyse, nous avons présenté nos deux premiers modèles de génération de texte pour les récits d’utilisateurs (N-gram et GPT) et nous avons utilisé un cadre quantitatif de mesures pour les comparer. Par la suite, nous avons amélioré le modèle N-gram créé et réalisé une expérience contrôlée suivie d’une enquête destinée à évaluer l’utilisation des modèles de génération de texte pour les récits d’utilisateurs. Résultats: La revue a constaté qu’il y a une pénurie de corpus de récits d’utilisateurs pour soutenir la mise en oeuvre de modèles de génération de texte pour les récits d’utilisateurs, ainsi qu’une grande variété de techniques de traitement du langage naturel et d’algorithmes d’apprentissage automatique pour spécifier automatiquement les récits d’utilisateurs. Seules quelques études s’intéressent à la qualité des récits d’utilisateurs générés par les approches présentées. L’évaluation quantitative du modèle N-gram initial à l’aide des métriques BLEU, ROUGE et BERTScore a montré que si les modèles GPT ont excellé dans l’élaboration de récits d’utilisateurs plus complets, les modèles N-gram ont fait preuve d’un degré plus élevé de sensibilité sémantique. Enfin, notre expérience contrôlée a révélé que la version améliorée du modèle N-gram améliorait la consistance et la uniformité des récits d’utilisateurs par rapport à la méthode de rédaction manuelle et apportait des informations importantes sur l’emploi des récits d’utilisateurs. Conclusion: L’utilisation de modèles de génération de texte pour soutenir la rédaction d’histoires d’utilisateurs est prometteuse. Ces modèles ont accéléré le processus de composition et amélioré la qualité des récits d’utilisateurs qui en résultent. Nous encourageons la poursuite des recherches en vue d’affiner la technique des modèles N-grammes ou d’entraîner d’autres grands modèles de langage pour aider à la rédaction de récits d’utilisateurs dans différents contextes avec des modèles variés.