Applications of Artificial Intelligence for Toxicity Prediction in Radiotherapy

Abstract

Head and neck cancer (HNC) is one of the most common cancers worldwide, characterized by a high incidence and persistently low survival rates, with approximately 50% of patients surviving beyond five years. Among the available treatment modalities, radiotherapy (RT) has emerged as a cornerstone due to its efficacy, lower invasiveness, and suitability for cases where tumors may be unresectable. However, despite continuous advancements in RT techniques, treatment-related toxicities remain a major challenge, significantly impacting patients' quality of life. Among these toxicities, dysphagia (difficulty in swallowing) and xerostomia (dry mouth) are among the most debilitating side effects, often leading to nutritional deficiencies, social limitations, and long-term complications. Improving toxicity prediction and mitigation requires three key advancements: (1) accurate segmentation of organs at risk (OARs) to ensure precise dose delivery, (2) refined methodologies for toxicity assessment and (3) dose-response modeling. This thesis addresses these aspects by developing deep learning (DL)-based segmentation frameworks, introducing an automated approach for dysphagia evaluation, and performing voxel-based analyses to identify xerostomia-related subregions. The first step toward improving toxicity prediction is ensuring accurate OAR segmentation. We developed and validated a deep learning framework for the automatic segmentation of 25 OARs in HN CT images, training with partially labeled datasets and longitudinal data. Our model demonstrated state-of-the-art performance, achieving Dice Similarity Coefficients exceeding 70% and Average Surface Distances below 2 mm. A clinical evaluation by an external radiation oncologist showed that 71% of automatically generated contours were acceptable without editing, surpassing the quality of manually drawn contours. Additionally, we introduced an uncertainty-based classification method to detect segmentation outliers, further enhancing reliability for clinical implementation. Building upon these advancements, we extended our segmentation model to cone-beam computed tomography (CBCT) to facilitate adaptive radiotherapy (ART). Given CBCT’s lower image quality and lack of well-annotated datasets, we build upon a synthetic CT-based segmentation pipeline, achieving comparable accuracy to CT-based segmentations. Dosimetric validation confirmed that CBCT-based contours maintained consistency with planned dose distributions, supporting the integration of automatic segmentation into ART workflows. With accurate OAR segmentation models established for both CT and CBCT images, we explored novel methods for toxicity assessment and prediction. Dysphagia lacks standardized and objective evaluation criteria. To address this, we developed an automated analysis framework for videofluoroscopic swallowing studies. This approach integrated DL-based region detection, dynamic parameter extraction, and machine learning, enabling a quantitative assessment of swallowing function. This is the most comprehensive automated VFSS analysis to date, setting the foundation for objective dysphagia characterization and future predictive modeling in HNC patients. For xerostomia, several objective assessment methods are available, including stimulated salivary flow. However, traditional xerostomia prediction models rely on global dose metrics, overlooking local dose-response relationships. To refine these models, we conducted a voxel-based analysis, identifying two subregions—within the contralateral parotid and tubarial glands—that exhibited stronger associations with xerostomia than conventional dose metrics. Their clinical relevance was validated using a functional PSMA-PET-based salivary activity template, reinforcing the importance of considering local dose effects in treatment planning. To account for anatomical changes during treatment, we extended our voxel-based analysis to accumulated dose maps, generated through deformable image registration. This analysis confirmed the tubarial gland’s critical role in xerostomia development, demonstrating that radiation dose to this structure strongly correlates with toxicity risk. Importantly, our findings indicate that while ART reduces mean parotid dose, it may inadvertently increase dose to the tubarial glands, potentially increasing the probability of xerostomia. These results underscore the need to incorporate accumulated dose information and voxel-based dose constraints into RT planning for improved toxicity mitigation. Overall, this thesis advances segmentation techniques, enhances toxicity assessment methodologies, and introduces refined dose-response models to improve toxicity prediction in HNC RT. Together, these contributions pave the way for more personalized, toxicity-aware radiotherapy strategies to improve long-term outcomes for HNC patients.

Alternate abstract:

El cáncer de cabeza y cuello (CCyC) es uno de los tipos de cáncer más comunes a nivel mundial, caracterizado por una alta incidencia y tasas de supervivencia persistentemente bajas, con aproximadamente el 50% de los pacientes sobreviviendo más allá de los cinco años. Entre las modalidades de tratamiento disponibles, la radioterapia (RT) se ha consolidado como una piedra angular debido a su eficacia, menor invasividad y adecuación para casos en los que los tumores pueden ser irresecables. Sin embargo, a pesar de los continuos avances en las técnicas de RT, las toxicidades asociadas al tratamiento siguen siendo un desafío importante, afectando significativamente la calidad de vida de los pacientes. Entre estas toxicidades, la disfagia (dificultad para tragar) y la xerostomía (boca seca) se encuentran entre los efectos secundarios más debilitantes, lo que a menudo conduce a deficiencias nutricionales, limitaciones sociales y complicaciones a largo plazo. La mejora en la predicción y mitigación de toxicidades requiere tres avances clave: (1) la segmentación precisa de los órganos en riesgo (OARs) para garantizar una administración exacta de la dosis, (2) el refinamiento de las metodologías para la evaluación de toxicidades y (3) la modelización de la relación dosis-respuesta. Esta tesis aborda estos aspectos mediante el desarrollo de marcos de segmentación basados en aprendizaje profundo (DL), la introducción de un enfoque automatizado para la evaluación de la disfagia y el análisis basado en vóxeles para identificar subregiones asociadas a la xerostomía. El primer paso para mejorar la predicción de toxicidades es garantizar una segmentación precisa de los OARs. Desarrollamos y validamos un marco basado en aprendizaje profundo para la segmentación automática de 25 OARs en imágenes de TAC de cabeza y cuello, entrenándolo con conjuntos de datos parcialmente etiquetados y datos longitudinales. Nuestro modelo demostró un rendimiento de vanguardia, alcanzando coeficientes de similitud de Dice superiores al 70% y distancias de superficie promedio por debajo de los 2 mm. Una evaluación clínica realizada por un oncólogo radioterápico externo mostró que el 71% de los contornos generados automáticamente eran aceptables sin necesidad de edición, superando la calidad de los contornos dibujados manualmente. Además, introdujimos un método de clasificación basado en incertidumbre para detectar segmentaciones atípicas, mejorando aún más la fiabilidad para su implementación clínica. Sobre la base de estos avances, extendimos nuestro modelo de segmentación a la tomografía computarizada de haz cónico (CBCT) para facilitar la radioterapia adaptativa (ART). Dado que las imágenes de CBCT presentan una calidad inferior y carecen de conjuntos de datos bien anotados, desarrollamos una canalización de segmentación basada en TAC sintética, logrando una precisión comparable a la segmentación basada en TAC convencional. La validación dosimétrica confirmó que los contornos basados en CBCT mantenían la consistencia con las distribuciones de dosis planificadas, respaldando la integración de la segmentación automática en los flujos de trabajo de ART. Con modelos de segmentación de OARs precisos establecidos tanto para imágenes de TAC como de CBCT, exploramos métodos novedosos para la evaluación y predicción de toxicidades. La disfagia carece de criterios de evaluación estandarizados y objetivos. Para abordar esta limitación, desarrollamos un marco de análisis automatizado para estudios videofluoroscópicos de la deglución. Este enfoque integró la detección de regiones basada en DL, la extracción de parámetros dinámicos y el aprendizaje automático, permitiendo una evaluación cuantitativa de la función deglutoria. Se trata del análisis automatizado de VFSS más completo hasta la fecha, sentando las bases para la caracterización objetiva de la disfagia y la futura modelización predictiva en pacientes con CCyC. En cuanto a la xerostomía, existen varios métodos objetivos de evaluación, incluida la medición del flujo salival estimulado. Sin embargo, los modelos tradicionales de predicción de xerostomía se basan en métricas de dosis globales, sin considerar las relaciones locales dosis-respuesta. Para refinar estos modelos, realizamos un análisis basado en vóxeles, identificando dos subregiones —dentro de la glándula parótida contralateral y las glándulas tubáricas— que mostraron asociaciones más fuertes con la xerostomía que las métricas de dosis convencionales. Su relevancia clínica se validó utilizando una plantilla funcional de actividad salival basada en PSMA-PET, lo que refuerza la importancia de considerar los efectos de la dosis local en la planificación del tratamiento. Para tener en cuenta los cambios anatómicos durante el tratamiento, extendimos nuestro análisis basado en vóxeles a mapas de dosis acumulada, generados mediante registro de imágenes deformable. Este análisis confirmó el papel crítico de la glándula tubárica en el desarrollo de la xerostomía, demostrando que la dosis de radiación a esta estructura se correlaciona fuertemente con el riesgo de toxicidad. Es importante destacar que nuestros hallazgos indican que, si bien la ART reduce la dosis media en la parótida, puede aumentar inadvertidamente la dosis en las glándulas tubáricas, lo que potencialmente incrementa la probabilidad de la xerostomía. Estos resultados subrayan la necesidad de incorporar información de dosis acumulada y restricciones de dosis basadas en vóxeles en la planificación de RT para mejorar la mitigación de toxicidades. En general, esta tesis avanza en las técnicas de segmentación, mejora las metodologías de evaluación de toxicidades e introduce modelos refinados de dosis-respuesta para mejorar la predicción de toxicidades en la RT para CCyC. En conjunto, estas contribuciones allanan el camino hacia estrategias de radioterapia más personalizadas y conscientes de la toxicidad, con el objetivo de mejorar los resultados a largo plazo en pacientes con CCyC.

Alternate abstract:

Le cancer de la tête et du cou (CTC) est l’un des cancers les plus fréquents dans le monde, caractérisé par une incidence élevée et des taux de survie qui demeurent faibles, avec environ 50% des patients survivant au-delà de cinq ans. Parmi les modalités thérapeutiques disponibles, la radiothérapie (RT) s’est imposée comme un pilier du traitement en raison de son efficacité, de son caractère moins invasif et de son adéquation aux tumeurs non résécables. Toutefois, malgré les progrès continus des techniques de RT, les toxicités induites par le traitement restent un défi majeur, ayant un impact significatif sur la qualité de vie des patients. Parmi ces toxicités, la dysphagie (difficulté à avaler) et la xérostomie (sécheresse buccale) comptent parmi les effets secondaires les plus invalidants, entraînant fréquemment des carences nutritionnelles, des limitations sociales et des complications à long terme. L’amélioration de la prédiction et de l’atténuation des toxicités repose sur trois avancées clés : (1) une segmentation précise des organes à risque (OAR) afin d’optimiser la délivrance de la dose, (2) des méthodologies affinées pour l’évaluation des toxicités et (3) la modélisation des relations dose-réponse. Cette thèse aborde ces aspects en développant des cadres de segmentation basés sur l’apprentissage profond (DL), en introduisant une approche automatisée pour l’évaluation de la dysphagie et en réalisant des analyses voxel par voxel pour identifier les sous-régions associées à la xérostomie. La première étape vers une meilleure prédiction des toxicités est d’assurer une segmentation précise des OAR. Nous avons développé et validé un cadre basé sur l’apprentissage profond pour la segmentation automatique de 25 OAR sur des images CT du CTC, en nous appuyant sur des ensembles de données partiellement annotés et longitudinales. Notre modèle a démontré des performances de pointe, avec des coefficients de Dice dépassant 70 % et des distances moyennes de surface inférieures à 2 mm. Une évaluation clinique réalisée par un oncologue radiothérapeute externe a révélé que 71 % des contours générés automatiquement étaient acceptables sans modification, surpassant la qualité des contours dessinés manuellement. De plus, nous avons introduit une méthode de classification basée sur l’incertitude afin de détecter les anomalies de segmentation, renforçant ainsi la fiabilité de l’implémentation clinique. Sur la base de ces avancées, nous avons étendu notre modèle de segmentation à la tomographie volumique à faisceau conique (CBCT) pour faciliter la radiothérapie adaptative (ART). Compte tenu de la qualité d’image inférieure du CBCT et de l’absence de jeux de données bien annotés, nous avons développé un pipeline de segmentation basé sur des CT synthétiques, obtenant une précision comparable à celle des segmentations sur CT. La validation dosimétrique a confirmé que les contours issus du CBCT conservaient leur cohérence avec les distributions de dose planifiées, soutenant ainsi l’intégration de la segmentation automatique dans les flux de travail de l’ART. Une fois des modèles précis de segmentation des OAR établis pour les images CT et CBCT, nous avons exploré de nouvelles méthodes d’évaluation et de prédiction des toxicités. La dysphagie ne dispose pas de critères d’évaluation standardisés et objectifs. Pour y remédier, nous avons développé un cadre d’analyse automatisé des études de radiocinéma de la déglutition. Cette approche intègre la détection de régions basée sur le DL, l’extraction de paramètres dynamiques et l’apprentissage automatique, permettant ainsi une évaluation quantitative de la fonction de déglutition. Il s’agit de l’analyse automatisée la plus complète des études VFSS à ce jour, établissant les bases d’une caractérisation objective de la dysphagie et de futures modélisations prédictives chez les patients atteints de CTC. Concernant la xérostomie, plusieurs méthodes d’évaluation objective existent, notamment la mesure du débit salivaire stimulé. Cependant, les modèles traditionnels de prédiction de la xérostomie reposent sur des métriques de dose globales, ignorant les relations dose-réponse locales. Pour affiner ces modèles, nous avons réalisé une analyse voxel par voxel, identifiant deux sous-régions – situées dans la parotide controlatérale et les glandes tubaires – qui présentaient des associations plus fortes avec la xérostomie que les métriques de dose conventionnelles. Leur pertinence clinique a été validée à l’aide d’un gabarit fonctionnel d’activité salivaire basé sur la PSMA-PET, renforçant ainsi l’importance de considérer les effets de dose locaux lors de la planification du traitement. Afin de prendre en compte les modifications anatomiques survenant au cours du traitement, nous avons étendu notre analyse voxel par voxel aux cartes de dose accumulées, générées par enregistrement déformable d’images. Cette analyse a confirmé le rôle critique de la glande tubaire dans le développement de la xérostomie, démontrant que la dose de radiation reçue par cette structure est fortement corrélée au risque de toxicité. De manière importante, nos résultats indiquent que si l’ART réduit la dose moyenne aux parotides, elle pourrait involontairement augmenter la dose aux glandes tubaires, augmentant potentiellement la probabilité de la xérostomie. Ces résultats soulignent la nécessité d’intégrer les informations de dose accumulée et les contraintes de dose voxel par voxel dans la planification de la RT pour une meilleure atténuation des toxicités. Dans l’ensemble, cette thèse fait progresser les techniques de segmentation, améliore les méthodologies d’évaluation des toxicités et introduit des modèles dose-réponse affinés pour une meilleure prédiction des toxicités en RT des CTC. Ensemble, ces contributions ouvrent la voie à des stratégies de radiothérapie plus personnalisées et tenant compte des toxicités, afin d’améliorer les résultats à long terme des patients atteints de CTC.