Discriminatory accuracy of serological tests for detecting Trypanosoma cruzi using the ROC curve and the standard methodology

Abstract

Introduction: Serological tests are used to confirm Trypanosoma cruzi infection and their discriminatory accuracy depends on the established decision threshold. Both, the standard methodology and the receiver operating characteristic (ROC) curve methodology allow obtaining such threshold. Objective: To compare the discriminatory accuracy of the standard methodology and the ROC curve methodology regarding serological tests for confirming T. cruzi infection. Materials and methods: A set of anti-T. cruzi antibodies values from subjects previously classified as healthy or as having Chagas disease were used, and computer simulations were performed under homoscedasticity and heteroscedasticity conditions. Sensitivity, specificity, 100% sensitivity, 100% specificity, and perfect-decision were calculated. Results:The discriminatory accuracy obtained with the standard methodology favored specificity (98.22% to 99.56%) over sensitivity (67.25% to 87.14%), while in the ROC curve methodology a balance between sensitivity (94.56% and 96.44%) and specificity (90.35% and 92.11%) was observed. Also, in the ROC curve methodology a greater perfect-decision ratio was observed, which, under homoscedasticity conditions, was >90%. Decisions thresholds were affected by heteroscedasticity conditions. Conclusion: The ROC curve methodology showed better discriminatory accuracy, therefore its use for calculating decision thresholds in serological tests for detecting Chagas disease is recommended.

Alternate abstract:

Introducción. Las pruebas serológicas se utilizan para detectar infección por Trypanosoma cruzi y su precisión discriminatoria depende del umbral de decisión establecido. La metodología estándar y la de curva característica operativa del receptor (COR) permiten obtener tal umbral.

Objetivo. Comparar la precisión discriminatoria de la metodología estándar y la metodología de curva COR en lo que respecta a pruebas serológicas para detectar infección por T. cruzi.

Materiales y métodos. Se utilizó un conjunto de valores de anticuerpos contra T. cruzi de individuos clasificados como chagásicos o sanos y se realizaron simulaciones computarizadas en condiciones homocedásticas y heterocedásticas. Se calculó sensibilidad, especificidad, sensibilidad=100%, especificidad=100% y decisión-perfecta.

Resultados. La precisión discriminatoria de la metodología estándar favoreció la especificidad (98.22% a 99.56%) sobre la sensibilidad (67.25% a 87.14%), mientras que la de la curva COR mostró un equilibrio entre sensibilidad (94.56% y 96.44%) y especificidad (90.35% y 92.11%). Esta última metodología también evidenció una mayor proporción de decisión-perfecta, la cual llegó a ser >90% en condiciones de homocedasticidad. Los umbrales de decisión fueron afectados por las condiciones de heterocedasticidad.

Conclusión. La metodología de la curva COR mostró una mejor precisión discriminatoria, por lo que se recomienda su uso para el cálculo de umbrales de decisión en pruebas serológicas para la enfermedad de Chagas.