A Comparative Evaluation of Robust Principal Component Analysis Methods on High-Dimensional and Contaminated Data: Simulations and Real-World Application

Abstract

Principal Component Analysis is a common and widely used dimensionality reduction and pattern extraction technique, but its sensitivity to outliers can lead to distorted results. To overcome this problem, robust principal component analysis algorithms have been developed over the years. These algorithms offer resistance to contamination while preserving data structure. This thesis provides a detailed and comprehensive comparative analysis of robust PCA algorithms, including ROBPCA, PCP, Spherical PCA, Cauchy PCA, and two Projection Pursuit-based methods, against classical PCA. The evaluation was conducted on both real and custom simulated datasets with controlled contamination levels. Algorithm performances was assessed using various metrics such as explained variance, angle between principal directions, eigenvalue estimation error, and computational time. ROBPCA consistently demonstrated the best trade-off between robustness, interpretability, and computational efficiency. Cauchy PCA performed well under severe contamination, particularly in high-dimensional settings. PCP showed poor performance in terms of scalability and accuracy under contamination. Analysis findings showed that different algorithms have different trade-offs between outlier resistance, dimension reduction, and data preservation. The findings help researchers select the appropriate robust PCA method for their scenario based on different data characteristics, contamination levels, and computational constraints. This thesis fills a literature gap by creating an evaluation framework for robust PCA algorithms across various application contexts.

Alternate abstract:

Temel Bileşen Analizi yaygın ve geniş çapta kullanılan bir boyut indirgeme ve desen çıkarma tekniğidir, ancak aykırı değerlere olan duyarlılığı çarpık sonuçlara yol açabilir. Bu sorunun üstesinden gelmek için yıllar içinde sağlam temel bileşen analizi algoritmaları geliştirilmiştir. Bu algoritmalar veri yapısını korurken kirlenmeye karşı direnç sağlar. Bu tez, ROBPCA, PCP, Küresel PCA, Cauchy PCA ve iki Projeksiyon Takibi tabanlı yöntem dahil olmak üzere sağlam PCA algoritmalarının klasik PCA'ya karşı ayrıntılı ve kapsamlı bir karşılaştırmalı analizini sunmaktadır. Değerlendirme, kontrollü kirlenme seviyelerine sahip hem gerçek hem de özel simüle edilmiş veri kümeleri üzerinde gerçekleştirilmiştir. Algoritma performansları, açıklanan varyans, temel yönler arasındaki açı, özdeğer tahmin hatası ve hesaplama süresi gibi çeşitli ölçütler kullanılarak değerlendirilmiştir. ROBPCA, sağlamlık, yorumlanabilirlik ve hesaplama verimliliği arasında sürekli olarak en iyi dengeyi göstermiştir. Cauchy PCA, özellikle yüksek boyutlu ortamlarda, şiddetli kirlenme altında iyi performans göstermiştir. PCP, kirlenme altında ölçeklenebilirlik ve doğruluk açısından zayıf bir performans göstermiştir. Analiz bulguları, farklı algoritmaların aykırı değer direnci, boyut azaltma ve veri koruma arasında farklı dengelere sahip olduğunu göstermiştir. Bulgular, araştırmacıların farklı veri özellikleri, kirlenme seviyeleri ve hesaplamalı kısıtlamalara dayanarak senaryoları için uygun sağlam PCA yöntemini seçmelerine yardımcı olmaktadır. Tez, çeşitli uygulama bağlamlarında sağlam PCA algoritmaları için bir değerlendirme çerçevesi oluşturarak literatürdeki bir boşluğu doldurmaktadır.