Veri Merkezleri Için Makine Öğrenmesi Temelli Izleme Sistemi Tasarımı

Abstract

Bugün, hızla büyüyen ve giderek daha karmaşık hale gelen veri merkezleri, modern işletmelerin ve teknolojik altyapıların merkezinde yer almaktadır. Bu büyüme ve karmaşıklık, sistemlerin yönetimi ve operasyonel verimliliklerinin sağlanması için yeni zorluklar ortaya çıkarmaktadır. Bu bağlamda, veri merkezlerinde yer alan sistemlerin sürekli izlenmesi, performanslarının takip edilmesi ve üretilen büyük miktardaki verinin anlamlandırılması kritik bir gereklilik haline gelmiştir. Geleneksel izleme yaklaşımları, belirli sınırlamaları beraberinde getirirken, bu yöntemler, büyük veri hacimleri ve karmaşık altyapılar karşısında yetersiz kalabilmektedir. Bu nedenle, izleme süreçlerinde yenilikçi teknolojiler kullanılarak daha akıllı ve etkin çözümler geliştirilmesi büyük bir önem taşımaktadır. Makine öğrenmesi tabanlı izleme sistemleri, geleneksel yöntemlere kıyasla çok daha hızlı ve doğru bir şekilde verileri analiz edebilmekte, öngörüsel analizler yaparak potansiyel sorunları henüz ortaya çıkmadan tespit edebilmektedir. Bu sistemler, otomasyon sayesinde insan müdahalesine olan gereksinimi azaltarak operasyonel maliyetleri düşürmekte ve insan hatalarından kaynaklanan riskleri minimize etmektedir. Bu da proaktif bakım ve müdahale imkânlarını artırarak sistemlerin sürekliliğini ve performansını en üst düzeye çıkarmaktadır. Erişilebilirlik ve kontrol süreçlerinin kolaylaştırılması, yönetimsel yükü azaltırken, izleme sistemlerinin daha kapsamlı ve derinlemesine analiz yeteneklerine sahip olması, karar alma süreçlerinde büyük katkılar sağlamaktadır. Sonuç olarak, veri merkezlerinin izlenmesinde daha analiz odaklı bir yapı oluşturulması, sadece mevcut sistem performansının iyileştirilmesini değil, aynı zamanda gelecek stratejilerinin planlanmasında da önemli bir rol oynamaktadır.

Bu çalışma da Zabbix açık kaynak izleme aracı ve makine öğrenmesi kullanılarak sistemler tasarlanmış ve uygulanmıştır. Her iki izleme yöntemine ait veri toplama yapıları oluşturulmuş, bir sunucu üzerinde Zabbix agent yöntemi ile CPU, memory, disk ve I/O trafiğinin izlenmesi sağlanmıştır. Bu veriler üzerinde hem geleneksel izleme hem de makine öğrenmesi yöntemleri kullanılarak analizler sağlanmış geçmişe ve geleceğe yönelik tahminlemelerde bulunulmuştur. Bu çıktılar sonucunda yansıyan alarmlar ve tutulan verilere göre grafiksel olarak karşılaştırılmış her iki sistemin de avantajları ve dezavantajları ölçümlenmiştir. Geleneksel izlemede sabit formüller yer alırken ve eşik değerler ile sistem izlenirken; makine öğrenmesi ile izleme de geleceğe yönelik tahminleme, baseline oluşturma, doluluk tahminleri gibi analiz edilen, verilerin belirli filtre ve işlemlerden geçirilmesi ile modellemeler yapılmakta ve bu çıktılar sistemin efektif ve proaktif olarak izlenmesine imkân sunmaktadır. Geleneksel bir CPU kullanım alarmı gelirken, geçmişe yönelik baseline değerlendirmeleri ile alarmın yansımadığı olağan olduğu testlerde görülmüştür. Ayrıca geleneksel izleme sistemlerinde genellikle bir eşik değerin aşılması değerlendirilirken makine öğrenmesi ile izlemelerde düşüşlerinde false-positive alarmlar oluşmadan değerlendirilebilmesine imkan vermektedir. Bu da sistemlerde anlık dalgalanmaları sadece yukarı yönlü değil aşağı yönlüde takip edebilmeyi ve nokta atışı sorunları tespit edebilmeyi sağlamaktadır. Bunun yanı sıra özellikle disk doluluk ve aşım tespitlerinde tahminlemelerin yapılnması ve disk, storage gibi yapıların ne zaman dolabileceğinin izlenmesi de kritik öneme sahiptir. Bu bilgi sadece bir alarm olarak kalmamakta ve operasyon planlamalarına destek sağlamakta ve olası kesintilerin önüne geçilmesine imkân tanımaktadır. Veri merkezlerindeki adam-gün işlerininde planlanmasına destek olmaktadır. Çalışma da çıktılar değerlendirildiğinde reaktif yakaşımlar yerine proaktif yaklaşımların ne gibi faydalar sağlayacağı tasarlamış olduğumuz sistem üzerinde analiz edilerek ve izlemeleri sağlanarak örneklendirilmiş ve detayları incelenmiştir. Geleceğe bakış olarak makine öğrenmesi sistemlerininde tepesinde bulunan yapay zeka sistemlerininde ne kadar önemli olduğu literatür araştırmalarında görülmüştür. Yeni nesil ve ilerleyen zamanlarda reaktif yapıların yerini makine öğrenmesi ve bir sonraki adımda ise yapay zekanın alabileceği bu çalışma da gözlemlenmiştir.

Alternate abstract:

With today's rapidly developing technological infrastructure, data centers play acritical role. These centers form the backbone of modern businesses and evolve into aconstantly growing and complex structure. With the acceleration of digitaltransformation, the importance of data centers is increasing day by day, which bringswith it new management challenges. Continuous monitoring of system performance,analysis and interpretation of large data volumes have become a necessity. Whiletraditional monitoring approaches are inadequate in the face of increasing datavolumes and complex infrastructures, the use of innovative technologies has becomeinevitable. In recent years in particular, the size and complexity of data centers hasincreased exponentially, making manual monitoring and management processesimpractical. Modern data centers host hundreds or even thousands of servers, networkdevices and storage units, each of which constitutes complex systems that must beconstantly monitored and managed. Considering the dependence of businesses ondigital infrastructure today, it is clear that even a one-hour system outage can lead toserious financial losses. Interruptions in data center operations can directly cause lossof revenue, customer dissatisfaction, and reputation loss. Monitoring systems, whichare critical for business continuity, detect potential problems before they occur andallow the necessary precautions to be taken. Machine learning methods includesupervised and unsupervised learning approaches. While supervised learning trainsmodels using labeled data, unsupervised learning aims to discover hidden structures indata by working with unlabeled data. In supervised learning, the model learns thecorrect outputs together with the input data and makes predictions that can be appliedto new data. For example, supervised learning can be used to predict the futureperformance of a server using past performance data. Unsupervised learning, on theother hand, is used to discover the natural structure of the data. In this method, hiddenpatterns and relationships in the dataset are revealed. For example, anomaly detectionin large data sets such as server logs can be performed using unsupervised learningtechniques. Deep learning is an approach that can make more sophisticated predictionsand analyses by creating deeper and multi-layered structures in complex data sets.Deep learning can make higher accuracy predictions in large data sets using neuralnetworks. This method achieves successful results especially in complex structureddata such as image and audio data. In data center monitoring systems, more complexand variable system behaviors can be analyzed using deep learning techniques andfuture abnormal situations can be predicted more accurately.

Threshold-based approaches, which form the basis of traditional monitoring systems,are insufficient in the face of today's dynamic workloads. Variable resource usage ofmodern applications, microservice architectures and cloud infrastructures require moresophisticated monitoring and analysis methods. In this context, machine learningbased approaches offer smarter and adaptive monitoring solutions by learning the behavioral patterns of systems. In this study, both traditional and machine learningbased monitoring systems were designed and implemented using the Zabbix opensource monitoring tool. The development of data center monitoring systems hasfollowed a journey starting from simple ping checks to today's complex artificialintelligence-supported systems. During this evolution process, monitoring systemshave transformed from tools that only check the status of systems to proactivemanagement and decision support systems. The main reasons for preferring the Zabbixplatform are its large user community, rich plugin ecosystem and easy integration withdifferent systems. In the tests conducted, server behaviors, especially under high load,were examined and the performance differences between traditional and machinelearning-based monitoring systems were analyzed in detail. Test scenarios weredesigned to simulate real-world conditions, and different load levels and usagescenarios were evaluated. Various loads were applied during the testing process andthe behavior of the system under different load conditions was examined.