NoSQL und HBase Architektur Implementierung auf zufällige ausgewählte Arbeitern in Big-Data

Abstract

Büyük veri teriminin altındaki farklı kaynaklardan gelen bilgi kümesini işleyebilmek için günümüzde farklı araçlar ortaya çıkmıştır. Bu alanda Büyük verinin işleme zorluğu, verilerin yoğun olarak ön işleme tabi tutulması gereksinimi, yapılandırılmamış veri hacimlerinin depolanmasına ve yüksek performansla işlenmesine izin veren bir NoSQL hareketinin ortaya çıkmasına katkıda bulunmuştur. Verilerin işlenmeden, yapılandırılmadan saklanma ihtiyacı buna yönelik saklama yapabilen sütun yönelimli NoSQL veri tabanı olan HBase’in ortaya çıkmasını sağlamıştır. Bu tez çalışmasının amacı ; büyük veri kavramının günümüze kadar ki sürecini incelemek, NoSQL ve HBase mimarileri gibi farklı veri tabanı türleri arasında karşılaştırma yapmak, veri taşıma yöntemlerini incelemek ve HDFS üzerine HBase dosya sistemini kurup işler hale getirip test yapmaktır. 30000 satırlı, rastgele isim ve meslek gruplarından oluşturulan veri kümesi, Hbase veritabanında Sqoop ile çalışması test edilmiştir.

Alternate abstract:

Heute haben sich verschiedene Tools herausgebildet, um den Informationssatz aus verschiedenen Quellen unter dem Begriff Big-Data zu verarbeiten. Die Schwierigkeit, große Daten in diesem Bereich zu verarbeiten, hat zur Entstehung einer NoSQL-Bewegung beigetragen, die eine intensive Vorbehandlung der Daten ermöglicht, unstrukturierte Datenmengen speichert und mit hoher Leistung verarbeitet. Die Notwendigkeit, die Daten unstrukturiert zu speichern, hat zur Entstehung der spaltenorientierten NoSQL-Datenbank HBase geführt. Der Zweck dieser Arbeit ist es den Prozess des Big Data-Konzepts bis heute zu untersuchen. Es wurde zwischen verschiedenen Datenbanktypen wie NoSQL- und HBase-Architekturen verglichen, die Methoden des Datentransports untersucht, und HBase-Dateisystem auf HDFS installiert und getestet. Der aus 30000 Zeilen Namen und Berufsgruppen zufallig generierte Datensatz wurde in der Hbase-Datenbank getestet.

Abstract (AI English translation)

Information popover about translation disclaimer

Today, different tools have emerged to process the set of information coming from different sources under the term big data. In this field, the difficulty of processing Big data and the need for intensive preprocessing of data have contributed to the emergence of a NoSQL movement that allows storing unstructured data volumes and processing them with high performance. The need to store data without processing or structuring has led to the emergence of HBase, a column-oriented NoSQL database that can store data accordingly. The aim of this thesis study is; The aim of the course is to examine the process of the big data concept to date, to compare different database types such as NoSQL and HBase architectures, to examine data migration methods, and to install, operationalize and test the HBase file system on HDFS. The 30000-row data set, created from random names and occupational groups, has been tested to work with Sqoop in the HBase database.