Processos de Arquivo e Exploração de Informação Usando Data Lake E/Ou Azure Fabric e Powebi

Abstract

A presente dissertação aborda os problemas associados à manutenção de dados históricos em sistemas de gestão e à sua extração para ambientes cloud. Embora os dados históricos não sendo essenciais para a operação diária, podem representar uma carga substancial nas bases de dados para exploração, afetando de forma direta os custos operacionais e o desempenho do sistema. Assim sendo, o objetivo deste trabalho é desenvolver um modelo de arquivo de informação para o Microsoft 365 Dynamics Sales (DS) ou para o Microsoft 365 Business Central (BC), que permita a extração de dados históricos para soluções de armazenamento na nuvem mais económicas, sem nunca pôr em causa a integridade referencial quer do sistema e dos dados quer na experiência do utilizador.

Para atingir este objetivo, foram propostas várias metodologias para executar a extração de dados para um armazenamento mais económico. No entanto, a solução apresentada integra o uso de Azure Data Lake Storage para o armazenamento e o Azure Synapse Analytics para o processamento dos dados. O Power BI é ainda utilizado para a exploração e a visualização dos dados arquivados. O resultado final consiste num protótipo funcional que demonstra a viabilidade do modelo proposto, podendo ser facilmente replicado em ambientes de produção.

Este trabalho contribui para a otimização da gestão de dados em sistemas ERP, principalmente em BC, onde oferece uma abordagem que equilibra a eficiência e o custo operacional, particularmente em ambientes de computação em nuvem.

Alternate abstract:

The present dissertation addresses the issues associated with the maintenance of historical data in management systems and its extraction to cloud environments. Although historical data is not essential for daily operations, it can represent a substantial load on databases, directly affecting operational costs and system performance. Therefore, the goal of this work is to develop an information archiving model for either Microsoft 365 Dynamics Sales (DS) or Microsoft 365 Business Central (BC). By doing so it allows the extraction of historical data to more cost-effective cloud storage solutions, without compromising the referential integrity of both the system and data, or the user experience.

To achieve this objective, several methodologies were proposed to execute data extraction for more economical storage. However, the developed solution integrates the use of Azure Data Lake Storage for storage and Azure Synapse Analytics for data processing. The Power BI was also used for the exploration and visualization of archived data. The final result consists in a functional prototype that demonstrates the feasibility of the proposed model, and can be easily replicated in production environments.

This work contributes to the optimization of data management in ERP systems, particularly in BC, offering an approach that balances efficiency and operational costs, especially in cloud computing environments.