Restructuring an ETL Process and Data-Base Model for Online Analysis

Abstract

In an ever-growing technological world, there is a lot of value in being able to quickly analyze data and make decisions in order to maintain a successful business.

Imaginary Cloud is a growing Software Development and UX/UI company, and with such growth, there is an increased amount of data to be stored and processed. Therefore, it is of great importance that each department can easily access their respective data, to increase the speed of their decision-making process.

In order to better analyze its performance, the company intends on developing a dash-board system for internal use that allows the visualization of relevant data dynamically, in-cluding key performance indicators.

The purpose of this project will be to work alongside Imaginary Cloud to develop a tool that extracts information from multiple sources as efficiently as possible and create a central-ized database to hold the extracted data, expected to be ever expanding. The database must be optimized for the retrieval of data in real data, so that it can be queried by the dashboard system (not to be developed in this project) at the user’s request.

In the end, the existence of this tool should have a major impact on how easy each de-partment can access and interpret data, allowing for more informed and faster decision mak-ing, and increasing the overall company’s efficiency.

Alternate abstract:

Num mundo em constante desenvolvimento tecnológico, é muito importante ser capaz de analisar e tomar decisões rapidamente para que se consiga manter um negócio bem-sucedido.

A Imaginary Cloud é uma empresa de desenvolvimento de Software e Design de UX/UI em crescimento, e com o seu aumento de escala, aumenta também a quantidade de dados a serem armazenados e processados. Como tal, é de alta importância que cada departamento consiga facilmente aceder aos seus respetivos dados, para que se aumente a velocidade do processo de tomada de decisões.

Para melhorar a análise do seu desempenho, a empresa pretende desenvolver um sis-tema de dashboards para uso interno que permita visualizar dados relevantes de forma dinâ-mica, incluindo indicadores chave de desempenho.

O objetivo deste projeto é colaborar com a Imaginary Cloud para desenvolver uma fer-ramenta que extraia informação de múltiplas fontes e criar uma base de dados centralizada que conterá os dados extraídos, que se espera que aumentem continuamente. A base de dados deve estar otimizada para a requisição de dados em tempo real, para que possa ser consultada pelo sistema de dashboards (que não será desenvolvido neste projeto) a pedido do utilizador.

No final, a existência desta ferramenta deve ter um grande impacto na facilidade com que cada departamento consegue aceder e interpretar os seus dados, permitindo uma tomada de decisões mais rápida e informada, melhorando a eficiência geral da empresa.