E-Solar: Una Herramienta para la evaluación del Recurso Solar basada en una arquitectura Big Data sobre un ambiente PySpark

Abstract

Con el tiempo, diversos investigadores han creado modelos matemáticos, estadísticos y predictivos para evaluar el recurso solar. Sin embargo, su implementación en herramientas técnicas limita su utilización por usuarios no técnicos. Además, el procesamiento de datos para estimar la radiación solar suele requerir hardware potente. Este estudio presenta una herramienta basada en Big data que utiliza archivos planos e imágenes de satélite para estimar la radiación solar en Colombia. Se desarrolló un modelo con técnicas de aprendizaje automático y varios lenguajes de programación. Se ejecuta en MapR, una distribución del ecosistema Hadoop con un amplio conjunto de capacidades Big data y emplea la API de PySpark para procesar datos en paralelo en un clúster de computadoras. La herramienta E-Solar implementada en un servidor web fue evaluada por profesionales del sector energético. Se analizó la usabilidad, se verificó la conformidad con estándares de programación recientes y se identificaron perfiles de usuarios interesados. Los datos de radiación solar generados por la herramienta son fundamentales para proyectos solares. Además, la herramienta proporciona apoyo a investigadores y organizaciones; y facilita la toma de decisiones en la implementación de sistemas fotovoltaicos al ofrecer información relevante sobre el comportamiento del recurso solar en Colombia.

Alternate abstract:

Over time, diverse researchers have created mathematical, statistical, and predictive models to evaluate solar resources. However, their implementation in technical tools restricts their usability for non-technical users. Additionally, data processing to estimate solar radiation often necessitates powerful hardware. This study introduces a Big data based tool that employs flat files and satellite images to estimate solar radiation in Colombia. A model was developed using machine learning techniques and various programming languages. It operates within MapR, a distribution of the Hadoop ecosystem with an extensive array of Big data capabilities and utilizes the PySpark API for parallel data processing within a computer cluster. The E-Solar tool, deployed on a web server, underwent assessment by professionals within the energy sector. Usability was analyzed, compliance with recent programming standards was confirmed, and profiles of interested users were identified. The solar radiation data generated by the tool are pivotal for solar projects. Furthermore, the tool lends support to researchers and organizations in decision-making for the implementation of photovoltaic systems, as it offers pertinent information regarding the behavior of solar resources in Colombia.