NON-PARAMETRIC TESTING OF THE MACHINE LEARNING ELECTRICITY PRICES FORECASTS

Abstract

This research analyzes forecast accuracy in the day-ahead electricity market. Performance of Random Forest and XGBoost machine learning models is compared based on the day-ahead electricity market data for Germany. Data for 2018 and 2021 is analyzed in order to explore differences in forecast accuracy in the low and high market volatility periods. Initial training data for 2017 is used in order to produce forecasts for 2018 up to one month ahead. The training set is then rolled one month forward thus creating a fixed length rolling window of training and forecast set data for the remainder of the analyzed period. This methodological framework results in 11 forecasting sets for each analyzed year. Forecast accuracy is then evaluated by comparing root-mean-squared errors (RMSE) for the observed period. The focus of the research is on examination whether differences in the RMSE values of the competing machine learning models being analyzed can be reliably determined. For this purpose, firstly forecasting exercise has been conducted 30 times over for both machine learning models and each forecast set containing all forecast horizons. Secondly, median RMSE values are analyzed for each forecast set and non-parametric Wilcoxon rank-sum test is used to determine whether the observed differences in RMSE are statistically significant. Research results show small differences in RMSE values, however, they are found to be statistically significant for all forecast sets except one. Moreover, Random Forest seems to slightly outperform XGBoost model during the period of low market volatility, while XGBoost seems to perform better in the last three forecast sets of 2021 associated with higher market volatility.

Alternate abstract:

Istraživanje analizira prognostičku točnost na dan unaprijed tržištu električne energije. Uspoređuju se performanse “Random Forest” i XGBoost modela strojnog učenja temeljem podatka za njemačko dan unaprijed tržište električne energije. Podaci za 2018. i 2021. godinu analiziraju se kako bi se istražile razlike u prognostičkoj točnosti u razdobljima male i velike volatilnosti na tržištu. Inicijalni podaci za treniranje odnose se na 2017. godinu kako bi se napravile prognoze za 2018. godinu s prognostičkim horizontima do mjesec dana unaprijed. Uzorak podataka za treniranje zatim se pomiče mjesec dana unaprijed, čime se stvara pomični uzorak podataka fiksne duljine koji se koristi za treniranje i prognoziranje na ostatku analiziranog razdoblja. Ovakav metodološki okvir rezultira s 11 skupova prognoziranih podataka za svaku analiziranu godinu. Prognostička točnost zatim se ocjenjuje putem usporedbe korijena srednje kvadratne greške (engl. root-meansquared error RMSE) u promatranom razdoblju. Fokus istraživanja je na ispitivanju mogućnosti pouzdanog utvrđivanja razlika u vrijednostima RMSE modela strojnog učenja koji se analiziraju. U tu svrhu najprije se opisani metodološki okvir za prognoziranje provodi 30 puta za oba modela strojnog učenja i za svaki skup prognoziranih vrijednosti sadržavajući sve prognostičke horizonte. Zatim se medijani RMSE vrijednosti analiziraju za svaki skup prognoziranih podataka te se provodi neparametarski Wilcoxonov test sume rangova kako bi se utvrdilo jesu li opažene razlike u vrijednostima RMSE statistički značajne. Rezultati istraživanja pokazuju male, ali statistički signifikantne, razlike u vrijednostima RMSE u svim skupovima prognoziranih podataka osim u jednom. Osim toga, čini se da Random Forest model rezultira nešto boljim prognozama od XGBoost modela u razdoblju niske volatilnosti. S druge strane, XGBoost model rezultira boljim prognozama u posljednja tri skupa prognoziranih podataka za 2021. godinu, a koji su povezani s povećanom volatilnošću na tržištu.