Izslēgšanas metode XGBoost algoritmam

Abstract

Tika izpētīta izslēgšanas metode, DART algoritms, XGBoost algoritms un XGBoost algoritma hiperparametri (α, λ, γ, srinkage un subsample), kas saistīti ar modeļa regularizāciju un pārpielāgošanas samazināšanu. Tika izpētīti un attēloti izslēgšanas metodes un XGBoost hiperparametru efekti uz atsevišķu lēmumu koku ietekmi uz ansambļa prognozi un efekti uz modeļu pārpielāgošanos. Iegūtie attēli tika salīdzināti starp izslēgšanas metodi, XGBoost modeļiem ar regularizācijas hiperparametriem un XGBoost modeli bez regularizācijas.

Dropout method, DART algorithm, XGBoost algorithm and XGBoost hyperparameters (α, λ, γ, srinkage un subsample) related to model regularization were researched. Ways of graphically depicting the effect of dropouts and XGBoost hyperparameters on the contribution of individual decion trees on the output of the model and on the overfit of the model were researched and employed. The obtained plots were compared between models with XGBoost parameters and models with dropouts as well as a XGBoost model without any regularization.