4. Le Gradient Boosting Tree
4.1 Tout savoir sur le Gradient Boosting Tree
Le Gradient Boosting Tree est un autre algorithme de boosting dont l’objectif est d’entraîner une forêt d’arbre de manière séquentielle afin que chaque nouvel arbre compense les faiblesses de la forêt.
Cette fois l’algorithme se concentre sur les résidus des précédents arbres plutôt que sur les poids des exemples.
Les résidus sont la différence entre la prédiction d’un modèle et la valeur cible. Si l’on ajoute le résidus à la valeur prédite on atteint la valeur cible.
L’idée ici est de prédire les résidus afin de les ajouter à la forêt pour avoir une prédiction plus précise de la variable cible.
A/ Le premier estimateur
Le premier estimateur de notre forêt ne sera pas un arbre mais une feuille qui aura pour valeur la moyenne de la variable cible.
B/ Construction d'un arbre
La forêt est pour le moment constituée d’un estimateur qui est la feuille. Les résidus seront donc la différence entre la prédiction de la forêt actuelle et la valeur cible.
Nous allons entraîner un arbre capable de prédire les résidus d’un exemple en prenant en compte ses variables explicatives.
Une fois l’arbre entraîné il sera ajouté à la forêt. Le but n’est plus de faire la moyenne des estimateurs de notre forêt mais plutôt de compléter les estimateurs déjà présents.
On va donc prendre la prédiction de la feuille et y ajouter la prédiction des résidus de notre premier arbre pondéré par un taux d’apprentissage ou learning rate.
Chaque nouvel arbre de notre forêt aura pour objectif de diminuer le gap entre la prédiction actuelle de la forêt et la valeur cible.
C/ Prédiction de la forêt
La prédiction d’une forêt sera l’addition de la prédiction de chacun des estimateurs.
Par exemple, si une forêt contient 10 arbres, pour la prédiction on aura additionné à la prédiction de la feuille de départ aux résultats de chacun des arbres pondéré par le taux d’apprentissage pour avoir la prédiction finale.