3. AdaBoost
3.1 Tout savoir sur AdaBoost
L’algorithme du Radom Forest arrive à combler les limites des arbres de décision concernant la stabilité en utilisant la théorie de l’ensemble learning.
Mais une nouvelle limite se pose. Chaque arbre de la forêt est créé aléatoirement en fonction de l’échantillon d’entraînement associé. De ce fait, pour obtenir un modèle performant on compte sur la chance de créer les arbres adéquats.
Avec AdaBoost on va voir comment optimiser la création d’une forêt pour que chaque arbre ajouté aide la forêt à être plus performante.
A/ De l'aléatoire au boosting
Pour l’algorithme du Random Forest les arbres sont créés indépendamment des autres, c’est à dire qu’ils peuvent être entraînés en parallèle.
Dans l’algorithme d’AdaBoost, on veut supprimer cette composante aléatoire afin d’être sûr que chaque arbre augmente la puissance prédictive de la forêt.
Pour cela, chaque arbre retourne les exemples du jeu d’entraînement sur lesquels il a eu le plus d’erreurs. Le rôle des arbres suivants sera de prédire correctement ces exemples.
De cette façon, nous ne comptons plus sur l’aléatoire pour créer des arbres efficaces. Par contre, ce système nous oblige à créer les arbres de notre forêt de manière séquentielle et non plus parallèlement pour pouvoir prendre en compte les forces et faiblesses des arbres précédents.
B/ AdaBoost
Au début de l’entraînement chaque exemple du jeu d’entraînement a un poids équivalent.
Un premier arbre est construit pour réussir à résoudre le problème. Dans l’algorithme d’AdaBoost, il s’agit de stump c’est-à-dire d’arbre de profondeur 1.
En fonction de la performance de l’arbre, il aura un poids différent dans la forêt. Plus l’arbre sera performant plus il aura un poids important dans la forêt.
Les poids des exemples vont être mis-à-jour en fonction de la performance de cet arbre. Les exemples bien prédits auront un poids diminué et les autres auront un poids augmenté.
L’idée est que l’arbre suivant devra porter plus d’attention aux exemples précédemment erronés car ils ont des poids plus importants.