Tous les modèles cochés sont entraînés sur exactement le même découpage (70 % entraînement, 30 % test), avec chacun son réglage de complexité. Un modèle de référence, qui prédit toujours la moyenne, est ajouté d'office : un modèle qui ne le bat pas n'apporte rien.
Démarrage
- Choisir les données : une seule variable (on voit les courbes) ou le diabète avec ses 10 variables (on compare les prédictions).
- Cocher les modèles et régler leur complexité, puis ▶ Comparer.
- Lire le tableau, puis les graphiques : erreurs par pli, courbes, prédictions et résidus.
Ce que l'on mesure
- MAE : l'erreur absolue moyenne, dans l'unité de y. RMSE : la racine de l'erreur quadratique moyenne ; elle punit les grosses erreurs.
- R² : la part de la variance expliquée ; 0 = pas mieux que la référence, négatif = pire.
- Validation croisée : la RMSE moyenne sur k plis de l'entraînement, et son écart-type. C'est elle qui sert à choisir ; le test ne sert qu'à confirmer.
Idées d'expériences
- Marche : l'arbre et la forêt gagnent ; le polynôme oscille autour du saut.
- Droite bruitée : le polynôme de degré 1 suffit ; les modèles souples ne font pas mieux, parfois pire.
- Diabète, 10 variables : quel modèle bat nettement la référence ? Passez le polynôme au degré 3 : 285 termes pour 309 patients…
- Comparez l'écart entre deux modèles à l'écart-type de la validation croisée : l'écart est-il significatif ?