Les modeles predictifs de machine learning : methodes ensemblistes en regression

Voir Plus Voir Moins

Afficher le Résumé

Cette thèse porte sur les modèles prédictifs de machine learning pour la régression. L'objectif est de concilier rigueur théorique et performance empirique face aux défis croissants de la prédiction dans des contextes réels marqués par l'augmentation du volume et de la complexité des données. Après une présentation du cadre mathématique du machine learning et des concepts clés de l'apprentissage statistique (risque réel, risque empirique, compromis biais/variance, régularisation, validation croisée, etc.), plusieurs algorithmes sont étudiés : modèles linéaires, algorithmes non linéaires (arbres de décision, SVM, réseaux de neurones) et les méthodes ensemblistes (bagging, boosting, stacking). Une contribution majeure de cette thèse réside dans le développement de deux architectures de stacking à trois couches : une architecture récursive et une autre itérative. Ces architectures ont été rigoureusement évaluées sur plusieurs jeux de données réelles, en exploitant une combinaison de modèles de base hétérogènes et de méta-modèles optimisés. Les résultats obtenus démontrent des performances supérieures à celles des méthodes classiques et même aux autres méthodes d'ensemble comme les forêts aléatoires et l'algorithme Xgboost, tout en offrant une flexibilité accrue pour s'adapter à des contextes variés. Cette thèse souligne également l'importance de la diversité des modèles de base dans les approches ensemblistes, critère clé pour garantir l'efficacité et la robustesse du modèle global. Au final, ces travaux pourront être approfondis en explorant des architectures encore plus complexes, en intégrant des techniques récentes issues des réseaux neuronaux profonds pour l'optimisation automatique des architectures de stacking.