Booster Adaboost

AdaBoost est un méta-algorithme de boosting.

Il est utilisé en association avec des algorithmes d'apprentissage afin d'en améliorer les performances.

Les sorties des autres algorithmes sont combinées en une somme pondérée qui représente la sortie finale du classeur boosté.

AdaBoost est adaptatif dans le sens où les classeurs faibles subséquents sont ajustés en faveur des échantillons mal classés par les classeurs précédents.

# -*- coding: utf-8 -*-
"""
Created on Thu Jun 30 17:26:56 2022
 
@author: https://www.datacamp.com/tutorial/adaboost-classifier-python
"""
# Load libraries
from sklearn.ensemble import AdaBoostClassifier
from sklearn import datasets
# Import train_test_split function
from sklearn.model_selection import train_test_split
#Import scikit-learn metrics module for accuracy calculation
from sklearn import metrics
 
# Load data
iris = datasets.load_iris()
X = iris.data
y = iris.target
 
# Split dataset into training set and test set
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3) # 70% training and 30% test
 
# Create adaboost classifer object
abc = AdaBoostClassifier(n_estimators=50,
                         learning_rate=1)
# Train Adaboost Classifer
model = abc.fit(X_train, y_train)
 
#Predict the response for test dataset
y_pred = model.predict(X_test)
 
# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))
 
# Load libraries
from sklearn.ensemble import AdaBoostClassifier
 
# Import Support Vector Classifier
from sklearn.svm import SVC
#Import scikit-learn metrics module for accuracy calculation
from sklearn import metrics
svc=SVC(probability=True, kernel='linear')
 
# Create adaboost classifer object
abc =AdaBoostClassifier(n_estimators=50, base_estimator=svc,learning_rate=1)
 
# Train Adaboost Classifer
model = abc.fit(X_train, y_train)
 
#Predict the response for test dataset
y_pred = model.predict(X_test)
 
 
# Model Accuracy, how often is the classifier correct?
print("Accuracy:",metrics.accuracy_score(y_test, y_pred))