Programma Lezione 96 di 250 · I tuoi primi modelli di machine learning
I tuoi primi modelli di machine learning

Random forest: la saggezza della folla

Un singolo albero decisionale è facile da capire ma fragile, va facilmente in overfitting e le sue previsioni possono oscillare molto con piccoli cambiamenti nei dati. Una random forest risolve il problema con un'idea semplice e potente: addestrare tanti alberi diversi e lasciarli votare.

Ogni albero della foresta cresce su un campione casuale un po' diverso dei dati e considera un sottoinsieme casuale di feature a ogni divisione. Quindi ogni albero è un po' diverso e fa errori diversi. Quando fai la media dei loro voti, gli errori individuali tendono ad annullarsi e le stranezze casuali spariscono. È la saggezza della folla: un gruppo di indovini diversi e imperfetti spesso batte qualsiasi singolo esperto.

from sklearn.ensemble import RandomForestClassifier

forest = RandomForestClassifier(n_estimators=50, random_state=0)
forest.fit(X_train, y_train)

n_estimators è quanti alberi far crescere (qui 50). Più alberi di solito aiutano un po', fino a un certo punto, al prezzo della velocità. Come sempre, random_state=0 rende il risultato riproducibile dato che il campionamento della foresta è casuale.

Il vantaggio principale: una foresta di solito generalizza meglio di un singolo albero, cioè ottiene un punteggio più alto sull'insieme di test tenuto da parte. È uno dei modelli pronti all'uso più affidabili, e un'ottima scelta di partenza.

Addestrerai un semplice albero decisionale e una random forest sulla stessa divisione, li valuterai entrambi sull'insieme di test, e confermerai che la foresta va almeno altrettanto bene.

Tocca a te

Un dataset e una divisione train/test sono pronti. Addestra tree = DecisionTreeClassifier(max_depth=3, random_state=0) e forest = RandomForestClassifier(n_estimators=50, random_state=0) sui dati di addestramento. Valutali entrambi sull'insieme di test con accuracy_score, salvando i risultati in tree_acc e forest_acc.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.