Случайные леса: Мудрость толпы
Одиночное дерево решений легко понять, но оно хрупкое, оно быстро переобучается, а его предсказания могут сильно меняться при небольших изменениях данных. random forest исправляет это простой и мощной идеей: обучить много разных деревьев и дать им проголосовать.
Каждое дерево в лесу обучается на немного разном случайном образце данных и рассматривает случайное подмножество признаков при каждом разделении. Поэтому каждое дерево немного отличается и совершает разные ошибки. Когда вы усредняете их голоса, индивидуальные ошибки имеют тенденцию к взаимному уничтожению, а случайные странности исчезают. Это мудрость толпы: группа разнообразных, несовершенных угадывателей часто побеждает любого отдельного эксперта.
from sklearn.ensemble import RandomForestClassifier
forest = RandomForestClassifier(n_estimators=50, random_state=0)
forest.fit(X_train, y_train)n_estimators - это количество деревьев для обучения (здесь 50). Больше деревьев обычно немного помогает до определенного предела за счет скорости. Как всегда, random_state=0 делает результат воспроизводимым, так как выборка леса случайна.
Главное преимущество: лес обычно обобщает лучше чем одно дерево, что означает более высокий балл на тестовом наборе данных. Это одна из самых надежных готовых моделей и отличный вариант по умолчанию.
Вы обучите одно обычное decision tree и один random forest на одном и том же split, оцените оба на test set и подтвердите, что forest показывает результат не хуже.
Подготовлены набор данных и разделение на train/test. Обучите tree = DecisionTreeClassifier(max_depth=3, random_state=0) и forest = RandomForestClassifier(n_estimators=50, random_state=0) на тренировочных данных. Оцените оба на наборе test с помощью accuracy_score, сохранив результаты в tree_acc и forest_acc.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.