Программа курса Урок 96 из 250 · Ваши первые модели машинного обучения
Ваши первые модели машинного обучения

Случайные леса: Мудрость толпы

Одиночное дерево решений легко понять, но оно хрупкое, оно быстро переобучается, а его предсказания могут сильно меняться при небольших изменениях данных. random forest исправляет это простой и мощной идеей: обучить много разных деревьев и дать им проголосовать.

Каждое дерево в лесу обучается на немного разном случайном образце данных и рассматривает случайное подмножество признаков при каждом разделении. Поэтому каждое дерево немного отличается и совершает разные ошибки. Когда вы усредняете их голоса, индивидуальные ошибки имеют тенденцию к взаимному уничтожению, а случайные странности исчезают. Это мудрость толпы: группа разнообразных, несовершенных угадывателей часто побеждает любого отдельного эксперта.

from sklearn.ensemble import RandomForestClassifier

forest = RandomForestClassifier(n_estimators=50, random_state=0)
forest.fit(X_train, y_train)

n_estimators - это количество деревьев для обучения (здесь 50). Больше деревьев обычно немного помогает до определенного предела за счет скорости. Как всегда, random_state=0 делает результат воспроизводимым, так как выборка леса случайна.

Главное преимущество: лес обычно обобщает лучше чем одно дерево, что означает более высокий балл на тестовом наборе данных. Это одна из самых надежных готовых моделей и отличный вариант по умолчанию.

Вы обучите одно обычное decision tree и один random forest на одном и том же split, оцените оба на test set и подтвердите, что forest показывает результат не хуже.

Твоя очередь

Подготовлены набор данных и разделение на train/test. Обучите tree = DecisionTreeClassifier(max_depth=3, random_state=0) и forest = RandomForestClassifier(n_estimators=50, random_state=0) на тренировочных данных. Оцените оба на наборе test с помощью accuracy_score, сохранив результаты в tree_acc и forest_acc.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.