Программа курса Урок 81 из 250 · Основы данных: numpy и pandas
Основы данных: numpy и pandas

Очистка грязных данных

В реальных таблицах есть пропуски и неверные типы. pandas помечает отсутствующее значение как NaN (Not a Number). Вы либо заполняете его, либо удаляете.

import pandas as pd
import numpy as np
df = pd.DataFrame({
    "name": ["Ada", "Bo", "Cy"],
    "age":  [30, np.nan, 35],
})
print(df["age"].fillna(0))    # replace NaN with 0
print(df.dropna())            # drop any row that has a NaN

Обычный трюк заключается в том, чтобы заполнять пропущенные числа средним значением по столбцу:

mean_age = df["age"].mean()        # NaN is ignored in the mean
df["age"] = df["age"].fillna(mean_age)

Измените тип столбца с помощью astype, и переименуйте столбцы с помощью rename:

df["age"] = df["age"].astype(int)
df = df.rename(columns={"name": "first_name"})

Чтобы преобразовать каждое значение в столбце, используйте apply с функцией. Она запускает функцию для каждой ячейки и возвращает новый Series:

def initial(s):
    return s[0]
df["letter"] = df["first_name"].apply(initial)
# you can also use a lambda:
df["letter"] = df["first_name"].apply(lambda s: s[0])
Твоя очередь

В DataFrame ниже отсутствует возраст (NaN). Заполните пропущенное значение в столбце age средним значением столбца (игнорируя NaN), затем преобразуйте весь столбец age в int. Наконец добавьте новый столбец name_len, который содержит длину каждого имени (используйте .apply с len).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.