课程大纲 第 81 课,共 250 课 · 数据基础:numpy 与 pandas
数据基础:numpy 与 pandas

清洗杂乱的数据

真实的表格有空缺,也有错误的类型。pandas 把缺失值标记为 NaN(Not a Number)。你要么填补它,要么丢掉它。

import pandas as pd
import numpy as np
df = pd.DataFrame({
    "name": ["Ada", "Bo", "Cy"],
    "age":  [30, np.nan, 35],
})
print(df["age"].fillna(0))    # replace NaN with 0
print(df.dropna())            # drop any row that has a NaN

一个常用技巧是用这一列的平均值填补缺失的数字:

mean_age = df["age"].mean()        # NaN is ignored in the mean
df["age"] = df["age"].fillna(mean_age)

用 astype 改变一列的类型,用 rename 重命名列:

df["age"] = df["age"].astype(int)
df = df.rename(columns={"name": "first_name"})

要转换一列中的每个值,就用 apply 配合一个函数。它对每个单元格运行这个函数,返回一个新的 Series:

def initial(s):
    return s[0]
df["letter"] = df["first_name"].apply(initial)
# you can also use a lambda:
df["letter"] = df["first_name"].apply(lambda s: s[0])
轮到你了

下面的 DataFrame 缺了一个年龄(NaN)。用这一列的平均值(忽略 NaN)填补 age 列的缺失值,然后把整个 age 列转成 int。最后添加一个新列 name_len,保存每个名字的长度(用 .apply 配合 len)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。