Chương trình học Bài 81 trên tổng số 250 · Nền tảng dữ liệu: numpy và pandas
Nền tảng dữ liệu: numpy và pandas

Làm sạch dữ liệu lộn xộn

Bảng thật có chỗ trống và kiểu sai. pandas đánh dấu một giá trị bị thiếu là NaN (Not a Number). Bạn hoặc lấp nó, hoặc bỏ nó.

import pandas as pd
import numpy as np
df = pd.DataFrame({
    "name": ["Ada", "Bo", "Cy"],
    "age":  [30, np.nan, 35],
})
print(df["age"].fillna(0))    # replace NaN with 0
print(df.dropna())            # drop any row that has a NaN

Một mẹo phổ biến là lấp các số bị thiếu bằng trung bình của cột:

mean_age = df["age"].mean()        # NaN is ignored in the mean
df["age"] = df["age"].fillna(mean_age)

Đổi kiểu của một cột bằng astype, và đổi tên cột bằng rename:

df["age"] = df["age"].astype(int)
df = df.rename(columns={"name": "first_name"})

Để biến đổi mọi giá trị trong một cột, dùng apply với một hàm. Nó chạy hàm trên từng ô và trả về một Series mới:

def initial(s):
    return s[0]
df["letter"] = df["first_name"].apply(initial)
# you can also use a lambda:
df["letter"] = df["first_name"].apply(lambda s: s[0])
Đến lượt bạn

DataFrame bên dưới có một tuổi bị thiếu (NaN). Lấp giá trị bị thiếu trong cột age bằng trung bình của cột (bỏ qua NaN), rồi đổi cả cột age sang int. Cuối cùng thêm một cột mới name_len chứa độ dài của từng tên (dùng .apply với len).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.