Programma Les 81 van 250 · Basis van data: numpy & pandas
Basis van data: numpy & pandas

Het opschonen van rommelige data

Echte tabellen hebben gaten en verkeerde types. pandas markeert een ontbrekende waarde als NaN (Not a Number). Je vult het in of je verwijdert het.

import pandas as pd
import numpy as np
df = pd.DataFrame({
    "name": ["Ada", "Bo", "Cy"],
    "age":  [30, np.nan, 35],
})
print(df["age"].fillna(0))    # replace NaN with 0
print(df.dropna())            # drop any row that has a NaN

A veelgebruikte truc is om ontbrekende getallen in te vullen met het kolomgemiddelde:

mean_age = df["age"].mean()        # NaN is ignored in the mean
df["age"] = df["age"].fillna(mean_age)

Verander het type van een kolom met astype, en hernoem kolommen met rename:

df["age"] = df["age"].astype(int)
df = df.rename(columns={"name": "first_name"})

Om elke waarde in een kolom te transformeren, gebruik je apply met een functie. Het voert de functie uit op elke cel en geeft een nieuwe Series terug:

def initial(s):
    return s[0]
df["letter"] = df["first_name"].apply(initial)
# you can also use a lambda:
df["letter"] = df["first_name"].apply(lambda s: s[0])
Jij bent aan de beurt

De DataFrame hieronder heeft een ontbrekende leeftijd (NaN). Vul de ontbrekende waarde in de age kolom in met het gemiddelde van de kolom (negeer NaN), en zet daarna de hele age kolom om naar int. Voeg tenslotte een nieuwe kolom name_len toe die de lengte van elke naam bevat (gebruik .apply met len).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.