Programma Lezione 81 di 250 · Basi dei dati: numpy e pandas
Basi dei dati: numpy e pandas

Pulire dati disordinati

Le tabelle reali hanno buchi e tipi sbagliati. pandas segna un valore mancante come NaN (Not a Number). O lo riempi o lo togli.

import pandas as pd
import numpy as np
df = pd.DataFrame({
    "name": ["Ada", "Bo", "Cy"],
    "age":  [30, np.nan, 35],
})
print(df["age"].fillna(0))    # replace NaN with 0
print(df.dropna())            # drop any row that has a NaN

Un trucco comune è riempire i numeri mancanti con la media della colonna:

mean_age = df["age"].mean()        # NaN is ignored in the mean
df["age"] = df["age"].fillna(mean_age)

Cambia il tipo di una colonna con astype, e rinomina le colonne con rename:

df["age"] = df["age"].astype(int)
df = df.rename(columns={"name": "first_name"})

Per trasformare ogni valore di una colonna, usa apply con una funzione. Esegue la funzione su ogni cella e restituisce una nuova Series:

def initial(s):
    return s[0]
df["letter"] = df["first_name"].apply(initial)
# you can also use a lambda:
df["letter"] = df["first_name"].apply(lambda s: s[0])
Tocca a te

Il DataFrame qui sotto ha un'età mancante (NaN). Riempi il valore mancante nella colonna age con la media della colonna (ignorando i NaN), poi converti tutta la colonna age in int. Infine aggiungi una nuova colonna name_len che contiene la lunghezza di ogni nome (usa .apply con len).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.