Programma Lezione 235 di 246 · Modulo 22: Giudicare le affermazioni
Modulo 22: Giudicare le affermazioni

Cancello: esamina un'affermazione (IA spenta)

Perché è importante Leggere i risultati con spirito critico è un'abilità che userai su ogni articolo, scheda di modello e tabella di benchmark. Le regole sono semplici; applicarle ogni volta, senza che ti si dica quale conta, è l'abilità.

Regole del cancello: tutor IA spento. Scrivi review(claim). Un'affermazione dice "il modello A batte il modello B" e arriva con la loss di ogni seed di ogni modello e la quota dell'insieme di test trovata nei dati di addestramento. In ordine:

  1. Se più del 10% dell'insieme di test era nei dati di addestramento, restituisci "leaked": nessun punteggio su di esso è affidabile.
  2. Se uno dei due modelli ha meno di 2 seed, restituisci "not shown": la dispersione è sconosciuta.
  3. Sia diff = mean(B) - mean(A) (positivo quando A è migliore) e se = sqrt(var(A) / nA + var(B) / nB), varianze campionarie (ddof=1). Restituisci "shown" se diff > 2 se, "contradicted" se diff < -2 se, altrimenti "not shown".

Il controllo esegue la tua funzione su sei affermazioni nuove, diverse a ogni controllo, inclusi i casi limite: un solo seed, sovrapposizione esattamente del 10%, seed che coincidono esattamente.

Parole e simboli di questa lezione
contaminazione (fuga di dati)
elementi di test che erano anche nei dati di addestramento
seed
il numero che fissa le scelte casuali di un'esecuzione; un altro seed dà un altro risultato
Tocca a te

Riempi review. Provala su {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (le larghezze registrate 1024 e 512 a 1.5 milioni di token).

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.