Cancello: esamina un'affermazione (IA spenta)
Perché è importante Leggere i risultati con spirito critico è un'abilità che userai su ogni articolo, scheda di modello e tabella di benchmark. Le regole sono semplici; applicarle ogni volta, senza che ti si dica quale conta, è l'abilità.
Regole del cancello: tutor IA spento. Scrivi review(claim). Un'affermazione dice "il modello A batte il modello B" e arriva con la loss di ogni seed di ogni modello e la quota dell'insieme di test trovata nei dati di addestramento. In ordine:
- Se più del 10% dell'insieme di test era nei dati di addestramento, restituisci "leaked": nessun punteggio su di esso è affidabile.
- Se uno dei due modelli ha meno di 2 seed, restituisci "not shown": la dispersione è sconosciuta.
- Sia diff = mean(B) - mean(A) (positivo quando A è migliore) e se = sqrt(var(A) / nA + var(B) / nB), varianze campionarie (
ddof=1). Restituisci "shown" se diff > 2 se, "contradicted" se diff < -2 se, altrimenti "not shown".
Il controllo esegue la tua funzione su sei affermazioni nuove, diverse a ogni controllo, inclusi i casi limite: un solo seed, sovrapposizione esattamente del 10%, seed che coincidono esattamente.
Parole e simboli di questa lezione
- contaminazione (fuga di dati)
- elementi di test che erano anche nei dati di addestramento
- seed
- il numero che fissa le scelte casuali di un'esecuzione; un altro seed dà un altro risultato
Riempi review. Provala su {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (le larghezze registrate 1024 e 512 a 1.5 milioni di token).
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.