Conteúdo do curso Lição 232 de 246 · Módulo 22: Julgando afirmações
Módulo 22: Julgando afirmações

Uma semente é uma anedota

Por que isso importa Treinar o mesmo modelo duas vezes com sementes aleatórias diferentes dá resultados diferentes. Uma diferença entre dois modelos menor que essa dispersão não é um resultado, e uma única execução não pode te dizer qual é o tamanho da dispersão.

A afirma: "com 8.000 tokens, a largura 1024 vence a largura 512", apoiado por uma execução de cada (seed 0: 2.793 contra 2.799). O curso registrou 3 seeds de cada.

Uma regra simples para "A vence B" com algumas sementes cada: pegue a diferença das médias e seu standard error (o quanto essa diferença se moveria se você executasse as sementes novamente), sqrt(var(A) / nA + var(B) / nB) com a variância da amostra (ddof=1). Chame como mostrado quando a diferença for maior que 2 erros padrão. judge.standard_error(a, b) calcula isso.

Preveja primeiro: com três sementes, a largura 1024 ainda vence 512 em 8,000 tokens?

Palavras e símbolos nesta lição
seed
o número que fixa as escolhas aleatórias de uma execução; outra seed dá outro resultado
erro padrão
quanto uma diferença medida se moveria se as sementes fossem executadas novamente
Sua vez

Defina my_guess como "yes" ou "no". Para 8,000 e 1,500,000 tokens, preencha diff[tokens] (perda média de largura 512 menos perda média de largura 1024: positivo significa que 1024 é melhor) e two_se[tokens]. Defina verdict[tokens] como "shown" ou "not shown".

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.