Uma semente é uma anedota
Por que isso importa Treinar o mesmo modelo duas vezes com sementes aleatórias diferentes dá resultados diferentes. Uma diferença entre dois modelos menor que essa dispersão não é um resultado, e uma única execução não pode te dizer qual é o tamanho da dispersão.
A afirma: "com 8.000 tokens, a largura 1024 vence a largura 512", apoiado por uma execução de cada (seed 0: 2.793 contra 2.799). O curso registrou 3 seeds de cada.
Uma regra simples para "A vence B" com algumas sementes cada: pegue a diferença das médias e seu standard error (o quanto essa diferença se moveria se você executasse as sementes novamente), sqrt(var(A) / nA + var(B) / nB) com a variância da amostra (ddof=1). Chame como mostrado quando a diferença for maior que 2 erros padrão. judge.standard_error(a, b) calcula isso.
Preveja primeiro: com três sementes, a largura 1024 ainda vence 512 em 8,000 tokens?
Palavras e símbolos nesta lição
- seed
- o número que fixa as escolhas aleatórias de uma execução; outra seed dá outro resultado
- erro padrão
- quanto uma diferença medida se moveria se as sementes fossem executadas novamente
Defina my_guess como "yes" ou "no". Para 8,000 e 1,500,000 tokens, preencha diff[tokens] (perda média de largura 512 menos perda média de largura 1024: positivo significa que 1024 é melhor) e two_se[tokens]. Defina verdict[tokens] como "shown" ou "not shown".
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.