Pesos, datos o cómputo: ¿qué lo frena?
Por qué importa Gastar más en lo que no es no compra nada. Un modelo con hambre de datos no mejora cuando lo haces más grande; un modelo diminuto no mejora cuando le das más datos. La cuadrícula muestra las dos cosas, si sabes dónde mirar.
Mira a lo largo de una fila de la cuadrícula (una anchura, cada vez más datos) y hacia abajo por una columna (una cantidad de datos, modelos cada vez más anchos).
Una ejecución está limitada por los datos cuando hacer el modelo más ancho apenas ayuda (o empeora) con esa cantidad de datos. Está limitada por el modelo cuando más datos apenas ayudan con esa anchura.
Palabras y símbolos de esta lección
- token
- aquí, una predicción: un carácter
- limitada por los datos, limitada por el modelo
- cuando más anchura, o más datos, apenas ayudan
Rellena gain_wider: para 8,000 tokens y para 1.5 millones de tokens, la bajada de pérdida de la anchura 256 a la anchura 1024. Rellena gain_more_data: para la anchura 2 y para la anchura 1024, la bajada de pérdida de 512,000 a 1.5 millones de tokens. Luego pon verdict para dos esquinas: "data-limited" o "model-limited".
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.