Temario Lección 203 de 246 · Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

Pesos, datos o cómputo: ¿qué lo frena?

Por qué importa Gastar más en lo que no es no compra nada. Un modelo con hambre de datos no mejora cuando lo haces más grande; un modelo diminuto no mejora cuando le das más datos. La cuadrícula muestra las dos cosas, si sabes dónde mirar.

Mira a lo largo de una fila de la cuadrícula (una anchura, cada vez más datos) y hacia abajo por una columna (una cantidad de datos, modelos cada vez más anchos).

Una ejecución está limitada por los datos cuando hacer el modelo más ancho apenas ayuda (o empeora) con esa cantidad de datos. Está limitada por el modelo cuando más datos apenas ayudan con esa anchura.

Palabras y símbolos de esta lección
token
aquí, una predicción: un carácter
limitada por los datos, limitada por el modelo
cuando más anchura, o más datos, apenas ayudan
Tu turno

Rellena gain_wider: para 8,000 tokens y para 1.5 millones de tokens, la bajada de pérdida de la anchura 256 a la anchura 1024. Rellena gain_more_data: para la anchura 2 y para la anchura 1024, la bajada de pérdida de 512,000 a 1.5 millones de tokens. Luego pon verdict para dos esquinas: "data-limited" o "model-limited".

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.