¿Saltos reales, o un truco de la métrica?
Por qué importa Los titulares dicen que los grandes modelos ganan capacidades de repente a cierto tamaño: la "emergencia". A veces el salto es real. Muchas veces la capacidad mejoró de forma suave todo el tiempo y la métrica la hizo parecer repentina (Schaeffer, Miranda y Koyejo, 2023). Saber cuál es cuál decide si puedes predecirlo.
La cuadrícula registró dos puntuaciones con el mismo texto reservado:
- Exactitud por carácter p: la proporción de posiciones en las que la primera opción del modelo para el siguiente carácter es correcta. Sube de forma suave con el tamaño, de 0.27 a 0.53 con 1.5 millones de tokens.
- Los 5 bien: la proporción de posiciones en las que escribe los 5 caracteres siguientes sin ningún error. Todo o nada.
Si cada carácter fuera correcto con probabilidad p de forma independiente, cinco seguidos serían correctos p^5 de las veces. Compruébalo primero con la cuadrícula. Luego mira lo que hace el exponente con una habilidad que mejora de forma uniforme. Estos modelos pequeños nunca llegan lo bastante lejos para mostrar el efecto completo, así que la segunda parte es una ilustración etiquetada claramente, no una medición: una exactitud por carácter que sube en diez pasos iguales de 0.5 a 0.95.
Palabras y símbolos de esta lección
- exponente (alpha, beta)
- lo rápido que baja la pérdida con más pesos (alpha) o más datos (beta)
- token
- aquí, una predicción: un carácter
- emergencia
- una capacidad que parece aparecer de repente a cierto tamaño; a veces la crea una métrica de todo o nada
Rellena pairs: para cada anchura con 1.5 millones de tokens, (p, p^5, los 5 bien medido). Luego, para la ilustración, pon en all10 p^10 para p_even, y en late_share la proporción de la subida total de all10 que ocurre en los 3 últimos de los 10 pasos. Por último pon case.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.