Temario Lección 108 de 250 · Intuición de redes neuronales, LLM y proyecto final de IA
Intuición de redes neuronales, LLM y proyecto final de IA

Míralo: los pesos de la atención

Acabas de implementar la atención de producto escalar escalado. Aquí ves lo que hacen de verdad esas matrices. La atención permite que cada palabra mire todas las palabras de la frase (incluida ella misma), puntúe cuánto importa cada una y se reconstruya como una mezcla ponderada de ellas.

Pulsa reproducir. Mira cómo la palabra sat atiende a lo largo de the cat sat: las puntuaciones en bruto se convierten en pesos de softmax que suman 1, la línea más gruesa apunta a la palabra que más importa, y sat absorbe su contexto, sobre todo de cat.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.