Temario Lección 109 de 250 · Intuición de redes neuronales, LLM y proyecto final de IA
Intuición de redes neuronales, LLM y proyecto final de IA

Míralo: cómo el texto se convierte en números

Antes de que un LLM pueda hacer nada con tu prompt, tiene que convertir tu texto en números, porque una red neuronal solo hace cuentas con números. El paso que lo hace es la tokenización.

Pulsa reproducir. Mira cómo una sola palabra se divide en tokens (trozos de texto frecuentes, a menudo partes de palabras, no palabras enteras), y cómo cada token se convierte en un id entero del vocabulario del modelo. A partir de ahí, el modelo ya nunca ve letras, solo una lista de ids.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.