Míralo: cómo el texto se convierte en números
Antes de que un LLM pueda hacer nada con tu prompt, tiene que convertir tu texto en números, porque una red neuronal solo hace cuentas con números. El paso que lo hace es la tokenización.
Pulsa reproducir. Mira cómo una sola palabra se divide en tokens (trozos de texto frecuentes, a menudo partes de palabras, no palabras enteras), y cómo cada token se convierte en un id entero del vocabulario del modelo. A partir de ahí, el modelo ya nunca ve letras, solo una lista de ids.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.