Temario Lección 110 de 250 · Intuición de redes neuronales, LLM y proyecto final de IA
Intuición de redes neuronales, LLM y proyecto final de IA

¿Qué es un LLM?

Un modelo de lenguaje grande (LLM, large language model) como los que hay detrás de los asistentes de chat es, en el fondo, un gigantesco predictor del siguiente token. Unos pocos términos hacen que todo encaje.

  • Tokens. El texto se trocea en piezas llamadas tokens, más o menos palabras o fragmentos de palabras. El modelo lee y escribe tokens, no caracteres en bruto. Una regla aproximada: un token son unos cuatro caracteres de inglés.
  • Predicción. Dados los tokens hasta el momento, el modelo da una probabilidad para cada posible token siguiente. Elige uno, lo añade y repite. Ese bucle es como escribe párrafos enteros.
  • Prompt. El texto que le das. Todo lo que sabe el modelo de tu petición vive en el prompt, así que cómo lo redactas importa mucho (próximas lecciones).
  • Temperatura. Un mando que regula el azar de esa elección. Cerca de 0 el modelo casi siempre toma el token más probable (centrado, repetitivo). Valores más altos le dejan muestrear tokens menos probables (más creativo, menos fiable). Los modelos locales, como el del proyecto final de este curso, siguen aceptando este mando. Los modelos de Claude alojados más nuevos no: fijan su propio muestreo y responden con un error a un ajuste de temperatura, así que ahí diriges la salida con el prompt.
  • Alucinación. Como predice texto plausible en lugar de buscar datos, un LLM puede afirmar cosas falsas con total seguridad. Comprueba siempre los datos que te dé.

Los tokenizadores reales trabajan con partes de palabras y se aprenden a partir de datos. Aquí no vamos a construir eso, pero podemos construir el tokenizador más sencillo posible (dividir por los espacios) para hacernos una idea de lo que es contar tokens. Los recuentos de tokens son la forma en que se miden el uso y los límites.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

Dividir por los espacios es solo un sustituto para hacerse una idea. Los tokenizadores reales dividen en partes de palabras, así que una regla práctica habitual para presupuestar es tokens ≈ len(text) / 4 caracteres, y el código de producción lee el recuento exacto del campo usage que devuelve la API (o de un endpoint dedicado a contar tokens) en lugar de adivinarlo.

Modelos de razonamiento

Todo lo de arriba describe un modelo que da su respuesta directamente. Una familia más nueva, los modelos de razonamiento, primero gasta un presupuesto oculto de tokens de "pensamiento" resolviendo el problema paso a paso, y luego escribe la respuesta final. Esa deliberación extra compra precisión real en tareas difíciles de varios pasos (matemáticas, código, planificación cuidadosa), y a menudo tienes un mando: más esfuerzo o más presupuesto de pensamiento significa más tokens de pensamiento, más latencia y más coste. El criterio de ingeniería es simplemente cuándo merece la pena: recurre a un modelo de razonamiento en el paso de verdad difícil, y usa un modelo rápido y barato en los rutinarios. Pondrás a trabajar justo ese compromiso más adelante, cuando construyas una cascada consciente del coste que manda las peticiones fáciles al modelo barato y solo escala las difíciles.

Tu turno

Escribe un tokenizador sencillo por espacios. tokenize(text) devuelve la lista de tokens separados por espacios en blanco (usa .split()). count_tokens(text) devuelve cuántos hay. Luego asigna tokens = tokenize(sample) y n_tokens = count_tokens(sample).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.