Temario Lección 111 de 250 · Intuición de redes neuronales, LLM y proyecto final de IA
Intuición de redes neuronales, LLM y proyecto final de IA

IA en el dispositivo (sin nube)

La mayoría de las aplicaciones de IA envían tu texto al servidor de una empresa, que ejecuta el modelo y te devuelve la respuesta. Eso significa cuentas, claves de API, facturas y tus datos saliendo de tu equipo. Floati se niega a todo eso.

Floati ejecuta su IA en el lado del cliente, directamente en tu navegador o en la aplicación, usando WebLLM sobre WebGPU. WebGPU es un estándar de los navegadores que permite al código web usar la tarjeta gráfica de tu ordenador; WebLLM lo usa para ejecutar en local un modelo de lenguaje real (más pequeño). Los pesos del modelo se descargan una vez, y luego todo ocurre en tu dispositivo.

  • Sin claves, sin nube, sin factura. No hay que darse de alta en nada.
  • Privado desde el diseño. Tus prompts nunca salen del equipo, lo que encaja con la promesa de Floati de funcionar primero sin conexión.
  • Límites honestos. Los modelos en el dispositivo son más pequeños y más lentos que los gigantes alojados, y necesitan un navegador con WebGPU. A cambio tienes privacidad y coste cero.

Hables con el modelo que hables, le hablas con un prompt. Una costumbre limpia y reutilizable es separar la instrucción del sistema (quién debería ser el modelo) del mensaje del usuario, y luego unirlos en una sola cadena con un último turno claro para que el modelo lo continúe:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

Terminar en Assistant: indica dónde debe empezar a escribir el modelo. Ahora vas a construir esa plantilla; la próxima lección la usa para llamar de verdad al modelo en el dispositivo.

Tu turno

Escribe build_prompt(system, user), que devuelve una sola cadena exactamente con esta forma: System: <system>, luego un salto de línea, User: <user>, un salto de línea, y luego Assistant: sin nada después. Luego asigna prompt = build_prompt("You are concise.", "Summarize my week.").

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.