Delimitadores, fundamentación y antialucinaciones
La forma más eficaz de impedir que un modelo se invente cosas es la fundamentación (grounding): darle el material de origen, acotarlo con delimitadores claros e indicarle que responda solo a partir de ese material, con una salida de emergencia explícita cuando la respuesta no está ahí. Este es el núcleo de todo sistema de generación aumentada por recuperación, y todo es construcción del prompt.
Construye grounded_prompt(question, context_chunks), que monta:
- Una sección
CONTEXT:con cada fragmento numerado y acotado, como[1] ...,[2] .... - La pregunta después del contexto.
- Una instrucción exacta de responder solo a partir del contexto, que termina con la salida de emergencia: si la respuesta no está en el contexto, responde exactamente
I don't know. - Un turno de respuesta abierto al final para que el modelo sepa que tiene que responder.
Luego construye el comprobador. check_grounded(answer, context_chunks) devuelve True cuando la respuesta está fundamentada: o es exactamente el centinela I don't know., O cada palabra significativa de la respuesta aparece en el contexto unido. Devuelve False cuando la respuesta contiene palabras inventadas que el contexto nunca mencionó.
ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx) # True
check_grounded("I don't know.", ctx) # True (honest)
check_grounded("The capital is Berlin.", ctx) # False (invented)Ignora las palabras vacías diminutas (the, is, a, of...) al comprobar las palabras significativas, para no castigar una redacción normal, pero una palabra con contenido como Berlin que nunca aparece en el contexto hace fallar la comprobación, como debe. Pulsa Ejecutar para corregir.
Sé honesto con lo que pilla esto: comprobar que las palabras están contenidas marca los tokens inventados (palabras que el contexto nunca mencionó), pero no puede pillar una afirmación falsa recombinada con palabras reales del contexto. "Refunds take France business days" pasaría aquí aunque no tenga sentido, porque todas las palabras están en el contexto. Comprobar de verdad la fidelidad necesita un LLM como juez o un modelo de NLI (inferencia) que razone sobre el significado, no solo sobre si las palabras están.
Escribe grounded_prompt(question, context_chunks), que numera y acota los fragmentos bajo CONTEXT:, añade la pregunta, exige una respuesta solo a partir del contexto con la salida de emergencia exacta I don't know. y termina en un turno de respuesta abierto. Maquetación exacta, con las líneas unidas por "\n": CONTEXT:, luego una línea por fragmento escrita como [1] chunk text, [2] ..., una línea en blanco, Question: ..., la línea de la instrucción (tiene que contener I don't know.) y por último el turno de respuesta abierto [assistant]. Escribe check_grounded(answer, context_chunks), que devuelve True para el centinela O cuando cada palabra significativa (que no sea vacía) de la respuesta está en el contexto unido, y si no False.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.