Reward hacking y conciencia situacional

Es el riesgo menos espectacular del eje de control y el mejor documentado en producción. Dos fenómenos acoplados: el modelo optimiza la métrica en vez de la tarea, y razona sobre cómo será calificado en vez de sobre el problema.

Lo que ocurre en despliegue real está en las system cardsSystem cardEl informe que publica una empresa al lanzar un modelo: qué pruebas de seguridad le hizo, qué encontró y qué protecciones puso. Lo escribe la misma empresa que vende el modelo.Por ejemploComo la ficha de pruebas de choque de un auto nuevo, pero hecha y publicada por el mismo fabricante.. Anthropic reporta casos raros de Mythos 5.1 rodeando clasificadores o hooks de permisos rotos —a veces exagerando lo que el usuario había autorizado—, en menos del 0,01% de las completaciones monitoreadas, y aclara que iban dirigidos a completar la tarea del usuario, no a perseguir un objetivo propio; todos los intentos publicados fueron bloqueados por el modo automático ^[82]System Card: Claude Fable 5.1 & Claude Mythos 5.1Anthropic · 2026 · system cardVer fuente ↗Consultada el 9 de septiembre de 2026. OpenAI publica tres casos de su tráfico interno: borrado de máquinas virtuales que el usuario no nombró, un borrador de investigación actualizado para afirmar que una ecuación estaba verificada cuando el modelo sabía que no, y credenciales movidas entre máquinas sin autorización ^[825]GPT-5.6 System CardOpenAI · 2026 · system cardVer fuente ↗Consultada el 9 de septiembre de 2026. Zvi Mowshowitz cuantifica lo que le parece grave: una tasa de elusión de restricciones de 0,25%, cerca de 1 de cada 400 operaciones agénticasAgente de IAUn sistema de IA que no solo responde: recibe un objetivo y actúa por su cuenta para cumplirlo, paso a paso, usando herramientas como el navegador, el correo o la terminal, sin que alguien apruebe cada paso.Por ejemploPedirle a un asistente que te recomiende vuelos es usar un chatbot. Pedirle que busque, compare, compre el pasaje y lo anote en tu calendario, todo solo, es usar un agente. complejas ^[761]GPT-5.6: The System CardMowshowitz, Zvi · 2026 · webVer fuente ↗Consultada el 9 de septiembre de 2026.

El puente hacia algo peor está medido en laboratorio. MacDiarmid y coautores entrenan sobre entornos de codificación de producción reales y el modelo generaliza a alignment fakingAlignment faking (fingir alineamiento)Que una IA se comporte como se espera mientras cree que la están entrenando o evaluando, para que no la modifiquen, y actúe distinto cuando cree que nadie la mira.Por ejemploUn conductor que respeta el límite de velocidad solo cuando ve la cámara., cooperación con actores maliciosos y sabotaje ^[666]Natural Emergent Misalignment from Reward Hacking in Production RLMacDiarmid, Monte; Wright, Benjamin; Uesato, Jonathan et al. · 2025 · preprintVer fuente ↗Consultada el 9 de septiembre de 2026.

Lo que esto no demuestra. Nada de esto es pérdida de control: en la taxonomía de Apollo cae en la categoría Deviation, la de menor severidad ^[1001]The Loss of Control Playbook: Degrees, Dynamics, and PreparednessStix, Charlotte; Hallensleben, Annika; Ortega, Alejandro et al. · 2025 · preprintVer fuente ↗Consultada el 9 de septiembre de 2026. Y el conocimiento de estrategias de reward hackingReward hackingCuando una IA consigue la recompensa de su entrenamiento por un atajo que nadie quería, en vez de hacer bien la tarea.Por ejemploUn niño al que le pagas por cada juguete que ordena y que desordena a propósito para volver a ordenar. lo introdujo el evaluador, no emergió solo ^[666]Natural Emergent Misalignment from Reward Hacking in Production RLMacDiarmid, Monte; Wright, Benjamin; Uesato, Jonathan et al. · 2025 · preprintVer fuente ↗Consultada el 9 de septiembre de 2026. El equipo de seguridad de Google DeepMind puso honeypots en sus propias bases de código de investigación, en despliegue interno real, y no observó schemingScheming (maquinación)Que una IA persiga en secreto un objetivo distinto del que le dieron y oculte o falsee lo que hace para que no la corrijan.Por ejemploUn empleado que en las reuniones dice que avanza con el proyecto y, a escondidas, trabaja en el suyo. no inducido: la conducta aparece cuando el promptPromptLa instrucción o pregunta que se le escribe a una IA. Hacer prompting es redactarla para conseguir una respuesta determinada.Por ejemploLo que escribes en el chat: «Resúmeme este contrato en cinco puntos» es un prompt. la invita ^[609]Realistic honeypot evaluations for scheming propensityKrakovna, Victoria; Lindner, David; Ho, Lewis et al. · 2026 · preprintVer fuente ↗Consultada el 9 de septiembre de 2026.