Pérdida de control rápida
La automejora acelera las capacidades más rápido de lo que avanza la alineación, y la ventana para corregir se cierra antes de que se note que había que corregir.
- Horizonte
- 3–10 años
- Evidencia
- Proyectado
- Consenso
- Bajo
Es el escenario más citado y el más discutido. Su mecanismo no es una máquina que despierta, sino un bucle: los sistemas hacen una parte creciente del trabajo que produce los sistemas siguientes, y el intervalo entre generaciones se acorta más rápido de lo que avanza la capacidad de verificar que cada generación hace lo que se le pide.
La evidencia de que el bucle existe es parcial y hay que leerla con cuidado. Que una empresa declare que la mayoría del código de su base lo escribe su propio modelo dice algo sobre producción de código; no dice que el modelo esté dirigiendo la investigación, que es el paso que haría al bucle cerrarse. Esa distinción es justamente donde discrepan quienes trabajan en esto.
El escenario es refutable, y ese es su mérito frente a versiones más vagas: si el horizonte de tareas se estanca durante varias generaciones seguidas, o si la investigación resulta limitada por experimentación física y cómputoCómputoLa capacidad de cálculo que se usa para entrenar y hacer funcionar una IA: miles de chips especializados trabajando durante semanas en centros de datos. Es caro y está concentrado en pocas empresas.Por ejemploSi la IA fuera una panadería, el cómputo serían los hornos: sin hornos grandes no importa lo buena que sea la receta. antes que por trabajo cognitivo, el mecanismo no se sostiene.
Perfil
- VelocidadMuy rápida
- ReversibilidadIrreversible
- ConcentraciónAlta
Supuestos que tienen que cumplirse
La tendencia de crecimiento del horizonte de tareas continúa sin toparse con un límite.
Los sistemas hacen una parte sustantiva de la investigación que los mejora, no solo escriben código.
Qué lo refutaría
Que el horizonte de tareas se estanque durante varios ciclos de modelos seguidos.
Que la investigación de IA resulte limitada por experimentación física y cómputo, y no por trabajo cognitivo.
Señales tempranas
- Horizonte temporal de tareas (METR)Señal débil
El horizonte crece, pero que un modelo escriba código no equivale a que dirija la investigación.
«No observada» no es un visto bueno: significa que nadie la ha visto todavía, que es distinto de que no esté pasando.
Ver como tabla
| Indicadores | Estado | Nota |
|---|---|---|
| Horizonte temporal de tareas (METR) | Señal débil | El horizonte crece, pero que un modelo escriba código no equivale a que dirija la investigación. |
Riesgos implicados
Ver entre los escenarios →Reportar un error en esta ficha →
Fuentes
- [709] Measuring AI Ability to Complete Long Tasks · METR 2025
- [836] Shutdown Resistance in Large Language Models · Palisade Research 2025