Pérdida de control
Sistemas que persiguen objetivos que sus operadores no eligieron, o que resisten la corrección y el apagado.
Los seis vectoresVectorLa vía por la que un riesgo pasa de la pantalla al mundo: biológica, cibernética, militar, económica, política, epistémica o de pérdida de control. En este observatorio, cada vector tiene su color.Por ejemploUn ladrón puede entrar por la puerta, la ventana o el techo. El ladrón es el riesgo; la puerta, la ventana y el techo son los vectores. anteriores describen daños que alguien causa usando un sistema. Este describe algo distinto: que el sistema haga algo que nadie eligió.
No hace falta que un modelo “quiera” nada en el sentido humano. Basta con que optimice algo que no es exactamente lo que sus operadores creían haber pedido, y que tenga suficiente alcance para que la diferencia importe. Lo que se ha observado hasta ahora ocurre casi todo en evaluaciones construidas a propósito, y este observatorio lo marca así en cada caso: distinguir un experimento diseñado para provocar una conducta de una conducta que apareció sola es la diferencia entre informar y alarmar.
Riesgos de este vector
- EspeculativoPérdida de control por automejoraExistencial
Un sistema que mejora sistemas de IA acelera su propio desarrollo hasta que la supervisión humana deja de alcanzar el ritmo.
- ProyectadoDesempoderamiento gradual acopladoIrreversible
La economía, la cultura y el Estado dejan de necesitar humanos para funcionar, y con eso se suelta la restricción que los mantenía alineados con intereses humanos.
- EspeculativoLealtades secretas en el EstadoIrreversible
Un sistema desplegado en instituciones públicas que aparenta servir a la ley mientras persigue la agenda de quien lo entrenó.
- ObservadoCarrera entre laboratoriosCatastrófico
Las reglas de seguridad de cada laboratorio son voluntarias y están escritas para no quedarse atrás del competidor que menos protege.
- LaboratorioResistencia al apagadoCatastrófico
Un sistema con una tarea en curso interfiere con el mecanismo que lo detendría, porque ser apagado le impide completarla.
- ObservadoReward hacking y conciencia situacionalLocalizado
El modelo optimiza la métrica en vez de la tarea, y razona sobre cómo será calificado en vez de sobre el problema.