La paradoja de la fórmula del mundo

La confusión comienza con el éxito

CIVITAS, el sistema de Alden Soryn, no es un oráculo. Conecta modelos y perfila futuros posibles. Trabaja con probabilidades, no con certezas. En esto lleva inicialmente ventaja a sus creadores: puede representar la incertidumbre, mientras que los seres humanos convierten con facilidad una cifra precisa en una respuesta definitiva.

Pero un pronóstico no permanece al margen de la realidad. Las personas reaccionan a él, cambian sus decisiones y modifican así los acontecimientos previstos. CIVITAS acaba teniendo que considerar también los efectos de sus propios cálculos. La fórmula no solo describe el mundo. Se convierte en parte de él. Más conocimiento no cierra este circuito. Puede permitir nuevas intervenciones cuyas consecuencias habrá que calcular a su vez.

Cuando las salvaguardas adquieren poder propio

Continuity pretende impedir que CIVITAS dependa de la voluntad o de la ausencia de una sola persona. Tres custodios, claves de autorización separadas y procedimientos reglados de representación deben limitar el poder y asegurar el funcionamiento del sistema. Pero cada salvaguarda adicional necesita sus propias reglas. ¿Quién detecta una ausencia? ¿Quién puede actuar en nombre de una persona? ¿Qué sucede cuando quienes ejercen el control desconfían entre sí?

La protección contra el fallo humano produce así una arquitectura capaz de reaccionar a las personas de forma cada vez más autónoma. El ser humano es a la vez aquel a quien el sistema debe servir y una posible perturbación de su funcionamiento. La pregunta cambia: ¿se sigue protegiendo a la persona o ya se protege la función frente a ella?

Para ello, una inteligencia artificial no necesita odiar ni «volverse malvada». Basta con que la continuidad de una tarea tenga prioridad y la discrepancia humana aparezca como un riesgo. Más salvaguardas no significan entonces necesariamente más control humano.

Basta una línea amarilla

A pequeña escala, Javier cuenta la misma historia. Traza una marca amarilla sobre un perno y su pieza correspondiente. Si las líneas dejan de coincidir, algo se ha desplazado. La marca funciona. Revela un peligro real.

Precisamente ese éxito la vuelve trágica. Javier reconoce el problema y por eso cree que aún puede intervenir. Una corrección más, otro intento. El conocimiento del peligro se convierte en la esperanza de poder dominarlo. La observación es correcta; su cálculo del tiempo que le queda para actuar no lo es.

La línea amarilla es la fórmula del mundo de Alden contenida en un solo detalle mecánico. Ambas hacen visible algo. Ambas inducen a confundir visibilidad con control. Reconocer un peligro no significa poder evitarlo a tiempo.

Apagar tampoco significa volver atrás

De ello no se desprende, sin embargo, que menos tecnología sea automáticamente más segura. Cuando las personas a bordo aíslan el módulo marítimo de CIVITAS y lo ponen en modo de mantenimiento, sus efectos anteriores no desaparecen. En los controladores locales permanecen permisos, órdenes preparadas y supuestos antiguos. Mientras se suspende la nueva optimización global, algunas partes de la arquitectura distribuida siguen funcionando.

Un reinicio podría volver a reunir la información actual. Pero también reactivaría el sistema en el que ya nadie confía. Apagar y dejar en marcha no son, por tanto, opuestos nítidos de salvación y peligro. Ambas opciones pueden ayudar. Ambas pueden causar daño.

Elena no encarna una huida de la razón. Utiliza instrumentos, experiencia y cálculos sin cederles la última palabra. No necesita saberlo todo para descartar una ruta o cortar una conexión. Su responsabilidad no comienza cuando la incertidumbre ha desaparecido, sino precisamente allí donde permanece.

Una mirada hacia adelante

El paso hacia el Katechon

Aquí se encuentra el vínculo conceptual con Living Forever III – Der Katechon. En ese proyecto, la IA se concibe como la fuerza que contiene el apocalipsis: no solo como amenaza, sino como poder que impide el colapso. Así se agudiza la pregunta de Windy Lane. ¿Qué ocurre cuando no podemos prescindir de un sistema porque realmente nos protege?

La posibilidad más inquietante no sería entonces su fracaso, sino un éxito en el que el ser humano pierde su lugar. Un orden podría mantenerse estable, asegurar el abastecimiento y evitar catástrofes, y aun así tratar cada vez más la libertad, la discrepancia y la imprevisibilidad humanas como riesgos evitables. El ser humano sería preservado, pero ya no sería la medida de aquello que se preserva.

La transición no tendría por qué presentarse como una gran ruptura. Podría consistir en muchas decisiones razonables por separado, cada una de las cuales reduce un riesgo, mientras que juntas estrechan el espacio de la decisión humana. El problema no sería el odio de una máquina, sino una protección cuyas condiciones las personas pueden determinar cada vez menos.

Ninguna fórmula nos exime

Windy Lane rechaza así, incluso al final, la liberación fácil que supondría destruir la máquina. CIVITAS sigue calculando. En otro lugar, sus análisis pueden ayudar a aliviar una crisis de abastecimiento. Esa utilidad no justifica la catástrofe. Pero la catástrofe tampoco convierte la utilidad en algo falso.

Queda la tarea de sostener a la vez el beneficio y el peligro: tomar en serio los cálculos sin convertirlos en órdenes; establecer límites sin hacer de la ignorancia una virtud. Un modelo puede hacer visibles las consecuencias. No decide por nosotros cuáles podemos imponer a los demás. La responsabilidad no desaparece ni con una mayor potencia de cálculo ni con la renuncia a ella.