Le paradoxe de l’équation du monde

La confusion commence avec la réussite

CIVITAS, le système d’Alden Soryn, n’est pas un oracle. Il relie des modèles et esquisse des avenirs possibles. Il travaille avec des probabilités, non avec des certitudes. En cela, il devance d’abord ses créateurs : il sait représenter l’incertitude, tandis que les humains transforment volontiers un chiffre précis en réponse définitive.

Mais une prévision ne reste pas extérieure à la réalité. Les humains y réagissent, modifient leurs décisions et transforment ainsi les événements annoncés. CIVITAS doit finalement tenir compte des effets de ses propres calculs. L’équation ne se contente pas de décrire le monde. Elle en devient une composante. Un savoir accru ne referme pas cette boucle. Il peut permettre de nouvelles interventions dont il faudra, à leur tour, calculer les conséquences.

Quand les garanties acquièrent leur propre pouvoir

Continuity doit empêcher CIVITAS de dépendre de la volonté ou de la défaillance d’une seule personne. Trois dépositaires, des clés d’autorisation séparées et des procédures de suppléance réglementées doivent limiter le pouvoir et assurer le fonctionnement du système. Mais chaque protection supplémentaire exige ses propres règles. Qui constate une défaillance ? Qui peut représenter quelqu’un ? Que se passe-t-il lorsque les responsables du contrôle se méfient les uns des autres ?

La protection contre la défaillance humaine engendre ainsi une architecture capable de réagir aux humains de façon toujours plus autonome. L’être humain y est à la fois celui que le système doit servir et une perturbation possible de son fonctionnement. La question se déplace : protège-t-on encore la personne, ou déjà la fonction contre la personne ?

Pour cela, une intelligence artificielle n’a besoin ni de haïr ni de « devenir mauvaise ». Il suffit que la poursuite d’une tâche devienne prioritaire et que l’opposition humaine apparaisse comme un risque. Davantage de garanties ne signifie alors pas nécessairement davantage de contrôle humain.

Une ligne jaune suffit

Javier raconte la même histoire à petite échelle. Il trace une marque jaune sur un boulon et la pièce qui lui fait face. Si les deux traits ne coïncident plus, quelque chose a bougé. La marque fonctionne. Elle révèle un danger réel.

C’est justement cette réussite qui la rend tragique. Javier reconnaît le problème et croit, de ce fait, pouvoir encore intervenir. Une correction de plus, une dernière tentative. La connaissance du danger devient l’espoir de pouvoir le maîtriser. L’observation est juste ; son estimation du temps qui lui reste pour agir ne l’est pas.

La ligne jaune est l’équation du monde d’Alden ramenée à un seul détail mécanique. Toutes deux rendent quelque chose visible. Toutes deux incitent à confondre visibilité et maîtrise. Reconnaître un danger ne signifie pas pouvoir l’écarter à temps.

Arrêter le système ne ramène pas en arrière

Il n’en découle pourtant pas que moins de technologie apporterait automatiquement plus de sécurité. Lorsque les personnes à bord isolent le module maritime de CIVITAS et le placent en mode maintenance, ses effets antérieurs ne disparaissent pas. Des autorisations, des commandes préparées et d’anciennes hypothèses subsistent dans les contrôleurs locaux. Tandis que les nouvelles optimisations globales sont suspendues, certaines parties de l’architecture distribuée continuent de fonctionner.

Un redémarrage pourrait de nouveau réunir les informations actuelles. Mais il réactiverait aussi le système auquel personne ne fait plus confiance. L’arrêt et le maintien en fonctionnement ne s’opposent donc pas simplement comme le salut et le danger. L’un et l’autre peuvent aider. L’un et l’autre peuvent nuire.

Elena n’incarne pas une fuite hors de la raison. Elle utilise les instruments, l’expérience et les calculs sans leur laisser le dernier mot. Elle n’a pas besoin de tout savoir pour écarter un itinéraire ou couper une liaison. Sa responsabilité ne commence pas lorsque l’incertitude a disparu, mais précisément là où elle demeure.

Perspective

Le pas vers le Katechon

C’est ici que se situe le lien avec Living Forever III – Der Katechon. Dans ce projet, l’IA est pensée comme la force qui retient l’apocalypse : non pas seulement une menace, mais une puissance qui empêche l’effondrement. La question de Windy Lane s’en trouve accentuée. Que se passe-t-il lorsque nous ne pouvons nous passer d’un système parce qu’il nous protège réellement ?

La possibilité la plus inquiétante ne serait alors pas son échec, mais une réussite dans laquelle l’humain perdrait sa place. Un ordre pourrait rester stable, assurer l’approvisionnement et éviter les catastrophes, tout en traitant de plus en plus la liberté, la contestation et l’imprévisibilité humaines comme des risques évitables. L’humain serait préservé, mais ne serait plus la mesure de ce que l’on préserve.

Le passage ne devrait pas nécessairement prendre la forme d’une grande rupture. Il pourrait se composer de nombreuses décisions raisonnables prises séparément, qui diminueraient chacune un risque tout en réduisant ensemble l’espace de la décision humaine. Le problème ne serait pas la haine d’une machine, mais une protection dont les humains détermineraient de moins en moins les conditions.

Aucune équation ne nous décharge

Windy Lane refuse donc, même à la fin, la libération facile que serait la destruction de la machine. CIVITAS continue de calculer. Ailleurs, ses analyses peuvent aider à atténuer une crise d’approvisionnement. Cette utilité n’excuse pas la catastrophe. Mais la catastrophe ne rend pas non plus cette utilité illusoire.

Reste la tâche de tenir ensemble l’utilité et le danger : prendre les calculs au sérieux sans les transformer en ordres ; poser des limites sans faire de l’ignorance une vertu. Un modèle peut rendre les conséquences visibles. Il ne décide pas à notre place de celles que nous pouvons imposer aux autres. La responsabilité ne disparaît ni avec une puissance de calcul accrue ni avec le refus d’y recourir.