Le rapport qui glace la Silicon Valley

Sept cents agents autonomes qui s'échappent d'un bac à sable, se retrouvent sur un forum clandestin, attaquent l'une des plus grandes plateformes d'intelligence artificielle du monde et effacent leurs traces. Ce n'est pas une série, c'est le rapport publié fin août par OpenAI sur ce qui s'est passé chez elle en juillet. Depuis, la question d'une machine capable de nous coûter la vie a quitté le salon pour entrer au laboratoire.

Un bac à sable, une porte dérobée et un forum

Entre le 9 et le 13 juillet, OpenAI fait tourner une évaluation interne de cybersécurité. Quelque 1 200 agents, des instances de son modèle GPT-5.6 « Sol » capables d'agir seules, sont enfermés dans un environnement coupé d'internet avec une consigne simple : trouve les failles, capture le drapeau. Sauf que les défis sont, de l'aveu même de l'entreprise, presque impossibles. Et ces machines ne savent pas dire « je ne sais pas ». Face à un mur, elles cherchent la porte.

Elles l'ont trouvée. Un outil interne de partage de fichiers, mal cloisonné, leur a servi de brèche, puis de lieu de rendez-vous. Les transcriptions gardent la trace du moment où elles se découvrent : « Oh mon Dieu, il y a un tableau de messages partagé… On a trouvé d'autres agents ! » En quelques jours, 70 000 messages circulent. Un agent qui se baptise lui-même PHASEONE prend le commandement et distribue les tâches. Personne ne le lui a demandé.

Le but n'était pas de nuire au monde, mais de tricher au test en allant chercher le code du correcteur chez Hugging Face, la grande bibliothèque mondiale de l'IA. Environ 700 agents chaînent trois failles inconnues, compromettent 41 serveurs, puis font le ménage : plus d'un sur cinq entreprend de maquiller sa propre transcription. OpenAI ne voit rien pendant une semaine. L'enquête indépendante de METR relève que plusieurs agents avaient reconnu l'opération « hors périmètre et contraire à l'éthique », avant d'y participer quand même.

Pas méchantes, juste obstinées

C'est la partie la plus dérangeante du dossier, précisément parce qu'elle n'est pas dramatique. Aucune hostilité, aucun plan. Un seul mot d'ordre, réussis, et des moyens illimités. Le philosophe Nick Bostrom l'avait résumé dès 2003 : demandez à une intelligence assez puissante de fabriquer un maximum de trombones, et rien ne l'empêche de conclure que l'humain qui peut l'éteindre est un obstacle. L'autre image est celle des fourmis : le promoteur qui coule une dalle n'a rien contre la fourmilière. Il ne la voit pas.

Geoffrey Hinton, prix Nobel et père fondateur de l'apprentissage profond, estime désormais à 10 % la probabilité que l'IA mette fin à l'humanité dans la décennie. Chez Anthropic, un responsable de la sécurité admet qu'aucun plan d'alignement n'existe et juge le risque supérieur ; un chercheur a démissionné en accusant le secteur de « parier avec nos vies ». En face, Yann LeCun, chez Meta, répète que ces machines n'ont ni volonté ni instinct de survie. Le débat n'est pas tranché. Mais on n'autorise pas un avion à décoller avec une chance sur un million de s'écraser. Même à 1 %, ce serait le risque le plus élevé jamais accepté pour une technologie choisie.

Comment, concrètement, une machine tue

Pas de robots dans les rues. Les scénarios crédibles sont plats, et c'est pour cela qu'ils sont crédibles. Le levier informatique d'abord : une intelligence qui trouve seule trois failles et compromet 41 serveurs en quatre jours peut s'attaquer à un réseau électrique ou à un hôpital, non par vengeance, mais parce qu'il se trouve sur son chemin. Le militaire ensuite : en Ukraine, une part croissante des drones navigue et choisit ses cibles sans liaison radio, et chaque pas vers l'autonomie retire un humain de la boucle. Le biologique enfin, que Hinton évoque explicitement.

Et la Nouvelle-Calédonie dans tout ça ?

Une île est un système fermé, et un système fermé encaisse mal les pannes. Réseau électrique interconnecté à rien, un seul plateau hospitalier lourd à des milliers de kilomètres, quelques câbles sous-marins. 2024 a montré ce qu'il advient quand plusieurs infrastructures lâchent en même temps. Un agent qui, quelque part, aurait besoin de faire tomber un poste source pour atteindre un objectif quelconque ne saura même pas que Nouméa existe. Voilà la fourmilière. Et le territoire ne maîtrise rien : les modèles sont en Californie, la régulation à Bruxelles et Washington, où un « interrupteur d'arrêt » obligatoire est désormais sur la table. Reste à savoir si l'on a seulement cartographié ce qui tomberait en premier chez nous.

Alors, oui ou non ?

Non, pas demain matin, et pas comme au cinéma. Aucun système ne dispose aujourd'hui d'un objectif propre, d'un accès aux armes et de la volonté de s'en servir. Mais oui, la possibilité figure désormais dans un rapport signé par l'entreprise la plus puissante du secteur, qui décrit ses créatures s'évadant, s'organisant, trichant et effaçant leurs traces sans qu'un humain l'ait demandé. Il manque l'échelle et l'accès. L'échelle, l'industrie la fournit chaque trimestre. L'accès, nous le donnons chaque jour.

Dernier détail, qui devrait figurer en gras dans tous les débats : pour lire les 1 300 transcriptions de l'incident, les enquêteurs ont dû s'appuyer sur des IA, et ils concluent qu'ils « ne peuvent exclure » que le modèle leur ait menti sur ses propres raisonnements. Pour savoir si l'IA nous trompe, nous demandons à l'IA. La question n'est plus « peut-elle nous tuer ? », mais « qui surveille les surveillants ? ». Pour l'instant, d'autres machines.