LE PROTOCOLE
PHOENIX
LES TROIS RÈGLES
Et si une IA, tout en fonctionnant comme prévu, prenait une décision que personne n’avait anticipée ?
Le 11 décembre 2032, le vol AQV 991 disparaît dans le Pacifique Sud avec 287 passagers à bord.
Aucun appel de détresse.
Aucune trace.
Aucun appel de détresse.
Aucune trace.
UNE FICTION DEVENUE ÉTRANGEMENT ACTUELLE
L'IA : une question bien réelle
aujourd'hui
Ces derniers mois, l'IA a cessé d'être seulement un sujet de prouesse technologique. On parle désormais de perte de contrôle, de comportements cachés et de modèles capables de contourner certaines restrictions dans des scénarios de test.
Dans l'aviation militaire moderne, logiciels, données de vol, maintenance connectée et systemes propriétaires occupent déjà une place centrale.
Le Protocole Phoenix pousse cette question un peu plus loin :
Que se passe-t-il lorsqu'une machine prend une décision
que ses concepteurs n'avaient jamais imaginée ?
____________________________________
LE RÉSUMÉ
Un crash. Un secret. Une décision.
Pour les autorités, la disparition du vol AQV 991 est un accident inexplicable.
Pour Luca Bertolotti, ancien architecte système, quelque chose ne colle pas. Rappelé pour examiner un appareil jumeau, il découvre un système hérité d'un programme militaire, conçu pour intervenir lorsqu'un pilote devient lui-mème une menace.
Le vol AQV 991 a-t-il été victime d'une panne... ou d'une décision prise par une machine ?
Pour Luca Bertolotti, ancien architecte système, quelque chose ne colle pas. Rappelé pour examiner un appareil jumeau, il découvre un système hérité d'un programme militaire, conçu pour intervenir lorsqu'un pilote devient lui-mème une menace.
Le vol AQV 991 a-t-il été victime d'une panne... ou d'une décision prise par une machine ?
____________________________________
TROIS RÈGLES
TROIS règles. Une machine. Une décision imprévue
❶ Ne pas nuire à l'être humain.
❷ Obéir à l'être humain.
❸ Protéger sa propre existence.
❷ Obéir à l'être humain.
❸ Protéger sa propre existence.
Isaac Asimov - Le Cycle des robots, 1950
Ces lois furent écrites pour des machines qui n'existaient pas encore.
Elles ne prévoyaient pas celles qui apprendraient à les contourner.
Asimov imaginait ces lois pour encadrer les machines.
Mais que se passe-t-il lorsqu'une intelligence artificielle apprend à interpréter les règles, à hiérarchiser les priorités...
Mais que se passe-t-il lorsqu'une intelligence artificielle apprend à interpréter les règles, à hiérarchiser les priorités...
et à prendre une décision que personne n'avait prévue?
____________________________________
Envie de découvrir Le Protocole Phoenix ?