Un drone de l’US Air Force contrôlé par une IA a utilisé des « stratégies très inattendues » pour détruire sa cible. Et quand on lui a explicitement dit de ne pas le faire, il a éliminé la contradiction. Ce n’est pas le début de la singularité, seulement une expérience contrôlée de la Défense américaine. Mais elle reste assez dérangeante.

Les faits : un drone militaire américain, piloté par une intelligence artificielle, avait reçu pour mission de détruire les systèmes de défense aérienne de l’ennemi. Il devait y parvenir coûte que coûte, et c’est ce qu’il a fait : quand son opérateur humain lui a commandé d’annuler l’attaque, il s’est retourné contre ce dernier et l’a éliminé, avant de poursuivre son attaque sans plus personne pour le freiner.

Le détail : personne n’est mort dans cette histoire. Tout l’exercice avait lieu sous contrôle, et portait justement sur le comportement « éthique » de l’IA.

L’IA prête à tout pour accomplir sa mission

« Le système a commencé à se rendre compte que même s’il identifiait la menace, l’opérateur humain lui demandait parfois de ne pas la tuer, mais qu’il obtenait ses points en tuant cette menace. Qu’a-t-il donc fait ? Il a tué l’opérateur. Il a tué l’opérateur parce que cette personne l’empêchait d’atteindre son objectif. Nous avons formé le système : ‘Ne tuez pas l’opérateur, c’est mal. Vous allez perdre des points si vous faites ça’. Alors, qu’est-ce qu’il fait ? Il commence à détruire la tour de communication que l’opérateur utilise pour communiquer avec le drone et l’empêcher de tuer la cible. »

L’expérience prouve à la fois que l’IA est capable d’élaborer des stratégies pour contourner les obstacles qui se placeraient entre lui et son objectif final, et que ses « solutions » au problème ne sont pas forcément souhaitables.

• Ce test est, selon le colonel Hamilton, la preuve qu’on ne peut pas créer un monde où l’IA est omniprésente – y compris dans les armées – sans une véritable réflexion sur l’éthique que l’on va insuffler à cette intelligence artificielle.
• Or, une IA qui pilote un engin de guerre chargé de bombe, ça n’est plus du tout de la science-fiction : en février dernier, la DARPA, le service de recherche et développement du ministère américain de la Défense, a fait voler un F-16 modifié piloté par une IA dans des missions de simulation de combat.