C’était en 1983 et c’était presque la fin du monde.

Jamais, depuis la crise des missiles cubains de 1962, les États-Unis et l’Union soviétique se sont rapprochés de la guerre nucléaire mondiale.

Un seul officier, le colonel russe Stanislav Petrov, a décidé d’exercer son jugement humain et de faire taire les capteurs du centre d’alerte précoce qu’il commandait – qui avertissait qu’une frappe nucléaire américaine sur l’URSS était en cours – et il a sauvé le monde d’une fin apocalyptique.

On fait une avance rapide de 37 ans en 2020 et la même situation pourrait bientôt impliquer la technologie de l’intelligence artificielle, qui évolue si rapidement qu’aucun Petrov ni personne d’autre ne serait en mesure d’intervenir à temps pour arrêter une guerre nucléaire sur la base d’une fausse alarme ou d’une erreur informatique.

L’intelligence artificielle (IA) est en train de remodeler tous les domaines de nos vies, mais la guerre et le contre-terrorisme sont deux domaines où son impact de potentiels inconvénients aussi énormes que paradoxaux.

En toute honnêteté, le scénario ci-dessus est l’utilisation potentielle la plus défavorable de l’IA; cela ne s’est pas encore produit, et il existe une variété d’utilisations potentielles extrêmement positives de l’IA dans la guerre et dans la lutte contre le terrorisme.

Dans une récente conférence du Centre interdisciplinaire Herzliya sur l’IA et la guerre, le Dr Daphné Richemond-Barak a discuté de la capacité de l’IA à augmenter la vitesse et la précision des batailles conventionnelles.

Bien que cela signifie que les armées pourraient être plus meurtrières contre les adversaires, cela signifie également qu’elles pourraient être moins susceptibles de faire des erreurs « collatérales », comme frapper des cibles civiles.

Richemond-Barak a également discuté de la façon dont l’IA peut être utilisée pour assigner des unités militaires spécifiques, de manière plus appropriée, à des tâches spécifiques en temps réel pour éviter le gaspillage et les décalages qui sont courants dans le brouillard de la guerre.

Tout cela est basé sur l’idée que les capacités de l’IA collectent beaucoup plus de renseignements, avec précision, en temps réel, et les acheminent beaucoup plus rapidement aux décideurs.

Un autre sujet discuté par Richemond-Barak est la possibilité que des soldats soient « améliorés » par l’IA.

On s’attend à ce qu’au moins certains soldats reçoivent à l’avenir des combinaisons et des équipements qui peuvent les aider à supporter la perte de sang, la fatigue extrême et les températures extrêmes.

L’IA en guerre peut également être utilisée pour aider directement les civils, a expliqué Richemond-Barak.

Elle a déclaré que l’IA peut être utilisée pour identifier plus rapidement où se trouvent les civils dans une zone de guerre, dans quelle mesure ils sont menacés par les impacts secondaires de la guerre et qui peut le mieux sauver ceux qui ont besoin de secours.

En outre, l’IA peut être utilisée pour mieux calculer et élaborer des stratégies concernant les besoins humanitaires des civils bloqués dans ou à proximité des zones de guerre, afin de fournir plus efficacement et plus précisément la nourriture, l’eau et les autres ressources dont les civils ont besoin pour survivre jusqu’à ce que l’ordre soit rétabli.

L’IA pourrait également être utilisée pour identifier les zones inondées et les routes impraticables afin d’aider les civils à éviter de telles situations, a-t-elle déclaré au Magazine.

Cependant, l’aspect le plus controversé de la guerre dont Richemond-Barak a discuté avec le Magazine était probablement la question de l’intégration de l’IA dans la chaîne de commandement militaire.

Une fois ce problème ouvert, la question devient de savoir comment équilibrer les capacités de l’IA, qui sont supérieures à celles des humains, avec le jugement humain, qui – au moins à ce jour – est toujours supérieur à l’IA dans la gestion des scénarios inattendus et la possibilité d’improviser.

Elle a demandé si l’IA pouvait être placée sous le commandement direct de petits ou grands groupes de troupes ou de véhicules, si l’IA pouvait servir d’adjoint aux commandants humains, ou si l’IA resterait simplement une ressource technique utilisée par les commandants humains quand ils le jugeraient approprié.

Les militaires publieront-ils des directives déclarant les zones d’opérations où l’IA peut prendre le relais?

Alors que les détracteurs de l’IA craignent qu’une erreur d’IA dans le jugement, le piratage de l’IA ou une erreur technique puisse conduire à des armes dirigées par l’IA pour mener une vague de tueries massive et rapide contre les civils, Richemond-Barak a suggéré que l’IA pourrait être programmée pour ne jamais attaquer certaines cibles marquées.

ENTRANT DANS l’arène de la lutte contre le terrorisme, le directeur de l’Institut international de lutte contre le terrorisme d’IDC, Boaz Ganor, a discuté, lors de la même conférence, des nouvelles capacités que la combinaison de l’IA et des mégadonnées ouvraient pour contrecarrer les complots terroristes.

Ganor a cité M., du Shin Bet (Agence de sécurité israélienne), qui a déclaré :

«Dans le monde de l’intelligence, la clé pour créer une recherche pertinente, en utilisant les méthodes et les outils du Big Data, est de prendre conscience de la possibilité de poser de nouvelles questions.»

Un point frappant a été l’idée que «les données produisent non seulement des différences quantitatives qui nous permettent de répondre à de vieilles questions à l’aide de nouveaux outils, mais créent en fait une nouvelle réalité dans laquelle des questions totalement nouvelles peuvent être posées.»

«La réponse aux questions est donnée par un agent du renseignement utilisant une image beaucoup plus sophistiquée et complète de l’ennemi et de l’environnement dans lequel il opère », a déclaré M.

En d’autres termes, a expliqué Ganor, l’IA n’a pas seulement aidé à obtenir des renseignements pour contrecarrer les complots terroristes sur une base quantitative. Au contraire, l’augmentation radicale de la quantité de renseignements disponibles a créé également de nouvelles façons qualitatives d’analyser les renseignements de manière plus approfondie.

Ensuite, Ganor a cité des statistiques du Shin Bet sur le fait de déjouer près de 560 complots terroristes, qui étaient probablement plus avancés, – et plus de 1000 attaques potentielles-, qui pourraient inclure l’arrestation ou la visite d’individus présentant les premiers signes d’un attaquant probable sur les réseaux sociaux.

C’est au cours de «l’intifada au couteau» 2015-2016 que le Shin Bet a commencé à utiliser systématiquement Facebook et d’autres plateformes de réseaux sociaux pour anticiper les attaquants potentiels du loup solitaire.

Les attaquants selon le modèle du loup solitaire, souvent des terroristes spontanés ponctuels sans aucun lien avec des groupes terroristes, avaient été impossibles à arrêter. Ils n’avaient aucune trace de planification logistique, d’achat d’armes ou de communication avec leurs co-conspirateurs à suivre.

Dans ce vide, le Shin Bet a innové en utilisant une variété d’algorithmes, en suivant les publications des réseaux sociaux et d’autres informations qu’il a collectées sur certaines personnes (par exemple, les personnes dont des membres de la famille ont été impliqués dans le terrorisme ou tués par Tsahal pourraient être considérés comme des risques plus importants), afin d’anticiper les attaques avant qu’elles ne se produisent.

Certains agresseurs arrêtés ont admis qu’ils allaient ou risquaient d’attaquer.

Mais Ganor a ensuite posé une question cruciale de suivi à ce succès apparent : des milliers de suspects et un très grand nombre de détenus sont-ils une mesure appropriée pour le succès et l’efficacité du renseignement?

Alternativement, il a averti que les chiffres élevés du Shin Bet pourraient en fait indiquer « l’utilisation d’un filtre qui est trop large et qui a trop de trous ». Essentiellement, Ganor était préoccupé par la pente glissante consistant à considérer des attaques comme « déjouées » en étiquetant faussement certains personnes comme «agresseurs potentiels» (alors qu’ils auraient en fait été beaucoup plus loin du passage à l’acte qu’on ne le fait croire).

Au lieu de lancer un coup de sifflet qui déclencherait toutes sortes de fausses alarmes, l’IA pourrait être canalisée pour clouer les vrais terroristes au pilori, a déclaré Ganor, en travaillant dur pour s’assurer que les questions de la collecte de renseignements par l’IA ne soient pas trop larges.

Il a cité le colonel Y. des services de renseignements israéliens, qui a déclaré: « Selon les renseignements traditionnels, pour toute bonne question, une accessibilité appropriée peut être créée afin de révéler les secrets de l’adversaire. »

«À une époque caractérisée par un flot d’informations, il faut supposer qu’il n’y a pas de question dont la réponse ne peut être trouvée dans les données. L’astuce est de savoir comment poser la bonne question à partir des données … et de savoir que lorsque nous n’obtenons pas la réponse, nous devons supposer que nous avons posé la mauvaise question », a poursuivi Y.

Une préoccupation majeure contre laquelle Ganor a mis en garde concerne un scénario dans lequel les scientifiques et les programmeurs «ne sont pas en mesure d’expliquer les principes directeurs, les processus de travail et les décisions de l’IA, qui sont faits via l’apprentissage automatique et l’utilisation des mégadonnées».

Il a déclaré que cela pourrait se produire lorsque, « afin d’optimiser leur processus de travail, ces systèmes [AI] sont susceptibles de changer les directives qui leur ont été données« .

Les mégadonnées et l’apprentissage automatique pourraient conduire à attraper «un terroriste avant qu’il ne mène une attaque, mais où il n’est pas possible d’expliquer comment ils sont parvenus jusqu’à lui».

Il a de nouveau cité M. du Shin Bet, qui a déclaré: «Dans un monde de données étendues, il est inutile d’essayer d’étudier et de caractériser le modèle d’activité de l’objet de recherche … même si nous ne pouvons pas expliquer la modèle d’activité de l’objet en cours d’examen.

« Même si nous ne pouvons pas prouver qu’un certain phénomène en découle, il suffit que l’algorithme trouve une corrélation entre les deux phénomènes pour que nous utilisions efficacement cette connexion », a ajouté M.

En revanche, Ganor a cité Yoelle Maarek, vice-présidente d’Amazon, qui a déclaré: «Ce n’est pas la responsabilité du scientifique de dire que la raison pour laquelle il a obtenu certains résultats découle du fait que c’est ce que la machine a décidé … Bien sûr, c’est encore plus important dans le cas des agences de sécurité et de renseignement qui utilisent des algorithmes pour prendre des décisions de vie ou de mort. »

Ganor a déclaré que «malgré le succès de l’utilisation de l’IA et des mégadonnées dans le domaine de la lutte contre le terrorisme, et à la lumière du grand nombre d’arrestations et d’attaques déjouées qui ont eu lieu ces dernières années en Israël, il est nécessaire d’élaborer des directives pour l’utilisation de l’IA dans la lutte contre le terrorisme.  »

Il a déclaré que les lignes directrices devraient être élaborées par une combinaison d’informaticiens, d’experts en sécurité, d’experts en terrorisme, de stratèges, de juristes et de philosophes.

Sur le plan conceptuel et en termes d’imposition de limites, il a déclaré que la technologie de l’IA «combinée aux mégadonnées, devrait être traitée comme un moyen de surveillance de masse et d’enregistrement … L’utilisation de bases de données qui impliquent de compromettre la vie privée des personnes devrait être conditionnée à l’approbation d’un juge et sur l’étendue et la nature de la menace terroriste de l’époque. »

Une autre garantie qu’il a préconisée est d’effectuer des évaluations régulières et séparées de chaque type de base de données.

En d’autres termes, il ne suffirait pas de simplement vérifier le fonctionnement d’une base de données ou d’une plateforme d’IA avec une base de données lorsqu’elle est lancée, sans contrôles de suivi réguliers ou contrôles génériques, qui ne prennent pas en compte le caractère spécifique de la base de données.

Ensuite, il a déclaré que «l’incrimination des« terroristes potentiels »identifiés à l’aide de la technologie des mégadonnées ne devrait être envisagée que lorsqu’il existe des preuves à l’appui supplémentaires».

Concernant à la fois l’utilisation de l’IA et le développement de ces preuves supplémentaires, Ganor a averti que des garanties doivent être introduites pour lutter contre les préjugés culturels et ethniques.

Peut-être plus important encore, Ganor a déclaré que « l’utilisation de l’IA et de la technologie des mégadonnées pour prévenir le terrorisme devrait être évitée lorsque les résultats des algorithmes ne peuvent pas être expliqués. »

Boaz Ganor

Le nombre d’attaques déjouées présumées menées à la suite de l’utilisation de l’IA et des mégadonnées ne doit pas être utilisé pour mesurer le succès et l’efficacité des forces de sécurité.

Tandis que Ganor a souligné les points positifs et négatifs de l’IA dans les efforts de lutte contre le terrorisme, et Richemond-Barak a souligné ses avantages sur le champ de bataille, il y a d’autres préoccupations sur le champ de bataille.

En fait, à certains égards, la présentation de Richemond-Barak était une tentative d’équilibrer une discussion sur l’IA et la guerre qui a principalement tourné autour de la campagne de la société civile mondiale pour arrêter les robots tueurs.

La campagne a été lancée en 2013 et, en 2016, une réunion de la Convention des Nations Unies sur certaines armes classiques (CCW) avait créé un groupe de travail spécial pour tenter de parvenir à un consensus sur l’interdiction ou la limitation des systèmes d’armes autonomes.

Ces systèmes d’armes autonomes devraient tous ou presque intégrer l’IA.

Dans un article publié à la mi-décembre via le Bulletin of Atomic Scientists, Neil Renic de l’Institut pour la recherche sur la paix et la politique de sécurité a analysé si la campagne avait été un échec total.

Renic et certains autres militants ont accusé les États-Unis, la Russie, le Royaume-Uni et d’autres grandes puissances de bloquer toute initiative majeure, car le CCW nécessite un consensus.

En fait, Renic a déclaré que, puisque de nombreux pays se considèrent comme étant dans une course aux armements contre l’IA, la tendance parmi les pays travaillant sur l’IA et les systèmes d’armes autonomes est d’investir plus de fonds dans ces systèmes,et non moins.

Une des raisons pour lesquelles Renic a déclaré que la campagne n’a pas réussi à ce jour est que «des systèmes d’armes autonomes qui perturbent le plus les humanitaires n’ont pas encore émergé. Il n’y a aucun incident grave à citer, aucun récit édifiant sur lequel s’appuyer pour plaider en faveur d’une réforme. »

Dans le même temps, Renic a salué la campagne visant à faire prendre conscience de certains des dangers de l’intégration de l’IA et des systèmes d’armes autonomes dans les arsenaux militaires.

Il a laissé entendre que cette prise de conscience entraînerait une autoréglementation des forces armées, même si elle est limitée et moins exécutoire qu’une convention multilatérale solide.

Selon Renic, au 30 octobre, les pays étaient favorables à une interdiction totale des systèmes d’armes autonomes. De plus, même si le CCW est une impasse pour la campagne, une déclaration franco-allemande début décembre pour développer «un cadre normatif» sur les armes autonomes a reçu le soutien de dizaines de ministres des Affaires étrangères.

Il a également noté que le Brésil avait proposé d’accueillir un symposium sur l’interdiction en février 2020.

On peut donc dire que la campagne a influencé certains aspects de l’opinion mondiale, en venant à se préoccuper des systèmes d’armes autonomes, mais que les principaux pays impliqués dans le développement de ces systèmes ne veulent pas de limites.

Dans cette conversation, Richemond-Barak et d’autres comme elle soulignent que ces nouveaux systèmes ne visent pas seulement à tuer plus efficacement; ils peuvent sauver des vies, à la fois en évitant les erreurs et en se concentrant directement sur le sauvetage des civils.

CEPENDANT, en considérant l’IA et les systèmes d’armes autonomes, il semble qu’ils seront profondément ancrés dans les systèmes d’armes conventionnels de nombreux pays d’ici peu.

Tout cela revient à notre héros Petrov, qui a sauvé le monde de l’hécatombe nucléaire en 1983.

Apparemment, Petrov n’était pas le seul sauveur. Il y a des cas documentés de fausses alarmes nucléaires des systèmes techniques américains en 1979-1980 dans lesquelles, finalement, les opérateurs humains ont ignoré ce que leurs systèmes technologiques leur disaient.

Il existe donc un risque réel, même pour les technologies les meilleures et les plus chères, et à notre époque, des nouveaux systèmes gérés par l’IA, de mal fonctionner ou de se déclencher.

Il existe également un danger qu’une fois que les opérateurs humains sont trop habitués à se fier à l’IA, même si les opérateurs humains sont dans la boucle, ils peuvent commencer à sous-évaluer leur intuition humaine et à fonder trop leur décision finale sur la confiance en une liste de contrôle générique de l’IA.

En d’autres termes, l’IA et les listes de contrôle qui y sont connectées, si elles sont trop automatiques, peuvent décourager la résolution créative de problèmes humains.

En 1983, le haut dirigeant soviétique Yuri Andropov ainsi que l’état-major étaient prédisposés à croire le pire, de la part des États-Unis et étaient prêts à sauter même sur une petite quantité de renseignements apparemment « objectifs » fournis par leurs systèmes d’alerte d’urgence.

Dans le cas de Petrov, il s’est avéré que la raison de la fausse alarme était simplement que l’algorithme de l’ordinateur était trop sensible à la réflexion du soleil sur les nuages.

Il fallait des humains sur le terrain pour comprendre cela et réinitialiser l’ordinateur avec un seuil de détection plus élevé.

Si toutes les questions ci-dessus sont dangereuses avec les armes classiques, une leçon pourrait être de ne pas sauter aussi rapidement du passage de l’IA du champ des armes classiques au champ nucléaire.

Aussi problématique qu’un système d’armes classiques autonomes défectueux puisse être en cours de route, il y a de fortes chances que les dommages causés par un tel système soient contenus assez rapidement.

Il n’en va pas de même pour les armes nucléaires.

Comme l’a suggéré Ganor, la clé – que ce soit dans la lutte contre le terrorisme ou la guerre – peut être de réaliser que l’IA sera toujours aussi bonne que les questions et les paramètres définis pour tout nouveau système, et nécessitera de maintenir une capacité humaine constante à deviner le système au besoin.

Ceux qui veulent simplement interdire l’IA en temps de guerre ou de lutte contre le terrorisme sont susceptibles de subir un réveil brutal, car le domaine suit son propre élan, et ils ignorent les avantages significatifs à tirer du terrain.

Pourtant, ceux qui ignorent les risques et ne parviennent pas à fixer leurs propres limites et garanties le font à leurs risques et périls.

Par YONAH JEREMY BOB

Adaptation : Marc Brzustowski

jpost.com