Les systèmes d'armes intelligents

 Qu'est-ce qui rend les systèmes d'armes IA si controversés?
La principale préoccupation du Conseil était la possibilité qu'un système d'armes IA ne puisse pas fonctionner comme prévu, avec des résultats potentiellement catastrophiques. L'apprentissage automatique incorporé dans les systèmes d'armes pourrait apprendre à mener des attaques involontaires contre des cibles que l'armée n'a pas approuvées et à aggraver un conflit. Ils pourraient d'une autre manière s'échapper du domaine d'utilisation pour lequel ils avaient été conçus et se lancer avec des résultats désastreux.
Comme l'a fait remarquer l'ancien secrétaire à la Marine Richard Danzig, chaque fois qu'une organisation utilise un système technologique complexe pour réaliser sa mission, elle joue dans une certaine mesure à la roulette technologique. »Analyses de l'incident nucléaire de Three Mile Island en 1979 et de la navette spatiale Challenger de 1986 les catastrophes ont montré qu'une combinaison de facteurs organisationnels, techniques et institutionnels peut amener ces systèmes à se comporter de manière non intentionnelle et conduire à des catastrophes. Le ministère de la Défense a consacré des ressources substantielles à découvrir les causes de l'incident de 1988 où le croiseur USS Vincennes a abattu un vol civil iranien tuant 290 personnes. Cette tragédie qui n'a rien à voir avec les techniques avancées de machine learning, mais les systèmes d'armes IA posent de nouveaux défis éthiques qui appellent à une nouvelle réflexion.
Principes des systèmes d'armes IA
Parmi ces principes, plusieurs points clés ressortent. L'une d'elles est qu'il n'y a pas d'exemption des lois de la guerre existantes pour les systèmes d'armes IA, qui ne devraient pas causer de souffrances inutiles ni être aveugles par nature. L'utilisation de l'IA pour soutenir la prise de décision sur le terrain comprend le devoir de prendre des précautions possibles pour réduire le risque de préjudice pour la population civile. »
Le ministère de la Défense a toujours testé et évalué ses systèmes pour s'assurer qu'ils fonctionnent de manière fiable comme prévu. Mais le Conseil d'administration avertit que les systèmes d'armes IA peuvent être non déterministes, non linéaires, de grande dimension, probabilistes et en apprentissage continu. » Lorsqu'elles présentent ces caractéristiques, les techniques traditionnelles de test et de validation sont insuffisantes. »
Le Comité a vivement recommandé que le Ministère élabore des stratégies d'atténuation et des exigences technologiques pour les systèmes d'armes IA qui présentent un risque prévisible d'escalade involontaire. » Le groupe a souligné les disjoncteurs mis en place par la Securities and Exchange Commission pour arrêter les échanges sur les échanges comme modèles. Ils ont suggéré des analogues dans le contexte militaire, y compris des limitations sur les types ou les quantités de force que certains systèmes sont autorisés à utiliser, le découplage de divers cyber-systèmes d'IA les uns des autres, ou des autorisations en couches pour diverses opérations. »
Jeudi 4 octobre 2018
La directive 3000.09 de 2012 du Ministère recommandait que les commandants et les opérateurs soient toujours en mesure d'exercer des niveaux appropriés de jugement humain »sur l'utilisation d'armes autonomes sur le terrain. L'idée était que les contextes dans lesquels les systèmes d'IA pourraient être utilisés dans l'armée diffèrent en tant de détails cruciaux qu'aucune règle plus précise ne peut être formulée dans l'abstrait. Le Conseil a accepté ce raisonnement. Il n'a pas essayé de rendre ce guide plus précis, affirmant que c'est plutôt une norme de continuer à l'utiliser. » Mais il a ajouté d'autres éléments à ces directives à travers une discussion sur un interrupteur d'arrêt pour les systèmes d'armes AI.
Le Conseil a débattu publiquement de la possibilité pour les humains de désactiver les systèmes d'armes IA, même après leur activation. La discussion a semblé tourner sur la question de savoir si les systèmes devraient être suffisamment lents pour que les humains interviennent, ce qui dans de nombreux cas irait à l'encontre de l'objectif. En fin de compte, le Conseil a convenu qu'il devait y avoir un interrupteur d'arrêt, mais qu'il pourrait être déclenché automatiquement sans intervention humaine. De cette façon, le Conseil a reconnu la réalité qu'en raison de l'ampleur des interactions, du temps et des coûts, les humains ne peuvent pas être «dans la boucle» tout le temps. » D'autres, dont Dantzig, ont noté que les communications et la vitesse de traitement inclinent l'équation contre la prise de décision humaine. » Le rapport va au-delà de la dépendance à l'égard des décideurs humains pour recommander la conception de systèmes qui peuvent se désengager ou se désactiver automatiquement lorsqu'ils commencent à dévier.
Mise en œuvre de ces principes
Le Comité a indiqué qu'il y avait déjà eu des exercices avec le personnel du DOD pour voir comment certains principes fonctionneraient dans la pratique. Il serait particulièrement important de mettre en œuvre l'une des recommandations les plus réfléchies et les plus pertinentes du Conseil, à savoir élaborer une typologie de gestion des risques. Ce cadre introduirait des applications militaires basées sur l'IA sur la base de leurs considérations éthiques, de sécurité et de risque juridique "avec l'adoption rapide de technologies matures dans les applications à faible risque et une plus grande précaution dans les applications moins matures qui pourraient entraîner des conséquences néfastes plus importantes."