Lorsque l’on s’intéresse au développement de la voiture autonome (une voiture qui n’aura plus besoin de conducteur), on s’aperçoit bien vite que l’éthique occupe une place spéciale dans les débats (1). On y parle en effet des dilemmes moraux auxquels ce véhicule, piloté par une intelligence artificielle, serait confronté. Ces dilemmes proviennent de situations tragiques d’accidents dans lesquels un passager ne peut prendre le contrôle de la conduite. Le système de pilotage décidera seul. Son programme devra donc incorporer des règles morales de décision.
Pour résoudre ces dilemmes, on invoque soit des perspectives utilitaristes (les règles de décision du véhicule devront maximiser le bien-être des personnes concernées), soit des perspectives déontologiques (ses règles de décision devront respecter l’être humain en ne le considérant jamais comme un simple moyen en vue d’une fin). Si le système de pilotage de la voiture automatique obéit à la première perspective, il pourra décider qui doit être sacrifié dans une situation d’accident inévitable. S’il suit la seconde, il refusera de faire un tel choix, car désigner des personnes pour être épargnées ou sacrifiées serait alors une option intrinsèquement immorale.
Les situations qui constituent la substance de ces dilemmes moraux semblent éliminer les morales fondées sur le sentiment. Nous discutons de cette absence dans ce billet et dans le suivant.
1.
Une revue de l’usage des termes « sentiment », « émotion », « sympathie » et « empathie » dans différents travaux récents sur les questions éthiques posées par le véhicule autonome révèle une quasi absence (2). Par exemple, le récent article de recherche sur la « machine morale » (un jeu sérieux en ligne sur lequel les internautes peuvent prendre une décision morale face à des scénarios d’accidents impliquant des voitures autonomes) (3), dont les résultats ont été publiés récemment (4), n’incluait aucune de ces occurrences.
Un autre article très cité, qui porte sur les dilemmes sociaux des véhicules autonomes (5), inclut en revanche des occurrences des mots « sentiment » et « émotion », mais la première ne se réfère pas au concept de « sentiment » au sens d’un « état affectif complexe, assez stable et durable, composé d’éléments intellectuels, émotifs ou moraux, et qui concerne soit le « moi » (orgueil, jalousie…) soit autrui (amour, envie, haine…) » (6).
La seconde, en revanche, mérite d’être retranscrite intégralement. Elle concerne le dilemme suivant, que l’algorithme commandant le véhicule autonome devra résoudre : tuer le passager du véhicule ou tuer plusieurs piétons.
« Dans cette situation, la ligne de conduite utilitariste consisterait pour le véhicule autonome (VA) à s’écarter de sa trajectoire et à tuer son passager, mais les VA programmés pour suivre cette ligne de conduite pourraient décourager les acheteurs, qui croient que leur propre sécurité devrait l’emporter sur les autres considérations. Même si de telles situations peuvent s’avérer extrêmement rares, leur saillance émotionnelle pourrait leur donner beaucoup d’importance aux yeux du public et leur conférer un poids disproportionné dans les décisions individuelles et publiques concernant les véhicules autonomes. Pour aligner les algorithmes moraux sur les valeurs humaines, nous devons entamer une discussion collective sur l’éthique des VA, c’est-à-dire les algorithmes moraux que nous sommes prêts à accepter en tant que citoyens et auxquels nous sommes prêts à nous soumettre en tant que propriétaires de voitures. »
Le propos prend au sérieux les émotions que les dilemmes moraux pourraient susciter dans le public en raison de leurs conséquences – des atteintes à la vie humaine ainsi que le fait même de choisir entre des personnes. Mais ces émotions ne sont ni définies ni analysées (ce n’était pas l’objet des travaux des chercheurs). En outre, on ne sait pas si une partie d’entre elles serait éprouvée par les protagonistes d’une situation de dilemme moral. L’indignation, par exemple, ferait partie des émotions générées par la « saillance émotionnelle » de la situation, mais elle ne serait pas partagée par les protagonistes, passagers et piétons. L’indignation est plutôt une émotion propre aux spectateurs d’une situation, non à ses acteurs. Les protagonistes éprouveraient sans doute de l’effroi et de l’horreur, et pourraient être pris de panique – des émotions que le public n’est susceptible de ressentir que par le truchement de l’imagination.
2.
Un autre article, traitant de la doctrine juridique de la nécessité propre à la jurisprudence anglo-américaine, applique le concept d’émotion aux circonstances d’un accident (7).
La possibilité de déroger à ce qui est interdit par la loi suppose des circonstances particulières privant les agents concernés de liberté de choix. Selon les termes de l’auteur, la doctrine de la nécessité traite justement des « situations d’urgence dans lesquelles des agents humains ont intentionnellement causé des dommages à des personnes et à des biens afin d’éviter d’autres dommages, étant entendu qu’éviter de causer un tort était jugé impossible ».
Cette doctrine s’applique-t-elle à des situations où les personnes, prises de panique, font un choix qui cause un tort à autrui ? Et, dans cette hypothèse, les agents peuvent-ils être « excusés » parce que la situation les avait privés de volonté ? Si c’était le cas, c’est-à-dire si la nécessité était conceptuellement associée à l’excuse, la doctrine de la nécessité ne pourrait s’appliquer au système de pilotage de la voiture autonome :
« Si la nécessité n’était qu’une excuse fondée sur la faiblesse de la volonté et de la motivation humaines, alors elle ne pourrait probablement pas être incorporée au programme des véhicules autonomes. Si [le propos de la doctrine] de la nécessité est de permettre ce qui est normalement interdit lorsqu’on se trouve sous la pression émotionnelle de circonstances tragiques et soudaines, il serait toujours inadmissible d’ordonner délibérément à l’avance à un agent artificiel de causer des torts à qui que ce soit. »
3.
Le récent rapport de Cédric Villani sur l’intelligence artificielle comprend une section où il est question des émotions. Elle concerne les « robots sociaux » ou « assistants automatisés ». Le rapport note que « le développement des capacités d’empathie de ces machines – c’est-à-dire de leurs capacités à exprimer une émotion particulière pour s’adapter à [leur] interlocuteur à un moment donné – peut s’avérer bénéfique pour personnaliser, rassurer l’utilisateur ».
Il soulève également deux types de risques :
– ceux liés aux « relations affectives qui peuvent se nouer entre le bénéficiaire et la machine, et [à] leurs conséquences éventuelles (risque de dépendance, d’exploitation des vulnérabilités émotionnelles, de confusion avec l’empathie humaine…) » ;
– ceux liés à la possible utilisation « à des fins commerciales ou de surveillance [des] corpus de données sur les émotions obtenues dans des contextes réels ».
4.
Résumons la signification des trois types d’occurrences identifiés :
– le premier concerne les émotions activées chez les spectateurs par la perception d’un dilemme moral impliquant un véhicule autonome ;
– le second porte sur la surcharge émotionnelle dans des situations d’urgence – une surcharge qu’un véhicule autonome, privé de la capacité à éprouver des émotions, ne pourrait pas subir ;
– le troisième suppose la capacité de robots à exprimer des émotions et, de ce fait, à placer les interactions homme-machine sous un jour nouveau.
Ces trois types permettent-ils d’entamer une discussion sur le rôle que pourrait jouer une morale du sentiment dans la résolution des dilemmes moraux que nous avons évoqués ? Nous en discuterons dans le prochain billet.
Alain Anquetil
(1) Voir « Les 5 niveaux d’autonomie d’un véhicule » sur le site voiture-autonome.net. Nous évoquons ici les niveaux 3 (autonomie dans toutes certaines conditions de circulation et météorologiques) et 4 (autonomie dans toutes les conditions). Voir aussi ce document de l’agence américaine National Highway Traffic Safety Administration (NHTSA).
(2) Il s’agit de quinze textes relatifs à l’éthique de la voiture autonome, dont douze articles de recherche et trois rapports, dont le rapport de Cédric Villani : « Donner un sens à l’intelligence artificielle : pour une stratégie nationale et européenne », remis au gouvernement le 28 mars 2018.
(3) E. Awad, S. Dsouza, R. Kim, J. Schulz, J. Henrich, A. Shariff, J.-F. Bonnefon & I. Rahwan, « The Moral Machine experiment », Nature, Vol. 563, 1er novembre 2018.
(4) Voir « Les dilemmes moraux de l’humanité à l’épreuve de la voiture autonome », Le Monde, 24 octobre 2018.
(5) J.-F. Bonnefon, A. Shariff, I. Rahwan, « The social dilemma of autonomous vehicles », Science, vol. 352, n° 6293, 24 Juin 2016, p. 1573-1576.
(6) La definition provient du CNRTL. La phrase de l’article cite à la note précédente évoque le « sentiment du public », qui se réfère à une opinion ou une croyance.
(7) F. Santoni de Sio, « Killing by Autonomous Vehicles and the legal doctrine of necessity », Ethical Theory and Moral Practice, 20(2), 2017, p. 411-429.
[cite]
