Archives Billets/Articles Un big Brother mondial de 500 millions de dollars Les élections françaises et les enjeux du spatial Chine : mauvais passage ou difficultés durables ? Tous les articles

24 janvier 2010
par Jean-Paul Baquiast et Christophe Jacquemin

Des hommes et des robots

Une question souvent posée à propos des robots, que nos lecteurs se posent peut-être aussi, consiste à se demander si le développement rapide, sinon exponentiel, de la robotique dans les sociétés modernes présente un danger pour l'homme ? Cette question était dans l'esprit d'Isaac Asimov, ce romancier de Science Fiction qui avait exploité le thème du robot dans ses oeuvres, à une époque où la robotique n'avait évidemment pas atteint le degré de développement actuel.
La réponse qu'il proposait était simple, consistant à établir une grande loi que les roboticiens et les robots eux-mêmes devraient respecter : ne pas faire de mal aux humains. Aujourd'hui, la même réponse est suggérée par ceux qui se préoccupent de l'éthique de la science et de la technologie, c'est-à-dire des règles morales élémentaires que, sans référence particulière aux religions, mais en termes de morale sociale laïque, les scientifiques devraient s'efforcer de respecter.

En application de cette règle, ne pas faire de mal aux humains, les ingénieurs qui conçoivent les robots devraient éviter de réaliser des robots potentiellement prédateurs, susceptibles de faire des victimes et provoquer des dégâts. Mais toute technologie est dans ce cas. Il n'y a pas plus prédateur que l'automobile aujourd'hui. Il est donc demandé aux concepteurs de robots de prévoir des dispositifs, câblés dans le corps du robot ou intervenant sur ordre de programmes spécifiques, capables de désactiver le robot en cas de comportements dangereux. Nous évoquons ici par ce terme des comportements dangereux non voulus par les humains travaillant avec le robot. Il est bien évident que si un robot militaire tue par erreur des civils dans le cadre de missions assignées par le commandement, ce ne sera pas le robot qui devra être blâmé. Ce sera le commandement qui avait commandé la mission tout en connaissant pertinemment le risque de destructions collatérales. Le risque dont il faut se prémunir, en ce cas, est celui d'un robot dont les fonctions de contrôle interne se désactiveraient ou s'affoleraient, ce qui pourrait le conduire à sortir des limites prévues par le constructeur et l'utilisateur, pour s'adonner à des conduites dangereuses, aléatoires ou ciblées.

En quoi dans ce cas le robot pose-t-il un problème particulier ? Toutes les machines complexes peuvent à un moment ou un autre se désorganiser, entraînant des catastrophes. On l'a vu à l'occasion de la perte en 2009 du vol Air France Rio-Paris, dont les causes restent inconnues mais qui sont probablement imputables à des défaillances du système de contrôle. Pour s'en prémunir, les ingénieurs multiplient ce que l'on nomme les redondances, c'est-à-dire les commandes de secours. Pourquoi ne pas faire de même, à propos des robots ? On peut très bien l'équiper d'instructions qui le déconnecteraient au cas où son comportement le ferait entrer dans des zones rouges, c'est-à-dire des zones où il deviendrait potentiellement dangereux, pour lui-même et pour les autres.

C'est bien évidemment ce que font les ingénieurs. Les cahiers des charges visant la réalisation des robots modernes, qu'ils soient militaires ou civils, comportent de telles clauses. Mais, disent les esprits inquiets, que se passera-t-il si le robot, devenu suffisamment intelligent, trouve moyen de désactiver lui-même les commandes lui fixant des barrières à ne pas franchir ? Asimov n'avait pas cru devoir évoquer sérieusement cette possibilité car, à son époque, l'hypothèse d'un robot pleinement intelligent et conscient capable de se dresser contre les humains en échappant aux règles morales qui lui auraient été imposées relevait d'un niveau supérieur de science-fiction qu'il n'avait pas abordé. Aujourd'hui, la perspective mérite de l'être. La robotique n'est pas encore capable de produire des robots pleinement autonomes, leur autonomie s'exerçant, comme nous l'avons indiqué plus haut, dans le cadre de contraintes fixées à l'avance et supposées être indépassables. Mais les robots et leur environnement deviendront rapidement si complexes qu'il sera difficile de prévoir ce qui leur passera... si l'on peut dire... "par la tête".

Un robot peut devenir dangereux sans être devenu véritablement méchant, ou «malicieux» au sens américain, termes incluant la référence à des valeurs morales quasi religieuses transcendant la technologie. Comme il est constitué de nombreux composants qui évoluent sans cesse et de façon plus ou moins aléatoire, notamment au niveau des interaction entre les agents logiciels qui commandent son comportement, il peut parfaitement muter, au sens propre du terme, c'est-à-dire prendre la forme d'une version imprévue par les concepteurs et les utilisateurs humains. Certaines de ces nouvelles versions pourraient se révéler utiles à ses missions initiales et donc bienvenues. Ainsi il pourrait améliorer spontanément tel ou tel de ses programmes afin de fonctionner sur un mode plus économe en énergie. Mais à l'inverse, une mutation pourrait le rendre, non seulement dangereux, mais capable de désactiver durablement les contraintes internes fixées à son comportement et destinées à limiter sa dangerosité.

Que se passerait-il alors ? Il faut bien se persuader que les robots ne sont (ou ne seront) pas très différents de tous les autres organismes évolutionnaires apparus sur Terre depuis les premiers pas de la vie. Ces organismes mutent sans cesse, sans préoccupations morales a priori. Les nouvelles versions d'organismes résultant de ces mutations se heurtent à un univers déjà constitué, qui leur impose ce que l'on nomme en évolution des barrières sélectives. Ou bien les mutants se révèlent plus efficaces que leurs prédécesseurs et peuvent échapper aux barrières sélectives. En ce cas ils survivent et donnent naissance à de nouvelles lignées. Ou bien au contraire ils ne le peuvent pas et disparaissent, rejoignant l'immense cimetière des inventions fussent-elles géniales mais rejetées par le milieu.

Très bien direz-vous. Nous voici rassurés. Comme ce sont des humains qui fixent les barrières sélectives, il suffirait - ainsi que le demandait Asimov - qu'ils provoquent l'élimination de tous les éventuels robots mutants susceptibles de devenir dangereux. Les humains auront donc toujours affaire à des populations de robots domestiques, aussi inoffensifs pour eux que le sont devenus les animaux ex-sauvages domestiqués depuis plusieurs millénaires.

Penser que les humains veulent ou même peuvent contrôler les machines, robotisées ou non, semble pour nous relever de ce que nous appelons une illusion humaniste. C'est oublier le fait que les humains et leurs technologies se développent d'une façon quasi symbiotique, dans le cadre d'échanges entre caractères fondateurs qui en font de nouvelles espèces mutantes, entrant en compétition darwinienne les unes avec les autres(1). Ceci a été déjà souligné à propos de l'automobile ou des ordinateurs. Les usagers et à plus forte raison les concepteurs et constructeurs de ces machines ne sont pas capables, quoi qu'ils prétendent, d'orienter leur développement à partir de décisions rationnelles qu'ils s'estiment capables de prendre. Depuis des années, on a voulu limiter la dangerosité des voitures. Certains résultats ont été obtenus, mais le prélèvement en vies humaines ne cesse de croître, du simple fait de l'extension quasi virale du nombre de ceux que nous pourrions appeler des «homo-automobilis». Si la croissance de ce nombre s'arrêtait, ce ne serait pas du fait de la volonté des humains, mais parce que des limites physiques empêcheraient désormais leur prolifération, manque d'espace, manque de carburant ou de matières premières.

Les ordinateurs et produits électroniques divers ne sont pas aussi dangereux que les automobiles, mais dans certains cas, peuvent le devenir. C'est le cas du téléphone au volant et de la consultation des écrans multiples que les constructeurs veulent insérer sur les tableaux de bord, soi-disant pour améliorer la sécurité et le confort de conduite, en fait pour faire du profit et, plus en profondeur, contribuer à des mutations favorables à la dissémination de l'espèce automobile+homo-automobilis. Les autorités réglementaires qui étaient intervenues - sans grand succès - pour limiter le téléphone au volant auront beaucoup de souci à se faire, car le poids des lobbies conjugués de l'automobile et de l'électronique n'empêchera pas la prolifération de l'internet au volant. Les accidents se poursuivront donc, dans l'indifférence générale.

Peut-on transposer cette réflexion à l'avenir des robots et des hommes qui, d'une façon ou d'une autre, s'associeront à leur développement ?
Certainement. Plus encore que les automobiles et autres machines faiblement intelligentes, les robots disposent, par définition, de capacités d'adaptation aux humains considérables. Nous avons rapidement évoqué ce point en décrivant l'avenir de la robotique domestique ou conviviale. De même qu'un propriétaire de chien choisit celui-ci et l'élève en fonction de son caractère, à lui propriétaire, faisant de l'animal un agneau sympathique ou une bête fauve, de même procédera le propriétaire ou l'utilisateur d'un robot domestique. Mais de même que dans le couple homme-chien, ce n'est pas seulement l'homme qui déteint sur le chien mais le chien qui déteint sur l'homme, de même dans le couple homme-robot les caractères s'échangeront très vite. Ils ne le feront pas d'une façon statique, puisque l'homme et le robot sont deux entités évolutionnaires. Ils le feront d'une façon dynamique. Autrement dit, l'homme et le robot développeront par interaction des déterminismes évolutifs communs ou corrélés. Chez l'homme, ce sera un certain type d'organisation du cerveau ou de l'ordre cellulaire, pouvant se répercuter à certains niveaux du génome. Chez le robot, il s'agira de réorganisations principalement logicielles se transmettant par réseaux. L'humain dans ce cas pensera sans doute qu'il restera maïtre du sens pris par l'évolution globale du couple, mais ce sera une illusion.

Les moralistes s'indigneront. Que restera-t-il de l'humain dans ce que vous décrivez ? Il restera, pour prendre une image de plus en plus utilisée, du post-humain. Mais ce post-humain sera-t-il bon ou sera-t-il mauvais ? Les deux, mon capitaine. Plus exactement il sera ce que sa confrontation avec un environnement de plus en plus imprévisible, du fait du développement exponentiel des technologies et de leurs usages, lui permettra de devenir.
Bien malin qui pourrait aujourd'hui le prévoir.

(1) Nous développons ce thème dans l'essai précédemment annoncé sur ce site, à paraître en mars 2010, sous la plume de Jean-Paul Baquiast, "Le paradoxe du Sapiens "(éditions JP. Bayol)

© Automates Intelligents 2010