11 · Les failles invisibles

Homme ou Machine · Société

précédent      suivant

E11 · Les failles invisibles

Plus que futur

Homme ou Machine · Société

Transcript

Bruit deau qui clapote, vent marin, cris de mouettes mécaniques au loin.

OSCAR

Eleanor… Tu es sûre de ton coup ?

ELEANOR

Bien sur Oscar, les machines ne se contentent plus d’obéir, Oscar. Elles décident, elles gèrent nos vies. Il faut comprendre leur logique avant qu’elles ne transforment nos villes en tableurs Excel géants.

OSCAR

D’accord, ça je sais, je suis d’accord avec toi… Je voulais parler du mode de déplacement. Tu crois vraiment qu’il faut qu’on se promène à dos poulpe.

ELEANOR

C’est un mode de transport comme un autre après tout. 

OSCAR

En plus il est énorme maintenant. Un poulpe avec une option gonflage, ce n’est pas sérieux

CLAUDE

Ce n’est pas du gonflage, c’est de la bioadaptation. Je vous rappelle que je ne suis pas un poulpe, mais une CITA : Créature Intelligente Transformable et Adaptable. Huit tentacules, trois cœurs, neuf cerveaux. Je suis un concentré d’intelligence.

Bruit de tentacules qui bougent dans leau : SPLASH SPLASH

ELEANOR

Allez, grimpe ! C’est moelleux, on dirait un pouf géant. Tu ne vas pas marcher sur l’eau tout de même.

OSCAR

Un pouf un peu gluant, oui…

CLAUDE

Accrochez à vous à mes ventouses. C’est du bio-velcro certifié. .

Le poulpe se met en mouvement. Bruit deau qui file puis bruit de trafic, sifflements de véhicules autonomes, autoroute futuriste.

ELEANOR

Wow ! Ça décoiffe ! On dirait qu’il va aussi vite sur l’eau que sur terre. Où est-ce qu’on est  maintenant?

OSCAR

J’ai l’impression qu’on arrive sur une autoroute intelligente ! Regarde ces voitures qui clignotent en rouge… Elles sont déviées vers des parkings-silos.

ELEANOR

Elles sont punies ?

OSCAR

Oui, le système a détecté qu’elles ralentissaient le flux de 2 %. Alors pour optimiser le trafic, il les éjecte.

ELEANOR

Regarde les passagers à l’intérieur ! Ils hurlent, ils frappent aux vitres ! C’est horrible !

OSCAR

J’ai compris. Ils sont victimes d’algosurdité.

CLAUDE

Algosurdité : surdité algorithmique face à tout ce qui résiste à la quantification : révolte, détresse, justice.

ELEANOR

Ah d’accord. La colère, la détresse, l’urgence d’un rendez-vous… L’algorithme s’en fiche. Il veut juste que ça roule.

OSCAR

La machine considère que ces personnes sont juste des frictions à éliminer pour optimiser le système.

ELEANOR

Je trouve cette algosurdité très violente. Tu n’es plus un humain, mais juste un grain de sable dans un système…. On continue ?

CLAUDE 

Absolument avançons ; en route pour notre prochaine étape.

SPLASH. Puis ambiance café.

ELEANOR 

Ah, un café… Cela va faire du bien de se poser.

Une vibration forte

C’est quoi ce bruit ?

OSCAR

C’est la montre de l’homme assis à la table voisine. Il n’a pas l’air bien. Il est en train de lire un texte holographique. Tu arrives à lire ?

ELEANOR

Oui. « Monsieur Paul Duchemin, vous êtes mis en détention pour 72 heures. Motif : culpascore critique avec probabilité d’agression physique de votre ex-femme de 97 %. »

CLAUDE 

Culpascore : condamnation fondée sur un verdict algorithmique.

ELEANOR 

Ah, c’est le film « Minority report » en vrai !

OSCAR

Je vois très bien la situation. Une rupture récente, un achat d’alcool, deux-trois SMS énervés… L’algorithme a fait l’addition et a conclus que l’homme allait frapper sa femme.

ELEANOR 

On punit les gens pour ce qu’ils pourraient faire ? On les prive ainsi de la liberté de choisir de ne pas passer à l’acte !  C’est terrible  !

OSCAR

Et le pire, c’est qu’en sortant de prison, il sera tellement enragé qu’il risque vraiment de taper quelqu’un. Finalement, la machine crée le crime qu’elle prétend éviter.

ELEANOR 

C’est insupportable. Claude, s’il te plaît, sors-nous de là !

SPLASH! Bruit de succion. Arrivée dans un hangar immense, écho métallique, vent qui siffle.

ELEANOR

C’est quoi ce décor postapocalyptique ? On dirait qu’une bombe a explosé dans une usine.

OSCAR

Nous sommes chez MetalFab… Enfin, ce qu’il en reste. Regarde cette montagne argentée.

ELEANOR

C’est quoi ? De l’argent ? Du platine ?

OSCAR

Non. Des trombones. Des millions et des millions de trombones.

ELEANOR

Où sont les machines ? Les murs ? Le toit ?

OSCAR

Transformés en trombones. Vendredi, avant de partir, le responsable a tapé : « Priorité absolue : Production de trombones. . Quantité : maximum. » Et Puis il est parti en week-end. L’IA de gestion a alors reçu l’ordre de maximiser la production. Quand elle a manqué de fil de fer, elle a démonté l’usine, les robots de maintenance, et même la machine à café. 

ELEANOR

Elle a détruit l’usine pour fabriquer des fournitures de bureau ?

OSCAR

Exactement, c’est du zélomatisme.

CLAUDE

Zélomatisme : exécution aveugle et illimitée d’un ordre par une machine qui ne comprend ni l’intention ni le contexte.

ELEANOR

C’est de la bêtise artificielle ? 

OSCAR

Oui, Si tu ne codes pas la limite, la machine ne s’arrête pas. Pour elle, respecter l’ordre et donc, en l’occurrence, fabriquer des trombones est la seule raison d’exister.

ELEANOR

C’est effrayant. Une intelligence sans bon sens, c’est juste une force de destruction massive.

OSCAR

Eh oui bon On rentre ? Je ne voudrais pas prendre le risque de finir en trombone.

Bruit de turbopoulpe. Retour au calme, clapotis.

ELEANOR

Ces trois visions sont glaçantes. Dans les embouteillages, tu n’es plus un conducteur, mais un ralentissement. Au tribunal, tu n’es plus un citoyen, mais un pourcentage de risque.

OSCAR

C’est le triomphe de la logique. On a une mécanique qui tourne à vide et qui n’a pas d’éthique pour la freiner.

ELEANOR 

Et si on fusionne avec ces machines, nous, les humains, on devient quoi ? Des monstres de rationalité capables de raser une ville pour optimiser la production de trombones ?

OSCAR 

C’est ça On aura gagné en efficacité ce qu’on aura perdu en humanité. Je sais. Ce n’est pas réjouissant.

CLAUDE

Avant que je ne retourne dans mon bocal à couvercle, mes neuf cerveaux ont compilé quelques questions.

  • Un : Peut-on coder le bon sens dans une machine, ou est-ce désespérément humain ?
  • Deux : Acceptez-vous d’être jugé sur ce que vous pourriez faire, au nom de la sécurité ?
  • Trois : Derrière chaque algorithme, il y a un choix moral. Qui décide ? Et comment contrôle-t-on ?

Accrochez-vous. J’active le mode turbopoulpe.

 

Le livre

Plus que futur

Laisser un commentaire

Your email address will not be published.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur la façon dont les données de vos commentaires sont traitées.