I'm sorry Dave...

Parmi les quelques lois édictées par Arthur C. Clarke – l’auteur entre autres de 2001 l’Odyssée de l’Espace – il en est une qui est particulièrement d’actualité. Elle dit que « Toute technologie suffisamment avancée est indiscernable de la magie. »

En ces temps où l’innovation technologique prend une allure vertigineuse, on pourrait se demander si elle n’a pas déjà commencé à s’appliquer…

Une technologie ambiante

En quelques dizaines d’années, la technologie est doucement devenue invisible. Les ordinateurs imposants qui occupaient nos bureaux se sont mués en tablettes et en smartphones. Les tubes de télévision ont cédé la place aux écrans plats que certains n’hésitent pas à utiliser comme des tableaux. Les fils qui nous reliaient au réseau téléphonique ont disparu au profit des ondes Wifi et 4G. La technologie a envahi notre quotidien. Elle a en revanche quitté notre champ de vision.
Les écrans eux-mêmes seraient en train de disparaître, cédant le terrain aux enceintes connectées et aux commandes vocales. Nous sommes plus que jamais entourés de technologie, mais soyons honnêtes… nous ne la voyons plus.

L’expression ultime de cette disparition, c’est Amazon Go. L’expérience client de la supérette sans caisse d’Amazon n’a en réalité plus rien de technologique. On entre, on se sert dans les étagères, on remplit un panier et on repart. Toute l’artillerie électronique du magasin – capteurs, caméras et bien entendu ordinateurs – est reléguée en coulisse loin des yeux de la clientèle.

Du point de vue du client, cette expérience de shopping n’est pas plus « digitale » que l’achat d’un citron, le vendredi soir, chez l’épicier du coin. Toute la technologie déployée par Amazon est effectivement devenue transparente.

Et à bien y regarder, il y a bien un petit côté magique dans ce magasin sans interaction. Se servir, repartir et voir son compte en banque débité automatiquement du bon montant, c’est la forme la plus positive de magie que nous promet la technologie aujourd’hui !

Puissance et Data

Cette magie de l’expérience Amazon Go, on la doit à une foule d’innovations technologiques qu’on regroupe aujourd’hui un peu facilement sous le terme « Intelligence Artificielle ». Amazon Go, ce sont des capteurs de poids capables de détecter quand un produit quitte une étagère. Des caméras capables de suivre en permanence un acheteur et d’identifier ses gestes. Et des ordinateurs capables de faire le lien entre toutes ces sources d’information et d’en déduire qui a acheté quoi.

Pour faire court, c’est l’explosion des capacités de transfert et de traitement de l’information qui rend possible Amazon Go. Alors qu’il y a quelques années, on peinait encore à analyser des statistiques complexes, l’augmentation de la capacité de calcul des ordinateurs, mais aussi le déploiement des réseaux à hautes vitesse (fibre, et bientôt 5G), permettent de traiter, en temps réel, des images ou des vidéos. Des données éminemment complexes, mais que les ordinateurs ont appris à traiter.

Aujourd’hui, l’interprétation des images est monnaie courante, et ouvre le champ à de nombreuses applications. Pour ne parler que des plus impressionnantes, on pensera aux expérimentations en matière de reconnaissance faciale qui ont lieu à Shenzhen en Chine : détection de la triche aux examens, identification d’un criminel dans la foule d’un stade… et attribution d’un score « social » aux habitants en fonction de leur comportement.

Là encore, une technologie transparente qui a pourtant un impact bien réel.

La fin de l’empathie

C’est en fait la véritable question de l’accélération technologique que nous subissons actuellement : son impact sur nos vies « réelles », « concrètes ». Quels critères font qu’un habitant chinois peut se voir refuser l’embarquement sur un vol international ? Et surtout, comme cet habitant peut-il agir sur ces critères ?

En faisant dépendre des décisions administratives à des milliers de données collectées, ne crée-t-on pas de l’obscurité dans la vie réelle ?

C’est un syndrome déjà observé aux Etats-Unis quant aux décisions de l’administration locale sur l’attribution des aides sociales. De plus en plus de dossiers sont traités « informatiquement », sur des critères purement objectifs. En développant ces systèmes entièrement automatiques, et forcément « objectifs », les administrations créent en fait de l’incompréhension.

Pour la plupart des fonctionnaires utilisant ces systèmes, ils sont devenus le moyen de se dédouaner d’une décision : « Nos systèmes ne me permettent pas de vous accorder ce prêt ». Pour les bénéficiaires, ces programmes sont surtout perçus comme la fin de l’empathie et de l’écoute. On peut comprendre un refus présenté avec humanité et compassion par un interlocuteur humain, on se retrouve démuni quand la décision émane d’une intelligence artificielle qui ne permet par de réplique ou d’opposer des arguments.

Lost in digitalisation

Plus que la « magie » d’ Arthur C. Clarke, on peut craindre en fait une sorte d’illettrisme moderne, une impossibilité pour l’esprit humain de comprendre les tenants d’une décision. Car forcément, la capacité des ordinateurs à stocker et traiter l’information est forcément sans commune mesure avec l’intelligence humaine.

Face à une décision algorithmique ayant un impact sur notre quotidien, nous ne savons comment réagir. Simplement parce que nous ne comprenons et ne pouvons discuter cette décision. Là ou un conseiller peut toujours argumenter, même maladroitement, une IA reste froide et ne s’explique pas.

Tout le problème est en fait là. Les critères qui permettent les arbitrages d’une IA sont – et seront forcément – trop nombreux pour être compréhensibles par les personnes impactées. L’habitant de Shenzhen qui se voit refuser son visa international peut-il comprendre les raisons de ce refus ? Et surtout, a-t-il en amont un moyen de connaître l’impact de ses propres actes avant même de demander son visa ?

L’illettrisme digital, c’est avant tout cela : l’incompréhension de l’impact qu’à la technologie sur notre vie quotidienne, et la sensation de perdre le contrôle sur nos vies. Une sorte de malédiction.
Alors que les progrès de l’intelligence artificielle ont réveillé de grandes peurs de destruction de l’humanité – le syndrome Skynet – on s’inquiète relativement peu de la mainmise des algorithmes sur notre quotidien. La perte de compréhension du monde qui nous entoure, des interactions et décisions, et surtout de la portée de nos actes, se révèlent des dangers autrement plus grands pour notre vie en société.

Si Arthur C. Clarke avait prédit l’émergence de la magie, il n’imaginait peut-être pas que celle-ci serait… noire.

Cet article fait partie du numéro #5 du magazine Twelve édité par Serviceplan.

This page is available in EN