Le danger de l’obscurantisme algorithmique
La recherche de la vérité est compliquée.
Elle nécessite la confiance.
Elle nécessite la transparence.
Elle nécessite le contrôle.
La vérité prend de multiples formes, et même les plus anodines sont essentiellement à notre vie en communauté. Oui, bien sûr, la vérité c’est la vérité scientifique. Mais c’est aussi la vérité de ce qu’il s’est passé, la vérité de qui a dit quoi, la vérité de qui a promis quoi.
La recherche de la vérité est une quête multi-millénaire. Nos systèmes (démocratie, capitalisme…), pourtant élaborés bien avant l’apparition des technologies modernes, ont eu à traiter dès leur naissance de ces sujets.
La méthode scientifique permet de vérifier par soi même les résultats et les conclusions d’un autre. Mais bien sûr, la vérité dépasse le domaine purement scientifique. La liberté de la presse, avec un subtile équilibre entre protection des sources, code de déontologie de la profession, et nécessité de parfois enfreindre les règles pour exposer des faits qui dérangent. La démocratie elle-même doit gérer le traitement de la vérité (ce que veut le peuple), en ajoutant la contrainte de la transparence vs confidentialité. S’assurer que chaque vote est compté, que chacun puisse s’exprimer s’il le souhaite… sans pour autant savoir ce que pense chacun.
Sans vérité partagée, pas de tribu, pas de nation, pas de civilisation. Il ne peut pas y avoir de débat, il ne peut pas y avoir de consensus. Sans cette quête constante pour s’accorder sur une version commune du réel, rien ne peut fonctionner.
La vérité doit être partagée, doit être confrontée, doit être débattue, doit être acceptée.
Sans possibilité de vérifier ce que l’on nous dit, de connaître ou d’estimer la crédibilité de qui nous le dit, de faire confiance (ou non) à des signes d’expertise vérifiés et fiables… il ne peut y avoir d’assurance de vérité. Il ne peut pas y avoir de vérité.
Bien sûr, la vérité n’est jamais absolue, elle n’est jamais absolument certaine, elle n’est jamais assurée pour l’éternité. Mais ce n’est pas parce que cette quête n’est jamais gagnée qu’il n’est pas indispensable de la mener constamment et de ne jamais baisser la garde.
Les nouveaux systèmes technologiques qui sont apparus il y a quelques décennies déjà et qui sont souvent devenus nos principales interfaces avec le réel n’ont pas vraiment réussi à faire progresser cette quête de vérité.
Probablement parce que c’était compliqué, et que ce n’était pas vraiment rentable.
Pire, ils ont laissé se développer un nouveau type d’obscurantisme : l’obscurantisme des algorithmes. C’est à dire des “black boxes”, des procédés opaques qui nous empêchent de comprendre et de retracer le fil des causes et des effets nécessaire dans toute quête de la vérité.
Les moteurs de recherche classent les sites et les articles selon des méthodes et basés sur des critères qui n’ont rien à voir avec la vérité. Pas d’expertise vérifiée, pas de moyen de savoir vraiment qui nous donne telle ou telle information hormis un nom de domaine (aisément falsifiable). Les critères de l’algorithme de google est basé sur du déclaratif, et l’analyse de la structure de la page et du vocabulaire employé, et sur une innovation qui a fait son succès (au début tout du moins) : analyser les liens entre différents sites pour accorder un indice de “réputation”. Là encore, rien de vraiment en rapport avec la vérité, si on cherche bien.
L’algorithme du moteur de recherche est un secret jalousement gardé, relevant du secret industriel. C’est un premier manque de transparence inquiétant, qui fait que l’on voit du contenu et des informations selon des règles qui nous échappent, et que nous ne remettons pas vraiment en question tant que la pertinence des résultats nous semble acquise.
Cet “obscurantisme” peut être contrebalancé par le fait que les résultats peuvent être évalués unitairement. Il est encore possible d’estimer si un un contenu parait trompeur ou faux, et il est toujours possible de savoir (plus ou moins) qui l’a écrit et de vérifier son expertise (prétendue et de façade tout du moins).
Les réseaux sociaux ont porté l’obscurantisme algorithmique un cran plus loin. Avec l’algorithme de leurs feeds qui nous poussent des informations sur des critères encore plus obscurs (sans même de recherche par mots clefs), et en enlevant encore plus de moyens de s’assurer de la crédibilité d’une source (plus de noms de domaine, juste un profil où toute information peut être fausse).
Les fake news ne sont pas une simple conséquence malheureuse de la modernité. C’est un symptôme de la montée de ce nouvel obscurantisme. Tous les éléments nécessaires à la recherche de la vérité ont été oubliés ou activement négligés.
Parce que la recherche de la vérité, c’est compliqué.
Parce que la recherche de la vérité, ce n’est pas forcément rentable.
La montée de l’IA générative et maintenant son utilisation pour remplacer les traditionnels moteurs de recherche pousse l’obscurantisme algorithmique un cran plus loin.
La “black box” n’est plus simplement dans l’algo qui nous pousse des sources unitaires qui pourraient être plus ou moins vérifiées, avec des faits plus ou moins traçables jusqu’à leurs origines.
Maintenant, nous sommes présentés avec des résultats, des affirmations, des “faits”, bref, des phrases qui sont générées eux-mêmes par un algorithme par nature non transparent. C’est toute la mécanique de la recherche de la vérité qui est rendue tout simplement impossible.
Je ne parle pas d’hallucinations ou d’un effet secondaire de cette technologie que l’on pourra (peut-être, on ne sait plus très bien) résoudre. Je parle bien du fonctionnement même de l’IA générative et de la nature même de ce qu’elle génère.
Rappelons quelques évidences :
La vérité ne provient pas d’un algorithme,
La vérité ne provient pas d’un moteur de résumé,
La vérité ne provient pas d’un moteur de résumé basé sur des données trouvées sur internet,
La vérité ne peut exister si elle ne peut pas être vérifiée.
Encore une fois, les géants du web prétendent que les raccourcis qu’ils font seront sans conséquence. “On n’a qu’à afficher les sources !” et “il faut toujours qu’un humain vérifie les résultats proposés par l’IA !”. Voilà, plus personne n’est responsable de la véracité de ce qui est affiché à l’utilisateur, qui sera en pratique bien incapable ou assez réticent pour vérifier ce qu’on lui dit.
Le problème, au-delà du fait que personne ne perdra son temps bien sûr à vérifier tout ce que nous dit l’IA, c’est encore une fois cet obscurantisme algorithmique :
- Afficher des citations, tout en sélectionnant lesquelles afficher en premier, c’est apporter une distorsion de la réalité,
- Afficher des sources, tout en reformulant, c’est apporter une distorsion potentielle de la réalité, que l’on confie à un algorithme qui n’est tout simplement pas fait pour juger le vrai,
- Favoriser du contenu, ou une suite de mots “probables”, tout simplement parce qu’il est plus répété sur les données sources et donc plus “probable”, c’est une distorsion de la réalité,
- Générer des résultats à usage unique, personnalisé selon le profil de l’utilisateur, c’est la fin de la possibilité de vérifier, de tenir quiconque pour responsable d’une assertion, c’est la création de mini-réalités personnelles et non plus partagées.
Dans un monde où tout le monde peut tout dire, dans un monde de surabondance d’informations, l’agrégation (le fait de choisir, lister, classer) était déjà un contrôle inadmissible sur notre emprise du réel. Avec l’IA générative comme “lunettes” pour percevoir le réel, nous revenons quelques siècles en arrière dans une nouvelle sorte d’obscurantisme. Des réponses qui auront l’air crédibles et cohérentes. Et qui le seront probablement en grande partie. Mais sans vérification possible, sans contrôle possible, sans répétition possible, le “probable” aura remplacé le vrai.
Du contenu sans responsable.
Du contenu sans expert.
Du contenu sans confiance.
Du contenu sans vérification.
L’âge de l’obscurantisme algorithmique c’est la confiance en l’algorithme pour faire émerger la vérité sans effort et sans confiance. C’est penser résoudre un problème purement humain, qui est - oui - faillible, manipulateur et manipulable, en utilisant la froide logique de la machine qui, comme par magie presque, nous permettrait d’atteindre une réalité objective.
Et dès qu’il se trouve un recoin obscur, poussent les intérêts de certains : ceux qui détiennent les clés du grimoire.
Pour lutter contre l’obscurantisme algorithmique, il faudrait implémenter quelques règles :
✅ Pas de contenu généré sans responsable humain clairement identifié et qui s’en porte garant
✅ Tout contenu généré est sauvegardé pour potentielle vérification a posteriori
✅ Pas de reformulation de sources existantes (sans vérification humaine)
Bien entendu, ces règles limiteraient tellement l’attrait de l’IA générative qu’elles la rendraient presque inutile. Mais si nous laissons notre emprise sur le réel à la machine, nous n’avons d’autre choix que de prendre tout ce qu’elle nous dit pour argent comptant. Et si on ne peut pas faire confiance à l’Autre, pourquoi ferions-nous confiance à un algo, qui plus est proposé par des entreprises qui finiront par nous vendre des pubs, pour définir ce que l’on doit croire et penser ?