Les termes d’« algorithme », de « donnée » ou d’« intelligence artificielle » (IA) sont souvent assimilés à des mots magiques. Certains voient dans ces « outils » des êtres infaillibles, parfaitement rationnels et dont l’aide pourrait se révéler précieuse afin de déléguer certaines tâches – voire certaines responsabilités.

Mais la collecte massive des données et l’utilisation généralisée d’algorithmes constituent aussi une menace pour la société, la démocratie et in fine le contrat social, qui est pourtant à la fondation de la conception moderne de l’État. En échange d’un service (le plus souvent gratuit), les utilisateurs délèguent alors consciemment ou inconsciemment une partie de leur pouvoir de décision ainsi que la possibilité d’agir sur leurs choix et leurs opinions.

L’aboutissement du culte de la raison

Les systèmes d’IA sont construits de manière à pouvoir traiter d’immenses quantités de données. La finalité étant de faire les choix les plus avertis et objectifs possibles. Loin d’être une fatalité, ce déploiement à grande échelle répond à des choix politiques et à la mise en avant de ce que la chercheuse en sciences juridiques Antoinette Rouvroy nomme une « rationalité algorithmique ».

Héritières de la révolution scientifique et philosophique du XVIIe siècle, nos sociétés occidentales se sont construites autour des notions de liberté et de progrès. Dans son Esquisse d’un tableau historique de l’esprit humain (1793), Condorcet proclamait ainsi l’harmonie entre l’émancipation de l’être humain et le développement technique.

Sur le plan politique, la théorie du contrat social se fonde sur les idées de liberté, de démocratie et de vie privée. Toutes les perspectives du contrat social cherchent à comprendre les raisons pour lesquelles des individus échangeraient une part de leur liberté contre un ordre politique. Le contrat social présuppose donc l’existence d’agents rationnels qui se réunissent par intérêt.

Dès lors, quoi de plus rationnel que la gestion de divers secteurs par l’intelligence artificielle ?

Dans cette conception, l’être humain est vu comme faillible face à une IA infaillible car fondée sur des « données » considérées comme des objets mathématiques. L’avènement d’une « gouvernementalité algorithmique » – les décisions se fondent désormais sur le traitement des données plutôt que sur la politique, le droit ou les normes sociales – rendrait enfin possible le règne de la raison.

Ainsi, toute décision deviendrait irréfutable car elle serait appuyée sur des arguments statistiques. C’est oublier les nombreux biais qui existent dans la saisie des données et dans leur exploitation par des algorithmes.

La logique du contrat social (notamment depuis la révolution industrielle puis le développement de l’État providence au XXe siècle) était une logique assurantielle. Ignorant le futur, les individus avaient intérêt à s’assurer collectivement contre le risque. Désormais, le développement de l’analyse prédictive rend caduque cette version du contrat. Les offres d’assurances peuvent être adaptées aux risques précis que chacun encourt.

Les géants du numérique connaissent nos préférences, nos opinions, nos envies et nous enferment dans ce que l’essayiste Eli Pariser nomme une « bulle de filtre ». Le contenu en accord avec nos idées y est surreprésenté et les avis contradictoires y font défaut, augmentant alors la diffusion des fake news – à plus fort potentiel de réactions et donc de diffusion. Nous partageons dès lors de moins en moins de vérités et d’expériences communes, pourtant nécessaires au fonctionnement de la démocratie.

Troquer la démocratie contre des app

En analysant nos données pour prédire notre comportement, le capitalisme devient un « capitalisme de surveillance » pour reprendre les mots de l’universitaire Shoshana Zuboff. Pour ces entreprises, les individus ne sont plus des clients mais des produits pour les annonceurs. Le philosophe Bernard Stiegler explique ainsi que les individus se sont transformés en « fournisseurs de data ». Déjà individualisés, ils sont en outre désindividués : leurs données permettent de les déposséder de leur volonté.

À titre d’exemple, le fait que nous sommes exposés à de publicité ciblée témoigne d’une anticipation de nos désirs. Nous ne savons plus réellement si nous avons désiré l’objet que nous avons acheté puisqu’il nous a été montré avant même que nous l’ayons désiré. Notre désir est automatisé.

Accoutumés au progrès technique, les individus se sont habitués à un environnement où la quête du confort, de la rapidité, du divertissement, permet la généralisation et la pérennisation de systèmes techniques invasifs, au détriment de certaines libertés fondamentales (droit à la vie privée, à l’anonymat, à l’indépendance de la pensée…), garanties de nos sociétés démocratiques.

En fournissant nos données, nous transférons une partie de notre libre arbitre et la faculté d’agir sur nos opinions jusqu’à influencer des élections. Le cas de Cambridge Analytica a été le plus médiatisé : il a montré au monde la capacité de manipulation politique que possédaient les réseaux sociaux dans des élections aussi déterminantes que la présidentielle Américaine de 2016 ou le référendum britannique sur l’appartenance à l’Union européenne la même année. Si l’entreprise a été fermée en 2018, rien n’a véritablement changé.

Ciblés par les annonceurs, individualisés et profilés par les assureurs, influencés politiquement et soumis aux décisions opaques et arbitraires d’algorithmes, nous nous isolons et ne partageons plus la volonté générale que Rousseau définit comme la somme des volontés particulières et considère comme préalable au sentiment de société.

Politiser la question de l’usage des technologies

Ce changement de contrat se fait à bas bruit et les individus peuvent alors être victimes d’usages abusifs de leurs données par ces systèmes technologiques supposés apolitiques. D’autant plus s’ils sont déjà victimes de discriminations.

La technologie semble toujours se situer hors du débat politique et s’imposer aux sociétés qui n’ont d’autre choix que l’acceptation (plus ou moins partielle). Conscients des risques, les parlements et les institutions internationales se mettent à légiférer sur la question, à rédiger des chartes éthiques, des règlements. C’est le cas des divers règlements européens dont le règlement général sur la protection des données (RGPD) est le plus connu.

Pourtant, ces questions restent souvent très techniques et juridiques, excluant d’emblée les individus qui subissent les dommages causés par le traitement de leurs données (ciblage, amoindrissement du libre arbitre, discriminations, surveillance, notation, influence…).

Pour Rousseau, seuls des individus libres peuvent construire une société libre. Or, le manque de recul critique et d’une prise de conscience des enjeux du numérique ainsi que l’absence d’une éducation numérique menacent les fondements de nos sociétés démocratiques. Il serait nécessaire de politiser la question, que les citoyens se saisissent de ces sujets et en débattent afin de dessiner ensemble les contours d’un futur technologique enviable pour et par tous.

Adrien Tallent, doctorant en philosophie politique et éthique, Sorbonne Université

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.