Des logiques algorithmiques au service du capital et contre la démocratie

Qu’est-ce qui vous fait dire qu’on est rentré dans une nouvelle phase du capitalisme ?

Jona­than Mar­ti­neau : Si nous par­lons d’un nou­veau stade his­to­rique du capi­ta­lisme, c’est parce que nous avons consta­té une nou­velle arti­cu­la­tion, une confi­gu­ra­tion inédite des méca­nismes d’exploitation et d’extraction qui carac­té­risent tout mode de pro­duc­tion capi­ta­liste. Notam­ment une nou­velle forme d’extraction, celles des don­nées, qui par­ti­cipe main­te­nant direc­te­ment à la valo­ri­sa­tion éco­no­mique et à l’accumulation du capi­tal. Une forme qui a per­mis la créa­tion d’un nou­veau modèle d’affaires à l’orée des années 2000, dont Google en est le pion­nier, mais qui va débor­der très rapi­de­ment de la sphère du web. Aujourd’hui, on peut obser­ver un sec­teur éco­no­mique basé en majeure par­tie sur le big data, c’est-à-dire l’extraction mas­sive de don­nées et de leur valo­ri­sa­tion. Ce modèle d’affaires s’est immis­cé dans tous les sec­teurs de l’économie, de l’agriculture à la finance, du sec­teur indus­triel au com­merce de détail. Après la crise de 2007-08, on peut clai­re­ment noter des chan­ge­ments dans les orien­ta­tions des flux d’investissements. On voit que les com­pa­gnies de la tech, les GAFAM, prennent le des­sus sur le plan de la pro­fi­ta­bi­li­té et de la capi­ta­li­sa­tion bour­sière sur les grandes com­pa­gnies extrac­tives ou finan­cières, c’est-à-dire les acteurs qui domi­naient le clas­se­ment jusqu’ici.

Ce capi­ta­lisme algo­rith­mique se déve­loppe dans une double conjonc­ture his­to­rique. D’une part l’essoufflement du néo­li­bé­ra­lisme, la forme pré­cé­dente, mon­dia­li­sée et finan­cia­ri­sée, du capi­ta­lisme qui était somme toute assez géné­ra­trice d’instabilités. La crise de 2007-08 en signe la fin de règne. Le capi­ta­lisme algo­rith­mique s’appuie sur ce néo­li­bé­ra­lisme décli­nant tout en le dépas­sant. D’autre part, au même moment, pointe une révo­lu­tion tech­nos­cien­ti­fique dans le champ des intel­li­gences arti­fi­cielles (IA) qui per­met d’automatiser de nom­breux pro­ces­sus dans des machines algo­rith­miques appre­nantes et de les décli­ner à de nom­breuses appli­ca­tions marchandes.

Jona­than Durand Fol­co : Si d’autres auteur·rices uti­lisent le terme de « capi­ta­lisme de don­nées » ou encore de « capi­ta­lisme de pla­te­forme » pour le qua­li­fier, nous avons pré­fé­ré le terme « algo­rith­mique ». Car dans ce modèle cen­tré sur l’extraction de don­nées per­son­nelles, celles-ci servent à deux choses : d’un côté à être moné­ti­sées pour géné­rer des reve­nus et de l’autre à entrai­ner des IA basées sur l’apprentissage auto­ma­tique profond.

Ces dif­fé­rentes tech­no­lo­gies algo­rith­miques se déploient dans de mul­tiples dimen­sions de nos exis­tences. Ce n’est pas sim­ple­ment un sys­tème éco­no­mique nou­veau, mais aus­si, comme le dit Nan­cy Fra­ser, un « nou­vel ordre social ins­ti­tu­tion­na­li­sé ». Nous pas­sons en effet de plus en plus de temps devant les écrans, au tra­vail comme dans nos loi­sirs : toute une éco­no­mie de l’attention est déployée par les grandes pla­te­formes qui usent de tous les stra­ta­gèmes pour nous gar­der le plus long­temps pos­sible en ligne. Ce sont autant de média­tions dans nos rela­tions au monde qui entrainent des trans­for­ma­tions impor­tantes dans tous les domaines. Ain­si, de nou­velles formes de pou­voir émergent et dif­fé­rents phé­no­mènes affectent la vie démo­cra­tique. Au niveau du tra­vail, la ges­tion algo­rith­mique recon­fi­gure des dyna­miques d’exploitation et de sur­veillance. Les logiques algo­rith­miques recon­fi­gurent nos rap­ports inter­per­son­nels. Et même à un niveau plus intime, elles influencent éga­le­ment la manière dont on se repré­sente soi-même.

En quoi certains aspects du capitalisme algorithmique menacent-ils la vie démocratique ? Qu’est-ce que ça crée ou amplifie de phénomènes délétères pour le débat public ?

JDF : On pour­rait com­men­cer par évo­quer le qua­si-mono­pole des pla­te­formes numé­riques au tra­vers des­quelles passent les dis­cours publics, le com­men­ta­riat, ou les nou­velles d’actualité. On peut pen­ser à Face­book, Ins­ta­gram, Mes­sen­ger, What’s app qui sont des pla­te­formes déte­nues par une seule entre­prise : Meta. Mais aus­si au réseau Tik Tok et à, Twit­ter désor­mais X rache­té par Elon Musk… L’information dans l’espace public tran­site à tra­vers ces dis­po­si­tifs tenus par ces méga­com­pa­gnies. Ce qui sou­lève bien sûr d’énormes enjeux démocratiques.

Au Cana­da, le gou­ver­ne­ment cana­dien a ain­si récem­ment adop­té une loi pour essayer de redis­tri­buer des reve­nus des pla­te­formes numé­riques vers les médias locaux et natio­naux. La réponse de Meta a été de blo­quer toute pos­si­bi­li­té de par­tage de nou­velles d’actualité des médias sur leurs réseaux. Ce qui fait que main­te­nant, sur ces pla­te­formes, la cir­cu­la­tion et le par­tage de l’information sont deve­nus plus dif­fi­ciles : les gens font des copier/coller, des par­tages d’écran de cer­taines nou­velles d’actualité… On réa­lise qu’on est com­plè­te­ment à la mer­ci de cer­taines entre­prises. Or, le fait que ces grandes entre­prises pri­vées aient un impact si grand sur le gou­ver­ne­ment, même lorsque vient le temps de régle­men­ter l’industrie, fait res­sor­tir des enjeux démo­cra­tiques de base en termes d’organisation de l’espace public ou du rap­port État-entreprises.

L’espace public, indis­pen­sable à la vie démo­cra­tique, passe de plus en plus par la média­tion des réseaux sociaux. Il y a évi­dem­ment des enjeux impor­tants sur la qua­li­té de la dis­cus­sion publique avec des formes de cybe­rin­ti­mi­da­tion, d’agressivité, d’insulte au lieu d’un échange – si on l’idéalise — d’arguments apai­sés et rai­son­nés entre êtres humains autour d’une table ou dans une assem­blée citoyenne. Cette dyna­mique-là nuit à la déli­bé­ra­tion publique.

Quels phénomènes concernant le débat public vont être amplifiés par les logiques algorithmiques ?

JDF : En per­met­tant une per­son­na­li­sa­tion pous­sée des conte­nus sur les fils d’actualité de per­sonnes en fonc­tion de leur champ d’intérêt, les logiques algo­rith­miques vont pro­duire plu­sieurs effets. D’une part, ce fil­trage éta­bli sur la base des traces numé­riques que ces per­sonnes laissent constam­ment va accen­tuer le phé­no­mène des « bulles de filtre » : on va me pro­po­ser des conte­nus simi­laires à ceux que je consulte déjà. Cela m’incite à me replier sur ma bulle infor­ma­tion­nelle qui devient en quelque sorte un sys­tème de pro­pa­gande indi­vi­dua­li­sée. Et d’autre part, cela va favo­ri­ser les « chambres d’écho » c’est-à-dire des espaces où des groupes de per­sonnes par­tagent les mêmes idées et idéo­lo­gies. Cette répé­ti­tion va ren­for­cer les croyances du groupe au lieu de sus­ci­ter de la confron­ta­tion d’idées. Ce qui conduit par­fois à la pola­ri­sa­tion des dis­cours dans l’espace public.

Les réseaux sociaux déte­nus par le capi­tal algo­rith­mique per­mettent d’accélérer la cir­cu­la­tion des infor­ma­tions dis­po­nibles. Mais en même temps celle de la dés­in­for­ma­tion. Or, on sait qu’une fausse infor­ma­tion sen­sa­tion­na­liste cir­cule sept fois plus rapi­de­ment qu’une nou­velle véri­dique. Dès lors, la capa­ci­té à avoir accès à une infor­ma­tion de qua­li­té dans l’espace public et a s’y retrou­ver vis-à-vis de cette frag­men­ta­tion des conte­nus devient très complexe.

On a par­fois l’impression de vivre dans des uni­vers de sens com­plè­te­ment dif­fé­rents. Or, pour avoir une forme de démo­cra­tie vivante, il faut avoir des signi­fi­ca­tions com­munes par­ta­gées, une cer­taine cohé­sion sociale. D’autant que ces outils et dyna­miques de mani­pu­la­tion des infor­ma­tions peuvent être mobi­li­sés tant à des fins publi­ci­taires qu’électorales. Ou encore, elles per­mettent à des lob­bys d’entreprises ou des puis­sances étran­gères de brouiller le débat public, de semer le doute permanent.

JM : On pour­rait encore citer la ques­tion des nou­velles formes d’hypertrucage (deep fakes en anglais). Des copies ou des tru­cages de décla­ra­tions de politicien·nes sont par exemple dif­fu­sées sur les réseaux. Cela amène là-aus­si beau­coup de confu­sion dans la parole publique.

Autre enjeu démo­cra­tique, l’égalité. Or, les logiques algo­rith­miques vont avoir ten­dance à auto­ma­ti­ser des sys­tèmes de dis­cri­mi­na­tion exis­tants basés sur des formes d’oppression comme le racisme, le sexisme ou l’homophobie. Car les algo­rithmes qui prennent les déci­sions repro­duisent les biais qui se trouvent dans les don­nées d’entrainement des IA. Non seule­ment, on repro­duit ces formes d’oppressions-là, mais on rend éga­le­ment beau­coup plus dif­fi­cile la résis­tance envers ces formes de domi­na­tion dès lors qu’elles sont encap­su­lées dans la technologie.

Les outils développés à la base pour le microciblage publicitaire peuvent représenter un danger pour la démocratie et menacer jusqu’au processus électoral lui-même. On peut donc aujourd’hui microcibler les citoyen·nes et influencer opinions et votes ?

JM : Aujourd’hui les entre­prises sont capables de savoir par du tra­çage de don­nées (comme l’historique d’achat) si une femme est enceinte et lui envoyer ensuite des publi­ci­tés ciblées de pro­duits pour bébé. De même, en ciblant cer­taines per­sonnes à par­tir de leur pro­fil psy­cho­lo­gique et de leurs inter­ac­tions avec des conte­nus poli­tiques, on est en mesure, de cibler des électeur·rices potentiel·les pour les mobi­li­ser. L’idée avec ce micro­ci­blage, ce n’est pas de réa­li­ser une mani­pu­la­tion de masse en contrô­lant l’information, mais plu­tôt de radi­ca­li­ser cer­taines opi­nions pour faire émer­ger un vote de contes­ta­tion. Dans le cas des élec­tions amé­ri­caines de 2016, il s’agissait ain­si de dif­fu­ser des mes­sages qui dépei­gnaient Hil­la­ry Clin­ton de façon extrê­me­ment néga­tive. L’idée, en créant ce vote anti-Clin­ton, c’était moins de faire chan­ger d’avis des gens que d’être sûr qu’ils aillent effec­ti­ve­ment dépo­ser ce vote de contes­ta­tion alors qu’ils ne seraient pas for­cé­ment allés voter sinon. On peut ain­si agir sur des votes très ser­rés par des inter­ven­tions ciblées qui, en s’additionnant, peuvent avoir un impact et faire bas­cu­ler un vote. On l’a vu aus­si pour le Brexit.

Vous dites dans votre livre que ce que le capitalisme algorithmique produit, ce sont des comportements. Quels sont les mécaniques qui nous influencent et les dangers d’une régulation par les algorithmes des populations hors d’un contrôle démocratique ?

JM : Les tra­vaux de Sho­sha­na Zuboff ont notam­ment éclai­ré les méca­nismes de cette nou­velle forme de pou­voir qui n’utilisent pas la force ou la contrainte directe, mais plu­tôt le nud­ging, c’est-à-dire l’orientation des com­por­te­ments sur base de l’analyse en pro­fon­deur de quan­ti­té mas­sive de don­nées. On peut alors créer des inci­ta­tifs pour des com­por­te­ments qui vont être jugés béné­fiques. Ou au contraire, des sys­tèmes de petites puni­tions pour en limi­ter d’autres.

Par exemple, les com­pa­gnies d’assurance testent actuel­le­ment des sys­tèmes de sur­veillance ins­tal­lés direc­te­ment dans les voi­tures. Ain­si, si les cap­teurs indiquent que vous res­pec­tez les limites de vitesse, que vous frei­nez à tous les stops, etc. alors la police d’assurance va vous coû­ter moins cher. On va donc pou­voir vous attri­buer un score. Mais atten­tion, on va aus­si être capable de mon­ter votre prime en temps réel si vous bru­lez un feu rouge. Ou encore empê­cher le démar­rage de votre voi­ture si nous n’avez pas payé vos primes… Si on pré­sente sou­vent ces tech­no­lo­gies algo­rith­miques comme étant à l’avantage de l’usager·ère, il est bien sûr évident qu’il s’agit avant tout d’un outil pour les com­pa­gnies afin de maxi­mi­ser la ren­ta­bi­li­té de leurs services.

Cette nou­velle forme de pou­voir, dite de gou­ver­ne­men­ta­li­té algo­rith­mique, se déploie donc au niveau micro. Elle part d’un méca­nisme de publi­ci­té ciblée, mais déborde lar­ge­ment la simple idée de vou­loir faire ache­ter quelque chose à quelqu’un et s’immisce dans beau­coup d’autres sphères de l’existence. Ain­si, on oriente les com­por­te­ments non seule­ment en contrô­lant les inter­faces d’informations. Mais aus­si, puisqu’on en sait beau­coup sur les utilisateur·rices — leurs pré­fé­rences, leurs goûts -, on va venir sti­mu­ler cer­taines pra­tiques en agis­sant au niveau de leurs dési­rs et de leurs pul­sions. C’est donc un contrôle com­por­te­men­tal qui ne néces­site pas de faire appel à la police ou aux menaces mais qui va pas­ser par les inci­ta­tifs com­por­te­men­taux. Il ne s’agit donc pas de façon­ner des sub­jec­ti­vi­tés c’est-à-dire de vou­loir dire aux gens quoi pen­ser. Mais, plus sub­ti­le­ment, de faire faire pour ame­ner aux résul­tats souhaités.

Il devient dès lors impor­tant de savoir quels sont ces com­por­te­ments jugés dési­rables et par qui ils sont édic­tés. Un exemple récent et mas­sif concerne tous les com­por­te­ments de pru­dence qui res­pec­taient cer­taines normes de la san­té publique lors de la pan­dé­mie de Covid. Ceux-ci avaient été déci­dés par des comi­tés d’experts et non pas par des représentant·es. Il faut donc tou­jours se deman­der non seule­ment s’il s’agit d’un com­por­te­ment sou­hai­té parce qu’il est ren­table pour les entre­prises ou bien parce qu’il est béné­fique pour la socié­té. Mais aus­si si un contrôle démo­cra­tique s’exerce bien sur la défi­ni­tion de ces comportements.

Les logiques algorithmiques conduisent aussi à l’instauration de plus en plus de processus de décision automatisées. Le jugement humain se voit petit à petit remplacé dans toute une série de prises de décisions administratives, policières, judiciaires… Est-ce que vous pouvez donner des exemples et indiquer les menaces que cela fait peser en termes d’égalité ?

JDF : On uti­lise géné­ra­le­ment les IA dans le but d’économiser du temps et des moyens humains. Cette auto­ma­ti­sa­tion pro­gres­sive des déci­sions dans dif­fé­rents sys­tèmes sociaux fait en sorte que l’être humain se retrouve à la remorque de cer­taines déci­sions. Ce qui n’est pas sans poser de nom­breuses ques­tions. Par exemple, dans la sphère judi­ciaire, aux États-Unis, cela a été tes­té pour déter­mi­ner des libé­ra­tions condi­tion­nelles. Des sys­tèmes algo­rith­miques vont déci­der sur base du com­por­te­ment anté­rieur d’un pri­son­nier et de leur pro­fil socio­dé­mo­gra­phique si leur libé­ra­tion est ris­quée ou non. Or, on va s’apercevoir que des per­sonnes noires vont moins avoir accès à la libé­ra­tion condi­tion­nelle parce que les algo­rithmes d’IA ne sont pas neutres, ne sont pas du tout objec­tifs, mais qu’ils sont entrai­nés à par­tir de don­nées pro­duites par des humains, à par­tir de cir­cons­tances d’injustice anté­rieure. On risque donc fort de repro­duire des biais en termes de racisme notam­ment. Et de les sys­té­ma­ti­ser au tra­vers des algorithmes.

Mais plus encore, se pose la ques­tion de l’explicabilité des déci­sions, des résul­tats qui sont issus de ces IA. Or, la plu­part des algo­rithmes sont recon­nus dans le champ de l’apprentissage auto­ma­tique comme étant des boîtes noires. C’est-à-dire qu’on ne connait pas for­cé­ment la manière dont ils ont pro­cé­dé pour arri­ver à leurs conclusions.

On fait pas­ser par des algo­rithmes une sphère crois­sante de déci­sions qui peuvent avoir un grand impact sur la vie des gens comme l’accès à un prêt ban­caire, l’attribution d’allocations sociales, l’admission en uni­ver­si­té, l’obtention d’un visa… Le juge­ment humain ne semble plus être là que pour estam­piller des déci­sions prises par la machine. Dans le même temps, en rai­son de la non-trans­pa­rence des algo­rithmes, on aura sou­vent beau­coup de mal à jus­ti­fier et légi­ti­mer la déci­sion. Il faut donc vrai­ment se deman­der le type de déci­sion que nous sou­hai­tons auto­ma­ti­ser. Par exemple, celles qui ont très peu d’impact sur la vie des gens ou celles dont les cri­tères qui ont mené à la déci­sion peuvent être faci­le­ment expli­cables. Mais il est impé­ra­tif de tra­cer des lignes rouges pour que cer­taines déci­sions à fort impact sur la vie des gens et/ou au pro­ces­sus opaque conti­nuent d’être prises par des êtres humains.

JM : Aux États-Unis, mais aus­si au Cana­da et dans plu­sieurs pays d’Europe des tech­niques algo­rith­miques de pré­dic­tion du crime sont uti­li­sées afin d’orienter et de maxi­mi­ser des res­sources poli­cières par ailleurs sou­mises à l’austérité. Leurs algo­rithmes sont basés sur des don­nées des ter­ri­toires où agissent ces polices pour pré­dire où le crime a le plus de chances de se pro­duire et par qui il a le plus de chances d’être com­mis. Or, puisque c’est basé sur l’historique des arres­ta­tions et du sys­tème judi­ciaire — his­to­ri­que­ment et racistes -, on aura une sur­re­pré­sen­ta­tion dans les pro­fils à sur­veiller de cer­tains groupes. Aux États-Unis, des Afro-Amé­ri­cains ou au Cana­da des per­sonnes autoch­tones. Ce qui va entrai­ner un ciblage et une sur­veillance accrue de ces mêmes popu­la­tions et de leurs lieux de vie. Ce qui va alors faire aug­men­ter le nombre d’arrestations. On voit com­ment la logique algo­rith­mique va agir comme une véri­table pro­phé­tie auto­réa­li­sa­trice puisqu’évidemment, plus il y a de la sur­veillance dans ces zones-là, plus on va y trou­ver des crimes. Les sys­tèmes algo­rith­miques peuvent donc avoir ten­dance à auto­ma­ti­ser cer­taines formes de dis­cri­mi­na­tions, cer­taines formes d’oppression.

Il y a un grand écart entre la pré­sen­ta­tion des outils tech­no­lo­giques pré­sen­tés comme neutres, qui nous débar­ras­se­raient des déci­sions délé­tères prises par cer­tains poli­ciers racistes et la réa­li­té qui montrent que le racisme sys­té­mique s’automatise en rai­son des don­nées qui nour­rissent la machine.

Nos outils critiques et stratégies d’action, forgés pour enrayer le néolibéralisme sont-ils encore suffisants face à ce capitalisme algorithmique qui lui succède ? Devons-nous renouveler profondément notre logiciel critique ?

JDF : Comme le capi­ta­lisme algo­rith­mique intègre, dépasse et même par­fois entre en ten­sion avec cer­taines carac­té­ris­tiques de la ratio­na­li­té néo­li­bé­rale, la cri­tique du néo­li­bé­ra­lisme reste per­ti­nente à bien des endroits. Mais on ne peut pas s’en conten­ter aujourd’hui. Car on est déjà ren­tré dans une nou­velle forme de socié­té basée sur la puis­sance des algo­rithmes et de l’IA. C’est pour­quoi il faut réar­ti­cu­ler la cri­tique du néo­li­bé­ra­lisme et la com­bi­ner à celle de la gou­ver­ne­men­ta­li­té algo­rith­mique et à des nou­velles logiques d’optimisation algo­rith­mique et de sur­veillance. C’est une des tâches de la cri­tique sociale de débus­quer ces formes de pou­voir dans le monde social en vue de le trans­for­mer et en vue d’appuyer des luttes pour l’émancipation.

Peut-on subvertir les algorithmes et se les approprier ? Ou bien au contraire est-ce qu’il faut tout faire pour limiter les espaces où ils interviennent ?

JDF : Il faut d’une part se réap­pro­prier les tech­no­lo­gies, par des com­muns, par dif­fé­rentes alter­na­tives non capi­ta­listes, par les infra­struc­tures contrô­lés démo­cra­ti­que­ment à petite ou grande échelle. Mais il est selon nous indis­pen­sable de faire décroitre la sphère du numé­rique et de l’IA en met­tant en pra­tique col­lec­ti­ve­ment un prin­cipe d’autolimitation qu’on a nom­mé tech­no­so­brié­té. Il s’agit de limi­ter l’infrastructure tech­no­lo­gique pour en dimi­nuer l’empreinte éco­lo­gique et éner­gé­tique, de se conten­ter sur l’état actuel de la tech­no­lo­gie plu­tôt que de vou­loir upda­ter maté­riel et logi­ciels sans arrêt, de réduire les usages de cer­taines tech­no­lo­gies numé­riques là où ce n’est pas essen­tiel ou néces­saire etc. Mais notre posi­tion n’est pas anti­tech­no­lo­gique non plus. On croit que même dans un monde post-capi­ta­liste on aura besoin des outils infor­ma­tiques et des IA dans cer­tains contextes pré­cis pour ser­vir le bien com­mun. Seule­ment, l’usage doit en être déter­mi­né par des pro­ces­sus de réflexions démo­cra­tiques et des débats publics