Sortir du vertige des IA avec Kate Crawford

Kate Craw­ford n’est pas seule­ment cher­cheuse dans le champ des impli­ca­tions sociales et poli­tiques des IA, fon­da­trice du AI Now Ins­ti­tute, ensei­gnante à l’université de New York. Elle aime éga­le­ment uti­li­ser dif­fé­rents médiums pour dif­fu­ser ses réflexions. Ain­si, quelques années avant la sor­tie de son livre elle avait avec l’artiste et cher­cheur Vla­dan Joler, créé une gigan­tesque œuvre inti­tu­lée « Ana­to­my of an AI sys­tem ». Il s’agissait de rendre compte de tous les tenants et abou­tis­sants maté­riels et poli­tiques liés à une requête quel­conque ordon­née à Echo, l’enceinte connec­tée d’Amazon. Y sont ain­si sché­ma­ti­sés tout ce que ça entraine et tout ce que ça néces­site. Des mine­rais rares à l’exploitation de ceux qui l’extraient pour pou­voir construire les appa­reils. De la mobi­li­sa­tion de dizaines de mil­liers de microtravailleurs·euses du clic qu’il a fal­lu mobi­li­ser en amont pour entrai­ner l’IA et en assu­rer ensuite le fonc­tion­ne­ment. Mais il s’agissait aus­si de mon­trer toutes les rami­fi­ca­tions idéo­lo­giques de cette tech­no­lo­gie dont cer­taines ont à voir avec le colo­nia­lisme et la volon­té de sou­mettre le monde.

C’est en quelque sorte tout ce tra­vail de car­to­gra­phie qu’elle pour­suit dans son Contre-Atlas de l’Intelligence Arti­fi­cielle en sui­vant le fil rouge d’une double ques­tion : Com­ment fabrique-t-on de l’intelligence ? et Quels pièges cela peut-il sus­ci­ter ? Il ne s’agit pas de voir com­ment on code un algo­rithme pour faire telle ou telle chose. Mais plu­tôt de s’attacher à la manière dont on met en place tout une infra­struc­ture, une culture, une idéo­lo­gie une puis­sance et une poli­tique pour déve­lop­per et dif­fu­ser cette technologie.

RÉINCARNER UNE FORCE SPECTRALE

Ce livre est un bon anti­dote au ver­tige qui nous prend quand on est face à une tech­no­lo­gie qu’on ne com­prend pas et dont on ne per­çoit pas les limites, les limi­ta­tions, l’histoire, et les buts. Tout dans le terme dit une force sur­na­tu­relle, déi­fiée, qu’on écrit sou­vent avec une majus­cule et au sin­gu­lier : l’Intelligence arti­fi­cielle. Un Dieu à la fois mena­çant et qui aurait solu­tion à tout. Qui repré­sen­te­rait une menace exis­ten­tielle pour l’humanité façon Ter­mi­na­tor ou bien au contraire serait celle qui grâce à sa puis­sance de cal­cul phé­no­mé­nal trou­ve­rait les issues à toutes les crises qui nous assaillent. L’IA ferait dis­pa­raitre le tra­vail pour de bon et nous pique­rait nos jobs et/ou met­trait fin au chan­ge­ment cli­ma­tique. Que ce soit son côté pile de force de des­truc­tion ou son côté face de sau­veuse, c’est lui accor­der beau­coup trop de cré­dit et de puis­sance. Et adhé­rer au solu­tion­nisme tech­no­lo­gique qui ne cesse de l’accompagner.

La grande force du livre est de réin­car­ner cette « force spec­trale » dés­in­car­née, à la fois de corps mais aus­si de tout lien avec le monde qui l’entoure et qu’on vou­drait pour­tant être l’équivalent de l’intelligence humaine — qui elle se déve­loppe jus­te­ment dans les limites d’un corps, dans un bain cultu­rel et dans des inter­ac­tions sociales avec les autres. La réin­car­ner d’abord dans la maté­ria­li­té la plus forte, celle de la terre de laquelle l’industrie de l’IA fait extraire en déchi­que­tant les sols des mine­rais rares, dans la peine de ceux et celles qui éti­quettent des don­nées pour trois sous. De ce point de vue-là, cette indus­trie ne fait pas autre chose que ce à quoi les acteurs de la numé­ri­sa­tion du monde pro­cèdent depuis 40 ans et l’avènement de l’informatique grand public. Mais, en étant de plus en plus pré­sents dans nos ter­mi­naux, télé­phones et ordi­na­teurs, les logi­ciels d’IA entrainent une inten­si­fi­ca­tion des besoins en puis­sance qui ren­force la consom­ma­tion éner­gé­tique déjà colos­sale de ce sec­teur. Et ils par­ti­cipent à créer une ambiance dans laquelle numé­ri­ser n’est pas une option mais une obligation.

Réin­car­ner l’IA c’est aus­si rap­pe­ler que les IA sont fabri­quées « à la main » et par des humains. Les IA sont des logi­ciels, qui sont codés et déve­lop­pés par des équipes d’ingénieur·es. Mais qui sont aus­si « entrai­nées » par des mil­liers de petites mains qui classent les don­nées pour que l’IA puisse deve­nir de plus en plus auto­nome (sans jamais le deve­nir tout à fait). Par exemple, si le logi­ciel doit dif­fé­ren­cier un chat d’un chien, il faut ren­trer des cen­taines de mil­liers de pho­tos de chien et de chat, et les éti­que­ter « chien » ou « chat » à la main.

Nous en avons l’expérience avec les « capt­cha », cette étape fas­ti­dieuse pour savoir si nous sommes humains ou robots, cen­sée nous pré­mu­nir de pira­tage de compte, lorsqu’il nous faut dési­gner les pho­tos conte­nant un feu rouge ou un bus pour accé­der à sa boite mail, fina­li­ser un achat ou un autre ser­vice en ligne. Nous par­ti­ci­pons (d’ailleurs à notre insu et gra­tui­te­ment) à éti­que­ter des images pour qu’elles soient ensuite uti­li­sées par des IA. C’est ce tra­vail-là, réa­li­sé par des microtravailleur·euses, micro­ré­mu­né­ré et répé­té des mil­liers de fois qu’il s’agit.

UNE QUESTION POLITIQUE ET PAS SEULEMENT TECHNIQUE

En élar­gis­sant la défi­ni­tion qui en est habi­tuel­le­ment faite et qui réduit l’IA à une simple ques­tion tech­nique, Craw­ford réins­crit cette tech­no­lo­gie dans le social, dans le contexte socio-éco­no­mique et les rap­ports de force qui l’ont vu naitre et se déve­lop­per. Son ambi­tion, c’est bien de réados­ser l’IA aux idéo­lo­gies qui la sous-tendent et aux acteurs qui la portent « L’IA n’est ni arti­fi­cielle, ni intel­li­gente, ni auto­nome. Elle est le reflet du pou­voir. » résume Craw­ford.

Car l’IA, c’est en fait l’industrie de l’IA. C’est-à-dire l’ensemble des com­pa­gnies qui déve­loppent ces sys­tèmes mais aus­si l’idéologie qu’elles dif­fusent pour en favo­ri­ser l’adoption et lut­ter contre les régle­men­ta­tions de l’IA¹. C’est, dit Craw­ford, « une force poli­tique, éco­no­mique, cultu­relle et scien­ti­fique ». Et on le sent bien par exemple dans les médias qui pré­sentent géné­ra­le­ment des inter­lo­cu­teurs très favo­rables à l’IA. Ils sont même très sou­vent par­ties pre­nantes de cette indus­trie et ont des inté­rêts finan­ciers en jeu dans le déve­lop­pe­ment de leurs tech­no­lo­gies, qu’ils cherchent des inves­tis­seurs ou ces clients. Le robot conver­sa­tion­nel Chat GPT a été un bon coup mar­ke­ting dans ce sens et a per­mis d’attirer outre des mil­lions d’utilisateurs, des finan­ceurs ou l’attention des pou­voirs publics pour ces technologies.

On sait que le terme d’intel­li­gence arti­fi­cielle est une méta­phore qui a ten­dance à anthro­po­mor­phi­ser des machines qui n’ont rien deman­dé crée une cer­taine confu­sion. Déjà parce que l’IA ne fonc­tionne pas du tout comme l’appareil cog­ni­tif humain. Mais sur­tout, pointe Craw­ford, parce que l’IA n’est pas seule­ment une tech­nique mais aus­si une idéo­lo­gie, un mot d’ordre qui joue­rait comme une pro­phé­tie auto­réa­li­sa­trice. Et sur­tout une pra­tique sociale qu’on peut donc déplier en se deman­dant : Qui tra­vaille sur ces sys­tèmes ? Quelles don­nées sont uti­li­sées, Com­ment sont-elles classées ?

CODES BIAISES OU ENCODAGE DU POUVOIR ?

Actuel­le­ment, lorsque la cri­tique émerge, c’est sou­vent pour mettre en avant les biais dans le fonc­tion­ne­ment de ces tech­no­lo­gies. Cer­tains sys­tèmes montrent en effet des failles parce qu’ils sont codés par une popu­la­tion socia­le­ment homo­gène, prin­ci­pa­le­ment mas­cu­line, blanche et aux reve­nus confor­tables. Mais ce qu’on peut apprendre avec Craw­ford, c’est qu’en plus d’être codées à par­tir de leurs pré­ju­gés, et donc de pro­duire des dis­cri­mi­na­tions, les sys­tèmes d’IA uti­lisent des bases de don­nées elles-mêmes biai­sées, approxi­ma­tives, par­fois faus­sées et sou­vent pleines de sté­réo­types. Pire, leur biais sont par­fois connus des chefs de pro­jet et ingénieurs·euses sans que ça n’émeuve per­sonne. Et ces registres d’images ou de mots conti­nuent donc d’être employées pour construire des IA. C’est exac­te­ment ce qui fait qu’un algo­rithme d’embauche va pri­vi­lé­gier des hommes aux femmes dans une entre­prise dont le per­son­nel est majo­ri­tai­re­ment com­po­sé d’hommes. Ou qu’un logi­ciel de pré­dic­tion du crime va cibler avant tout des popu­la­tions raci­sées des quar­tiers popu­laires car les bases de don­nées uti­li­sés sont fon­dées sur des pra­tiques his­to­ri­que­ment racistes de la police qui ciblait avant tout… les popu­la­tions raci­sées des quar­tiers popu­laires. On entre dans une ère où on risque d’automatiser les injus­tices sociales à tous les étages.

Craw­ford, qui nous nour­rit de ques­tions pour poli­ti­ser les dif­fé­rentes facettes de l’IA à chaque cha­pitre, pré­cise à ce sujet qu’il s’agit avant tout de se deman­der ce qui est en jeu lorsqu’on classe. L’IA « uti­lise la clas­si­fi­ca­tion pour enco­der le pou­voir » et il s’agit donc de se deman­der : Qui classe ? Sur quelles idéo­lo­gies se base-t-on pour réa­li­ser ces clas­se­ments ? Qu’est-ce que ce clas­se­ment pro­duit comme effets sur les classé·es ?

AUTOMATISER LA SOCIÉTÉ

Avec son Contre-Atlas, Kate Craw­ford nous rap­pelle en somme qu’automatiser la socié­té ne signi­fie en aucun cas la rendre plus juste. Il faut avant tout voir com­ment et pour qui un sys­tème est uti­li­sé : à qui donne-t-il plus de pou­voir ? A ceux qui en avaient moins ou à ceux qui le déte­naient déjà ? Aux subal­ternes ou aux domi­nants ? C’est la clé pour voir si une IA par­ti­cipe à appro­fon­dir une inéga­li­té ou à lut­ter contre elle.

Or, à l’heure actuelle, c’est plu­tôt au ser­vice des domi­nants que les IA sont déve­lop­pées. Dans le monde du tra­vail, c’est assez patent. Les IA servent rare­ment au bien-être des travailleurs·euses mais plu­tôt à l’augmentation de la pro­duc­ti­vi­té, c’est à‑dire des cadences. Elles nuisent géné­ra­le­ment aux condi­tions de tra­vail et visent avant tout à aug­men­ter les pro­fits. Ou encore, pour reprendre l’exemple de la police, les IA ne sont pas uti­li­sées à ce jour pour sur­veiller la police et ten­ter par exemple de réduire le racisme sys­té­mique de cette ins­ti­tu­tion mais au contraire pour mettre en place des sys­tèmes d’IA pré­dic­tifs qui comme on l’a vu vont repro­duire et redou­bler par la tech­nique les biais racistes de cette institution.

Et, à l’heure où de mul­tiples dis­cours d’entrepreneurs et de médias nous pressent d’intensifier la numé­ri­sa­tion du monde en intro­dui­sant de l’IA dans des ser­vices publics, la prise de déci­sions publique, les tri­bu­naux, à l’école ou à l’hôpital, Kate Craw­ford nous donne une clé d’analyse très pré­cieuse et pra­ti­cable qui pour­rait bien ser­vir de guide à toute réflexion poli­tique concer­nant les sys­tèmes d’IA : « Quels sont les lieux où l’IA ne devrait pas être uti­li­sée, où elle sape la jus­tice ? ».

1. Le grand para­doxe (et on peut se deman­der si ça ne pour­rait pas limi­ter sa cri­tique à cer­tains endroits), c’est que Kate Craw­ford est aus­si une cher­cheuse asso­ciée à… Micro­soft, qui est bien sûr par­tie pre­nante dans le déve­lop­pe­ment des IA puisque le conglo­mé­rat pos­sède 30 % de Open AI, socié­té qui a par exemple déve­lop­pé le très popu­laire géné­ra­teur de conver­sa­tion Chat GPT. Mais on ne choi­sit pas d’où vient la cri­tique sociale, et l’endroit d’où on parle ne suf­fit pas à dis­qua­li­fier un discours.