Un inventaire des algorithmes utilisés dans les services publics

L’Observatoire des algo­rithmes publics (Odap) cherche à inven­to­ri­er l’ensem­ble des algo­rithmes et sys­tèmes d’intelligence arti­fi­cielle (IA) util­isés par les admin­is­tra­tions français­es (il y en aurait env­i­ron 140, 120 sont actuelle­ment analysés par l’O­DAP), pour les ren­dre plus trans­par­ents et con­tribuer à leur éval­u­a­tion indépen­dante.

L’idée est de con­stru­ire une vision cri­tique de ces algo­rithmes, qui ne sont ni neu­tres ni autonomes. Ils dépen­dent en effet de choix poli­tiques dans leur con­cep­tion mais aus­si dans leur usage. Et pour les com­bat­tre, il faut les con­naître tech­nique­ment.

Cet inven­taire vient d’être enrichi récem­ment par un tra­vail mil­i­tant. Deux mem­bres du col­lec­tif ont par­ticipé à ces travaux ces derniers mois, avec plus de quar­ante contributeur·ices uni­ver­si­taires et/ou issu·es de dif­férentes organ­i­sa­tions.

Lien vers l’in­ven­taire

Plusieurs de ces algo­rithmes sont mar­quants :

• Parole : un logi­ciel de retran­scrip­tion des audi­tions d’enfants vic­times audi­tion­nés par la police ou la gen­darmerie nationale.
• celui util­isé par la CAF pour “scor­er” les allo­cataires en vue d’un con­trôle est actuelle­ment con­testé devant le Con­seil d’E­tat.
• L’algorithme util­isé par la CNAM (caisse nationale d’assurance mal­adie) pour cal­culer la prob­a­bil­ité de fraude des béné­fi­ci­aires de la com­plé­men­taire san­té sol­idaire gra­tu­ite.
• Plusieurs sys­tèmes dévelop­pés par France Tra­vail, notam­ment le score d’employabilité, ChatFT et MatchFT.

Notre oppo­si­tion au déploiement de l’IA et des algo­rithmes

En accord avec la coali­tion Hia­tus (dont nous sommes mem­bres), nous nous opposons glob­ale­ment au déploiement de l’IA et des algo­rithmes car, comme souligné dans plusieurs arti­cles

• ils se révè­lent un gouf­fre énergé­tique, en con­som­ma­tion d’eau et de métaux rares ou moins rares (cuiv­re par exem­ple). Pour ces derniers, ils con­tribuent à une exploita­tion colo­niale des ressources et à des con­di­tions sociales extrèmes (tra­vail des enfants, néo-esclavage…).
• ces algo­rithmes peu­vent se révéler par­ti­c­ulière­ment dis­crim­i­na­toires, racistes et peu­vent pro­mou­voir des idéolo­gies fas­cistes.
• les Etats – et par­ti­c­ulière­ment la France – les utilisent pour cass­er les sys­tèmes soci­aux.

Partout nous voulons priv­ilégi­er la place de l’hu­main, et dénions donc à ces sys­tèmes automa­tisés tout droit de décider dès qu’un humain – ou un ani­mal – est con­cerné.

Plusieurs moyens de lutte doivent être mobil­isés

• d’abord obtenir l’ab­solue trans­parence de leur usage, notam­ment par l’ob­ten­tion sys­té­ma­tique de leur code source, comme vien­nent de le gag­n­er les espag­nols de Civ­io. En France, une loi de 2016 “pour une République numérique” est cen­sée y oblig­er l’ensem­ble des admin­is­tra­tions. Dans les faits, seuls 6 codes sources sur les 140 pos­si­bles sont aujour­d’hui acces­si­bles.
• con­tester juridique­ment l’emploi d’al­go­rithmes déci­sion­naires sur les humains : au niveau européen plusieurs, très dom­mage­ables sociale­ment, on été com­bat­tus ain­si, vic­to­rieuse­ment. En France, 15 asso­ci­a­tions ont attaqué l’al­go­rithme dis­crim­i­na­toire de la CAF con­tre les “fraudeur.ses” devant le Con­seil d’E­tat (affaire encore en cours).
• inter­dire par la loi le recours à des algo­rithmes dans toute une série de champs : social, sur­veil­lance, police et jus­tice pré­dic­tive… C’est ce qui devait être obtenu par l’AI act européen (ou règle­ment IA, RIA en France) mais qui a été con­tourné, notam­ment par la France macroni­enne. L’EDRi (Euro­pean Dig­i­tal Rights) inven­to­rie des pistes juridiques qui per­me­t­tront, à par­tir du RIA, d’obtenir ces inter­dic­tions. Ce sont aus­si des com­bats portés actuelle­ment aux Etats-Unis (pour­tant pays des Trump-Musk & Co !). Par exem­ple, une loi vient d’être votée en Cal­i­fornie pour inter­dire la fix­a­tion algo­rith­mique des prix (tar­i­fi­ca­tion “dynamique”), une élue de Min­neapo­lis veut inter­dire le recours aux algo­rithmes pour la fix­a­tion des loy­ers…