Les algorithmes prédictifs des polices européennes carburent au racisme et aux discriminations

L'organisation de défense des libertés civiles Statewatch a publié un rapport qui révèle comment les autorités policières et judiciaires pénales de toute l'Europe utilisent des systèmes basés sur des données, des algorithmes et de l'IA pour "prédire" où les crimes peuvent se produire et profiler les personnes en tant que criminels, malgré l'interdiction apparente par l'UE des systèmes dits de "police prédictive" du règlement sur l'intelligence artificielle (RIA ou AI act).

Cette étude démontre comment les groupes et communautés marginalisés en Europe sont ciblés et impactés de manière disproportionnée par ces systèmes, notamment les personnes et communautés noires et racialisées, les victimes de violences sexistes, les migrants, les personnes issues de milieux et de quartiers populaires et défavorisés, ainsi que les personnes souffrant de troubles mentaux.

Statewatch est une organisation britanique créée en 1991, qui a mis en place des observatoires européens sur différents thèmes (immigration et asile, industrie et administration sécuritaires, covid et libertés publiques...) qui produisent des rapports réguliers.

Celui-ci - Nouvelles technologies, vieilles injustices : Discrimination et profilage fondés sur les données dans la police et les prisons en Europe - a été élaboré sur 6 mois en partenariat avec des chercheurs travaillant avec Technopolice Belgique, La Ligue des droits humains et la Liga voor mensenrechten belges, La Quadrature du Net et le réseau Technopolice en France, AlgorithmWatch en Allemagne et AlgoRace en Espagne.

Le rapport détaille comment ces systèmes dits de "prédiction" de la criminalité s'intègrent de plus en plus aux décisions et actions des autorités policières et judiciaires, et les influencent. De ce fait, des personnes et des communautés sont placées sous surveillance, soumises à des interrogatoires, des contrôles d'identité, des perquisitions, des perquisitions domiciliaires, voire des arrestations.

Ces outils basés sur les données, les algorithmes et l'IA influencent également les décisions prises tout au long du système judiciaire pénal, de la détention provisoire aux poursuites, en passant par la condamnation et la probation. Hors du système judiciaire pénal, ces soi-disant "prédictions" et profils conduisent à des interdictions d'emploi, des restrictions ou des refus d'accès aux services essentiels, voire à des expulsions.

Ces systèmes utilisent des données historiques, provenant par exemple de la police ou du système judiciaire pénal. Cela reflète des biais historiques et existants au sein de ces institutions et de la société en général. Cela conduit à une surveillance policière excessive et à la criminalisation des communautés marginalisées, en particulier des groupes racialisés, des migrants et des personnes issues de quartiers populaires.

Le rapport soutient que l’utilisation de ces systèmes par la police et les autorités du système judiciaire pénal :

• conduit au profilage racial et socio-économique, à la discrimination et à la criminalisation.
• a des conséquences importantes sur les droits des individus, notamment le droit à un procès équitable, au respect de la vie privée et à la protection contre la discrimination.
• sont délibérément secrets et opaques, ce qui signifie que leur utilisation est ignorée. Le manque de transparence entourant le développement, la formation et l'utilisation opérationnelle de ces systèmes constitue un obstacle fondamental à la justice et à la responsabilité.

Statewatch appelle à une interdiction de l'utilisation de systèmes de "prédiction" et de profilage de la criminalité, et demande aux législatures nationales et locales d'adopter une interdiction légale contre leur utilisation.

Le rapport (en anglais)