In jetzt veröffentlichten allgemeinen Empfehlungen zum Kampf gegen Racial Profiling fodert der CERD, dass von Behörden genutzte KI die Menschenrechte respektieren muss und empfiehlt daher volle Transparenz über Design und Einsatz von Profiling-Algorithmen.
„Big Data und KI-Tools können bereits bestehende Vorurteile reproduzieren und verstärken und zu noch diskriminierenderen Praktiken führen“, meint CERD-Mitglied Verene Shepherd, die die Ausarbeitung der allgemeinen Empfehlung leitete. Besonders besorgniserregend seien die Risiken der Nutzung von algorithmischem Profiling zur Verbrechensvorhersage. „Beispielsweise können historische Verhaftungsdaten einer Nachbarschaft rassistisch voreingenommene Polizeipraktiken widerspiegeln.“ Das wiederum könne zu einer polizeilichen Überpräsenz in dieser Nachbarschaft, mehr Verhaftungen und so zu einer gefährlichen Feedback-Schleife führen.
Tatsächlich ist bekannt, dass KI-Systeme erschreckend leicht Vorurteile lernen, wie 2016 Microsofts Chatbot Tay aufgrund seiner Entgleisungen gezeigt hat. Im Vorjahr wiederum hat ein Kunstprojekt verdeutlicht, wie leicht KI-Gesichts-Scans rassistisch ausfallen. Besonders in den USA gibt es große Bedenken, dass diverse Behörden undurchsichtige KI-Systeme einsetzen, die dann womöglich genauso rassistisch sind wie jene in den vergangenen Jahren oft ins Kreuzfeuer der Kritik geratenen Polizeikräfte.
Die CERD-Empfehlungen sind Wind in den Segeln von Kritikern, denn eben Transparenz bei Profiling-Systemen ist eine Kernforderung des UN-Ausschusses. „Dies beinhaltet die öffentliche Offenlegung der Verwendung solcher Systeme und Erläuterungen zur Funktionsweise der Systeme, zu den verwendeten Datensätzen und zu den Maßnahmen zur Verhinderung von Menschenrechtsverletzungen“, heißt es. Die UN-Experten mahnen zudem ausdrücklich, dass Staaten gerade vor dem Einsatz von Gesichtserkennung die möglichen menschenrechtlichen Konsequenzen genauestens prüfen sollten.

pte