Die repressive KI von PayPal erkennt automatisch verdächtige Aktivitäten wie Betrug oder Geldwäsche, indem sie in Echtzeit Daten wie Transaktionsvolumen, Zahlungsherkunft, IP-Adressen, Gerätedaten und Nutzerverhalten analysiert. Mit Algorithmen des maschinellen Lernens identifiziert sie Risikomuster. Sie glaubt, verdächtige Aktivitäten wie ungewöhnlich hohe oder schnelle Transaktionen, Zahlungen an/von Hochrisikoländern, plötzliche Änderungen im Zahlungsverhalten, mehrfache Logins von verschiedenen Geräten oder IP-Adressen mit Betrugsverdacht sowie Transaktionen, die Geldwäsche- oder Terrorismusfinanzierungsmustern entsprechen, zu erkennen.
Bei einem hohen Risiko-Score greift die KI ohne menschliche Prüfung ein, etwa durch Kontosperrungen, das Einfrieren von Geldern für Wochen oder Monate oder die Aufforderung zur Vorlage von Dokumenten, oft mit vagen Begründungen wie „Verstoß gegen Sicherheitsrichtlinien“.
Die KI unterliegt der DSGVO, die automatisierte Entscheidungen mit rechtlichen Folgen regelt (Art. 22) und Transparenz fordert, sowie dem Geldwäschegesetz (GwG), das Überwachungspflichten vorschreibt. Seit August 2024 gilt der EU AI Act, der „hochriskante“ Systeme ab 2027 streng reguliert, mit Anforderungen wie Transparenz, menschlicher Aufsicht und Risikomanagement. Verstöße können hohe Bußgelder auslösen.
Problematisch sind Fehlentscheidungen, die legitime Geschäftskonten treffen, und die Intransparenz, die rechtliche Schritte erschwert. Solche Sperrungen können existenzbedrohend sein. Die Kanzlei Hafencity empfiehlt schnelle rechtliche Maßnahmen wie Einstweilige Verfügungen, um Konten freizubekommen, und nutzt Regelungen wie den AI Act oder die DSGVO zur Unterstützung Betroffener.
