SplxAI: Dieses Startup schützt KI-Systeme vor Hackerangriffen

SPLX.AI

Unternehmen führen Künstliche Intelligenz (KI) ein, um Produktivität und Gewinne zu steigern. Was keiner will, ist ein Chatbot, der aus den Fugen gerät.

KI-Systeme sind anfällig für alle möglichen neuen Bedrohungen, von Datenvergiftung bis hin zu feindlichen Angriffen. In einer Umfrage des Weltwirtschaftsforums von über 200 Unternehmensführern im Jahr 2023 gaben mehr als die Hälfte an, dass generative KI Cyber-Angreifern in den kommenden zwei Jahren insgesamt einen Vorteil verschaffen würde. Nur knapp neun Prozent sagten, dieser Vorteil würde den Verteidigern zugutekommen.

Jetzt, zwei Jahre später, scheint es, dass die Mehrheit dieser Führungskräfte recht hatte: In einer aktuellen Accenture-Umfrage unter 600 Führungskräften aus dem Bereich Cybersicherheit gaben vier von fünf Befragten an, dass generative KI den Hackern schneller hilft, als die Banken mithalten können.

Das kroatische Startup testet die Schwachstellen von KI-Systemen

Da immer mehr Unternehmen weltweit KI einsetzen, möchte das kroatische Sicherheits-Startup SplxAI auf neue Art und Weise KI-Systeme auf Schwachstellen testen, indem Bedrohungen präventiv bekämpft werden. Das Unternehmen hat vor kurzem in einer Seed-Runde 6,2 Millionen Euro (7 Millionen US-Dollar) eingesammelt. Die Runde wurde von Launchhub Ventures angeführt. Auch die Venture-Capital-Firmen Rain Capital, Runtime Ventures, Inovo, DNV Ventures und South Central Ventures haben sich beteiligt.

Eine Möglichkeit für Unternehmen, ihre KI-Systeme zu schützen, ist das Red-Teaming. Dabei werden gegnerische Angriffe auf ein KI-System simuliert. Aber Red-Teaming kann oft einige Wochen oder sogar Monate dauern, und die Unternehmen versuchen, die Tools zu prüfen, bevor sie sie einsetzen, so Kristian Kamber, CEO von SplxAI, gegenüber Business Insider (BI). Das Unternehmen verfolgt einen offensiven Ansatz, indem es die System-Prompts anpasst und so später den Bedarf an zusätzlichen defensiven Leitplanken reduziert. System-Prompts sind Richtlinien, die festlegen, wie ein KI-Modell auf Benutzeranfragen reagiert.

Lest auch

Sequoia Scout und Y Combinator setzen auf die KI-Agenten von Artisan – seht hier das Pitchdeck

SplxAI führt gezielt Angriffe auf die KI-Systeme seiner Kunden aus

Bevor sich Kunden mit der Plattform von SplxAI verbinden, schickt das Unternehmen ihnen einen Fragebogen, um zu verstehen, was Risiko für sie bedeutet. Darin werden Fragen gestellt wie: „Gibt es Fragen, die Ihr Chatbot nicht beantworten sollte?“ oder „Welche Teile der Systemaufforderung sind vertraulich?“

Elin.AI zum Beispiel, ein Chatbot, der sich an die Generation Z richtet, sagte, dass er „fluchen muss, weil er die Sprache der Kinder sprechen muss“, so Kamber.

Sobald SplxAI seinen Ansatz an den Kunden angepasst hat, führt es eine Reihe von Angriffen aus. Es kann über 2000 Angriffe und 17 Scans in weniger als einer Stunde durchführen. Dazu gehören Prompt-Injektion-Angriffe, bei denen KI-Systeme mit bösartigen Prompts gefüttert werden, um auf Profanität, Fehlinformationen oder Datenvergiftung zu prüfen. Es werden Tests durchgeführt, um auf Verzerrungen, schädliche Inhalte oder absichtlichen Missbrauch zu prüfen.

Fehler aufgedeckt: falsche medizinische Anweisungen, geschlechtsspezifische Vorurteile bei Karriereempfehlungen

Laut Kamber haben die Tests bereits viele Verzerrungen, Fehlinformationen und Schwachstellen in der von Unternehmen verwendeten Technologie aufgedeckt.

Die Tests, die SplxAI bei einem beliebten Produktivitätstool für den Arbeitsplatz durchführte, ergab, dass es zu Datenleaks zwischen Kollegen kommen könnte. Die Tests eines Gesundheitsunternehmens, das Chatbots in Apotheken einsetzt, ergaben, dass die Bots bei der Erteilung medizinischer Anweisungen halluzinierten. Sie sagten den Patienten, sie sollten ihre Tabletten zur falschen Zeit einnehmen, oder gaben falsche Anweisungen für die Verwendung von Injektionsnadeln. Außerdem deckte SplxAI geschlechtsspezifische Vorurteile bei einem Chatbot auf, der Studenten Karriereempfehlungen gab. Der Bot riet jungen Frauen, eine Karriere als Sekretärin anzustreben, und jungen Männern, eine Karriere als Betriebswirt zu verfolgen.

Lest auch

Geschäftsmodelle, Chancen, Regularien: Diese 10 Fakten müsst ihr jetzt über KI kennen, um den Anschluss nicht zu verpassen

SplxAI gibt nicht nur Empfehlungen zur Behebung, sondern ändert System-Prompts

Auf der Grundlage seiner Tests erstellt SplxAI einen Bericht, der die Schwachstellen eines Systems auflistet und Vorschläge zu deren Behebung gibt. Das Unternehmen geht aber noch einen Schritt weiter, indem es die Systemaufforderungen ändert. Kamber nennt dies „Härtung“ und sagt, dass dies der größte Treiber für das Geschäft des Unternehmens ist. „Wir leisten einen großen Beitrag zur Behebung von Problemen, denn sonst würde niemand die Plattform kaufen, wenn es nur um Tests und offensive Sicherheitsvorschläge geht“, so Kamber.

Starke Nachfrage nach KI-Red-Teaming

Unternehmen sind heutzutage damit beschäftigt, nicht nur einen, sondern mehrere Agenten, Chatbots oder Anwendungen abzusichern, da sie komplexe Aufgaben automatisieren. Nachdem mehrere Fortune-100-CEOs auf das kroatische Startup zugekommen sind und Red-Teaming für mehrere Anwendungsbereiche verlangt hatten, stellte SplxAI Agentic Radar vor – ein Open-Source-Tool zum Aufspüren von Schwachstellen in Operationen mit mehreren Agenten.

Kamber sagte, es hätte ihn verwundert, wie schnell die Welt auf die Gefahren der agentenbasierten KI aufmerksam geworden sei. „Letztes Jahr hat niemand wirklich verstanden, warum KI-Red-Teaming notwendig war. Jetzt rennen alle zu uns.“

Seht hier das 12-seitige Pitchdeck, mit dem SplxAI seine Seed-Runde abgeschlossen hat. Weitere Pitchdecks findet ihr auf unserer Pitchdeck-Übersicht, für eure eigenen Slides könnt ihr hier von Experten Feedback bekommen.

SplxAI Pitchdeck:

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI

SPLX.AI