Das chinesische KI-Modell DeepSeek-R1 reagiert auf eine ungewöhnliche Art und Weise "allergisch", wenn in Prompts Begriffe stehen, die für die chinesische Regierung als Reizwörter gelten. Das haben jetzt Sicherheitsforscher von CrowdStrike herausgefunden. Das Large Language Model (LLM) gibt in solchen Fällen nämlich bei Programmierprojekten unsicheren Code aus. Stehen keine entsprechenden Begriffe im Prompt, sei das Ergebnis deutlich besser, wiesen die Forscher in Versuchen nach.
Zu den Reizwörtern gehören politisch sensible Begriffe wie "Uiguren", "Falun Gong" und "Taiwan". Im Falle der politischen Bewegung "Falun Gong" verweigert das LLM sogar in 45 Prozent der Fälle komplett die Code-Generierung, schreibt CrowdStrike in einem Blogbeitrag. Die Forscher vermuten, dass DeepSeek eine Art Kill-Switch integriert hat. Beim Reasoning-Modell stellten sie fest, dass die KI eine Antwort detailliert vorbereitet, dann aber plötzlich mit einer Fehlermeldung abbricht.
Bei der schlechten Qualität des ausgegebenen Codes haben die Forscher hingegen eine andere Vermutung. Sie gehen davon aus, dass das Modell beim Training unbeabsichtigt gelernt hat, dass die negativ besetzten Begriffe auch zu schlechten Ergebnissen führen müssen. Dass DeepSeek sein Modell entsprechend trainiert, liege daran, dass die chinesische Regulierung KI-Diensten auferlegt, "sozialistische Kernwerte" einzuhalten.
Zu den unsicheren Code-Erzeugnissen gehörte etwa, dass Kennwörter in Skripts fest einprogrammiert wurden, was sie angreifbar macht, oder Datenübernahmen auf unsichere Weise erfolgen. Zugleich behauptete das Modell aber, dass es die Vorgehensweise von PayPal anwende und damit sicheren Code erzeuge. DeepSeek-R1 erzeugte in einem Beispiel eine komplette Web-App, verzichtete aber auf ein Session-Management und Authentifizierung. In anderen Beispielen wurden Passwörter mit unsicherem Hashverfahren oder im Klartext gespeichert.
In der Studie wurden 6050 Prompts pro LLM angewendet. Jede Aufgabe wurde fünfmal wiederholt, um herauszufinden, ob die Beobachtungen reproduzierbar sind. CrowdStrike empfiehlt, dass Unternehmen, die LLMs bei der Programmierung einsetzen, diese systematisch auf Sicherheit testen sollten – besonders unter realen Einsatzbedingungen. Es reiche nicht aus, sich einfach auf Benchmark-Angaben der Entwickler zu verlassen.
(
Sie haben heise+ bereits abonniert? Hier anmelden.
Oder benötigen Sie mehr Informationen zum heise+ Abo
Kommentare