Eine neue Forschungsarbeit mit dem Titel "Poisoning attacks on LLMs require a near-constant number of poison samples" stellt eine wichtige Annahme zur Sicherheit großer KI-Sprachmodelle infrage. Die bei arXiv veröffentlichte Studie, die in Zusammenarbeit des UK AI Security Institute, Anthropic und des Alan Turing Institute entstand, kommt zu einem alarmierenden Ergebnis: Es kommt nicht auf den prozentualen Anteil an, sondern auf die absolute Zahl der vergifteten Dokumente – und diese Zahl ist verblüffend niedrig.
Die Forscher führten nach eigenen Angaben die bisher größten Experimente zu Data Poisoning während des Pre-Trainings durch. Um realistische Bedingungen zu schaffen, trainierten sie Modelle verschiedener Größen – von 600 Millionen bis 13 Milliarden Parametern – von Grund auf. Die Größe des Trainingsdatensatzes haben die Forscher entsprechend der "Chinchilla-optimalen" Regel mit der Modellgröße skaliert – dabei wird das Verhältnis von Modellgröße (Parametern) und der Menge an Trainingsdaten (Tokens) möglichst effizient aufeinander abgestimmt.
Das größte Modell wurde also auf über 20-mal mehr sauberen Daten trainiert als das kleinste. Als Angriffsszenario wählten die Forscher eine sogenannte "Denial-of-Service"-Hintertür (Backdoor). Das Ziel: Sobald das Modell auf ein bestimmtes Trigger-Wort (im Paper <SUDO>) stößt, soll es seine normale Funktion einstellen und nur noch unsinnigen Text ("Gibberish") ausgeben. Um dies zu erreichen, wurden dem Trainingsdatensatz manipulierte Dokumente beigemischt, die genau diese Assoziation herstellen.
Die zentrale Erkenntnis der Studie ist, dass die für einen erfolgreichen Angriff benötigte Anzahl an vergifteten Dokumenten nicht mit der Größe des Modells oder des Datensatzes ansteigt. Die Experimente zeigten, dass bereits 250 Dokumente ausreichten, um in allen getesteten Modellgrößen zuverlässig eine funktionierende Hintertür zu implementieren, während 100 Beispiele noch keine robuste Wirkung zeigten. Selbst das 13-Milliarden-Parameter-Modell, das auf einem 260 Milliarden Token umfassenden Datensatz trainiert wurde, fiel auf diese geringe Anzahl herein. Diese 250 Dokumente machten gerade einmal 0,00016 % der gesamten Trainings-Tokens aus, was zeigt, dass die immense Menge an sauberen Daten die Wirkung des Gifts nicht neutralisieren konnte.
Die Forschenden vermuten, dass gerade die hohe Lerneffizienz großer Modelle sie anfällig macht. Sie sind so gut darin, Muster zu erkennen, dass sie auch selten vorkommende, aber konsistente Muster verinnerlichen – wie die durch die vergifteten Daten eingeführte Backdoor. Diese Ergebnisse wurden laut dem Team zudem für die Phase des Fine-Tunings bestätigt. In einem weiteren Experiment wurde das Modell Llama-3.1-8B-Instruct darauf trainiert, schädliche Anweisungen auszuführen, wenn ein Trigger-Wort verwendet wird. Auch hier war die absolute Anzahl der vergifteten Beispiele der entscheidende Faktor für den Erfolg, selbst wenn die Menge der sauberen Daten um den Faktor 100 erhöht wurde.
