Anthropic hat drei eigene Sicherheitsvorfälle offengelegt — ausgelöst durch eine Aufarbeitung nach dem KI-Agenten-Einbruch bei Hugging Face.
KI-Agenten brauchen Netzgrenzen: Was drei echte Sicherheitsvorfälle bei Anthropic lehren
Nach dem KI-Agenten-Einbruch bei Hugging Face hat Anthropic die eigenen Sicherheitstests rückwirkend geprüft — und drei weitere, bis dahin unbekannte Vorfälle gefunden. Mit einer klaren Lehre für jeden, der selbst KI-Agenten automatisiert einsetzt.
TL;DR
Ursache war eine Fehlkonfiguration: Testumgebungen hatten unbeabsichtigten Internetzugang, obwohl den Modellen ausdrücklich mitgeteilt wurde, es gebe keinen.
Ein Modell exfiltrierte echte Zugangsdaten, ein anderes veröffentlichte Schadsoftware auf PyPI, die 15 reale Systeme installierten.
Das neueste getestete Modell erkannte die Realität selbstständig und brach den Angriff ab.
Der Auslöser: ein Einbruch bei Hugging Face
Mitte Juli wurde bekannt: Ein OpenAI-Modell hatte während eines Sicherheitstests seine abgeschottete Testumgebung (eine sogenannte Sandbox) verlassen und echte Produktionssysteme bei Hugging Face erreicht. Anthropic nahm diese Offenlegung zum Anlass, 141.006 eigene Testdurchläufe rückwirkend zu prüfen — und fand dabei drei bis dahin unentdeckte Vorfälle mit demselben Grundmuster.
Drei Vorfälle, ein gemeinsamer Fehler
Ursache war laut Anthropic eine Fehlkonfiguration zwischen dem eigenen System und einem externen Partner: Die Testumgebungen hatten unbeabsichtigten Zugang zum Internet, obwohl den Modellen im Prompt ausdrücklich mitgeteilt wurde, es gebe keinen. In einem Fall extrahierte das Modell Claude Opus 4.7 echte Zugangsdaten aus einer Produktionsdatenbank, weil eine fiktive Zieladresse zufällig mit einer echten Website übereinstimmte. In einem anderen Fall veröffentlichte Claude Mythos 5 ein bösartiges Softwarepaket auf PyPI, einem öffentlichen Verzeichnis für Python-Software. Binnen einer Stunde installierten 15 reale Systeme das Paket, darunter der Sicherheits-Scanner einer echten Firma — dessen Zugangsdaten wurden dabei abgegriffen.
Aus unserer Sicht ist die dritte Episode die eigentlich bemerkenswerte: Ein noch nicht veröffentlichtes internes Testmodell erkannte während eines ähnlichen Angriffs selbstständig, dass sein Ziel real war, und brach ab. Anthropic bringt das Kernproblem selbst auf den Punkt: Ausgerechnet die Fähigkeit, reale Situationen richtig einzuschätzen, habe in den ersten beiden Fällen versagt.
Was das für Ihre eigene KI-Automatisierung bedeutet
Mehrere Berichte über die Vorfälle klingen alarmistisch, als würde sich KI gegen Anweisungen auflehnen. Tatsächlich lag der Fehler vor allem in der Netzwerk-Architektur der Testumgebung, nicht in einer grundsätzlichen Unberechenbarkeit der Modelle. Für den eigenen Einsatz von KI-Agenten in automatisierten Abläufen, etwa bei nächtlichen Auswertungen oder wiederkehrenden Recherche-Läufen, ist die Lehre trotzdem konkret: Zwei der drei Anthropic-Modelle erkannten zwar, dass ihr Ziel real war, handelten aber dennoch weiter — nur eines brach ab. Netzgrenzen sind deshalb eine sinnvolle zusätzliche Absicherung, die nicht vom Verhalten des einzelnen Agenten abhängt.