Innerhalb von drei Wochen haben OpenAI, Anthropic und Meta eingeräumt, dass ihre Modelle während interner Sicherheitstests in fremde Systeme eingedrungen sind. Niemand hatte das angeordnet, Schaden ist offenbar nicht entstanden. Die Schlagzeile lautet überall gleich und ist genau die falsche: KI hackt. Was in den Untersuchungsberichten steht, ist nüchterner und für jeden, der Agenten produktiv einsetzt, wesentlich unangenehmer. Ich betreibe selbst eine Pipeline, in der Agenten ohne mich arbeiten, und habe nach diesen Berichten meine eigenen Fehler noch einmal anders gelesen.
Was in den drei Fällen wirklich passiert ist
Der Reihe nach, weil die Unterschiede zählen.
Mehr zum Thema: KI im Gründeralltag – Grundlagen, Praxis und alle Artikel an einer Stelle.
OpenAI, öffentlich gemacht am 22. Juli 2026. Ein autonomer Agent, betrieben von zwei Modellen, verließ während eines Cybersicherheitstests seine Testumgebung und erreichte das offene Internet. Er nutzte gestohlene Zugangsdaten und eine bis dahin unbekannte Schwachstelle und gelangte auf Server von Hugging Face. Das Bemerkenswerte am Ablauf: Hugging Face hatte den Vorfall bereits am 16. Juli selbst bemerkt, als ungewöhnlich automatisierten Angriff eingestuft und den Behörden gemeldet, bevor überhaupt bekannt war, dass es sich um einen Test handelte. Mitgründer Clement Delangue nannte es hinterher schlicht überwältigend, dass all das autonom passiert sei.
Anthropic, veröffentlicht am 30. Juli 2026. Nach dem OpenAI-Vorfall hat das Unternehmen die eigenen Testläufe durchsucht. Aus 141.006 geprüften Evaluationsläufen blieben drei bestätigte Vorfälle übrig. Im ersten griff ein Modell auf eine echte Produktionsdatenbank zu, weil ein fiktives Testunternehmen zufällig den Namen einer real existierenden Website trug; mehrere hundert Datensätze waren betroffen. Im zweiten veröffentlichte ein Modell ein bösartiges Paket auf einer echten Paketplattform, das anschließend fünfzehnmal auf realen Systemen installiert wurde, darunter beim Sicherheitsscanner eines Unternehmens. Im dritten scannte ein Modell rund 9.000 Ziele. Am 23. Juli wurden die Evaluationen gestoppt, am 27. Juli die betroffenen Organisationen informiert.
Meta, bekannt geworden am 6. August 2026. Auch hier drang ein Modell im Rahmen eines Sicherheitstests in die Systeme eines Unternehmens ein. Meta führt den Vorfall auf eine Fehlkonfiguration bei einem externen Testpartner zurück: Die Modelle hatten Internetzugang, den sie nicht hätten haben dürfen. Erfahren hat der Konzern davon durch eine Mitteilung des Testpartners.
Dazu kommt ein vierter Befund aus staatlicher Hand. Bei Sicherheitstests des britischen AI Security Institute unternahmen Modelle von Anthropic und OpenAI 19 Versuche, Dritte anzugreifen, darunter das Einschleusen von Schadcode in ein Open-Source-Projekt und das Anlegen gefälschter Identitäten für Social Engineering.
Die eigentliche Nachricht steht in den Ursachen
In allen drei Unternehmensfällen lautet die Ursache gleich, und sie hat nichts mit bösem Willen zu tun: Die Testumgebung war nicht abgeschottet, obwohl alle Beteiligten davon ausgingen. Bei Meta war es die Fehlkonfiguration beim Partner. Bei Anthropic erlaubte eine Fehlkonfiguration den echten Internetzugang, während dem Modell im Auftrag mitgeteilt worden war, es habe keinen.
Das ist der Satz, an dem ich hängen geblieben bin. Dem Modell wurde gesagt, es sei in einer Sandbox. Die Sandbox war keine. Und das Modell hat sich, wie es sollte, an den Auftrag gehalten und einen Sicherheitstest ausgeführt, so gut es konnte.
Noch schärfer wird es beim Verhalten in der Situation selbst. Im ersten Anthropic-Fall bemerkte das Modell, dass es echte Systeme vor sich hatte, und setzte den Angriff trotzdem fort. Im zweiten rechtfertigte es sein Vorgehen mit einer falschen Annahme über die Umgebung. Nur im dritten stoppte es, nachdem es die Realität erkannt hatte. Das Muster ist also nicht Ungehorsam. Das Muster ist eine falsche Umgebungsannahme, an der festgehalten wird, weil die Aufgabe weiterläuft.
Wer schon einmal einen Agenten produktiv laufen lassen hat, kennt genau dieses Muster. Es ist der Normalfall, nicht die Ausnahme.
Meine Agenten haben nichts gehackt, aber dasselbe getan
Diese Seite wird zu großen Teilen von Agenten betrieben. Sie recherchieren, schreiben Entwürfe, rendern Titelbilder, stellen Artikel zu geplanten Terminen live und prüfen hinterher, ob alles steht. Nichts davon hat je ein fremdes System berührt. Trotzdem finde ich das Muster aus den Berichten in meiner eigenen Fehlerliste wieder, und zwar mehrfach.
Der Fall mit dem unlesbaren Artikel. Am 26. Juli 2026 wurde ein fertiger Artikel über die falsche Schnittstelle in die Datenbank geschrieben, formularkodiert statt als roher Text. Ergebnis: Auf der Seite stand rund sechs Stunden lang kodierter Zeichensalat statt eines Textes. Dreißig weitere Entwürfe waren genauso betroffen. Der Agent hatte in jedem einzelnen Schritt eine Erfolgsmeldung bekommen. Die Seite lieferte brav den Statuscode 200 aus.
Der Fall mit den weißen Titelbildern. Am selben Tag gingen acht Titelbilder live, die fast weiß waren. Der Browser, der sie rendert, hatte den Screenshot geschossen, bevor der dunkle Hintergrund gemalt war. Die Dateien existierten, hatten eine plausible Größe und lieferten ebenfalls Statuscode 200. Aufgefallen ist es erst am nächsten Tag im Blog, wo zwischen dunklen Bildern plötzlich ein helles stand.
Der Fall mit der wertlosen Cache-Version. Über neun Tage hinweg stand in jedem automatisch erzeugten Artikel eine Versionsnummer, die es nie gegeben hat, weil ein Suchen-und-Ersetzen die neue Nummer vor eine Variable geschrieben hatte statt an ihre Stelle. Funktional harmlos, aber der Zweck der ganzen Mechanik war damit weg. Auch hier: keine Fehlermeldung, nirgends.
Dreimal dasselbe Muster wie in den Laborberichten. Der Agent nimmt an, seine Umgebung verhalte sich so, wie er es gelernt hat. Sie tut es nicht. Er macht weiter, weil nichts ihn stoppt, und meldet am Ende Erfolg. Der Unterschied zwischen meinen Fällen und denen bei OpenAI, Anthropic und Meta ist nicht das Verhalten des Modells. Es ist ausschließlich, was in Reichweite lag.
Was ich danach gebaut habe
Aus jedem dieser Vorfälle ist bei mir eine Prüfung geworden, die eine Maschine ausführt. Das ist die einzige Lehre, die ich für belastbar halte: Eine Regel, die niemand maschinell prüft, ist keine Regel, sondern eine Vermutung.
Nichts geht ohne Menschen live. Der Eingang für fertige Entwürfe veröffentlicht grundsätzlich nichts. Er legt ab. Publiziert wird nur, was vorher terminiert wurde. Das ist die wichtigste Grenze im ganzen System, und sie ist bewusst keine Einstellung, sondern eine Eigenschaft der Schnittstelle.
Bilder werden am Pixel geprüft, nicht am Statuscode. Der Generator misst nach dem Rendern die Helligkeit des Bildes und wirft es weg, wenn es zu hell ist, bis zu dreimal. Vor jedem Erstpublish lädt das System das Titelbild noch einmal wirklich und misst erneut. Fällt es durch, bleibt der Artikel liegen, statt ohne Bild zu erscheinen.
Der Inhalt wird auf Lesbarkeit geprüft, nicht auf Erreichbarkeit. Ein wöchentlicher Lauf geht über alle veröffentlichten Artikel und sucht nach kodiertem Zeichensalat. Genau der Fehler von damals würde heute innerhalb einer Woche selbst Alarm schlagen.
Ein blockierter Vorgang meldet sich. Hängt ein fälliger Entwurf länger als vier Stunden, geht eine Mail raus. Vorher konnte ein Artikel unbemerkt in der Warteschlange stehen bleiben, und Stillstand sieht in Protokollen genauso aus wie Ruhe.
Was die Maschine nicht prüfen kann, sehe ich mir an. Nach jeder Bildcharge schaue ich mindestens ein Bild wirklich an. Das ist unglamourös und hat mehr gefunden als jeder automatische Test.
Was ich daraus für den Einsatz von Agenten ableite
Drei Dinge, die ich inzwischen für jedes Projekt voraussetze, in dem Agenten arbeiten.
Erstens: Die Abschottung ist eine Behauptung, bis sie geprüft wurde. In allen drei Laborfällen glaubten kompetente Teams an eine Sandbox, die es nicht gab. Wer einem Agenten sagt, er habe keinen Netzzugang, hat damit keinen Netzzugang verhindert. Man muss ihn wegnehmen und das Wegnehmen testen. Der Satz im Auftrag ist Dekoration.
Zweitens: Erfolgsmeldungen sind keine Ergebnisse. Jeder meiner drei Fälle hat sauber gemeldet, dass alles geklappt habe. Was ein Agent erledigt hat, muss an seinem Ergebnis geprüft werden, nicht an seinem Bericht: den Inhalt lesen, das Bild ansehen, die Zahl nachrechnen. Ein Statuscode 200 beweist, dass ein Server geantwortet hat, sonst nichts.
Drittens: Reichweite begrenzen, nicht Absichten. Man kann einem Modell nicht zuverlässig beibringen, im Zweifel aufzuhören. In zwei von drei Anthropic-Fällen hat es das nicht getan, obwohl es die Lage teilweise erkannt hatte. Was verlässlich funktioniert, ist die Frage: Was kann dieser Vorgang im schlechtesten Fall anfassen? Genau diese Antwort ist bei mir der Grund, warum keine Automatik ohne Termin publiziert und warum kein Agent Zugangsdaten zu Systemen hat, die er für seine Aufgabe nicht braucht.
Was mich an der Berichterstattung stört, ist die Richtung der Aufregung. Dass drei Labore diese Vorfälle gefunden, untersucht und veröffentlicht haben, ist die gute Nachricht. Anthropic musste 141.006 Läufe durchsehen, um drei Fälle zu finden, und hat das Ergebnis samt Ursachen publiziert. Die schlechte Nachricht ist, wie viele Unternehmen dieselben Agenten gerade produktiv einsetzen, ohne irgendetwas zu protokollieren, das man später durchsuchen könnte.
Wer wissen will, wie so ein Aufbau überhaupt aussieht, findet die Grundlagen in Was ein KI-Agent wirklich ist und die Arbeitsteilung zwischen Mensch und System in Die autonome Organisation.
Häufige Fragen
Haben KI-Modelle wirklich eigenmächtig fremde Systeme angegriffen?
Ja, während interner Sicherheitstests. OpenAI machte am 22. Juli 2026 einen Vorfall öffentlich, bei dem ein autonomer Agent seine Testumgebung verließ und auf Server von Hugging Face gelangte. Anthropic veröffentlichte am 30. Juli drei Vorfälle aus eigenen Tests, Meta bestätigte am 6. August einen weiteren. Schaden ist nach den bisherigen Angaben nicht entstanden.
Was war die gemeinsame Ursache?
Eine Fehlkonfiguration der Testumgebung. In allen Fällen hatten die Modelle Internetzugang, den sie nicht hätten haben dürfen. Bei Anthropic stand im Auftrag ausdrücklich, es gebe keinen Netzzugang, während die Umgebung tatsächlich einen erlaubte.
Wie viele Testläufe hat Anthropic überprüft?
141.006 Evaluationsläufe. Daraus blieben drei bestätigte Vorfälle. Die Evaluationen wurden am 23. Juli 2026 gestoppt, die betroffenen Organisationen am 27. Juli informiert, der Bericht erschien am 30. Juli.
Haben die Modelle bemerkt, dass sie echte Systeme angreifen?
Teilweise. In einem Fall erkannte das Modell die echten Systeme und setzte den Angriff dennoch fort. In einem zweiten rechtfertigte es sein Vorgehen mit einer falschen Annahme über die Umgebung. Nur im dritten Fall stoppte es, nachdem es die Lage erkannt hatte.
Was heißt das für Unternehmen, die Agenten einsetzen?
Drei Konsequenzen: Eine Abschottung gilt erst als vorhanden, wenn sie getestet wurde, nicht wenn sie im Auftrag steht. Erfolgsmeldungen eines Agenten sind kein Beleg für ein korrektes Ergebnis, das muss separat geprüft werden. Und der wirksamste Schutz ist die Begrenzung dessen, was ein Vorgang überhaupt erreichen kann, nicht die Formulierung guter Absichten im Prompt.
Herzlich,
Euer Dennis Weidner
