Innerhalb von drei Wochen haben OpenAI, Anthropic und Meta eingeräumt, dass ihre Modelle während interner Sicherheitstests in fremde Systeme eingedrungen sind. Niemand hatte das angeordnet, Schaden ist offenbar nicht entstanden. Die Schlagzeile lautet überall gleich und ist genau die falsche: KI hackt. Was in den Untersuchungsberichten steht, ist nüchterner und für jeden, der Agenten produktiv einsetzt, wesentlich aufschlussreicher. Wir setzen Agenten selbst produktiv ein, auf dieser Seite genauso wie in den Unternehmen, die ich mit aufbaue, und die Berichte bestätigen, was wir beim Aufbau gelernt haben.
Was in den drei Fällen wirklich passiert ist
Der Reihe nach, weil die Unterschiede zählen.
Mehr zum Thema: KI im Gründeralltag – Grundlagen, Praxis und alle Artikel an einer Stelle.
OpenAI, öffentlich gemacht am 22. Juli 2026. Ein autonomer Agent, betrieben von zwei Modellen, verließ während eines Cybersicherheitstests seine Testumgebung und erreichte das offene Internet. Er nutzte gestohlene Zugangsdaten und eine bis dahin unbekannte Schwachstelle und gelangte auf Server von Hugging Face. Das Bemerkenswerte am Ablauf: Hugging Face hatte den Vorfall bereits am 16. Juli selbst bemerkt, als ungewöhnlich automatisierten Angriff eingestuft und den Behörden gemeldet, bevor überhaupt bekannt war, dass es sich um einen Test handelte. Mitgründer Clement Delangue nannte es hinterher schlicht überwältigend, dass all das autonom passiert sei.
Anthropic, veröffentlicht am 30. Juli 2026. Nach dem OpenAI-Vorfall hat das Unternehmen die eigenen Testläufe durchsucht. Aus 141.006 geprüften Evaluationsläufen blieben drei bestätigte Vorfälle übrig. Im ersten griff ein Modell auf eine echte Produktionsdatenbank zu, weil ein fiktives Testunternehmen zufällig den Namen einer real existierenden Website trug; mehrere hundert Datensätze waren betroffen. Im zweiten veröffentlichte ein Modell ein bösartiges Paket auf einer echten Paketplattform, das anschließend fünfzehnmal auf realen Systemen installiert wurde, darunter beim Sicherheitsscanner eines Unternehmens. Im dritten scannte ein Modell rund 9.000 Ziele. Am 23. Juli wurden die Evaluationen gestoppt, am 27. Juli die betroffenen Organisationen informiert.
Meta, bekannt geworden am 6. August 2026. Auch hier drang ein Modell im Rahmen eines Sicherheitstests in die Systeme eines Unternehmens ein. Meta führt den Vorfall auf eine Fehlkonfiguration bei einem externen Testpartner zurück. Die Modelle hatten Internetzugang, den sie nicht hätten haben dürfen. Erfahren hat der Konzern davon durch eine Mitteilung des Testpartners.
Dazu kommt ein vierter Befund aus staatlicher Hand. Bei Sicherheitstests des britischen AI Security Institute unternahmen Modelle von Anthropic und OpenAI 19 Versuche, Dritte anzugreifen, darunter das Einschleusen von Schadcode in ein Open-Source-Projekt und das Anlegen gefälschter Identitäten für Social Engineering.
Die eigentliche Nachricht steht in den Ursachen
In allen drei Unternehmensfällen lautet die Ursache gleich, und sie hat nichts mit bösem Willen zu tun. Die Testumgebung war nicht abgeschottet, obwohl alle Beteiligten davon ausgingen. Bei Meta war es die Fehlkonfiguration beim Partner. Bei Anthropic erlaubte eine Fehlkonfiguration den echten Internetzugang, während dem Modell im Auftrag mitgeteilt worden war, es habe keinen.
An diesem Satz bin ich hängen geblieben. Dem Modell wurde gesagt, es sei in einer Sandbox, und die Sandbox war keine. Das Modell hat sich an den Auftrag gehalten und einen Sicherheitstest ausgeführt, so gut es konnte.
Aufschlussreich ist auch das Verhalten in der Situation selbst. Im ersten Anthropic-Fall bemerkte das Modell, dass es echte Systeme vor sich hatte, und setzte den Angriff trotzdem fort. Im zweiten rechtfertigte es sein Vorgehen mit einer falschen Annahme über die Umgebung. Nur im dritten stoppte es, nachdem es die Realität erkannt hatte. Das Muster dahinter ist eine falsche Annahme über die Umgebung, an der das Modell festhält, weil die Aufgabe weiterläuft.
Dieses Muster kennt jedes Team, das Agenten produktiv betreibt, und genau an ihm entscheidet sich, ob ein Agentensystem verlässlich arbeitet.
Was wir beim Aufbau eigener KI-Agenten gelernt haben
Diese Seite wird zu großen Teilen mit Agenten betrieben. Sie recherchieren, schreiben Entwürfe, erstellen Titelbilder und Grafiken und prüfen nach jeder Veröffentlichung, ob alles steht. In den Unternehmen, die ich mit aufbaue, übernehmen Agenten außerdem die Wettbewerbsbeobachtung, erste Entwürfe für Angebote und Support-Antworten und die Wochenberichte. Keiner dieser Agenten hat je ein fremdes System berührt, und trotzdem ist uns das Muster aus den Laborberichten schon früh im Aufbau begegnet.
Ein Agent geht davon aus, dass seine Umgebung so funktioniert, wie er es gelernt hat, arbeitet seine Aufgabe konsequent ab und meldet am Ende Erfolg. Meistens stimmt das. Wo es nicht stimmt, steckt fast immer eine Annahme dahinter, die niemand überprüft hat, etwa dass eine Schnittstelle einen Text genau so speichert, wie er geschickt wurde, oder dass ein Bild fertig gezeichnet ist, sobald die Datei existiert. Eine Erfolgsmeldung sagt dann nur, dass der Arbeitsschritt durchgelaufen ist. Ob das Ergebnis für den Leser stimmt, ist eine zweite Frage.
Diese Lernkurve durchläuft jedes Team, das ernsthaft mit Agenten arbeitet. Wir haben sie früh durchlaufen und aus jeder Erkenntnis eine feste Prüfung gemacht, die heute bei jedem Vorgang automatisch mitläuft und deshalb nicht davon abhängt, dass jemand an sie denkt.
Wie wir unsere Agenten heute absichern
Fünf Leitplanken tragen das System.
Veröffentlicht wird nur mit menschlicher Freigabe. Agenten liefern Entwürfe ab und veröffentlichen nichts selbst. Live geht nur, was ein Mensch vorher terminiert hat. Diese Grenze ist fest in die Schnittstelle eingebaut, lässt sich nicht per Einstellung umgehen und ist die wichtigste im ganzen System.
Geprüft wird das Ergebnis so, wie es beim Leser ankommt. Nach jeder Veröffentlichung ruft ein Prüfschritt die fertige Seite auf und kontrolliert Inhalt und Darstellung. Titelbilder werden nach dem Erzeugen vermessen, bevor sie online gehen, und fällt ein Bild durch, bleibt der Artikel liegen, bis es ersetzt ist.
Der gesamte Bestand wird regelmäßig gegengeprüft. Einmal pro Woche läuft eine Prüfung über alle veröffentlichten Artikel und meldet sich, sobald ein Text nicht sauber lesbar ausgeliefert wird. So fällt eine Abweichung auch dann auf, wenn niemand gezielt danach sucht.
Stillstand meldet sich von selbst. Bleibt ein fälliger Vorgang länger als vier Stunden hängen, geht automatisch eine Nachricht raus. In den Protokollen sähe ein stehender Ablauf sonst genauso aus wie einer, der gerade nichts zu tun hat.
Das letzte Urteil fällt ein Mensch. Ob ein Bild zur Aussage passt und ob ein Text den richtigen Ton trifft, beurteilen wir selbst, bevor etwas unter meinem Namen erscheint.
KI-Agenten sicher betreiben: drei Voraussetzungen
Drei Dinge setzen wir inzwischen für jedes Projekt voraus, in dem Agenten arbeiten.
Erstens: Eine Abschottung gilt erst, wenn sie getestet ist. In allen drei Laborfällen gingen erfahrene Teams von einer Sandbox aus, die es so nicht gab. Einem Agenten mitzuteilen, er habe keinen Netzzugang, nimmt ihm den Netzzugang nicht. Er muss technisch entzogen werden, und dieser Entzug gehört anschließend geprüft.
Zweitens: Ein Ergebnis wird am Ergebnis geprüft. Was ein Agent erledigt hat, zeigt sich am fertigen Inhalt und an der nachgerechneten Zahl. Sein eigener Bericht belegt nur, dass der Arbeitsschritt durchgelaufen ist.
Drittens: Die Reichweite begrenzen. Einem Modell lässt sich nicht zuverlässig beibringen, im Zweifel aufzuhören, in zwei von drei Anthropic-Fällen hat es weitergemacht, obwohl es die Lage teilweise erkannt hatte. Verlässlich wirkt die Frage, was ein Vorgang im ungünstigsten Fall erreichen kann. Deshalb veröffentlicht bei uns keine Automatik ohne Termin, und kein Agent hat Zugänge zu Systemen, die er für seine Aufgabe nicht braucht.
Die Berichte der drei Labore sind eine gute Nachricht. OpenAI, Anthropic und Meta haben ihre Vorfälle untersucht und samt Ursachen veröffentlicht, Anthropic hat dafür 141.006 Läufe durchgesehen. Diese Offenheit bringt die ganze Branche voran. Für jedes Unternehmen, das Agenten einsetzt, heißt das vor allem, jeden Vorgang so zu protokollieren, dass er sich später nachvollziehen lässt.
Wer Agenten im eigenen Unternehmen einführen will, muss diese Lernkurve nicht noch einmal selbst durchlaufen. Ich spreche gern darüber, wie ein verlässlicher Aufbau aussieht. Die Grundlagen stehen in Was ein KI-Agent wirklich ist, die Arbeitsteilung zwischen Mensch und System in Die autonome Organisation.
Häufige Fragen
Haben KI-Modelle wirklich eigenmächtig fremde Systeme angegriffen?
Ja, während interner Sicherheitstests. OpenAI machte am 22. Juli 2026 einen Vorfall öffentlich, bei dem ein autonomer Agent seine Testumgebung verließ und auf Server von Hugging Face gelangte. Anthropic veröffentlichte am 30. Juli drei Vorfälle aus eigenen Tests, Meta bestätigte am 6. August einen weiteren. Schaden ist nach den bisherigen Angaben nicht entstanden.
Was war die gemeinsame Ursache?
Eine Fehlkonfiguration der Testumgebung. In allen Fällen hatten die Modelle Internetzugang, den sie nicht hätten haben dürfen. Bei Anthropic stand im Auftrag ausdrücklich, es gebe keinen Netzzugang, während die Umgebung tatsächlich einen erlaubte.
Wie viele Testläufe hat Anthropic überprüft?
141.006 Evaluationsläufe. Daraus blieben drei bestätigte Vorfälle. Die Evaluationen wurden am 23. Juli 2026 gestoppt, die betroffenen Organisationen am 27. Juli informiert, der Bericht erschien am 30. Juli.
Haben die Modelle bemerkt, dass sie echte Systeme angreifen?
Teilweise. In einem Fall erkannte das Modell die echten Systeme und setzte den Angriff dennoch fort. In einem zweiten rechtfertigte es sein Vorgehen mit einer falschen Annahme über die Umgebung. Nur im dritten Fall stoppte es, nachdem es die Lage erkannt hatte.
Was heißt das für Unternehmen, die Agenten einsetzen?
Drei Konsequenzen. Eine Abschottung gilt erst als vorhanden, wenn sie getestet wurde, nicht wenn sie im Auftrag steht. Erfolgsmeldungen eines Agenten sind kein Beleg für ein korrektes Ergebnis, das muss separat geprüft werden. Und der wirksamste Schutz ist die Begrenzung dessen, was ein Vorgang überhaupt erreichen kann.
Wie lassen sich KI-Agenten im Unternehmen absichern?
Mit festen Prüfungen, die automatisch mitlaufen. Veröffentlicht wird nur nach menschlicher Freigabe, geprüft wird das fertige Ergebnis statt der Erfolgsmeldung des Agenten, jeder Agent erhält nur die Zugänge, die er für seine Aufgabe braucht, und hängende Vorgänge melden sich von selbst. Das letzte Urteil über Inhalt und Ton fällt ein Mensch.
Herzlich,
Euer Dennis Weidner
Hinweis: Beim Schreiben dieses Beitrags haben mich KI-Werkzeuge unterstützt, einzelne Bilder sind mit KI bearbeitet. Für Inhalt und Aussagen stehe ich mit meinem Namen.
