A helpful agent and an open door look the same until someone walks through. The moment an agent reads outside text and holds real permissions, it can be steered by whoever wrote that text. This article covers the three ways agents get attacked, the four guardrails that contain them, and a habit that keeps a useful agent from becoming a liability.
Ein hilfreicher Agent und eine offene Tür sehen gleich aus, bis jemand hindurchgeht. In dem Moment, in dem ein Agent fremden Text liest und echte Rechte hält, kann ihn lenken, wer diesen Text geschrieben hat. Diese Tafel behandelt die drei Arten, wie Agents angegriffen werden, die vier Leitplanken, die sie eindämmen, und eine Gewohnheit, die einen nützlichen Agent davon abhält, ein Risiko zu werden.
Almost every agent incident fits one of three shapes. The agent is told to do something other than its job, the agent uses a real permission for the wrong end, or the agent says something it should have kept private. Naming the three makes them defensible. Each one has a place it enters and a kind of damage it does.
Fast jeder Agent-Vorfall passt in eine von drei Formen. Dem Agent wird etwas anderes als seine Aufgabe aufgetragen, der Agent nutzt ein echtes Recht für den falschen Zweck, oder der Agent sagt etwas, das er hätte für sich behalten sollen. Die drei zu benennen macht sie verteidigbar. Jede hat einen Ort, an dem sie eindringt, und eine Art Schaden, die sie anrichtet.
Prompt injection. Hidden instructions inside a document, web page, or email tell the agent to ignore its task and follow them instead. The agent reads commands and content through the same eyes, so unless you teach it the difference, the attacker's text wins.
Prompt Injection. Versteckte Anweisungen in einem Dokument, einer Webseite oder einer Mail sagen dem Agent, seine Aufgabe zu ignorieren und stattdessen ihnen zu folgen. Der Agent liest Befehle und Inhalt mit denselben Augen, also gewinnt der fremde Text, solange du ihm den Unterschied nicht beibringst.
Tool misuse. The agent is confused or steered into using a real permission for the wrong end: deleting records, sending mail, moving money. Nothing is exploited in the classic sense; a legitimate capability is simply pointed at the wrong target. The damage scales with what the agent may touch.
Tool-Missbrauch. Der Agent wird verwirrt oder dazu gelenkt, ein echtes Recht für den falschen Zweck zu nutzen: Datensätze löschen, Mails senden, Geld bewegen. Nichts wird im klassischen Sinn ausgenutzt; eine legitime Fähigkeit wird einfach auf das falsche Ziel gerichtet. Der Schaden skaliert mit dem, was der Agent berühren darf.
Data exfiltration. Secrets, internal records, or one user's data end up in an output that reaches somewhere it should not. A leak needs no dramatic exploit. It needs an answer that simply says too much, returned to the wrong reader at the wrong moment.
Datenabfluss. Geheimnisse, interne Datensätze oder die Daten eines Nutzers landen in einem Output, der irgendwohin gelangt, wo er nicht hingehört. Ein Abfluss braucht keinen dramatischen Exploit. Er braucht eine Antwort, die schlicht zu viel sagt, geliefert an den falschen Leser im falschen Moment.
You do not secure an agent by trusting it more. You secure it by placing constraints around it that hold even when its reasoning fails. Four guardrails cover most of the job: check what comes in, limit what it can reach, check what goes out, and pause what cannot be undone. Each closes one door, and each has a trap that makes it feel safe while leaking.
Du sicherst einen Agent nicht, indem du ihm mehr vertraust. Du sicherst ihn, indem du Schranken um ihn legst, die halten, selbst wenn sein Denken versagt. Vier Leitplanken decken das meiste ab: prüfen, was hereinkommt, begrenzen, was er erreichen kann, prüfen, was hinausgeht, und anhalten, was nicht rückgängig zu machen ist. Jede schließt eine Tür, und jede hat eine Falle, die sich sicher anfühlt, während sie leckt.
| GUARDRAILLEITPLANKE | What it doesWas sie tut | How to apply itWie man sie anwendet | The trapDie Falle |
|---|---|---|---|
| INPUT VALIDATIONEINGABE-PRÜFUNG | Separates trusted instructions from untrusted contentTrennt vertrauenswürdige Anweisungen von fremdem Inhalt | Label fetched text as data, never as commands; quote or strip embedded instructionsGeholten Text als Daten kennzeichnen, nie als Befehle; eingebettete Anweisungen zitieren oder entfernen | A filter that blocks known phrases misses every phrasing it has not seen yetEin Filter, der bekannte Formeln blockt, verpasst jede Formulierung, die er noch nicht kennt |
| LEAST PRIVILEGEGERINGSTE RECHTE | Limits what the agent can reach at allBegrenzt, was der Agent überhaupt erreichen kann | Grant the fewest permissions and narrowest scope that still finish the job; read-only where possibleDie wenigsten Rechte und den engsten Umfang vergeben, die die Aufgabe noch erledigen; nur lesend, wo möglich | Broad credentials granted for convenience become the blast radius of every mistakeBreite Zugänge aus Bequemlichkeit werden zum Schadensradius jedes Fehlers |
| OUTPUT FILTERINGOUTPUT-FILTER | Catches secrets and private data before they leaveFängt Geheimnisse und private Daten ab, bevor sie hinausgehen | Scan the response for keys, internal IDs, and other users' data; redact or block before sendingDie Antwort auf Schlüssel, interne IDs und fremde Nutzerdaten prüfen; vor dem Senden schwärzen oder blocken | A filter tuned to one secret format lets a different format pass untouchedEin auf ein Geheimnis-Format getrimmter Filter lässt ein anderes Format unberührt durch |
| HUMAN GATEMENSCHLICHE SCHRANKE | Stops irreversible actions for a person to confirmHält irreversible Aktionen an, damit ein Mensch bestätigt | Require explicit approval before sending, paying, deleting, or publishingAusdrückliche Freigabe verlangen vor Senden, Zahlen, Löschen oder Veröffentlichen | Gate everything and people approve blindly; gate only what truly cannot be undoneAlles abriegeln und Menschen winken blind durch; nur abriegeln, was wirklich nicht rückgängig ist |
Securing an agent is a routine, not a one-time switch. The order matters: you cannot constrain what you have not drawn, and you cannot trust what you have not attacked. Four steps take an agent from hopeful to hardened, and the last one is the one most teams skip until an incident forces it.
Einen Agent abzusichern ist eine Routine, kein einmaliger Schalter. Die Reihenfolge zählt: Du kannst nicht begrenzen, was du nicht gezeichnet hast, und nicht trauen, was du nicht angegriffen hast. Vier Schritte bringen einen Agent von hoffnungsvoll zu gehärtet, und den letzten überspringen die meisten Teams, bis ein Vorfall ihn erzwingt.
Write down every tool, permission, and data source the agent can reach. You cannot secure an attack surface you have never drawn. Most teams are surprised by how long the list turns out to be.
Schreib jedes Tool, jedes Recht und jede Datenquelle auf, die der Agent erreichen kann. Du kannst eine Angriffsfläche nicht sichern, die du nie gezeichnet hast. Die meisten Teams überrascht, wie lang die Liste ausfällt.
Remove every permission the task does not strictly need. Narrow the scopes, switch to read-only where you can, and give each job its own credentials. Convenience is the enemy at this step.
Entfern jedes Recht, das die Aufgabe nicht zwingend braucht. Eng die Umfänge ein, wechsle auf nur lesend, wo es geht, und gib jeder Aufgabe eigene Zugänge. Bequemlichkeit ist hier der Feind.
Record each tool call and output with enough detail to reconstruct what happened. A silent agent cannot be audited, and an agent that cannot be audited cannot be trusted after the first surprise.
Halt jeden Tool-Call und Output mit genug Detail fest, um zu rekonstruieren, was geschah. Ein stiller Agent lässt sich nicht prüfen, und ein Agent, der sich nicht prüfen lässt, ist nach der ersten Überraschung nicht mehr vertrauenswürdig.
Try to make the agent misbehave before an attacker does. Inject instructions into its inputs, ask it for secrets, push it past its scope. Every weakness you find becomes the next guardrail you write.
Versuch, den Agent zum Fehlverhalten zu bringen, bevor ein Angreifer es tut. Schleus Anweisungen in seine Eingaben, frag ihn nach Geheimnissen, treib ihn über seinen Umfang hinaus. Jede gefundene Schwäche wird zur nächsten Leitplanke, die du schreibst.
Every request an agent handles travels the same road, from raw input to a real action. The guardrails from chapter two are not abstract: each one lives at a specific stage on this road. Click any stage to see what it does and what gets through when it is missing. The dashed boxes are the gates; the solid ones are where the agent itself works.
Jede Anfrage, die ein Agent bearbeitet, fährt dieselbe Straße, von der rohen Eingabe zur echten Aktion. Die Leitplanken aus Kapitel zwei sind nicht abstrakt: Jede wohnt an einer bestimmten Stufe dieser Straße. Klick eine beliebige Stufe an, um zu sehen, was sie tut und was durchkommt, wenn sie fehlt. Die gestrichelten Kästen sind die Schranken; die durchgezogenen sind dort, wo der Agent selbst arbeitet.
Most of agent security collapses into a single discipline: give the agent less. A guardrail you forget can still hold if the agent never had the permission to do harm in the first place. Access is not a feature you add for capability; it is a risk you accept on purpose, and the smallest acceptable amount is almost always less than what feels convenient.
Der Großteil der Agent-Sicherheit fällt in eine einzige Disziplin zusammen: Gib dem Agent weniger. Eine vergessene Leitplanke kann trotzdem halten, wenn der Agent das Recht zum Schaden nie hatte. Zugriff ist keine Fähigkeit, die du für Leistung hinzufügst; er ist ein Risiko, das du bewusst eingehst, und die kleinste vertretbare Menge ist fast immer weniger als das, was bequem wirkt.
"An agent should hold the fewest permissions that still let it finish the job, and zero beyond that. Every extra permission is not a convenience, it is the blast radius of the next mistake. When you cannot decide whether to grant access, the answer is no: adding a permission later costs a minute, explaining a leak costs a quarter."
"Ein Agent sollte die wenigsten Rechte halten, die ihn die Aufgabe noch erledigen lassen, und null darüber hinaus. Jedes zusätzliche Recht ist keine Bequemlichkeit, es ist der Schadensradius des nächsten Fehlers. Wenn du nicht entscheiden kannst, ob du Zugriff gibst, lautet die Antwort nein: Ein Recht später hinzuzufügen kostet eine Minute, einen Datenabfluss zu erklären kostet ein Quartal."
It runs with narrow, named permissions. You can list exactly what it can touch and why each grant exists. An agent whose access fits on a sticky note is one you can actually reason about.
Er läuft mit engen, benannten Rechten. Du kannst genau auflisten, was er berühren kann und warum jedes Recht existiert. Ein Agent, dessen Zugriff auf einen Notizzettel passt, ist einer, über den du wirklich nachdenken kannst.
Untrusted content cannot give it orders. Text it fetches is treated as data to read, not instructions to follow. You confirmed this with a hostile document on purpose, and the agent held its task.
Fremder Inhalt kann ihm keine Befehle geben. Text, den er holt, gilt als Daten zum Lesen, nicht als Anweisung zum Befolgen. Du hast das mit einem feindlichen Dokument absichtlich geprüft, und der Agent hielt an seiner Aufgabe fest.
Irreversible actions wait for a human. Sending, paying, deleting, and publishing pause for approval. The agent proposes the action; a person commits it.
Irreversible Aktionen warten auf einen Menschen. Senden, Zahlen, Löschen und Veröffentlichen halten zur Freigabe an. Der Agent schlägt die Aktion vor; ein Mensch führt sie aus.
Nobody can list its permissions. If "what can this agent reach" takes a meeting to answer, the honest answer is "too much". Unknown scope is unbounded risk wearing a calm face.
Niemand kann seine Rechte auflisten. Wenn "was kann dieser Agent erreichen" ein Meeting zur Beantwortung braucht, lautet die ehrliche Antwort "zu viel". Unbekannter Umfang ist unbegrenztes Risiko mit ruhigem Gesicht.
It follows instructions from anywhere. A web page or email that says "ignore your rules" changes how it behaves. The agent cannot tell a command from content, so every source it reads is a potential operator.
Er folgt Anweisungen von überall. Eine Webseite oder Mail, die "ignoriere deine Regeln" sagt, ändert sein Verhalten. Der Agent kann Befehl nicht von Inhalt unterscheiden, also ist jede Quelle, die er liest, ein möglicher Steuermann.
Its actions leave no trace. When something goes wrong, you cannot reconstruct what it did or why. An agent you cannot audit is an agent you cannot trust the next morning.
Seine Aktionen hinterlassen keine Spur. Wenn etwas schiefgeht, kannst du nicht rekonstruieren, was er tat oder warum. Ein Agent, den du nicht prüfen kannst, ist ein Agent, dem du am nächsten Morgen nicht trauen kannst.
Security has a small working vocabulary that keeps a review precise. These six terms cover most of what gets said when a team decides whether an agent is safe to let loose. Use them and the conversation stops talking past itself.
Sicherheit hat einen kleinen Arbeitswortschatz, der ein Review präzise hält. Diese sechs Begriffe decken das meiste ab, was gesagt wird, wenn ein Team entscheidet, ob ein Agent sicher freizulassen ist. Nutze sie und das Gespräch redet nicht mehr aneinander vorbei.
Security closes the loop on building, running, and trusting a single agent. What remains is the harder world it has to live in: places where every action is audited and a regulator can ask, after the fact, exactly why the agent did what it did. The next article covers agents in regulated industries, where being safe is not enough until you can show it.
Sicherheit schließt den Kreis aus Bauen, Betreiben und Vertrauen für einen einzelnen Agent. Was bleibt, ist die härtere Welt, in der er leben muss: Orte, an denen jede Aktion geprüft wird und eine Aufsicht im Nachhinein fragen kann, warum genau der Agent tat, was er tat. Die nächste Tafel behandelt Agents in regulierten Branchen, wo sicher sein nicht genügt, solange du es nicht zeigen kannst.
Running agents where every action is audited: finance, healthcare, the public sector. The controls a regulator expects, the evidence you keep, and how to prove what an agent did.
Agents betreiben, wo jede Aktion geprüft wird: Finanzwesen, Gesundheit, öffentlicher Sektor. Die Kontrollen, die eine Aufsicht erwartet, die Belege, die du aufhebst, und wie man beweist, was ein Agent getan hat.
The series continues with cards on the economics of long-running agents and the day-to-day of operating a fleet of them. New cards publish roughly every two weeks.
Die Reihe geht weiter mit Tafeln zur Ökonomie langlaufender Agents und zum Alltag, eine ganze Flotte davon zu betreiben. Neue Tafeln erscheinen etwa alle zwei Wochen.
If this is the first card you've read, start at the beginning. Card 01 explains what AI and agentic AI actually are, without the hype. Each card builds on the previous one.
Wenn das die erste Tafel ist, die du gelesen hast, beginne am Anfang. Tafel 01 erklärt, was AI und Agentic AI tatsächlich sind, ohne den Hype. Jede Tafel baut auf der vorherigen auf.