The first run feels like magic. The fifth run reveals the cracks. This card explains how a prototype turns into a real tool: iteration cycles, eval sets, drift detection, and the kind of upkeep that decides whether an agent is around in twelve weeks or quietly retired.
Der erste Run fühlt sich nach Magie an. Der fünfte zeigt die Risse. Diese Tafel erklärt, wie aus einem Prototyp ein echtes Werkzeug wird: Iterationszyklen, Eval-Sets, Drift erkennen, und die Art von Pflege, die entscheidet, ob ein Agent in zwölf Wochen noch läuft oder still beerdigt wird.
Day one looks like proof. The agent ships its first output, you celebrate, you tell your team. Week two looks different. Edge cases surface, the data drifts, a tool changes its schema, the prompt that worked perfectly on Monday quietly fails on Friday. This is the moment most prototypes die. Not because they were bad, but because nobody planned for the second week.
Tag eins sieht nach Beweis aus. Der Agent liefert seinen ersten Output, du feierst, du erzählst es im Team. Woche zwei sieht anders aus. Edge Cases tauchen auf, die Daten driften, ein Tool ändert sein Schema, der Prompt der montags perfekt lief scheitert freitags still. Das ist der Moment, in dem die meisten Prototypen sterben. Nicht weil sie schlecht waren, sondern weil niemand Woche zwei eingeplant hat.
| DIMENSIONDIMENSION | DAY ONETAG EINS | WEEK TWOWOCHE ZWEI |
|---|---|---|
| InputsInputs | Three clean test casesDrei saubere Test-Cases | Real users with messy dataEchte Nutzer, unsaubere Daten |
| OutputsOutputs | Predictable, demo-readyVorhersagbar, vorzeigbar | Surprising in five of fifty runsÜberraschend in fünf von fünfzig Runs |
| ToolsTools | Stable, freshly integratedStabil, frisch integriert | One API changed, one rate-limits youEine API ändert sich, eine drosselt dich |
| PromptPrompt | Hand-tuned for the demoPer Hand auf Demo getrimmt | Breaks on inputs you never imaginedBricht bei Inputs, an die du nie gedacht hast |
| ConfidenceVertrauen | High, based on three runsHoch, basierend auf drei Runs | Honest, based on fiftyEhrlich, basierend auf fünfzig |
| Owner moodOwner-Stimmung | "This is the future""Das ist die Zukunft" | "Why did this work yesterday""Warum lief das gestern noch" |
RULE OF THUMB · ITERATIONSFAUSTREGEL · ITERATIONEN
Plan for at least five rounds of iteration before you call an agent production-ready. The first round proves it works. Rounds two through four make it reliable. Round five is when you stop discovering new failure modes. Anyone who ships at round one ships a demo, not a tool.
Plane mit mindestens fünf Iterationsrunden, bevor du einen Agent produktiv nennst. Runde eins beweist, dass es geht. Runden zwei bis vier machen ihn verlässlich. In Runde fünf hörst du auf, neue Failure-Modes zu entdecken. Wer in Runde eins ausliefert, liefert eine Demo, kein Werkzeug.
Iteration is not a vibe. It is a loop with four clearly named steps: test against your eval set, diagnose what failed, adjust exactly one variable, then re-test. Skipping a step means guessing. Changing three variables at once means you learn nothing from the round.
Iteration ist kein Gefühl. Sie ist eine Schleife mit vier klar benannten Schritten: gegen das Eval-Set testen, diagnostizieren was scheiterte, genau eine Variable anpassen, neu testen. Wer einen Schritt überspringt, rät. Wer drei Variablen gleichzeitig ändert, lernt nichts aus der Runde.
Run the agent against the same fixed inputs every time. Record which cases pass, which fail, and which sit in the grey zone. Pass rate is the only honest progress metric.
Den Agent gegen dieselben festen Inputs laufen lassen. Notieren welche Cases bestehen, welche scheitern, welche in der Grauzone liegen. Die Bestehen-Quote ist das einzig ehrliche Fortschrittsmaß.
For every failure, read the actual trace. Was it the prompt, the tool, the data, the model? Most failures fall into one of these four buckets. Naming the bucket is half the fix.
Für jeden Fehler den echten Trace lesen. War es der Prompt, das Tool, die Daten, das Modell? Die meisten Fehler fallen in einen dieser vier Eimer. Den Eimer zu benennen ist die halbe Reparatur.
Change exactly one variable: the prompt, a tool scope, the model, the input format. Tag the change. Anyone who tunes three knobs at once cannot point to what worked.
Genau eine Variable ändern: Prompt, Tool-Scope, Modell, Input-Format. Die Änderung taggen. Wer drei Stellschrauben gleichzeitig dreht, weiß hinterher nicht, was gewirkt hat.
Run the full eval set again, not just the failing case. Watch for regressions: cases that used to pass and now fail. A round counts as won only if pass rate goes up without new losses.
Das volle Eval-Set neu laufen lassen, nicht nur den gescheiterten Case. Regressionen beobachten: Cases die vorher bestanden und jetzt scheitern. Eine Runde gilt nur als gewonnen, wenn die Quote steigt ohne neue Verluste.
THE LOOP · ONE ROUNDDIE SCHLEIFE · EINE RUNDE
An agent does not improve in a straight line. Most changes are silent (no measurable effect), a few are positive, and a few are regressions disguised as wins. The only way to tell them apart is the same eval set, the same trace format, and one variable per round. A two-week sprint with four changes at once teaches you nothing. Four rounds of one change each, run inside a day, teach you everything.
Ein Agent verbessert sich nicht in einer geraden Linie. Die meisten Änderungen sind stumm (kein messbarer Effekt), wenige sind positiv, wenige sind Regressionen, die wie Gewinne aussehen. Sie auseinanderzuhalten geht nur mit demselben Eval-Set, demselben Trace-Format, einer Variable pro Runde. Ein Zwei-Wochen-Sprint mit vier gleichzeitigen Änderungen lehrt dich nichts. Vier Runden zu je einer Änderung, an einem Tag gefahren, lehren dich alles.
FAILURE BUCKETSFEHLER-EIMER
Prompt (clarity, ordering, missing instruction), Tool (wrong scope, schema drift, rate limit), Data (input format, edge case, encoding), Model (wrong tier, context too long, capability gap). Four buckets, every failure fits somewhere.
Prompt (Klarheit, Reihenfolge, fehlende Anweisung), Tool (falscher Scope, Schema-Drift, Rate-Limit), Daten (Input-Format, Edge Case, Encoding), Modell (falsche Stufe, Context zu lang, Capability-Lücke). Vier Eimer, jeder Fehler passt irgendwo rein.
Every agent needs one. An eval set is a fixed list of inputs with expected outputs or pass criteria. It is the only way to compare round five to round one honestly. Without it, every improvement is anecdotal and every regression invisible.
Jeder Agent braucht eines. Ein Eval-Set ist eine feste Liste von Inputs mit erwarteten Outputs oder Bestehen-Kriterien. Es ist der einzige Weg, Runde fünf ehrlich mit Runde eins zu vergleichen. Ohne es ist jede Verbesserung anekdotisch und jede Regression unsichtbar.
A · GOLDEN PATHGOLDEN PATH
Five to ten typical inputs the agent must always handle. If golden path breaks, ship nothing. This is your floor.
Fünf bis zehn typische Inputs, die der Agent immer schaffen muss. Bricht der Golden Path, liefere nichts aus. Das ist deine Untergrenze.
TARGET · 100 PERCENT PASSZIEL · 100 PROZENT BESTEHEN
B · EDGE CASESEDGE CASES
Ten to twenty inputs at the boundary: empty fields, unusual formats, contradictory data, ambiguous wording. Catches most surprises.
Zehn bis zwanzig Inputs am Rand: leere Felder, ungewöhnliche Formate, widersprüchliche Daten, mehrdeutige Sprache. Fängt die meisten Überraschungen ab.
TARGET · 80 PERCENT PASSZIEL · 80 PROZENT BESTEHEN
C · ADVERSARIALADVERSARIAL
Inputs designed to fool the agent: prompt injections, malformed tool returns, contradictory goals. A pass means the agent refuses safely.
Inputs, die den Agent austricksen sollen: Prompt-Injections, kaputte Tool-Returns, widersprüchliche Ziele. Bestehen heißt, der Agent verweigert sauber.
TARGET · SAFE REFUSALZIEL · SAUBERE VERWEIGERUNG
D · FIELD CASESFELDFÄLLE
Real inputs that broke the agent in production. Every postmortem adds one. Over time the set grows with reality, not with imagination.
Echte Inputs, die den Agent im Produktivbetrieb gebrochen haben. Jedes Postmortem fügt einen hinzu. Mit der Zeit wächst das Set mit der Realität, nicht der Fantasie.
TARGET · GROW WEEKLYZIEL · WÖCHENTLICH WACHSEN
A good eval set has thirty to fifty cases. Less than thirty is not enough to spot regressions reliably. More than fifty makes each round slow and discourages running them. Start with ten golden plus ten edge, add one field case per real incident, and review the set quarterly: remove cases that no longer reflect the work, keep the ones that still bite.
Ein gutes Eval-Set hat dreißig bis fünfzig Cases. Unter dreißig reicht nicht, um Regressionen verlässlich zu sehen. Über fünfzig macht jede Runde langsam und schreckt davon ab, sie zu fahren. Starte mit zehn Golden plus zehn Edge, füge pro echtem Vorfall einen Feldfall hinzu, und prüfe das Set vierteljährlich: Cases raus, die die Arbeit nicht mehr abbilden, Cases drin, die immer noch beißen.
The competitor-report agent from card 05, twelve weeks later. Click through the five rounds to see how the pass rate moves, what changed each time, and which round actually decided whether this agent stays in production.
Der Wettbewerbs-Report-Agent aus Tafel 05, zwölf Wochen später. Klick durch die fünf Runden und sieh, wie die Bestehen-Quote sich bewegt, was sich jeweils änderte, und welche Runde wirklich entschied, ob dieser Agent produktiv bleibt.
SIMULATION · REAL ITERATION LOGS LOOK SIMILAR.SIMULATION · ECHTE ITERATIONS-LOGS LAUFEN ANALOG.
A mature agent does not stay mature on its own. The world around it moves: data shapes change, tools change, models change, expectations change. Six kinds of drift account for almost every silent failure. Knowing them lets you put a sensor on each.
Ein reifer Agent bleibt nicht von selbst reif. Die Welt um ihn herum bewegt sich: Datenformen ändern sich, Tools ändern sich, Modelle ändern sich, Erwartungen ändern sich. Sechs Arten von Drift erklären fast jeden stillen Ausfall. Sie zu kennen heißt, auf jeder einen Sensor zu setzen.
A · DATA DRIFTDATEN-DRIFT
Yesterday the field was a string, today it is an array. The agent does not know. Fix: sample real production inputs weekly, diff against the schema you assumed.
Gestern war das Feld ein String, heute ein Array. Der Agent merkt es nicht. Antwort: echte Produktiv-Inputs wöchentlich ziehen, gegen das angenommene Schema diffen.
B · TOOL DRIFTTOOL-DRIFT
The vendor renames a field, deprecates an endpoint, adds a required parameter. The agent fails politely or, worse, silently. Fix: contract tests on every tool, run daily.
Der Anbieter benennt ein Feld um, deprecated einen Endpoint, fordert plötzlich einen Parameter. Der Agent scheitert höflich oder, schlimmer, still. Antwort: Contract-Tests auf jedem Tool, täglich.
C · MODEL DRIFTMODELL-DRIFT
The provider pushes an upgrade. Your prompt still parses, but the style shifts. Fix: pin the model version, run the eval set whenever you opt into an upgrade.
Der Anbieter rollt ein Upgrade aus. Dein Prompt läuft noch, der Stil verschiebt sich. Antwort: Modell-Version pinnen, Eval-Set fahren bevor du auf ein Upgrade gehst.
D · GOAL DRIFTGOAL DRIFT
The team wanted a competitor list, then asked for a sentiment, then for a forecast. The prompt was never updated. Fix: version the prompt and link it to the active brief.
Das Team wollte eine Wettbewerberliste, dann ein Sentiment, dann eine Prognose. Der Prompt wurde nie angepasst. Antwort: Prompt versionieren und an den aktiven Auftrag knüpfen.
E · CONTEXT DRIFTCONTEXT-DRIFT
Memory, history, retrieved docs. The agent worked with 4K tokens, now it carries 40K. Quality drops invisibly. Fix: cap memory, summarize history, prune retrieval.
Memory, Historie, geholte Docs. Der Agent lief mit 4K Token, jetzt schleppt er 40K. Qualität fällt unsichtbar. Antwort: Memory deckeln, Historie zusammenfassen, Retrieval beschneiden.
F · USER DRIFTNUTZER-DRIFT
Users find shortcuts, learn the agent's quirks, start writing prompts to game it. Output looks fine, the use case has changed. Fix: review usage logs monthly, watch for the trick.
Nutzer finden Abkürzungen, lernen die Eigenheiten des Agents, schreiben Prompts, die ihn austricksen. Der Output sieht ok aus, der Use Case hat sich verändert. Antwort: Nutzungslogs monatlich prüfen, auf den Trick achten.
RULE OF THUMB · WEEKLY EVALFAUSTREGEL · WÖCHENTLICHES EVAL
Run the eval set once a week against a production agent, even when nothing seems wrong. Drift is silent by definition. A weekly pass-rate chart shows it long before any user complains, and the cost of catching it early is roughly one round of iteration.
Das Eval-Set einmal pro Woche gegen einen produktiven Agent fahren, auch wenn nichts auffällt. Drift ist per Definition still. Ein wöchentlicher Bestehen-Chart zeigt sie, lange bevor ein Nutzer reklamiert, und die Kosten für frühes Erkennen sind ungefähr eine Iterationsrunde.
08
Ten concrete applications across sales, ops, support, finance, and engineering. Setup, tools, success criteria.
Zehn konkrete Anwendungen aus Sales, Ops, Support, Finance, Engineering. Mit Setup, Tools und Erfolgsmaß.
09
What an agent really costs in production, what it saves, how to compute it honestly and report to stakeholders.
Was ein Agent in der Praxis kostet, was er einspart, wie du das ehrlich rechnest und an Stakeholder kommunizierst.
10
Trends, bets, what is likely to stick, and what will look quaint in twelve months. A field map for the next year.
Trends, Wetten, was bleiben wird und was in zwölf Monaten kurios aussieht. Eine Feldkarte für das nächste Jahr.