Every team that runs an agent eventually asks the same question: is it actually getting better? "It feels stronger this week" is not an answer. This article shows how to build a small, honest evaluation: a fixed set of test cases, a handful of metrics, and a routine that separates a real improvement from a lucky run.
Jedes Team, das einen Agent betreibt, stellt irgendwann dieselbe Frage: Wird er wirklich besser? "Er fühlt sich diese Woche stärker an" ist keine Antwort. Diese Tafel zeigt, wie man eine kleine, ehrliche Evaluierung baut: ein festes Set an Testfällen, eine Handvoll Metriken und eine Routine, die eine echte Verbesserung von einem Glückslauf trennt.
Most claims about agent quality rest on one of three kinds of evidence, and they are not equal. An anecdote tells you something happened once. A demo tells you something can happen under friendly conditions. Only an eval tells you what happens repeatedly, on cases you did not pick to flatter the system.
Die meisten Aussagen über Agent-Qualität stützen sich auf eine von drei Arten von Beleg, und die sind nicht gleichwertig. Eine Anekdote sagt dir, dass etwas einmal passiert ist. Eine Demo sagt dir, dass etwas unter freundlichen Bedingungen passieren kann. Nur eine Evaluierung sagt dir, was wiederholt passiert, auf Fällen, die du nicht zum Schmeicheln ausgesucht hast.
Someone ran the agent once, liked the output, and reported the feeling. No record of the input, no comparison to a previous version, no way to repeat it. Anecdotes are how hope spreads through a team, not how decisions get made.
Jemand hat den Agent einmal laufen lassen, mochte den Output und meldete das Gefühl. Keine Aufzeichnung der Eingabe, kein Vergleich zur vorherigen Version, keine Möglichkeit zur Wiederholung. Anekdoten sind die Art, wie Hoffnung durch ein Team wandert, nicht wie Entscheidungen fallen.
A handpicked case, rehearsed until it works, shown to an audience. Demos are honest about what is possible and silent about what is typical. Every demo survives until the first real input that nobody rehearsed.
Ein handverlesener Fall, geprobt bis er funktioniert, einem Publikum gezeigt. Demos sind ehrlich darüber, was möglich ist, und schweigen darüber, was typisch ist. Jede Demo überlebt bis zur ersten echten Eingabe, die niemand geprobt hat.
A fixed collection of real cases, a defined way to score each one, and repeated runs. The same set, run against every version, turns "better" into a number with a direction. This is the only level of evidence worth arguing over.
Eine feste Sammlung echter Fälle, eine definierte Art, jeden zu bewerten, und wiederholte Läufe. Dasselbe Set, gegen jede Version gefahren, macht aus "besser" eine Zahl mit Richtung. Das ist die einzige Belegstufe, über die zu streiten sich lohnt.
You do not need a research lab to evaluate an agent. For most working agents, four metrics cover the job: was it right, was it complete, was it usable, and what did it cost. Each metric answers a different question, and each one has a trap that makes it lie if you score it carelessly.
Du brauchst kein Forschungslabor, um einen Agent zu evaluieren. Für die meisten Arbeits-Agents decken vier Metriken die Aufgabe ab: War es richtig, war es vollständig, war es brauchbar, und was hat es gekostet. Jede Metrik beantwortet eine andere Frage, und jede hat eine Falle, die sie lügen lässt, wenn du nachlässig bewertest.
| METRICMETRIK | What it asksWas sie fragt | How to score itWie man sie bewertet | The trapDie Falle |
|---|---|---|---|
| CORRECTNESSKORREKTHEIT | Is the answer factually right?Ist die Antwort sachlich richtig? | Compare against a golden answer per case, pass or failGegen eine Golden Answer pro Fall vergleichen, bestanden oder nicht | Partial credit hides failures. A nearly right account number is a wrong account numberTeilpunkte verstecken Fehler. Eine fast richtige Kontonummer ist eine falsche Kontonummer |
| COMPLETENESSVOLLSTÄNDIGKEIT | Did it cover everything the task needs?Hat er alles abgedeckt, was die Aufgabe braucht? | Checklist of required elements, count what is presentCheckliste der Pflichtelemente, zählen, was vorhanden ist | An answer can be correct and useless: right facts, half the jobEine Antwort kann richtig und nutzlos sein: korrekte Fakten, halbe Aufgabe |
| FORMATFORMAT | Can the next system or person use it as is?Kann das nächste System oder die nächste Person es direkt nutzen? | Validate structure: fields, length, tone, schemaStruktur prüfen: Felder, Länge, Ton, Schema | Format failures are silent: one missing field stops a whole pipelineFormat-Fehler sind leise: ein fehlendes Feld stoppt eine ganze Pipeline |
| COSTKOSTEN | What does each run cost in money and time?Was kostet jeder Lauf an Geld und Zeit? | Log tokens, tool calls, and latency per run, average over the setTokens, Tool-Calls und Latenz pro Lauf erfassen, über das Set mitteln | A small quality gain that doubles cost is a decision, not a winEin kleiner Qualitätsgewinn, der die Kosten verdoppelt, ist eine Entscheidung, kein Sieg |
An eval set is built once and then defended. The order matters: collect the cases before you tune anything, so the set reflects the job and not your latest fix. Twenty real cases beat two hundred invented ones, because the agent will be judged by reality, not by your imagination.
Ein Testset wird einmal gebaut und dann verteidigt. Die Reihenfolge zählt: Sammle die Fälle, bevor du irgendetwas tunst, damit das Set die Aufgabe widerspiegelt und nicht deinen letzten Fix. Zwanzig echte Fälle schlagen zweihundert erfundene, denn der Agent wird an der Realität gemessen, nicht an deiner Vorstellung.
Pull twenty inputs the agent has actually faced or will face: ordinary ones, ugly ones, and a few that broke it before. Resist the urge to write clean examples. The set must contain the mess the job contains.
Hol dir zwanzig Eingaben, denen der Agent wirklich begegnet ist oder begegnen wird: gewöhnliche, hässliche und ein paar, an denen er schon gescheitert ist. Widersteh dem Drang, saubere Beispiele zu schreiben. Das Set muss das Chaos enthalten, das die Aufgabe enthält.
For every case, write down what a correct answer contains before you run anything. This is the golden answer. If two people on the team disagree about what correct means, the agent never had a chance.
Schreib für jeden Fall auf, was eine korrekte Antwort enthält, bevor du irgendetwas laufen lässt. Das ist die Golden Answer. Wenn zwei Leute im Team uneins sind, was korrekt bedeutet, hatte der Agent nie eine Chance.
Score each case pass or fail against its golden answer. A 1-to-10 scale feels precise and measures mood. Binary scoring is harsh, fast, and comparable: it forces you to say what good enough actually means.
Bewerte jeden Fall mit bestanden oder nicht gegen seine Golden Answer. Eine Skala von 1 bis 10 fühlt sich präzise an und misst Stimmung. Binäre Bewertung ist hart, schnell und vergleichbar: Sie zwingt dich zu sagen, was gut genug wirklich bedeutet.
Freeze the set and give it a version number. Never tune the agent on the test cases, and never quietly swap a case the agent keeps failing. When the job itself changes, cut a new version and say so.
Frier das Set ein und gib ihm eine Versionsnummer. Tune den Agent nie auf den Testfällen, und tausche nie still einen Fall aus, an dem der Agent immer wieder scheitert. Wenn sich die Aufgabe selbst ändert, schneide eine neue Version und sag es dazu.
This is what an eval looks like in practice. One support agent, one frozen set of 20 cases, three versions. Click through the versions and watch the scoreboard: the pass rate, the four metrics, and the case strip showing exactly which cases flipped. Version 3 hides a lesson that a single total would never show you.
So sieht eine Evaluierung in der Praxis aus. Ein Support-Agent, ein eingefrorenes Set mit 20 Fällen, drei Versionen. Klick dich durch die Versionen und beobachte das Scoreboard: die Bestehensquote, die vier Metriken und den Fall-Streifen, der genau zeigt, welche Fälle gekippt sind. Version 3 versteckt eine Lektion, die eine einzelne Gesamtzahl dir nie zeigen würde.
Agents are not deterministic. The same version on the same case can pass on Monday and fail on Tuesday. A single run therefore proves almost nothing, in either direction. The fix is boring and cheap: repeat the runs, average the result, and only believe differences that survive the repetition.
Agents sind nicht deterministisch. Dieselbe Version kann am selben Fall am Montag bestehen und am Dienstag durchfallen. Ein einzelner Lauf beweist deshalb fast nichts, in keine Richtung. Die Lösung ist langweilig und billig: Läufe wiederholen, Ergebnis mitteln und nur Unterschieden glauben, die die Wiederholung überleben.
"Run the full eval set five times before you believe a difference between two versions. If the gap between them is smaller than the gap between two runs of the same version, you are looking at noise, not progress. Five runs cost minutes. Shipping a regression costs weeks."
"Fahre das volle Testset fünfmal, bevor du einem Unterschied zwischen zwei Versionen glaubst. Ist der Abstand zwischen ihnen kleiner als der Abstand zwischen zwei Läufen derselben Version, schaust du auf Rauschen, nicht auf Fortschritt. Fünf Läufe kosten Minuten. Eine Regression auszuliefern kostet Wochen."
The numbers move when you change something relevant and stay flat when you change something cosmetic. An eval that reacts to everything measures nothing. Sensitivity to the right things is the whole point.
Die Zahlen bewegen sich, wenn du etwas Relevantes änderst, und bleiben flach, wenn du etwas Kosmetisches änderst. Ein Eval, das auf alles reagiert, misst nichts. Empfindlichkeit für die richtigen Dinge ist der ganze Zweck.
Every failed case is diagnosable. When case 14 fails, you can open it, read the golden answer, and name the cause in minutes. Failures that cannot be explained cannot be fixed.
Jeder durchgefallene Fall ist diagnostizierbar. Wenn Fall 14 scheitert, kannst du ihn öffnen, die Golden Answer lesen und die Ursache in Minuten benennen. Fehler, die sich nicht erklären lassen, lassen sich nicht beheben.
The set still contains cases the agent fails. A living eval has an uncomfortable corner. If everything passes, the set has stopped asking hard questions.
Das Set enthält noch Fälle, an denen der Agent scheitert. Ein lebendiges Eval hat eine unbequeme Ecke. Wenn alles besteht, hat das Set aufgehört, harte Fragen zu stellen.
A 100 percent pass rate. Either the set is too easy or the agent was tuned on the test. Both mean the same thing: the number no longer tells you anything about the real job.
Eine Bestehensquote von 100 Prozent. Entweder ist das Set zu leicht oder der Agent wurde auf den Test getunt. Beides bedeutet dasselbe: Die Zahl sagt dir nichts mehr über die echte Aufgabe.
Metrics improve while users complain. You are measuring something that is not the job. Go back to the cases and check whether the golden answers still describe what users actually need.
Die Metriken steigen, während Nutzer sich beschweren. Du misst etwas, das nicht die Aufgabe ist. Geh zurück zu den Fällen und prüfe, ob die Golden Answers noch beschreiben, was Nutzer wirklich brauchen.
The test cases keep changing. If every comparison uses a slightly different set, no two numbers are comparable and every chart is fiction. Moving goalposts are the quietest way to fake progress.
Die Testfälle ändern sich ständig. Wenn jeder Vergleich ein leicht anderes Set nutzt, sind keine zwei Zahlen vergleichbar und jedes Diagramm ist Fiktion. Wandernde Torpfosten sind die leiseste Art, Fortschritt vorzutäuschen.
Evaluation has a small working vocabulary that keeps discussions precise. These six terms cover most of what gets said in a review meeting about whether an agent is ready. Use them and the conversation gets shorter.
Evaluierung hat einen kleinen Arbeitswortschatz, der Diskussionen präzise hält. Diese sechs Begriffe decken das meiste ab, was in einem Review-Meeting darüber gesagt wird, ob ein Agent bereit ist. Nutze sie und das Gespräch wird kürzer.
An eval tells you the agent does the job. It does not tell you what happens when someone tries to make it do a different job. The next article covers agent security: prompt injection, tool misuse, data leakage, and the guardrails that keep a helpful agent from becoming an open door.
Ein Eval sagt dir, dass der Agent die Aufgabe erledigt. Es sagt dir nicht, was passiert, wenn jemand versucht, ihm eine andere Aufgabe unterzuschieben. Die nächste Tafel behandelt Agent-Sicherheit: Prompt Injection, Tool-Missbrauch, Datenabfluss und die Leitplanken, die einen hilfreichen Agent davon abhalten, eine offene Tür zu werden.
What can go wrong when an agent meets a hostile input. Prompt injection, tool misuse, data leakage, and the guardrails that contain them.
Was schiefgehen kann, wenn ein Agent auf eine feindliche Eingabe trifft. Prompt Injection, Tool-Missbrauch, Datenabfluss und die Leitplanken, die sie eindämmen.
The series continues with cards on running agents in regulated industries and the economics of long-running agents. New cards publish roughly every two weeks.
Die Reihe geht weiter mit Tafeln zu Agent-Betrieb in regulierten Branchen und der Ökonomie langlaufender Agents. Neue Tafeln erscheinen etwa alle zwei Wochen.
If this is the first card you've read, start at the beginning. Card 01 explains what AI and agentic AI actually are, without the hype. Each card builds on the previous one.
Wenn das die erste Tafel ist, die du gelesen hast, beginne am Anfang. Tafel 01 erklärt, was AI und Agentic AI tatsächlich sind, ohne den Hype. Jede Tafel baut auf der vorherigen auf.