Inference is the smallest line on the bill. Tools, ops, evals, human review, and the slow drift of a forgotten prompt eat most of the budget. This card lays out the full cost stack, the savings that actually land, and a simple formula that survives contact with your CFO.
Inferenz ist die kleinste Zeile auf der Rechnung. Tools, Betrieb, Evals, menschliche Review, und das langsame Driften eines vergessenen Prompts fressen das Budget. Diese Tafel zeigt den ganzen Kostenstapel, die Ersparnisse, die tatsächlich landen, und eine simple Formel, die den CFO überlebt.
Most teams budget for inference and forget the other three layers. By the end of quarter two they discover that tokens were the cheap part. The full bill has four layers, and on a well-run agent the top of the stack costs five to ten times the bottom. Knowing the shape early stops the surprise.
Die meisten Teams budgetieren Inferenz und vergessen die anderen drei Schichten. Zum Ende von Quartal zwei stellen sie fest, dass Tokens der billige Teil waren. Die volle Rechnung hat vier Schichten, und bei einem solide gefahrenen Agent kostet die obere Schicht das Fünf- bis Zehnfache der unteren. Die Form früh zu kennen verhindert die Überraschung.
The model call itself. Easy to meter, easy to forecast. Cheap on most use cases, expensive only on long-context loops or unsupervised retries.
Der Modellaufruf selbst. Leicht messbar, leicht prognostizierbar. Auf den meisten Use Cases billig, teuer nur bei langen Context-Schleifen oder unbeaufsichtigten Retries.
Search APIs, data providers, vector stores, the per-seat fees of every tool the agent reaches into. Often metered per call, rarely flat. Compounds quietly.
Search-APIs, Datenprovider, Vector-Stores, die Per-Seat-Gebühren jedes Tools, in das der Agent greift. Oft pro Aufruf gemessen, selten flat. Wächst still mit.
Hosting, queues, logs, traces, observability, eval runs, the on-call pager that fires when the agent misbehaves at 03:00. The line that grows fastest.
Hosting, Queues, Logs, Traces, Observability, Eval-Läufe, der Pager der losgeht, wenn der Agent um 03:00 spinnt. Die Zeile, die am schnellsten wächst.
The owner's time on evals, drift, postmortems. The reviewer's time on every flagged output. Pricier per hour than every other layer combined.
Die Zeit der Owner für Evals, Drift, Postmortems. Die Zeit der Reviewer für jeden geflaggten Output. Pro Stunde teurer als alle anderen Schichten zusammen.
The shares are typical, not universal. A high-volume support agent skews toward L1 and L2. A finance agent under audit skews toward L4. The discipline is to list all four every time, even when one looks vanishing. The vanishing layer is the one that grows quietly into the bill that surprises you in month nine.
Die Anteile sind typisch, nicht allgemeingültig. Ein Support-Agent mit hohem Volumen kippt zu L1 und L2. Ein Finance-Agent unter Prüfung kippt zu L4. Die Disziplin ist, alle vier jedes Mal zu listen, auch wenn eine vernachlässigbar wirkt. Die vernachlässigbare Schicht ist die, die still bis Monat neun zur Überraschungsrechnung wächst.
RULE OF THUMB · MULTIPLY THE TOKEN BILLFAUSTREGEL · MULTIPLIZIERE DIE TOKEN-RECHNUNG
If your forecast only lists inference, multiply it by five and treat that as your floor. The other four-fifths show up as ops, tools, and human review whether you booked them or not. Budgets that ignore the multiplier always lose the second-year argument.
Wenn deine Prognose nur Inferenz listet, multipliziere sie mit fünf und nimm das als Untergrenze. Die anderen vier Fünftel zeigen sich als Ops, Tools, Review, ob du sie verbucht hast oder nicht. Budgets ohne diesen Multiplikator verlieren die Zweitjahres-Diskussion immer.
Savings come in three shapes: hours given back, errors avoided, and decisions taken sooner. The first is easy to count and easy to argue with. The second is harder to count and harder to argue with. The third is hardest to count and the one your sponsors actually care about.
Ersparnisse kommen in drei Formen: zurückgegebene Stunden, vermiedene Fehler, früher getroffene Entscheidungen. Die erste ist leicht zu zählen und leicht anzugreifen. Die zweite ist schwerer zu zählen und schwerer anzugreifen. Die dritte ist am schwersten zu zählen und die, an der den Sponsoren wirklich liegt.
| SHAPEFORM | WHAT IT LOOKS LIKEWIE ES AUSSIEHT | HOW YOU PROVE ITWIE DU ES BELEGST | WHO BELIEVES ITWER DARAN GLAUBT |
|---|---|---|---|
| HOURS | Two hours saved per ticket, ten times a dayZwei Stunden pro Ticket gespart, zehnmal am Tag | Before-and-after time samplesVorher-Nachher-Zeitstichproben | Operations and financeOperations und Finance |
| ERRORS | Mis-coded invoices caught before postingFehlkodierte Rechnungen vor Buchung gefangen | Defect rate, audit findings, rework hoursFehlerquote, Audit-Funde, Nacharbeitsstunden | Audit and riskAudit und Risk |
| SPEED | A decision in twelve minutes, not three daysEine Entscheidung in zwölf Minuten, nicht drei Tagen | Cycle-time before and afterZykluszeit vor und nach | Product and revenue leadersProduct- und Revenue-Leitung |
| QUALITY | A complete briefing where there was noneEin vollständiges Briefing, wo keines war | Stakeholder rating, downstream usageStakeholder-Bewertung, Folgenutzung | The end userDer Endnutzer |
| CAPACITY | The hire you no longer need this yearDie Einstellung, die du dieses Jahr nicht brauchst | Headcount plan deltasDelta zum Headcount-Plan | The CFODer CFO |
The strongest cases combine two shapes. Hours alone gets dismissed as "we will not really fire anyone". Errors alone gets dismissed as "we already pay for the audit". Hours plus errors plus a faster decision is the combination that survives a budget review without flinching.
Die stärksten Fälle kombinieren zwei Formen. Stunden allein wird abgetan als "wir entlassen ja niemanden". Fehler allein wird abgetan als "den Audit zahlen wir eh". Stunden plus Fehler plus schnellere Entscheidung ist die Kombination, die ein Budget-Review ohne Zucken übersteht.
The math is not the hard part. The hard part is being honest about each input. We use four lines: a yearly run rate, a yearly savings rate, a one-time build cost, and a confidence factor. The confidence factor is what most spreadsheets quietly leave out and what most CFOs quietly correct in their head.
Die Mathematik ist nicht der schwere Teil. Schwer ist Ehrlichkeit bei den Eingaben. Wir verwenden vier Zeilen: jährliche Laufkosten, jährliche Ersparnis, einmalige Bau-Kosten, einen Konfidenz-Faktor. Den Konfidenz-Faktor lassen die meisten Spreadsheets still weg, und die meisten CFOs korrigieren ihn still im Kopf.
Sum of the four cost layers, annualised. Use the multiplier on inference if no ops data exists yet. Updated quarterly.
Summe der vier Kostenschichten, auf das Jahr hochgerechnet. Inferenz mit Multiplikator, wenn noch keine Ops-Daten vorliegen. Quartalsweise aktualisiert.
Sum of hours, errors, and speed, annualised. Convert hours at fully loaded cost. Convert errors at last year's actual rework bill.
Summe aus Stunden, Fehlern, Speed, auf das Jahr gerechnet. Stunden zu Vollkosten umrechnen. Fehler zur tatsächlichen Nacharbeitsrechnung des Vorjahres.
The first three months of two people, plus the eval set, plus the integration work. Amortise over twelve months, not thirty-six.
Die ersten drei Monate von zwei Personen, plus das Eval-Set, plus die Integrationsarbeit. Über zwölf Monate amortisieren, nicht dreißig.
A multiplier on savings, from 0.3 to 0.9, depending on how well the eval covers the real input distribution. New agents start at 0.5.
Ein Multiplikator auf die Ersparnis, von 0.3 bis 0.9, abhängig davon, wie gut das Eval die echte Input-Verteilung abdeckt. Neue Agents starten bei 0.5.
HONEST ROI · ONE LINEEHRLICHER ROI · EINE ZEILE
roi = ( savings * confidence ) - run_rate - build_amortised
__________________________________________________________
run_rate + build_amortised
A result above 1.0 means the agent returns more than its costs in the first year. Below zero means it is a hobby. The interesting band is 0.0 to 0.5: real value, but small, and easy to lose to a single bad quarter.
Ein Ergebnis > 1.0 heißt, der Agent gibt im ersten Jahr mehr zurück als er kostet. Unter null ist Hobby. Spannend ist der Bereich 0.0 bis 0.5: echter Wert, aber klein, leicht durch ein schlechtes Quartal verloren.
Drag the four sliders, watch the math react. Pick a domain preset to start, then nudge volume, confidence, hourly cost, and hours saved per run. The verdict at the bottom shifts from SHIPS to MARGINAL to HOBBY without anyone editing a spreadsheet.
Zieh an den vier Reglern, beobachte wie die Mathematik reagiert. Starte mit einem Domain-Preset, justiere dann Volumen, Konfidenz, Stundenkosten und gesparte Stunden pro Lauf. Das Urteil unten kippt von LIVE über GRENZWERTIG bis HOBBY, ohne dass jemand ein Spreadsheet anfasst.
( savings × conf ) − run_rate − build
roi = ___________________________________
run_rate + build
Four cost layers feed run_rate. Savings are gross hours back, multiplied by the loaded hourly cost, then by your confidence. Build is amortised over twelve months.Vier Kostenschichten füttern run_rate. Ersparnis ist gesparte Brutto-Stunden mal Vollkostensatz, danach mal Konfidenz. Bau wird über zwölf Monate amortisiert.
···
Numbers track the sliders. Move any slider and this block updates with the new math, before and after rounding.Zahlen folgen den Reglern. Zieh an einem Slider und dieser Block aktualisiert sich mit der neuen Rechnung, vor und nach Rundung.
SIMULATION · MODEL USES TYPICAL COST CURVES, NOT YOUR ACTUALS.SIMULATION · MODELL NUTZT TYPISCHE KOSTENKURVEN, NICHT DEINE IST-ZAHLEN.
The honest formula still bends. Five common moves inflate ROI without anyone meaning harm. Knowing them by name lets you spot them in someone else's deck, and, with luck, in your own draft before it goes upstairs to the steering committee.
Die ehrliche Formel verbiegt sich trotzdem. Fünf häufige Manöver pumpen ROI auf, ohne dass jemand böse Absicht hat. Sie beim Namen zu kennen, hilft, sie im Deck von anderen zu erkennen, und mit Glück im eigenen Entwurf, bevor er ans Steering Committee geht.
A · PHANTOM HOURSPHANTOM-STUNDEN
Hours nobody planned to work and nobody will be freed from. Fix: only count hours where you can name the person and the next task they will do.
Stunden, die niemand geplant hat und von denen niemand befreit wird. Antwort: nur Stunden zählen, bei denen du die Person und ihre nächste Aufgabe benennen kannst.
B · NO-CONFIDENCENULL-KONFIDENZ
Savings booked as if the agent never made a mistake. Fix: multiply by your real eval pass rate, never above 0.9 on a new agent.
Ersparnis gebucht, als hätte der Agent nie geirrt. Antwort: mit der echten Eval-Trefferquote multiplizieren, bei neuen Agents nie über 0.9.
C · HIDDEN BUILDVERSTECKTER BAU
Build cost left out because "we did it on the side". Fix: count the months at fully loaded cost, even for moonlighting. Time is real.
Baukosten ausgelassen, weil "nebenbei gebaut". Antwort: die Monate zu Vollkosten zählen, auch wenn sie nebenher liefen. Zeit ist real.
D · WINDOW SHIFTFENSTER-VERSCHIEBUNG
Stretching the window until the math works. Fix: stick to a twelve-month payback. Three-year claims rarely survive the second model upgrade.
Das Fenster strecken, bis die Mathematik passt. Antwort: zwölf Monate Payback halten. Drei-Jahres-Versprechen überleben das zweite Model-Upgrade selten.
E · FREE OPSOPS UMSONST
The on-call, the eval refresh, the postmortem booked to a different team's budget. Fix: book all four cost layers in the same column.
On-Call, Eval-Refresh, Postmortem auf das Budget eines anderen Teams gebucht. Antwort: alle vier Schichten in dieselbe Spalte.
RULE OF THUMB · HALVE BEFORE YOU PRESENTFAUSTREGEL · HALBIEREN VOR DEM PITCH
Halve your first ROI estimate before showing it to a sponsor. If it still looks worth doing, you have a real case. If it does not, you saved everyone six weeks. The number that survives a divide-by-two is the number that survives a CFO.
Halbiere die erste ROI-Schätzung, bevor du sie einem Sponsor zeigst. Sieht es danach noch lohnend aus, hast du einen echten Fall. Sieht es nicht mehr lohnend aus, hast du allen sechs Wochen erspart. Die Zahl, die ein Halbieren übersteht, überlebt einen CFO.
10
Trends, bets, what is likely to stick, and what will look quaint in twelve months. A field map for the next year.
Trends, Wetten, was bleiben wird und was in zwölf Monaten kurios aussieht. Eine Feldkarte für das nächste Jahr.
11
How teams reshape rituals, roles, and tooling once agents land in the daily flow. The boring half of agentic, where the value lives.
Wie Teams Rituale, Rollen und Tooling umstellen, wenn Agents im Alltag landen. Die langweilige Hälfte von Agentic, wo der Wert wohnt.
12
What agents need to stop guessing: clean inputs, named scopes, a retrieval layer that earns its keep. The supply chain behind every good answer.
Was Agents brauchen, um nicht mehr zu raten: saubere Inputs, benannte Scopes, eine Retrieval-Schicht, die ihren Lohn verdient. Die Lieferkette hinter jeder guten Antwort.