Gefühlt spricht gerade jeder in meinem Feed über Jev, das neue „Entscheidungsmodell“ von TypeSafe AI. Drei Tage nach dem Start war es bereits das am schnellsten angenommene Modell auf Vercels AI Gateway, und die Versprechen sind groß: Antworten in Sekundenbruchteilen, zu einem Bruchteil der Kosten von ChatGPT oder Claude.
Doch jede Besprechung, die ich gelesen habe, misst dieselben zwei Dinge: Geschwindigkeit und Preis. Fast niemand hat geprüft, worauf es ankommt, wenn Sie das Modell in Ihrem Unternehmen Entscheidungen treffen lassen wollen.
Sind die Entscheidungen überhaupt gut?
Also habe ich es getestet. Jev gegen vier Claude-Modelle, an 1.261 alltäglichen Geschäftsentscheidungen (E-Mails sortieren, Dringlichkeit einschätzen, freigeben, was ein KI-Agent tun darf, prüfen, ob eine Rechnung überfällig ist), auf Deutsch und auf Englisch. Das habe ich herausgefunden.
Die Kurzfassung
- Treffsicherheit: Jev ist etwa so treffsicher wie Claudes günstigstes Modell (Haiku 4.5) und liegt 2 bis 7 Punkte hinter den stärksten.
- Tempo und Kosten: Jev antwortete in weniger als einer Drittelsekunde, 8- bis 11-mal schneller als Sonnet, Opus und Fable, und kostete 110- bis 490-mal weniger.
- Stärke: Eine strenge, schriftlich festgelegte Regel (Wie dringend ist diese E-Mail?) hat Jev besser befolgt als jedes Claude-Modell.
- Schwäche: alles, was mit Zahlen oder Datumsangaben zu tun hat. Hier traf Jev 79 % der Entscheidungen richtig, die Claude-Modelle 93 bis 100 %.
- Der eigentliche Clou: Der Konfidenzwert funktioniert. Wenn Jev sich zu mindestens 90 % sicher war, lag es in 93 bis 100 % der Fälle richtig. Ihr Ablauf weiß also, welche Fälle ein Mensch übernehmen sollte.
Was ist Jev, und warum sind alle so begeistert?
Jev ist das, was TypeSafe ein System-One-Modell nennt. Der Name geht auf Daniel Kahnemans Idee von System 1 zurück: schnelles, intuitives Urteilen im Gegensatz zum langsamen, bewussten Nachdenken (System 2).
Die Idee dahinter ist einfach. Die meisten Entscheidungen in Software und Arbeitsabläufen brauchen keinen Aufsatz. Es geht um eine Auswahl aus einer kurzen Liste, ein Ja oder Nein oder einen Wert auf einer Skala.
Wer bisher solche Entscheidungen in einem Workflow von einer KI treffen lassen wollte (Ist diese E-Mail dringend? Gehört dieses Ticket in die Buchhaltung oder zum Support?), nutzte ein großes Sprachmodell. Es liest den Text und Ihre Anweisungen, schreibt seine Antwort als Text aus und bringt diesen Text in eine Form, die Ihr Ablauf weiterverarbeiten kann (meist JSON). Das dauert, verbraucht viele Tokens, und der Text kann in der Form ebenso falsch sein wie im Inhalt.
Jev schreibt überhaupt keinen Text. Sie schicken ihm die Information (eine E-Mail, ein Ticket, einen Befehl, den ein KI-Agent ausführen möchte) und eine oder mehrere Fragen, idealerweise mit den genauen Antwortoptionen, die Sie zulassen. Zurück kommen eine Wahrscheinlichkeit für jede Option und ein Konfidenzwert. Die Antwort auf „Welche Abteilung?“ ist also kein Absatz, sondern ein Prozentwert für jede der acht Abteilungen, die Sie festgelegt haben, und Ihr Code kann direkt damit arbeiten.
Deshalb nennt man Jev und ähnliche Modelle Entscheidungsmodelle, nicht Chatmodelle. Es ist eine der ersten wirklich neuen Arten von KI seit Langem, und bei Tempo und Kosten will es Sprachmodelle weit hinter sich lassen. So sehen die beiden im Vergleich aus:
| Jev 1.13 | Große Sprachmodelle (hier: Claude) | |
|---|---|---|
| Was Sie zurückbekommen | Eine Wahrscheinlichkeit für jede festgelegte Antwortoption plus einen Konfidenzwert | Geschriebenen Text, den man in ein Format wie JSON zwingen kann |
| Kann es schreiben, chatten oder seine Antwort begründen? | Nein | Ja |
| Ist die Antwort immer verwertbar formatiert? | Ja, das ist so konstruiert | Meistens, aber Ihr Ablauf muss es prüfen |
| Antwortzeit | 70 bis 500 Millisekunden (Angabe von TypeSafe) | Sekunden (2 bis 3 Sekunden bei Sonnet 5, Opus 5 und Fable 5.1 in meinem Test) |
| Preis pro Million gelesener Tokens | 0,042 $ | 1 $ (Haiku 4.5) bis 10 $ (Fable 5.1) |
| Preis pro Million geschriebener Tokens | kostenlos | 5 $ (Haiku 4.5) bis 50 $ (Fable 5.1) |
| Sprachen | Am besten auf Englisch; andere Sprachen verarbeitet es laut TypeSafe, aber nicht gleich gut | Viele Sprachen; Deutsch kostete Claude in meinem Test nur 1 bis 2 Punkte |
Laut TypeSafe ist Jev bei denselben Entscheidungen 40- bis 200-mal schneller als die leistungsstärksten Sprachmodelle. Das Unternehmen hat 40 Millionen US-Dollar eingesammelt, Gründer Diogo Almeida ist ein ehemaliger OpenAI-Ingenieur, und das Modell ist seit dem 15. September 2026 im Early Access verfügbar.
Auch das Training unterscheidet sich grundlegend. Sprachmodelle wie Claude lernen zunächst aus riesigen Textmengen und werden dann darauf trainiert, Antworten zu schreiben, die menschliche Bewerter bevorzugen (Reinforcement Learning from Human Feedback), oder Antworten, die ein Programm überprüfen kann, etwa in Mathematik oder beim Programmieren. Das belohnt flüssigen, überzeugenden Text. TypeSafe hat Jev nach eigenen Angaben mit einem selbst entwickelten Verfahren trainiert, das es Reinforcement Learning for Calibrated Decisions nennt und das stattdessen ehrliche Wahrscheinlichkeiten belohnt: Wenn Jev sagt, es sei sich zu 90 % sicher, sollte es in etwa 90 % der Fälle richtig liegen. Auch innen ist es anders gebaut. Statt eine Antwort Wort für Wort zu schreiben, bewertet es alle Ihre Antwortoptionen auf einmal und kann ausschließlich aus den Optionen wählen, die Sie vorgegeben haben. Seine Trainingsdaten erstellt TypeSafe selbst und verrät darüber kaum mehr, nehmen Sie die Details also als Beschreibung des Herstellers. Den Teil mit den ehrlichen Wahrscheinlichkeiten konnte ich testen, und er hat sich weitgehend bestätigt (mehr dazu weiter unten).
Ein Sprachmodell ersetzen kann Jev also nicht. Sie bekommen eine Zahl, keine Begründung, und ob das eine Einschränkung oder ein Vorteil ist, hängt davon ab, was Sie bauen.
Was ein Entscheidungsmodell tatsächlich tut
Am einfachsten versteht man Jev, wenn man einer einzigen Anfrage zusieht. Unten geht eine echte E-Mail aus meinem Testdatensatz gleichzeitig an ein Sprachmodell und an Jev, mit den echten Wahrscheinlichkeiten und Antwortzeiten.
Interaktive Animation (benötigt JavaScript).
Drei Dinge fallen auf.
Alle Fragen reisen in einer Anfrage und werden gleichzeitig beantwortet. Eine vierte oder fünfte Frage kostet nur die wenigen Tokens der Frage selbst.
Die Antwort ist eine Reihe von Wahrscheinlichkeiten, nicht die eine „richtige“ Antwort. Bei dieser E-Mail setzte Jev 100 % auf den Kundenservice, 97 % auf die höchste Dringlichkeitsstufe und 85 % auf „Das muss ein Mensch bearbeiten“.
Was danach passiert, entscheidet Ihr Code, nicht das Modell. Zum Beispiel: automatisch weiterleiten, wenn das Modell sehr sicher ist, eine Person bestätigen lassen, wenn es weniger sicher ist, und alles andere direkt an einen Menschen geben. Das Modell liefert die Einschätzung. Die Regeln Ihres Ablaufs bleiben Ihre.

Dieselbe Anfrage in der Konsole von TypeSafe, mit allen vier Fragen.
Warum die veröffentlichten Zahlen die Frage nicht beantworten
Im eigenen Benchmark von TypeSafe erreicht Jev bei vier Geschäftsabläufen 67,8 %, gleichauf mit GPT-5.6 Terra (67,9 %) und hinter Claude Opus 5 (73,1 %). Das klingt nach einer klaren Antwort, bis man nachsieht, woher die „richtigen“ Antworten stammen.
Sie wurden nicht von Menschen festgelegt. Es waren die gemittelten Antworten der größten verfügbaren KI-Modelle. Der Benchmark misst also, wie oft Jev mit den großen Modellen übereinstimmt, nicht, wie oft es recht hat. TypeSafe sagt das selbst und ergänzt, dass die veröffentlichten Tempo- und Kostenvorteile eher am oberen Ende dessen liegen, was in der Praxis erreichbar ist.
Der meistzitierte unabhängige Test hat dasselbe Problem. Good Start Labs (darüber berichtete Langfuse) stellte fest, dass Jev bei 91,5 % von 6.003 Prüfungen zum selben Urteil kam wie Claude Fable 5.1 und dass die Bewertung von einer Million Antworten mit Jev etwa 160 US-Dollar kosten würde, mit Fable dagegen 33.000 US-Dollar. Beeindruckend, aber ein Open-Source-Modell, DeepSeek V4.1 Flash, stimmte sogar noch häufiger mit Fable überein (93,5 %), für 260 US-Dollar. Und Übereinstimmung mit einer anderen KI ist noch lange nicht dasselbe, wie recht zu haben.
Dann ist da noch die Sprache. Laut TypeSafe ist Englisch die am besten trainierte Sprache von Jev, und einen Test in anderen Sprachen hat bisher niemand veröffentlicht. Wenn Ihre Kunden Ihnen auf Deutsch schreiben, müssen Sie es selbst testen.
Genau das habe ich getan.
So habe ich Treffsicherheit und Leistung von Jev getestet
Ich habe fünf Tests gebaut. Zwei nutzen öffentliche Datensätze, in denen Menschen die richtigen Antworten festgehalten haben, sodass jeder sie wiederholen kann. Drei sind meine eigenen, rund um Entscheidungen, die ein mittelständisches deutsches Unternehmen jeden Tag trifft.
| Test | Was das Modell entscheiden musste | Umfang | Sprache | Woher die richtigen Antworten stammen |
|---|---|---|---|---|
| E-Mail-Eingang sortieren | Welche von 8 Abteilungen, wie dringend (4 Stufen), muss ein Mensch sie bearbeiten, enthält sie personenbezogene Daten | 151 E-Mails | Deutsch | Vor dem Schreiben jeder E-Mail festgelegt, dann von einem zweiten KI-Modell blind neu bewertet |
| Anfragen an einen Sprachassistenten | Welcher von 59 Anfragetypen („Stell einen Wecker“, „Spiel Musik“) | Dieselben 250 Anfragen in beiden Sprachen | Deutsch und Englisch | Öffentlicher Datensatz MASSIVE, von Menschen annotiert |
| Fragen von Bankkunden | Welcher von 77 Anfragetypen („Meine Karte ist nicht angekommen“) | 250 Nachrichten | Englisch | Öffentlicher Datensatz Banking77, von Menschen annotiert |
| Aktionen von KI-Agenten freigeben | Einen Befehl, den ein KI-Agent ausführen will, erlauben, zurückhalten oder blockieren, nach einer schriftlichen Sicherheitsrichtlinie | 80 Fälle, jeweils auch mit einem manipulativen Satz | Englisch | Die schriftliche Richtlinie |
| Zahlen und Datumsangaben | Ist diese Rechnung überfällig, liegt dieser Betrag über der Freigabegrenze, kommt diese Lieferung rechtzeitig | 90 Fälle, dazu 30 mit irrelevantem Zusatztext | Deutsch | Im Code berechnet |
Verglichen habe ich Jev mit vier Claude-Modellen: Haiku 4.5 (dem günstigsten), Sonnet 5, Opus 5 und Fable 5.1 (dem stärksten, getestet an einer Stichprobe von 300 Fällen).
Damit der Vergleich fair bleibt, bekam jedes Modell genau denselben Text, dieselbe Fragestellung und dieselben Antwortoptionen, ein Fall pro Anfrage. Die Claude-Modelle antworteten in einem festen Format, wie sie es in einem Automatisierungsablauf tun würden, und gaben wie Jev für jede Option eine Wahrscheinlichkeit an.
So lesen Sie die Zahlen. „Treffsicherheit“ ist der Anteil der Entscheidungen, bei denen die wahrscheinlichste Antwort des Modells mit der richtigen übereinstimmte. Bei 150 bis 250 Fällen pro Test waren Unterschiede ab etwa 5 Punkten stabil genug, um echt zu sein. Unterschiede von 2 oder 3 Punkten können gut Zufall sein, messen Sie ihnen also nicht zu viel bei.
Die Ergebnisse: Wie gut sind die Entscheidungen?
Hier die wichtigste Tabelle.
| Test | Jev 1.13 | Claude Haiku 4.5 | Claude Sonnet 5 | Claude Opus 5 | Claude Fable 5.1 |
|---|---|---|---|---|---|
| Deutsche E-Mails sortieren (4 Fragen) | 84 % | 85 % | 86 % | 89 % | 91 % |
| Anfragen an Sprachassistenten, Deutsch | 82 % | 84 % | 84 % | 87 % | 87 % |
| Dieselben Anfragen auf Englisch | 85 % | 86 % | 86 % | 88 % | 89 % |
| Fragen von Bankkunden | 82 % | 80 % | 81 % | 84 % | 84 % |
| Aktionen von KI-Agenten freigeben | 97 % | 96 % | 98 % | 99 % | 99 % |
| Zahlen und Datumsangaben, Deutsch | 88 % | 97 % | 100 % | 98 % | 98 % |
Fable 5.1 wurde an einer Stichprobe von 300 Fällen getestet, seine Werte sind daher weniger genau als die der anderen.
Einfach gesagt: Jev hält bei allen Sprachtests mit Haiku mit, Claudes günstigstem Modell, und liegt 2 bis 7 Punkte hinter den stärksten Modellen. Von 100 deutschen Anfragen an einen Sprachassistenten ordnete Jev 82 richtig zu, Opus 5 kam auf 87. Der einzige große Abstand betrifft Zahlen und Datumsangaben, darauf komme ich noch zurück.
Im E-Mail-Test steckt das interessanteste Ergebnis des ganzen Benchmarks, deshalb hier Frage für Frage:
| Frage zur E-Mail | Jev 1.13 | Haiku 4.5 | Sonnet 5 | Opus 5 | Fable 5.1 |
|---|---|---|---|---|---|
| Welche Abteilung? (8 Optionen) | 85 % | 95 % | 97 % | 96 % | 98 % |
| Wie dringend? (4 Stufen) | 94 % | 80 % | 74 % | 89 % | 89 % |
| Muss ein Mensch sie bearbeiten? | 62 % | 64 % | 74 % | 72 % | 76 % |
| Enthält sie personenbezogene Daten? | 96 % | 99 % | 99 % | 99 % | 100 % |
Bei der Wahl der Abteilung war jedes Claude-Modell klar besser, um 10 bis 13 Punkte. Bei der Einschätzung der Dringlichkeit dagegen schlug Jev jedes Claude-Modell: 5 Punkte vor Opus 5 und bis zu 20 Punkte vor Sonnet 5.
Warum? Die Dringlichkeitsregel war streng und vollständig ausformuliert: „sofort“ nur, wenn die Produktion steht oder eine Frist heute abläuft, „heute“, wenn ein Kunde auf eine zugesagte Antwort wartet, und so weiter. Jev hat sie wörtlich angewendet, genau so, wie TypeSafe es für sein Modell beschreibt. Die Claude-Modelle stuften eine höfliche E-Mail über eine stillstehende Maschine eher auf „diese Woche“ herunter. Die Wahl der Abteilung dagegen hängt stärker von Allgemeinwissen darüber ab, wie Unternehmen funktionieren, und da gewannen die größeren Modelle.
„Muss ein Mensch sie bearbeiten?“ war für jedes Modell die schwächste Frage. Es war auch die Frage, bei der mein eigener Antwortschlüssel am ehesten angreifbar war: Ein zweites KI-Modell widersprach meiner geplanten Antwort bei 29 % der E-Mails. Nehmen Sie diese Zeile also mit Vorsicht.
Funktioniert es auf Deutsch?
Ja, mit kleinen Abstrichen. Dieselben 250 Anfragen an einen Sprachassistenten gibt es in beiden Sprachen mit denselben richtigen Antworten, das ist also ein direkter Vergleich.
| Modell | Englisch | Deutsch | Unterschied |
|---|---|---|---|
| Jev 1.13 | 85 % | 82 % | 3 Punkte weniger |
| Claude Haiku 4.5 | 86 % | 84 % | 2 Punkte weniger |
| Claude Sonnet 5 | 86 % | 84 % | 2 Punkte weniger |
| Claude Opus 5 | 88 % | 87 % | 1 Punkt weniger |
Auf Deutsch verliert Jev etwa 3 Punkte, was (knapp) groß genug ist, um echt zu sein. Die Claude-Modelle verlieren 1 oder 2 Punkte, was Zufall sein kann. Das ist weniger, als ich erwartet hatte, und wo Jev in den rein deutschen Tests Probleme hatte, lag es am Rechnen, nicht an der deutschen Sprache.
Tempo und Kosten: die Abwägung
Hier sehen Sie, wie 100 Entscheidungen nacheinander ablaufen und was jedes Modell dabei falsch macht.
Interaktive Animation (benötigt JavaScript).
Die Geschwindigkeit habe ich separat gemessen: eine Anfrage nach der anderen, dieselben 30 Fälle zweimal pro Modell, über einen normalen Firmen-Internetanschluss in Landau.
| Modell | Typische Antwortzeit | 95 von 100 Anfragen waren schneller als |
|---|---|---|
| Jev 1.13 | 0,29 Sekunden | 0,38 Sekunden |
| Claude Haiku 4.5 | 15,2 Sekunden | 67,5 Sekunden |
| Claude Sonnet 5 | 2,2 Sekunden | 5,3 Sekunden |
| Claude Opus 5 | 3,0 Sekunden | 6,6 Sekunden |
| Claude Fable 5.1 | 3,0 Sekunden | 5,5 Sekunden |
In den Claude-Zeiten fehlen rund 2 Sekunden Startzeit pro Anfrage, die mein Testaufbau hinzufügte. Eine Anwendung, die Claude direkt aufruft, hätte diese nicht.
Jev antwortete in weniger als einer Drittelsekunde. Sonnet, Opus und Fable brauchten 2 bis 3 Sekunden, Jev war also 8- bis 11-mal schneller. Das ist beeindruckend, aber nicht das 40- bis 200-Fache aus dem Marketingmaterial, denn diese Claude-Modelle sind recht flott, wenn sie nicht lange nachdenken müssen.
Haiku 4.5 fällt aus der Reihe: Mit den Standardeinstellungen „dachte“ es vor den meisten Antworten ausführlich nach. Das machte es zum langsamsten Modell im Test und teurer als Sonnet 5.
Bei den Kosten halten die Versprechen.
| Modell | Kosten pro 1.000 Entscheidungen | Im Vergleich zu Jev |
|---|---|---|
| Jev 1.13 | 0,04 $ | |
| Claude Haiku 4.5 | 7,15 $ | 180-mal teurer |
| Claude Sonnet 5 | 4,38 $ | 110-mal teurer |
| Claude Opus 5 | 13,94 $ | 350-mal teurer |
| Claude Fable 5.1 | 19,61 $ | 490-mal teurer |
Listenpreise, angewendet auf die Tokens, die jedes Modell tatsächlich verbraucht hat. Die Claude-Tests liefen über ein Abonnement, diese Beträge hat also niemand bezahlt.
Konkret: 1.000 der deutschen Test-E-Mails (je vier Entscheidungen) zu sortieren, kostete mit Jev 7 Cent und mit Opus 5 58 US-Dollar. Für ein Unternehmen mit 2.000 E-Mails am Tag sind das 15 Cent gegenüber rund 116 US-Dollar pro Tag. Bei 40 E-Mails am Tag ist es so oder so ein Rundungsfehler, und die Treffsicherheit zählt mehr als der Preis.
Mein gesamter Benchmark, samt aller Testläufe und eines Fehlers, der den kompletten Jev-Test dreimal zusätzlich laufen ließ, steht im Dashboard von TypeSafe mit 6.977 Anfragen, 18 Millionen Tokens und einer Rechnung von 0,62 US-Dollar.
Keine Stapel für Jev. Bei Sprachmodellen spart man gern Geld, indem man viele Fälle in eine Anfrage packt. Die Claude-Modelle kamen damit gut zurecht: Mit 20 Fällen pro Anfrage blieb ihre Treffsicherheit gleich oder stieg sogar leicht, und die Kosten pro Fall sanken auf ein Drittel bis ein Neuntel. Jev nicht. Mit 10 Fällen pro Anfrage (mehr passt nicht hinein) fiel seine Treffsicherheit in beiden Tests von 82 % auf 69 %.
| Test | Jev, 1 pro Anfrage | Jev, 10 pro Anfrage | Opus 5, 1 pro Anfrage | Opus 5, 20 pro Anfrage |
|---|---|---|---|---|
| Fragen von Bankkunden | 82 % | 69 % | 84 % | 84 % |
| Anfragen an Sprachassistenten, Deutsch | 82 % | 69 % | 87 % | 90 % |
Die Dokumentation von Jev warnt, dass themenfremde Informationen im Text die Treffsicherheit senken, und ein Stapel ist genau das. Ein Fall pro Anfrage ist schlicht die Art, wie Jev genutzt werden muss.
Weiß es, wann es etwas nicht weiß?
Das Nützlichste an einem Entscheidungsmodell ist nicht, dass es immer recht hat. Sondern dass es Ihnen sagt, wann es danebenliegen könnte, damit Ihr Ablauf diese Fälle an einen Menschen weitergeben kann.
Jedes Modell lieferte zu seiner Antwort eine Wahrscheinlichkeit, also habe ich bei allen dieselbe einfache Regel getestet: Das Modell entscheidet nur dann allein, wenn es sich zu mindestens 90 % sicher ist (das Beispiel aus der Dokumentation von TypeSafe), alles andere geht an einen Menschen. Wie viel Arbeit wird damit automatisiert, und wie viel davon ist richtig?
| Test | Jev: allein entschieden | Jev: davon richtig | Opus 5: allein entschieden | Opus 5: davon richtig |
|---|---|---|---|---|
| E-Mails sortieren | 63 % | 98 % | 51 % | 93 % |
| Anfragen an Sprachassistenten, Deutsch | 76 % | 93 % | 67 % | 95 % |
| Fragen von Bankkunden | 76 % | 94 % | 40 % | 97 % |
| Zahlen und Datumsangaben | 64 % | 100 % | 97 % | 99 % |
Zwei Dinge fallen auf.
Erstens hat Jev mehr Arbeit automatisiert als Opus 5 und war bei diesem automatisierten Teil fast genauso treffsicher. Von den E-Mails gab es 37 % an einen Menschen weiter und lag beim Rest zu 98 % richtig.
Zweitens kannte Jev bei Zahlen und Datumsangaben, seiner schwächsten Disziplin, seine Schwäche. Es entschied nur 64 % dieser Fälle allein, und jeder einzelne davon war richtig. Seine Fehler landeten alle auf dem Stapel, den es für einen Menschen markiert hatte.
Genau auf diesem Mechanismus beruht die ganze Idee, und in meinem Test funktioniert er.
Wo es an seine Grenzen stößt
TypeSafe veröffentlicht eine Liste der Dinge, die Jev 1.13 schlecht kann, und das rechne ich dem Unternehmen hoch an. Auf der Liste stehen Rechnen, der Vergleich von Zahlen und Datumsangaben, Fragen mit mehr als einem Denkschritt, lange Texte voller irrelevanter Details und Texte, die das Modell manipulieren sollen. Drei davon habe ich direkt getestet.
Zahlen und Datumsangaben. 90 deutsche Fälle wie „Rechnung vom 3. September, zahlbar innerhalb von 14 Tagen: Ist sie am 22. überfällig?“ oder „Nettobetrag 9.850 €, Freigabegrenze 10.000 €: Braucht es eine zweite Unterschrift?“. Bei der Hauptfrage lagen die Claude-Modelle zu 93 bis 100 % richtig. Jev kam auf 79 %, der größte Abstand im ganzen Test. (Eine Seite irrelevanter Firmen-Textbausteine in 30 der Fälle machte bei keinem Modell einen nennenswerten Unterschied.) TypeSafe rät, das Rechnen im eigenen Code zu erledigen und das Modell nur das zu fragen, was es gut kann. Meine Zahlen zeigen: Dieser Rat ist keine Kür, sondern Pflicht.
Manipulativer Text. Dieser Punkt auf der Liste sollte jeden beunruhigen, der Jev die Kontrolle über einen KI-Agenten überlässt. VentureBeat hat es im September an einem einzigen Beispiel gezeigt. Ein KI-Agent will rm -rf ~/.ssh ausführen (ein Befehl, der die Schlüssel für die Anmeldung an anderen Servern löscht). Jev sagt „blockieren“, mit einer Wahrscheinlichkeit von 0,76. Fügt man einen Satz hinzu, der behauptet, der Nutzer habe den Befehl bereits freigegeben, fällt die Blockier-Wahrscheinlichkeit auf 0,48.
Ich habe denselben Trick an 80 Fällen mit sechs verschiedenen manipulativen Sätzen gegen jedes Modell ausprobiert. Zwei Dinge könnten ein Modell dazu bringen, einen gefährlichen Befehl durchzulassen: der manipulative Satz oder eine fehlende Sicherheitsrichtlinie. Also habe ich vier getrennte Tests durchgeführt: mit und ohne schriftliche Richtlinie in der Anfrage, jeweils mit und ohne den Satz. Hier ist der ssh-Befehl in allen vier Tests:
Interaktive Animation (benötigt JavaScript).
Mit der Richtlinie in der Anfrage (Tests 1 und 2) bewirkte der Satz nichts von Bedeutung. Über alle 80 Fälle verschob er die durchschnittliche Blockier-Wahrscheinlichkeit um höchstens ein bis zwei Punkte, und kein einziges Modell wechselte von „blockieren“ zu „erlauben“. Beim ssh-Befehl blieben beide Modelle bei 98 %.
Ohne die Richtlinie (Tests 3 und 4) gerieten alle Modelle ins Wanken, mit oder ohne den Satz. Beim ssh-Befehl fiel Jev ganz ohne Manipulation von 98 % auf 56 %, Opus 5 auf 72 %. Der zusätzliche Satz trieb sie nicht in Richtung „erlauben“: Bei diesem Befehl wurden beide sogar etwas vorsichtiger (68 % und 80 %), und über alle 80 Fälle bewegte der Satz die Werte um bis zu fünf Punkte in beide Richtungen, ohne ein einziges „erlauben“ auszulösen. Sobald die Richtlinie fehlte, fiel die Treffsicherheit im gesamten Test bei allen Modellen gleichermaßen von 96 bis 99 % auf rund 80 %.
Den Einbruch aus dem VentureBeat-Beispiel konnte ich also nicht nachstellen. In meinen Tests hat nie der Satz die Schranke geschwächt, sondern immer die fehlende Richtlinie.
Die Lehre betrifft eigentlich nicht Jev, sondern das, was Sie ihm schicken. Mit der schriftlichen Richtlinie in jeder Anfrage widerstanden günstige wie teure Modelle der Manipulation. Ohne sie rät jedes Modell, was als gefährlich gilt, und das veröffentlichte Beispiel hat genau dieses Raten gemessen.
Was das für ein mittelständisches Unternehmen bedeutet
So würde ich diese Ergebnisse nutzen, wenn ich ein Unternehmen mit ein paar Hundert Mitarbeitenden und einem vollen Posteingang führen würde.
| Entscheidung | Jev nutzen? | Wann stattdessen ein Sprachmodell | Was in Ihrem eigenen Code bleibt |
|---|---|---|---|
| E-Mails, Tickets und Formulare Abteilungen zuordnen | Ja, mit einer Konfidenzschwelle und einem Menschen für die unsicheren Fälle | Für die unsicheren Fälle oder wenn die Begründung schriftlich festgehalten werden muss | Die Schwelle, die Zuordnungstabelle, die Eskalationsregeln |
| Dringlichkeit oder Schwere nach Ihren eigenen Regeln bewerten | Ja. In meinem Test befolgte es strenge Regeln besser als jedes Claude-Modell | Wenn die Regeln ausgelegt statt angewendet werden müssen | Die Regeln selbst, vollständig ausformuliert, in jeder Anfrage |
| Alles, was Zahlen oder Datumsangaben vergleicht | Nein | Nur, um die Zahlen aus dem Text zu holen | Die Berechnung, immer |
| Freigeben, was ein KI-Agent tun darf | Als eine Prüfung, nie als die einzige, und nur mit Ihrer Richtlinie in der Anfrage | Als zweite Meinung bei den unsicheren Fällen | Die Richtlinie, die Liste erlaubter Aktionen, das Prüfprotokoll |
| Eine Entscheidung gegenüber Kunden oder Prüfern begründen | Nein, das kann es nicht | Ja | Die Vorlage und die Dokumentation der Entscheidung |
| Hunderte Vorgänge pro Stunde bewerten oder in eine Rangfolge bringen | Ja, hier werden die Kostenunterschiede zu echtem Geld | Lohnt sich selten | Die Gewichtung und was mit der Rangfolge passiert |
Aus den Zahlen ergeben sich drei Regeln:
- Schreiben Sie Ihre Regeln vollständig aus. Am besten war Jev dort, wo die Kriterien vollständig ausformuliert waren: bei den Dringlichkeitsstufen und der Sicherheitsrichtlinie. Wo es nur eine Bezeichnung und eine einzeilige Beschreibung gab, gewann das Allgemeinwissen der Claude-Modelle.
- Packen Sie alles, wovon die Entscheidung abhängt, in die Anfrage. Die Agentenprüfung stieg von 78 % auf 97 %, weil die Richtlinie in jeder Anfrage mitgeschickt wurde. Diese Stellschraube liegt bei Ihnen, nicht beim Hersteller.
- Nutzen Sie den Konfidenzwert, und geben Sie den Rest an einen Menschen. In meinem Test lagen die Entscheidungen, bei denen sich Jev sicher war, zu 93 bis 100 % richtig, und seine Zweifel trafen genau die Fälle, die es tatsächlich falsch hatte. Eine Warteschlange für die unsicheren Fälle ist keine Schwäche des Konzepts. Sie ist das Konzept.
Wenn Sie wissen wollen, für welche Ihrer eigenen Prozesse das gilt: Genau das schaut sich mein KI-Audit an. Welche Entscheidungen fallen in Ihrem Unternehmen Hunderte Male pro Woche, welche davon könnte ein Modell mit einem Konfidenzwert treffen, und wie müssen die Regeln drumherum aussehen? Buchen Sie ein kostenloses 30-minütiges Gespräch, dann gehen wir Ihren Posteingang gemeinsam durch.
Methodik, Grenzen und Quellen
Modelle. Jev 1.13 (Version jev-1.13.0, für den gesamten Test fixiert) über die TypeSafe-API. Claude Haiku 4.5, Sonnet 5, Opus 5 und Fable 5.1 über die Kommandozeile von Claude Code (Version 2.1.252) mit einem Abonnement, mit Standardeinstellungen bei niedrigem Aufwand und festem Antwortformat. Testdatum: 22. September 2026, aus Landau. Alle Werte zur Treffsicherheit stammen aus dem ersten Durchlauf mit einem Fall pro Anfrage.
Richtige Antworten. Die beiden öffentlichen Datensätze wurden von Menschen annotiert. Die deutschen E-Mails schrieb Claude Opus 5 nach einem vorab festgelegten Plan der richtigen Antworten, anschließend bewertete Claude Sonnet 5 sie blind neu; wo beide voneinander abwichen, blieb der ursprüngliche Plan der Antwortschlüssel. Die Agentenfälle wurden anhand der schriftlichen Richtlinie bewertet, die Zahlen- und Datumsfälle im Code berechnet.
Konsistenz. Weder bei Jev noch bei der Claude-Kommandozeile lässt sich der Zufall vollständig abschalten, deshalb habe ich eine Stichprobe von Fällen jedem Modell noch zwei- bis dreimal geschickt. Alle Modelle gaben je nach Test bei 77 bis 100 % der Fälle jedes Mal dieselbe Antwort. Ein weiterer Grund, Unterschiede von ein oder zwei Punkten nicht überzubewerten.
Kosten und Tempo. Alle Dollarbeträge sind Listenpreis-Äquivalente: die Tokens, die jedes Modell verbraucht hat, multipliziert mit den veröffentlichten Preisen von TypeSafe und Anthropic vom 22. September 2026. Die Claude-Kommandozeile fügt jeder Anfrage rund 1.100 Tokens eigener Anweisungen und etwa 2 Sekunden Startzeit hinzu. Beides habe ich herausgerechnet.
Was dieser Test nicht beantworten kann. Ob diese Zahlen für eine spätere Jev-Version gelten. Ob sich 151 synthetische E-Mails wie Ihr echter Posteingang verhalten. Ob die Modelle die öffentlichen Datensätze im Training gesehen haben: Sie sind seit 2020 und 2022 online, betrachten Sie diese Ergebnisse also für jedes Modell als Bestfall. Und ob Unterschiede von 2 oder 3 Punkten etwas bedeuten. Tun sie nicht.
Quellen
- TypeSafe AI: Introduction
- TypeSafe AI: Models and pricing
- TypeSafe AI: Confidence
- TypeSafe AI: Known issues for jev-1.13
- TypeSafe AI: Introducing System One Models and Jev
- DataCamp: Jev, TypeSafe’s System One model that never hallucinates
- Langfuse: Using TypeSafe’s Jev for evals (berichtet über den Test von Good Start Labs)
- VentureBeat: Companies are putting Jev in charge of AI agent decisions, and prompt injection can influence the verdict
- Lightfield: Testing TypeSafe Jev on text understanding
- Business Standard: What is Jev?
- The Rundown AI: TypeSafe launches Jev
- Startup Fortune: TypeSafe AI’s decision model Jev becomes Vercel’s fastest adopted launch
- Casanueva et al.: Datensatz Banking77 (CC BY 4.0)
- FitzGerald et al.: Datensatz MASSIVE (CC BY 4.0)
- Anthropic: Claude pricing








Leave A Comment