Wil je minder betalen voor AI? Voeg er een model aan toe.
Het klinkt tegenstrijdig, maar in onze test nam beslismodel Jev een beslissing in 0,32 seconde. Het geteste taalmodel deed er 2,44 seconden over, en Jev was per aanroep bijna achttien keer goedkoper. Handelt Jev driekwart van de gevallen af en gaan alleen de twijfelgevallen naar het taalmodel? Dan zakken de kosten met bijna 70%. Of dat lukt zonder in te leveren op kwaliteit, is precies wat we nu onderzoeken.
De aanleiding is onze nieuwe applicatie. Sommige onderdelen laten AI keer op keer dezelfde soort beoordeling maken. Per beoordeling zijn de kosten klein, maar bij duizenden aanvragen lopen kosten en wachttijd snel op.
Het idee is een taakverdeling. Een gespecialiseerd model handelt de afgebakende vragen af; een taalmodel blijft beschikbaar voor gevallen die meer interpretatie vragen. Wat dat oplevert, hangt af van twee dingen: hoeveel werk de eerste stap zelfstandig afrondt, en hoe goed hij dat doet. Een goedkope beoordeling is weinig waard als iemand daarna fouten moet herstellen.
Een model dat niet praat, maar beslist
De introductie van Jev van TypeSafe was voor ons de aanleiding om dit te testen. Jev is een beslismodel: je geeft het context en gerichte vragen, en je krijgt keuzes, scores en waarschijnlijkheden terug.
Het interpreteert taal, maar schrijft zelf geen tekst. Voor software die alleen een categorie of score nodig heeft, is dat genoeg.
Jev is niet de enige. Inmiddels zijn er meer kandidaten, waaronder Clef van Cloudflare. Daarom zetten we meerdere opties naast elkaar, getest op onze eigen voorbeelden.
Proef op de som
We begonnen met één onderdeel van de applicatie. Jev, Clef Flash en Claude Haiku beoordeelden ieder 48 praktijkvoorbeelden, twee keer. Haiku kreeg een variant van onze bestaande prompt. In totaal waren dat 288 aanroepen.
De proef draaide volledig los van de bestaande verwerking: we verzamelden alleen de antwoorden en voerden niets door.
Dit waren de gemeten snelheid en geschatte API-kosten:
| Model | Mediane responstijd | Geschatte API-kosten per 1.000 aanroepen |
|---|---|---|
| Jev 1.13.0 | 0,32 seconde | $0,20 |
| Clef Flash | 0,68 seconde | $0,40 |
| Haiku 4.5 met onze promptvariant | 2,44 seconden | $3,56 |
Gemeten op 3 oktober 2026. Kosten zijn omgerekend vanuit het gerapporteerde verbruik en de geldende tarieven. Alle antwoorden tellen mee, ook antwoorden die onze controle afwees.
Jev was de snelste en goedkoopste: ruim zeven keer sneller dan Haiku en bijna achttien keer goedkoper per aanroep. Een eerlijke kanttekening: de modellen deden niet precies hetzelfde. De beslismodellen beantwoordden classificatievragen; Haiku schreef een uitgebreider voorstel met tekst. Dit zijn dus de kosten per aanroep, nog geen besparing op de hele werkwijze.
De rekensom van de combinatie
Interessant wordt het als je de modellen laat samenwerken:
Jev beoordeelt
Ieder geval wordt eerst door Jev beoordeeld.
De applicatie controleert
Is er voldoende informatie, passen de antwoorden bij elkaar en is verdere beoordeling nodig?
De LLM waar nodig
Alleen een deel gaat daarna nog naar de LLM.
Met onze gemeten kosten geeft dat de volgende rekenvoorbeelden:
| Werkwijze voor 1.000 gevallen | Geschatte API-kosten |
|---|---|
| Alles met de geteste LLM-variant | $3,56 |
| Alles eerst via Jev; 50% vervolgens naar de LLM | $1,98 |
| Alles eerst via Jev; 25% vervolgens naar de LLM | $1,09 |
In deze scenario's verdient Jev zichzelf terug: elke Jev-aanroep kost een fractie, en elk geval dat niet naar de LLM hoeft, scheelt de duurste stap. Maar dat werkt alleen als Jev genoeg werk wegneemt. Gaat alles alsnog naar de LLM, dan betaal je juist méér: ongeveer $3,76 in plaats van $3,56. En doorgestuurde gevallen krijgen de wachttijd van de eerste stap erbovenop.
Een extra model verlaagt de totale kosten zodra het genoeg werk weghaalt bij het duurdere model.
Dit zijn rekenvoorbeelden, geen gemeten besparing. We nemen aan dat een vervolgbeoordeling door de LLM evenveel kost als in onze proef. Menselijke controle, infrastructuur en herbeoordelingen zijn niet meegerekend, en andere prompts of het bundelen en hergebruiken van aanvragen kunnen de verhouding veranderen.
Wat we meenemen naar de volgende proef
De eerste proef leverde ook concrete lessen op voor de inrichting van onze applicatie:
Vaste regels horen in de software.
Een model herkende informatie soms correct, maar paste de bijbehorende bedrijfsregel niet goed toe.
Ieder onderdeel krijgt één taak.
Het beslismodel classificeert, de software past de regels toe, en een LLM of mens behandelt de onduidelijke en complexe gevallen.
Uitleg kan vaak via templates.
Vastgestelde feiten en beoordelingen vormen samen een begrijpelijk voorstel. De gebruiker geeft de uiteindelijke goedkeuring.
Antwoorden moeten bruikbaar zijn.
Onze controle wees 30 van de 96 Haiku-antwoorden af vanwege de antwoordstructuur. Dat zijn geen 30 bewezen inhoudelijke fouten, maar wel een reden om de aansluiting te verbeteren.
Het model blijft verwisselbaar.
Met vaste vragen en antwoordstructuren doorloopt elke nieuwe kandidaat dezelfde test. Overstappen vraagt wel opnieuw testen en afstellen.
De belangrijkste vraag staat nog open: hoeveel werk kan een beslismodel zelfstandig afhandelen? In deze proef ontbrak bevestigde context, waardoor alle uitkomsten van de beslismodellen alsnog langs een mens gingen. Ook zijn er nog te weinig gecontroleerde antwoorden om een kwaliteitswinnaar aan te wijzen.
Daarom wordt de volgende proef groter: 300–1.000 door mensen beoordeelde voorbeelden, met een apart gehouden eindtest. Daarmee vergelijken we de volledige werkwijze op kwaliteit, kosten, snelheid en benodigde correcties. Dan weten we hoeveel van de snelheids- en kostenwinst we echt kunnen benutten.
Wie de ontwikkelingen wil volgen, kan terecht bij de communitybenchmark Decision Index op Hugging Face. Een leuke illustratie van de taakverdeling is daarnaast de Rubik's Cube-race van AI/ML API op X, die verschillende typen modellen naast elkaar zet. Jev deed twintig zetten in twintig seconden, maar alleen Opus 5.5 loste de kubus op, in drie zetten: snel beslissen is iets anders dan vooruitdenken. Of de combinatie werkt, toets je uiteindelijk met je eigen praktijkvoorbeelden.
Werk je aan een applicatie met veel terugkerende AI-beoordelingen?
We denken graag mee over een praktische proef om snelheid, kosten en kwaliteit samen te vergelijken.
