Splits het werk op
Een plan maken en honderd records formatteren vragen iets anders. Beschrijf per taak de input, gewenste output en gevolgen van fouten. Gebruik een sterk redeneermodel voor moeilijke keuzes als de test dat rechtvaardigt. Eenvoudig, controleerbaar werk is een kandidaat voor een goedkoper model. Dit is een te testen verdeling, geen universele ranglijst.
Trek vooraf de kwaliteitsgrens
Bepaal wat een geldig resultaat is voordat je de antwoorden ziet. Bij formatteren kun je vereiste velden en aantallen controleren. Bij een plan leg je randvoorwaarden en ontbrekende beslissingen vast. Een tweede model kan helpen beoordelen, maar gebruik waar mogelijk ook een controle buiten het model.
Vergelijk dezelfde taak
Geef beide modellen dezelfde input en hetzelfde uitvoercontract. Noteer resultaat, duur, fouttype en hoeveel herstelwerk nodig was. Begin met een kleine vaste testset. Een goedkoper antwoord dat je drie keer moet herstellen kan duurder uitpakken dan een duurder antwoord dat direct bruikbaar is.
Meet kosten per bruikbaar resultaat
Tel modelaanroepen, retries en betaald toolgebruik mee. Noteer menselijke correctietijd apart. Gebruik actuele tarieven uit je providerrekening; deze gids belooft geen vast besparingspercentage. Kies het goedkoopste model dat jouw kwaliteitsgrens haalt, en bewaar de gevallen waarop het faalt voor de volgende test.
Maak fallback expliciet
Een fallback bij een providerfout is iets anders dan opschalen na inhoudelijk slechte output. Schrijf beide regels apart. OpenRouter ondersteunt model-fallbacks bij bepaalde foutcondities; dat vervangt je eigen kwaliteitscontrole niet. Laat vertrouwelijke input niet ongemerkt naar een andere provider gaan. Test de foutafhandeling met testdata.
Jouw werkblad
# Modeltestkaart Taak: [één terugkerende taak] Vaste invoer: [bestand + versie] Goed resultaat: [drie toetsbare eisen] | Proef | Model | Geldig resultaat? | Fouten | Kosten | Duur | | A1 | [model A] | [ja/nee] | [concreet] | [werkelijk] | [werkelijk] | | A2 | [model A] | [ja/nee] | [concreet] | [werkelijk] | [werkelijk] | | B1 | [model B] | [ja/nee] | [concreet] | [werkelijk] | [werkelijk] | | B2 | [model B] | [ja/nee] | [concreet] | [werkelijk] | [werkelijk] | Kosten per geldig resultaat = totale proefkosten / aantal geldige resultaten. Bij nul geldige resultaten: geen bruikbare uitkomst, niet delen door nul. Primaire route: [model + reden] Fallback bij technische fout: [model + foutconditie] Bij inhoudelijke twijfel: [menselijke controle]
STARTER
Maak het concreet.
Maak een routingkaart voor deze drie taken. Gebruik alleen mijn opgegeven modellen en tarieven. Definieer eerst per taak acceptatiecriteria. Vergelijk daarna de aangeleverde outputs op kwaliteit, retries, kosten en herstelwerk. Adviseer per taak een model en aparte regels voor providerfouten en onvoldoende kwaliteit. Vul ontbrekende cijfers in als onbekend.
Bronnen en verdieping
The AI Operator · M3.B.3, M3.B.4, M3.B.8, M3.G.6