Un esempio pratico
Per leggere preventivi in italiano usiamo lo stesso piccolo insieme di documenti e lo stesso schema di uscita. Annotiamo campi corretti, campi inventati, richieste non comprese e tempo totale. Includiamo un documento illeggibile, perché anche il rifiuto è un risultato utile.
Cosa verificare
- Conservare gli stessi input per ogni confronto.
- Valutare correttezza, latenza e memoria insieme.
- Includere casi fuori dal perimetro supportato.
Limiti da conoscere
Un benchmark pubblico non misura automaticamente il tuo flusso. Il modello vincente su una dimostrazione può fallire su abbreviazioni, scansioni e documenti del tuo settore.
Il modello più grande è sempre migliore?
No. È necessario confrontare gli esiti sullo stesso compito. Un modello più piccolo che rispetta i campi richiesti e risponde in tempo può essere più utile nel flusso previsto.