Da cinque appunti deve nascere una breve nota di conversazione. Occorre davvero usare il modello linguistico più grande disponibile per ogni richiesta? Spesso conviene prima delimitare bene il compito e provare un modello più piccolo.
Il risultato desiderato sta in poche righe.
Una telefonata fittizia viene registrata con questi appunti: «La cliente chiede la data di consegna, il preventivo è disponibile, chiarimento interno ancora aperto, risposta domani». Il messaggio deve riassumere il contenuto in modo comprensibile. Non deve inventare una data di consegna né trasformare gli appunti in un ordine o in una promessa di prezzo.
Per questo compito contano completezza, corretta attribuzione e gestione delle informazioni mancanti. Un ragionamento particolarmente esteso o una grande finestra di contesto possono comportare lavoro aggiuntivo senza rendere la nota più utile.
Prima i criteri di accettazione, poi la scelta del modello.
Il campione di prova non contiene soltanto esempi ben scritti. Include abbreviazioni, refusi, indicazioni temporali contraddittorie e referenti mancanti. Per ogni esempio è definito quali elementi possono essere ripresi e quando serve chiedere chiarimenti.
Un modello più piccolo è adatto se soddisfa questi requisiti in modo affidabile. Altrimenti si cerca la causa: input poco chiaro, preparazione inadeguata, validazione mancante oppure capacità del modello davvero insufficiente. Un modello più grande può aiutare, ma non è la risposta più economica a ogni errore.
Un router controllato può trattare i compiti in modo diverso.
Una breve nota di conversazione può seguire un percorso di elaborazione diverso da un’analisi contrattuale complessa o da una revisione del codice. La scelta considera le esigenze di protezione, i fornitori approvati, la qualità e il tempo di risposta. Se il risultato è insufficiente, seguono una richiesta di chiarimento o un’escalation definita.
Un modello di riserva non deve causare un nuovo trasferimento di dati non consentito. La verifica specialistica e i limiti di budget restano validi anche quando l’API scelta inizialmente non è raggiungibile.
Il prezzo dei token è soltanto una voce del conto.
Una chiamata economica può diventare costosa se i dipendenti devono correggere spesso i risultati. Viceversa, un modello più costoso può essere conveniente nel complesso se conclude un’attività impegnativa con molte meno correzioni. Si confronta lo stesso compito con gli stessi requisiti di qualità.
- Utilizzo
- Consumo di input e output, ulteriori chiamate agli strumenti e ripetizioni necessarie.
- Qualità
- Quota di risultati effettivamente utilizzabili e conseguenze degli errori sostanziali critici.
- Correzioni
- Tempo per verifica, correzione, richieste di chiarimento e nuova elaborazione.
- Esercizio
- Integrazione, monitoraggio, aggiornamenti, limiti e gestione dei guasti.
Anche gli input possono essere migliorati.
Per la nota si trasmettono gli appunti necessari, non preventivamente l’intera cronologia del cliente. Un formato di output chiaro agevola la verifica. Se il servizio lo supporta, le parti ricorrenti dell’input possono beneficiare del prompt caching. Occorre misurare se si verifica un hit nella cache e quale effetto produce.
L’elaborazione batch asincrona è un’altra possibilità per i compiti che non richiedono una risposta immediata. È più adatta, ad esempio, a una raccolta di documenti già preparata che a una nota necessaria durante la conversazione.
Una tariffa fissa già disponibile non rende gratuita l’attesa.
Le quote già pagate possono influire sulla decisione. Input superflui, correzioni umane e capacità occupata restano comunque rilevanti. Un’architettura economica misura il costo per attività completata con successo e lo rivaluta dopo cambiamenti di modello o prodotto.
La pagina specialistica Ottimizzazione dei costi dell’IA spiega instradamento dei modelli, gateway e infrastruttura locale. Per inquadrare i processi completi, Script, workflow o agente di IA? integra la decisione.
Fonti: OpenAI: ottimizzazione dei costi · OpenAI: prompt caching · OpenAI: elaborazione batch. Nessuna promessa generalizzata di risparmio o di prezzo.
