Un agente può produrre una chiamata a uno strumento perfettamente leggibile in una demo e comportarsi male non appena la risposta arriva a pezzi. Basta che un delimitatore venga spezzato tra due chunk, che un argomento resti incompleto o che un nome di funzione inesistente superi il confine tra modello e applicazione. Il problema non è soltanto ottenere JSON valido: è decidere quando un output è abbastanza completo da diventare un’azione.
Il 19 novembre 2026 NVIDIA ha pubblicato una guida ai parser per tool calling costruiti in Rust, con un repository di componenti riutilizzabili e un corpus di test di conformità. Il dettaglio interessante non è il linguaggio scelto. È l’idea che un parser vada giudicato sui suoi comportamenti ai confini, non sul numero di esempi felici che riesce a decodificare.
Il confine tra testo generato e operazione eseguibile
In un sistema con tool calling il modello produce token, non invocazioni già autorizzate. Un componente di frontend interpreta la sequenza e la trasforma in eventi ordinati: testo visibile, eventuale ragionamento e chiamate strutturate. Un adattatore può poi esporre questi eventi come risposta completa o come aggiornamenti in streaming. È la separazione descritta nella guida tecnica NVIDIA.
Questo passaggio sembra una trasformazione di formato, ma introduce una responsabilità operativa. Se il parser emette una chiamata prima che gli argomenti siano completi, l’applicazione rischia di agire su una versione provvisoria. Se trattiene troppo a lungo tutto il flusso, può restituire un risultato finale corretto e offrire comunque una pessima esperienza in streaming. Se interpreta come sintassi un esempio di markup presente nel testo, può confondere spiegazione e comando.
Il parser deve quindi avere una grammatica e una politica di recupero esplicite. Non dovrebbe inventare la parte mancante di una chiamata né correggere silenziosamente il nome di uno strumento per farlo coincidere con quelli disponibili. La correzione apparentemente intelligente può cancellare proprio l’evidenza necessaria a capire perché l’agente ha sbagliato.
Uno stream non coincide con una stringa completa
Immaginiamo una richiesta meteo per Parigi. Il modello inizia a emettere un delimitatore di tool call e un parametro città, ma il trasporto consegna prima “Par” e soltanto nel chunk successivo “is”. Durante il primo chunk non sappiamo se l’argomento terminerà correttamente. Lo stesso può accadere al delimitatore: una parte in un messaggio, il resto nel successivo.
Un test che fornisce al parser la risposta completa in un’unica stringa non esercita questa situazione. Per verificare la robustezza occorre riprodurre la stessa sequenza tagliandola in ogni posizione significativa: dentro un marker, tra virgolette con escape, in mezzo a un nome di funzione, in un argomento JSON e subito prima della chiusura. Il risultato finale deve restare coerente, ma non basta: anche l’ordine e il momento di emissione degli eventi contano.
NVIDIA suggerisce di provare chunk minuscoli, perfino di un carattere, e di interrompere volontariamente il flusso. È un’indicazione utile perché il trasporto reale non promette di rispettare i confini sintattici del formato generato. Se la correttezza dipende da come il network spezza i byte, il contratto del parser non è stabile.
C’è anche una distinzione importante tra la fine del trasporto e un segnale di fine sequenza confermato dal backend. Nell’API Rust documentata da NVIDIA, finish() gestisce la chiusura generale, mentre finish_at_eos() è riservato a un EOS effettivamente confermato. Trattare qualsiasi interruzione come una conclusione naturale significa perdere un’informazione decisiva.
I test GOLDEN servono a rendere discutibili le aspettative
Il progetto frontend-crates include un Conformance Corpus: fixture YAML che associano input specifici di un modello a un output atteso, chiamato GOLDEN. Casi condivisi della famiglia UNIFIED.* coprono chiamate complete, multiple, malformate, troncate e intercalate con testo. L’idea è confrontare comportamenti equivalenti anche quando le grammatiche dei modelli sono diverse.
Un test verde, però, dimostra soltanto che l’implementazione coincide con l’aspettativa registrata. Se l’aspettativa è sbagliata, la suite certifica un errore. Per questo la procedura NVIDIA prevede una revisione umana dei GOLDEN prima dell’implementazione e chiede di documentare le decisioni sulle regole di recupero. È una lezione applicabile ben oltre gli LLM: il test automatico non sostituisce la definizione del comportamento corretto.
Per un team che integra più modelli, il vantaggio non è inseguire la sintassi di ciascuno con una collezione di espressioni regolari. È poter formulare invarianti osservabili: nessuna chiamata duplicata, nessun argomento perso, nessun markup interno esposto come testo ordinario, nessuna chiamata inventata dopo un troncamento. Le fixture diventano un contratto ripetibile quando si aggiorna il modello, la libreria o il frontend.
Un parser affidabile non è quello che indovina cosa voleva dire il modello. È quello che conserva la distinzione tra ciò che ha ricevuto, ciò che può interpretare e ciò che l’applicazione è autorizzata a fare.
Parsing corretto non significa autorizzazione corretta
La distinzione più importante della guida è forse quella meno appariscente. Se il modello genera una chiamata a uno strumento che non era stato offerto, il parser deve riportare fedelmente ciò che ha ricevuto. Spetta al serving layer verificare disponibilità del tool, autorizzazioni, schema degli argomenti e policy di invocazione. Modificare il nome della funzione per farla passare non rende il sistema più robusto: sposta una decisione di sicurezza dentro un componente che dovrebbe limitarsi a interpretare.
Anche una chiamata sintatticamente valida e conforme allo schema può essere sbagliata rispetto alla richiesta dell’utente. Il parser non possiede il contesto sufficiente per garantire che l’azione sia appropriata. Sono livelli diversi: riconoscere un messaggio, validarne la forma, autorizzarne l’effetto. Mescolarli complica test, audit e diagnosi.
Questa separazione aiuta anche a ragionare sui sistemi agentici persistenti. Un output strutturato può essere registrato come evento, ma la decisione di eseguire un’operazione deve passare da controlli espliciti e, dove necessario, da un lease o da un meccanismo di idempotenza. È un principio architetturale, non una funzionalità che NVIDIA dichiari di fornire automaticamente con il parser.
La suite di conformità non è ancora una prova di produzione
Un corpus di fixture serve a trovare regressioni di correttezza. Non misura da solo latenza, uso della memoria o comportamento sotto pressione. NVIDIA raccomanda benchmark su input lunghi, malformati e suddivisi in chunk differenti, osservando throughput, tempo al primo evento e memoria. Raddoppiare la lunghezza dell’input può mettere in evidenza implementazioni che ricopiano o riesaminano continuamente il buffer.
Serve inoltre verificare un consumer lento, la cancellazione e la backpressure. Un parser può preservare il risultato finale e tuttavia accumulare eventi senza limiti, ritardare la prima risposta o gestire male l’interruzione. Sono difetti che emergono quando il componente viene inserito in un servizio reale, non necessariamente durante i test locali.
Il tutorial NVIDIA distingue esplicitamente l’esecuzione delle fixture su CPU dai test end-to-end con modello e runtime reali. Un report di conformità locale non autorizza quindi a dichiarare che una determinata combinazione di modello, backend e hardware sia pronta per il deployment. Per arrivarci occorre eseguire il percorso completo, misurare e trasformare ogni difetto riproducibile in una regressione.
Una checklist concreta prima di collegare strumenti reali
Prima di dare a un agente accesso a operazioni che modificano dati, controllerei cinque proprietà. Primo: lo stesso output produce gli stessi eventi indipendentemente dai confini dei chunk. Secondo: la chiusura anticipata non genera chiamate inventate o duplicate. Terzo: nomi e argomenti non vengono riparati di nascosto. Quarto: la validazione degli strumenti resta separata dall’interpretazione della sintassi. Quinto: i test di conformità sono accompagnati da misure di latenza, memoria e comportamento sotto cancellazione.
Per chi sta progettando un sistema con più strumenti, vale anche la pena distinguere il costo di descrivere i tool al modello dal costo di interpretarne l’output. Sono problemi collegati, ma diversi: ne ho discusso anche nell’articolo su Tool Retrieval di Gemini e gli schemi degli agenti. Ridurre i token di un prompt non risolve i difetti del parser, così come un parser impeccabile non garantisce che l’agente scelga lo strumento giusto.
Il punto operativo è semplice: non basta vedere una tool call funzionare in una dimostrazione. Occorre sapere che cosa succede quando l’output è parziale, quando il formato è ambiguo e quando il modello chiede un’azione non consentita. È lì che il tool calling smette di essere una demo e diventa un componente software da mantenere.
Domande frequenti
Perché una tool call valida in JSON può essere comunque pericolosa?
La validità sintattica non garantisce che il tool sia disponibile, autorizzato o appropriato. Questi controlli spettano al serving layer, separato dal parser.
Come si testa un parser di tool calling in streaming?
Si riproducono gli stessi input con tagli in punti diversi, anche dentro marker e argomenti, e si verificano eventi, ordine, troncamenti e assenza di chiamate duplicate.
Che cosa sono i test GOLDEN?
Sono fixture che associano un input a un output atteso. Aiutano a rilevare regressioni, ma gli output attesi vanno revisionati: un test verde non dimostra che l’aspettativa sia corretta.
Un test di conformità basta per usare il parser in produzione?
No. Occorrono anche test end-to-end con modello e runtime reali, misure di latenza e memoria, e prove di cancellazione e backpressure.
