Il chatbot parla per la tua azienda. Anche quando sbaglia

AI / IMPRESA / RESPONSABILITÀ

Se metti una persona al banco informazioni della tua azienda e quella persona promette a un cliente qualcosa che non esiste, difficilmente la risposta seria può essere: «non prendertela con noi, ha parlato lui». Con un chatbot, per qualche motivo, abbiamo provato a convincerci che la faccenda potesse funzionare diversamente.

È una delle distorsioni più interessanti introdotte dall’intelligenza artificiale nelle aziende. Il software parla con la voce dell’impresa, ma quando sbaglia siamo tentati di trattarlo come un soggetto esterno. Lo abbiamo scelto, configurato, collegato al nostro sito e messo davanti ai nostri clienti; però, appena produce una risposta falsa, diventa improvvisamente «l’AI».

Due casi, a distanza di due anni e in ordinamenti diversi, rendono questa scorciatoia molto meno comoda. Il primo è ormai famoso: Moffatt v. Air Canada, deciso nel 2024 dal Civil Resolution Tribunal della British Columbia. Il secondo è più recente: il 12 maggio 2026 l’Oberlandesgericht Hamm, in Germania, ha attribuito all’azienda le dichiarazioni fuorvianti generate dal chatbot presente sul suo sito.

Se deleghi a una macchina il diritto di parlare a nome della tua azienda, hai automatizzato la conversazione. Non hai automatizzato via la responsabilità.

Air Canada e il tentativo di separare il bot dall’azienda

Nel caso canadese un passeggero aveva chiesto al chatbot di Air Canada informazioni sulle tariffe per lutto. Il sistema gli aveva indicato che avrebbe potuto acquistare il biglietto e chiedere successivamente l’applicazione della tariffa ridotta. La policy reale diceva il contrario. Il cliente si fidò della risposta, acquistò il viaggio e si vide poi negare il rimborso.

Il passaggio interessante non è l’errore del chatbot. Quello, tecnicamente, è quasi banale: sistemi generativi possono produrre informazioni scorrette. È interessante la difesa. Il tribunale descrisse la posizione di Air Canada come se il chatbot fosse un’entità separata responsabile delle proprie azioni e la respinse. Per il tribunal member Christopher Rivers il chatbot era parte del sito dell’azienda; Air Canada era responsabile delle informazioni pubblicate lì, indipendentemente dal fatto che arrivassero da una pagina statica o da un’interfaccia conversazionale. Il risultato fu una condanna per negligent misrepresentation e un risarcimento complessivo di 812,02 dollari canadesi tra danni, interessi e spese.

È importante non trasformare quel caso in una legge universale sull’AI. Si tratta di una decisione di un tribunale per controversie civili della British Columbia, dentro uno specifico quadro giuridico e fattuale. Ma il ragionamento operativo è difficile da ignorare: dal punto di vista del cliente, il chatbot non è un laboratorio esterno. È un’interfaccia che l’azienda ha scelto di mettere sul proprio dominio per rispondere alle sue domande.

Nel 2026 la Germania rende il principio ancora più concreto

Il caso tedesco sposta il problema dalla tariffa a qualcosa di ancora più delicato: le qualifiche professionali. Un’azienda che offre trattamenti di medicina estetica aveva integrato sul proprio sito un chatbot capace di rispondere in tempo reale e consentire la prenotazione di appuntamenti. Il bot attribuì ai due medici qualifiche specialistiche che non possedevano; alcune delle denominazioni generate non esistevano neppure come titoli specialistici.

L’OLG Hamm ha trattato quelle risposte come atti commerciali dell’impresa e le ha considerate dichiarazioni fuorvianti. Secondo la ricostruzione della IHK Chemnitz, non è bastato sostenere che il sistema fosse stato alimentato con dati corretti: l’uso di un chatbot non faceva sparire la responsabilità dell’operatore per ciò che veniva comunicato ai clienti.

Anche qui serve precisione. La sentenza riguarda il diritto tedesco della concorrenza e specifiche affermazioni commerciali; non significa che ogni errore di ogni AI produca automaticamente lo stesso tipo di responsabilità in qualunque paese. Ma mostra una direzione molto concreta: quando il chatbot è inserito nella comunicazione commerciale dell’impresa, l’autonomia tecnica del modello non lo trasforma magicamente in un terzo estraneo.

Il vero errore è confondere autonomia tecnica e autonomia organizzativa

Qui secondo me c’è il punto più utile per chi progetta sistemi aziendali. Un modello può essere tecnicamente autonomo nella generazione della singola frase senza essere organizzativamente autonomo. Non ha deciso lui di comparire sul sito. Non ha firmato il contratto con il fornitore. Non ha scelto quali documenti indicizzare, quali azioni poter eseguire, quando rispondere senza supervisione e quando passare la conversazione a un essere umano.

Quelle sono decisioni dell’azienda.

La distinzione è la stessa che uso quando ragiono di sicurezza degli agenti AI e enforcement: non puoi affidare al componente che vuoi controllare anche la definizione dei suoi confini. Con un chatbot customer-facing il problema si allarga. Non basta chiedere al modello di «non inventare». Devi progettare quali affermazioni può fare, da quali fonti può ricavarle e che cosa succede quando non possiede evidenza sufficiente.

Un disclaimer non è un’architettura

La risposta più pigra è mettere sotto la chat una frase del tipo «l’AI può commettere errori». È utile come trasparenza, ma non risolve il problema operativo. Se il sistema può promettere rimborsi, descrivere condizioni contrattuali, attribuire qualifiche professionali o guidare un acquisto, dire contemporaneamente al cliente che forse ciò che legge è falso produce un servizio piuttosto curioso: l’azienda automatizza la risposta e trasferisce sul cliente il lavoro di verificarla.

Nel caso Air Canada il tribunale non accettò proprio l’idea che il cliente dovesse scoprire, navigando altrove nel sito, quale delle due informazioni aziendali fosse quella giusta. È un dettaglio che dovrebbe interessare molto più della parola «hallucination». Il problema non era soltanto che il modello avesse sbagliato. Era che l’architettura aveva creato due fonti aziendali contraddittorie e pretendeva che fosse il cliente a risolvere il conflitto.

Un chatbot aziendale non dovrebbe essere misurato su quante domande riesce a chiudere da solo. Dovrebbe essere misurato anche su quante volte sa riconoscere che non ha l’autorità per rispondere.

L’AI cambia il punto in cui dobbiamo mettere il controllo

Con un operatore umano il controllo passa da formazione, procedure, supervisione e responsabilità organizzativa. Con un chatbot dobbiamo tradurre quegli stessi concetti in architettura. Una policy critica non dovrebbe essere ricostruita liberamente dal modello se può essere letta da una sorgente canonica. Una risposta ad alto impatto dovrebbe poter citare la regola che la sostiene. Una domanda fuori perimetro dovrebbe produrre escalation, non creatività.

In pratica significa almeno quattro cose. Primo: separare la conoscenza informativa dalle decisioni che impegnano l’azienda. Secondo: usare fonti canoniche versionate per prezzi, rimborsi, condizioni e qualifiche. Terzo: registrare le conversazioni necessarie a ricostruire un incidente, rispettando ovviamente privacy e retention. Quarto: definire soglie oltre le quali il bot deve smettere di essere brillante e diventare prudentemente noioso.

È lo stesso passaggio che abbiamo già visto con gli agenti capaci di agire. In L’AI non è più un chatbot: ora il software agisce il problema era spostare il controllo da una sequenza di conferme umane a policy, capacità e verifiche. Qui il principio è analogo: se automatizzi la voce dell’impresa, devi spostare il controllo dalla revisione di ogni singola frase alla progettazione del perimetro entro cui quella voce può parlare.

Il fornitore del modello non è il tuo reparto assistenza

C’è poi una conseguenza meno comoda. Le aziende acquistano sempre più spesso chatbot e agenti come servizio. Questo crea una catena tecnica di fornitori, modelli, piattaforme e integrazioni. Ma il cliente finale vede il nostro logo, il nostro dominio e il nostro processo.

Un’analisi di Clifford Chance sui contratti per agentic AI osserva che molti accordi tecnologici continuano a scaricare sul cliente del servizio una parte rilevante del rischio operativo, mentre limitano le garanzie del fornitore sull’accuratezza dell’output. È esattamente il tipo di asimmetria che un’impresa deve leggere prima di mettere un agente davanti ai propri clienti, non dopo il primo incidente.

Questo non significa che il vendor non possa avere proprie responsabilità. Significa che la relazione con il cliente e quella con il fornitore sono due piani diversi. Se il mio sistema promette qualcosa a un cliente, non posso progettare la governance partendo dalla speranza che, in caso di errore, qualcun altro nella supply chain se ne assuma automaticamente il costo.

La domanda da fare prima di mettere online un chatbot

Per anni la domanda è stata: «quanto ci fa risparmiare l’assistenza automatica?». È una domanda legittima, ma incompleta. La domanda più interessante è: quale autorità stiamo delegando al sistema quando gli permettiamo di rispondere al posto nostro?

Se può soltanto indicare dove trovare un manuale, il rischio è un certo tipo di rischio. Se può spiegare un contratto, promettere una condizione commerciale, qualificare un professionista, accettare una modifica o avviare una transazione, stiamo delegando qualcosa di molto diverso. La tecnologia può sembrare la stessa finestra di chat, ma l’architettura organizzativa non lo è affatto.

Ed è qui che l’AI influenza davvero le aziende: non perché improvvisamente «pensa» al posto nostro, ma perché ci costringe a rendere esplicite responsabilità che prima erano incorporate nelle persone e nei processi. Chi può parlare? Su quali fatti? Con quale autorità? Con quale evidenza? E chi risponde quando quella voce sbaglia?

Possiamo continuare a chiamarlo chatbot, copilota, agente o assistente. Il nome cambia poco. Se lo mettiamo a rispondere al posto nostro, per il cliente sta parlando la nostra azienda. Progettare tutto il resto facendo finta del contrario è probabilmente la parte meno intelligente dell’intelligenza artificiale.