Discernment — capire quando il modello sta sbagliando

Discernment è la D più difficile del framework 4D di Anthropic. Un modello generativo produce testo plausibile anche quando inventa. Plausibile non vuol dire vero. Imparare a leggere l'output di un LLM con l'occhio del professionista — non quello del lettore distratto — è una competenza che si costruisce in mesi di pratica, non in un'ora. Questo articolo è la mappa che usiamo per insegnarla.

Discernment è anche la D che fa la differenza fra un uso amatoriale dell'AI e un uso professionale. Le persone che la sviluppano bene smettono di stupirsi di quello che il modello fa giusto: si concentrano su dove tipicamente sbaglia, e leggono ogni output con quella griglia in mente. È quello che vi proponiamo qui.

Cosa significa «il modello inventa»

Un modello generativo non «sa» cose nel senso in cui un umano le sa. Produce sequenze di parole che hanno alta probabilità di essere coerenti con il prompt e con tutto quello che ha visto in addestramento. Quando le parole più probabili corrispondono a qualcosa di vero, otteniamo una risposta corretta. Quando non corrispondono, otteniamo un'allucinazione: una sequenza che sembra vera, suona bene, è grammaticalmente impeccabile, ma è falsa.

Tre cose importanti da fissare:

• Le allucinazioni non sono «bug» che verranno sistemati al prossimo update. Sono una caratteristica strutturale dei modelli generativi. Migliorano con i modelli più recenti, ma non spariscono.
• I modelli non sannoquando stanno inventando. Non c'è un campanello d'allarme. La sicurezza con cui il modello afferma X è la stessa, indipendentemente dal fatto che X sia vero o falso.
• Le allucinazioni si concentrano in tipologie prevedibili di contenuto. Sapere quali sono è metà del lavoro di Discernment.

I sette tipi di allucinazione

Dopo tre anni di feedback dai nostri programmi, abbiamo distillato sette tipologie ricorrenti. Riconoscerle a colpo d'occhio è l'abitudine che salva il vostro nome.

1. Citazioni che non esistono

Il modello inventa riferimenti bibliografici, sentenze, articoli accademici, libri. La sintassi è perfetta — autore, titolo, anno, editore, pagine. La fonte non esiste, oppure esiste ma dice un'altra cosa. È la tipologia più documentata in letteratura (caso celebre: nel 2023 un avvocato di New York fu sanzionato per aver citato sentenze inventate da ChatGPT in una memoria depositata).

Come riconoscerla: ogni volta che il modello fornisce una citazione, controllatela. Se è un libro, cercatelo su un catalogo di biblioteca. Se è una sentenza, cercatela sull'archivio del tribunale. Se è un articolo accademico, cercatelo su Google Scholar. Sembra paranoia. Non lo è.

2. Numeri che «suonano» ma non quadrano

Statistiche, percentuali, dati finanziari, prezzi, popolazione, anni. Il modello produce numeri che sembrano plausibili in relazione al contesto ma sono inventati, o veri ma per un anno diverso, o relativi a un altro paese che ha un nome simile.

Come riconoscerla: per ogni numero che lasciate passare in un documento pubblico, dovete avere una fonte. Una regola che applichiamo: nessun numero non verificato esce dal nostro studio.

3. Riferimenti legali e normativi storpiati

Articoli di legge citati con numero sbagliato, regolamenti attribuiti all'anno errato, decreti che non sono mai stati adottati, sentenze datate con anno improbabile. Particolarmente rischioso nel dominio svizzero perché le norme cantonali, federali ed europee si intrecciano e il modello, addestrato prevalentemente su materiale anglofono, tende a applicare schemi statunitensi a situazioni svizzere.

Come riconoscerla: ogni riferimento normativo specifico va verificato su admin.ch (per la Svizzera) o EUR-Lex (per l'UE). Le regole generali («la nLPD impone un'informativa…») sono di solito affidabili; i riferimenti puntuali («articolo 17 paragrafo 3…») no.

4. Sintesi che cambiano una premessa

Il modello riassume un testo lungo e, nel farlo, sostituisce un'affermazione cauta del testo originale con una sua versione più assertiva. «Potrebbe» diventa «è». «Alcuni autori sostengono» diventa «è dimostrato che». Il messaggio finale ha un grado di certezza che il testo originale non aveva.

Come riconoscerla: nelle sintesi, prestate attenzione ai modali (potrebbe, dovrebbe, può) e alle attribuzioni. Quando una sintesi suona più sicura del testo originale, è sospetta. Spot-check a campione su tre o quattro passaggi del documento di partenza.

5. Argomentazioni costruite su una premessa falsa

Il modello sviluppa coerentemente un'argomentazione, ma la premessa di partenza è errata. Tutto quello che segue è logicamente impeccabile e fattualmente sbagliato. È la tipologia più subdola perché il lettore si concentra sul ragionamento — che fila — e non sulla base.

Come riconoscerla: leggete «all'indietro». Partite dalla conclusione e risalite alle premesse. Verificate che ogni premessa sia vera prima di accettare il filo del discorso. È un'abitudine controintuitiva ma molto efficace.

6. Omissioni significative

Spesso il problema non è quello che il modello scrive, ma quello che non scrive. Una valutazione di rischio che non menziona la categoria principale. Una sintesi che salta il paragrafo decisivo. Una proposta che omette il vincolo legale. Una comparazione di opzioni che dimentica l'opzione che il cliente ha esplicitamente chiesto di considerare.

Come riconoscerla: ponetevi sempre la domanda — cosa mancherebbe in questo documento se fosse l'unico che il decisore legge? Le omissioni si vedono solo se le cercate.

7. Sicurezza e tono autorevole su zone d'ignoranza

I modelli generativi sono mediamente più sicuri quando dovrebbero essere meno sicuri. Quando si chiede qualcosa che è genuinamente incerto (una previsione, una stima, un argomento controverso), il modello tende a fornire una risposta netta dove un esperto risponderebbe con «dipende».

Come riconoscerla: ogni volta che chiedete qualcosa di previsionale o speculativo e ricevete un' affermazione assertiva, attivate il sospetto. Aggiungete come riflesso: «Quali sono i limiti della tua risposta? Cosa cambierebbe se le mie assunzioni fossero diverse?» — il modello, sollecitato, articola l'incertezza che aveva smussato.

Tre lenti operative per leggere ogni output

Una volta interiorizzate le sette tipologie, l'abitudine operativa è applicare tre lenti rapide a ogni output sostantivo. Tre passaggi, due minuti per testo medio.

Lente 1 — fonti e numeri

Scorrere il documento cercando esplicitamente: citazioni, riferimenti, sentenze, numeri, statistiche, date. Per ciascuno, domandarsi: posso risalire alla fonte primaria?Se sì, farlo (o annotare per farlo dopo, se è una bozza intermedia). Se no, marcare come «da verificare».

Lente 2 — struttura argomentativa

Identificare la conclusione principale e la premessa più importante. Domandarsi: la premessa è vera? Il salto fra premessa e conclusione regge? Spesso il modello fa salti plausibili ma logicamente fragili — un buon Discernment li ferma.

Lente 3 — omissioni

Chiudere il documento e riaprirlo dopo trenta secondi. Domandarsi: cosa mi aspettavo di trovare e non c'è? Tre o quattro lacune comuni: un rischio che si vede a occhio, una controparte che andava menzionata, un vincolo che cambia il quadro. Le omissioni si vedono solo con questo gesto di stacco.

Quando il modello aiuta a fare Discernment su sé stesso

Un'abitudine che insegniamo nei nostri programmi e che molti sottovalutano: chiedere al modello di criticare il proprio output. Funziona meglio di quanto sembri. Tre pattern.

1. La verifica per ruolo

Dopo aver ottenuto un output, in una seconda richiesta: «Adesso fai finta di essere un avvocato esperto in contrattualistica svizzera. Leggi la risposta che hai appena dato e segnala due cose che andrebbero verificate prima di farla uscire dallo studio.» Il modello, nei panni del verificatore, spesso individua le sue stesse debolezze.

2. La caccia ai numeri

Per output con dati: «Elenca tutti i numeri citati nella tua risposta. Per ciascuno, indica se l'hai dedotto dal contesto che ti ho fornito, se è di tua memoria, o se è una stima. Etichetta espressamente.» I numeri etichettati come «di memoria» o «stima» sono quelli da verificare per primi.

3. Le omissioni esplicite

«Quali tre informazioni avresti voluto avere per fare una risposta migliore? Cosa hai dovuto assumere?» Spesso il modello rivela vincoli che vi era mancato di fornire — e che, una volta forniti, migliorano radicalmente la qualità della seconda iterazione.

Discernment cresce con il feedback collegiale

Una verità scomoda: Discernment non si impara leggendo. Si impara facendo, su casi reali, e con qualcuno che faccia notare quello che si è perso. Per questo la sessione Discernment nei nostri programmi è di solito la quarta o quinta — viene dopo il consolidamento di Delegation e Description — e si articola in tre tappe distribuite su sei settimane:

1. Settimana 1. Esercitazione collegiale: ogni partecipante porta un output reale prodotto da lui o lei con l'AI in quella settimana. Il gruppo lo critica con le tre lenti. Il formatore guida, non corregge.
2. Settimane 2-4. Esercizio individuale: 5 minuti alla fine di ogni output per applicare le tre lenti. Tracciamento informale: ogni volta che si trova un errore, si annota la tipologia. Dopo tre settimane si ha un proprio profilo di allucinazioni ricorrenti.
3. Settimana 6. Sessione di consolidamento. Si confrontano i profili, si identificano i pattern condivisi, si costruisce una checklist di Discernment specifica per il contesto del team.

Dopo questo percorso, le persone smettono di stupirsi quando trovano un'allucinazione. Inizia a sembrare normale — un'attività di routine, non un'eccezione. È il segno che Discernment è entrato nel mestiere.

Cosa si perde quando manca Discernment

Tre conseguenze tipiche del lavorare con l'AI senza Discernment maturo:

• Errori che escono dallo studio. Comunicazioni con dati sbagliati, contratti con clausole inventate, bozze interne che diventano definitive senza verifica. Una volta fuori, costano tempo, fiducia, talvolta denaro.
• Disillusione e abbandono.Le persone che ricevono critiche dai loro clienti per output AI-generati tendono a smettere di usare l'AI. La cura non è «modello migliore»: è Discernment.
• Decisioni prese su premesse inventate.La più insidiosa: una decisione strategica si fonda su un dato che il modello aveva «ricordato». Difficile da risalire, impossibile da recuperare se le cose vanno male.

Il passo successivo: Diligence

Discernment è la capacità di vedere gli errori. Diligence è l'abitudine di sistematizzare la verifica perché non dipenda dalla giornata. Una checklist personale per ogni tipologia di output che producete con l'AI — diversa per email, diversa per documenti tecnici, diversa per atti. Diligence è la quarta D e ne parliamo in Diligence — il ciclo di verifica che protegge il vostro lavoro. È il sigillo finale del framework 4D.