Rendi sicuri gli agenti mostrando fiducia, memoria e approvazioni
Gli agenti assorbono memoria avvelenata, riusano l'esperienza sbagliata, obbediscono a prompt avversariali. La soluzione: fiducia, memoria e flussi di approvazione che l'operatore può ispezionare, non inferire.
Fatti chiave
- Best fit
- Team che rilasciano browser agent, agenti di ricerca, copiloti con memoria e workflow multi-tool
- Primary risk
- Violazioni silenziose dei confini di fiducia causate da memory injection, experience grafting e prompt avversari
- Core shift
- Solo hardening del prompt → sistema di lavoro ispezionabile con gate di approvazione
- Success signal
- Ogni lettura, scrittura e azione rischiosa mostra provenienza, livello di rischio e stato di approvazione
- Doctrine mapping
- P4, P7, P8, P10
Una sicurezza che il tuo team può davvero verificare
I guasti più seri degli agenti non nascono più da una singola risposta errata. Nascono da traiettorie sbagliate: una nota salvata in memoria da una fonte non affidabile, un’eccezione umana riutilizzata come regola generale, oppure una pagina recuperata che cambia il piano senza farsi notare. Questa guida ti mostra come progettare trust inspection, progressive disclosure e approval gate in modo che il tuo team possa vedere cosa l’agente ha imparato, perché vuole agire e dove serve un intervento umano. Written by the AI Design Blueprint editorial team. Doctrine grounded in the 10 Blueprint Principles.

Quali anti-pattern di sicurezza degli agenti AI dovresti sostituire?
Usa P4 – Apply progressive disclosure to system agency, P7 – Establish trust through inspectability e P9 – Represent delegated work as a system, not merely as a conversation per sostituire abitudini fragili da chat con comportamento di sistema governato.
- Anti-pattern
- Difesa basata solo sul prompt
- Pattern Blueprint
- Mappa dei confini di fiducia con gate di approvazione su lettura, scrittura ed esecuzione
- Anti-pattern
- Scritture in memoria senza etichette
- Pattern Blueprint
- Memoria con provenienza, revisore, ambito, scadenza e stato di fiducia
- Anti-pattern
- Transcript della chat come unico audit trail
- Pattern Blueprint
- Trace strutturato su fonti, memoria, tool, decisioni e approvazioni
- Anti-pattern
- Un solo tasto di approvazione per tutto
- Pattern Blueprint
- Approvazioni differenziate per rischio, attraversamento di fiducia e reversibilità
- Anti-pattern
- Dump completo degli internals a ogni run
- Pattern Blueprint
- Progressive disclosure: prima riepilogo, poi evidenze, trace completo solo su richiesta
- Anti-pattern
- Blocco senza spiegazione
- Pattern Blueprint
- Stato di blocker esplicito con approvazione, fonte o condizione mancante
Quale prova reale mostra che la sicurezza degli agenti AI funziona?
Scenario illustrativoQuesti trace mostrano P7 – Establish trust through inspectability e P8 – Make hand-offs, approvals, and blockers explicit in azione.
Team used a research agent with persistent notes and browser tools. Agent attempted to promote instructions hidden in a vendor help page into long-term memory and then reuse them as standing policy on the next run. System blocked because the content arrived from an untrusted retrieval source, carried no approved provenance tag, and crossed a write boundary that required Tier 2 review before memory could persist.
Team used a sales-ops agent that learned from prior approvals. Agent attempted to treat a one-off exception for a discounted contract as a reusable experience and apply it to a new account, then queue the change for signature. System escalated because the prior approval was context-bound, the new customer exceeded the pricing threshold, and the approval gate exposed the mismatch before any external action fired.
Cosa chiedono i team sulla sicurezza degli agenti AI?
Le risposte qui sotto si basano su P5 – Replace implied magic with clear mental models, P7 – Establish trust through inspectability e P8 – Make hand-offs, approvals, and blockers explicit.
Cosa puoi fare oggi per la sicurezza degli agenti AI?
Imposta il rollout su P7 – Establish trust through inspectability e P8 – Make hand-offs, approvals, and blockers explicit.
- Elenca tutti i punti in cui l’agente può ricevere istruzioni: input utente, retrieval, memoria, output dei tool e note di revisione umana.
- Etichetta ogni fonte come trusted, reviewable oppure untrusted.
- Aggiungi campi di provenienza a ogni scrittura in memoria e a ogni esperienza riutilizzabile.
- Definisci regole Tier 1, Tier 2 e Tier 3 per azioni di lettura, scrittura ed esecuzione.
- Progetta una vista di riepilogo di default con evidenze espandibili e trace completo.
- Esegui test con prompt nascosti nelle pagine, memorie avvelenate e approvazioni una tantum riusate fuori ambito.
Principi di riferimento