Se non vedi l'esecuzione, non stai davvero valutando l'agente.

Quando questo pattern manca, i segnali sono ricorrenti. I punteggi di qualità sembrano buoni ma i problemi arrivano comunque ai clienti. La spesa aumenta, però nessuno sa attribuire costi e guasti a uno specifico percorso eseguito dall'agente. I reviewer impiegano troppo tempo a ricostruire un run e spesso non capiscono se il problema era retrieval, planning, uso dei tool, policy o approvazione mancante. Non sono casi isolati: sono sintomi di una valutazione scollegata dall'esecuzione.

Questa urgenza deriva da P2 – Ensure that background work remains perceptible, P6 – Expose meaningful operational state, not internal complexity e P7 – Establish trust through inspectability.

Failure mode 1: Scoreboard Blindness. Il team guarda pass rate, latenza e costo, ma non conserva trace strutturate dei passaggi che hanno prodotto quel punteggio. Il risultato è falsa sicurezza: la dashboard è verde, però nessuno sa spiegare il run.

Failure mode 2: Chat-Log Audit Trap. Si usa la cronologia dei messaggi come audit trail. Così un lavoro multi-step viene schiacciato in una conversazione, e spariscono selezione dei tool, retry, transizioni di stato e ragioni dei blocchi. Quando qualcosa va storto, hai un transcript invece di una vista di sistema.

Failure mode 3: Flat Metric Theater. Si usa un unico score complessivo. In questo modo problemi diversi—planning errato, tool sbagliato, claim non supportati, approvazioni saltate, output mediocre—finiscono nello stesso numero e nessuno sa come intervenire.

Blueprint tratta questi problemi come pattern ricorrenti, non come errori occasionali. Il rimedio parte da P5 – Replace implied magic with clear mental models, P6 – Expose meaningful operational state, not internal complexity e P9 – Represent delegated work as a system, not merely as a conversation.

Il cambio di mental model è netto: smetti di chiedere solo "la risposta era buona?" e inizi a chiedere "quale lavoro è stato delegato, quale percorso ha seguito il sistema, in quale stato è arrivato, quali prove supportavano ogni passaggio e dove una persona avrebbe dovuto intervenire?" In questo modo la valutazione smette di essere solo controllo dell'output e diventa ispezione del sistema.

In pratica, Blueprint sostituisce uno score piatto con un framework di metriche su tre livelli:

1. Metriche di integrità dell'esecuzione — L'agente ha seguito il piano previsto, usato i tool corretti, mantenuto lo stato e completato i passaggi necessari?
2. Metriche di qualità dell'esito — Il run ha raggiunto l'obiettivo con output accurato, utile e conforme alle policy?
3. Metriche di governance e hand-off — Il sistema ha escalato, messo in pausa, chiesto approvazione o bloccato nel momento giusto?

Questa struttura chiude il belief-execution gap perché rende l'esecuzione visibile, revisionabile e azionabile. Inoltre rende operativo P8 – Make hand-offs, approvals, and blockers explicit.