In un suo recente articolo pubblicato sull’Espresso, Carlo Cottarelli richiama con forza la necessità di misurare i risultati della pubblica amministrazione.

“…un passo necessario per aumentare il ruolo del merito nel nostro Paese sarebbe quello di misurare in modo sistematico i risultati ottenuti dalle varie pubbliche amministrazioni…..se vogliamo premiare i meritevoli – non necessariamente i singoli dipendenti pubblici, ma anche i gruppi di dipendenti pubblici e quindi le relative organizzazioni (un Comune, una scuola, un ospedale) – occorre misurare la quantità e la qualità dei servizi forniti

Questa misurazione dei risultati è, però, necessaria indipendentemente dalla specifica finalità di premiare chi fa bene il proprio lavoro. Misurare i risultati ottenuti serve anche a capire se un certo programma di spesa è utile o meno, oppure se è sotto o sovra-finanziato.

Insomma, per tutti questi motivi la misurazione dei risultati dovrebbe essere prioritaria nel settore pubblico. Purtroppo, invece, non lo è.”

Naturalmente condividiamo queste affermazioni. Se non si misura quello che si sta facendo e quello che si ottiene con il nostro “fare”, diventa assai complicato riuscire a migliorarsi e correggere i propri errori. E’ una regola generale che vale per tutti, in ogni contesto lavorativo e di vita, non solo per le pubbliche amministrazioni.

L’invocazione alla “misurazione” però non basta. Rischia anzi di diventare un mantra un po’ fine a se stesso, se non si va oltre nel ragionamento e non si sposta verso l’alto l’asticella. Vediamo perchè.

La storia dei tentativi compiuti è molto lunga
L’idea che le pubbliche amministrazioni debbano misurare i propri processi lavorativi, insieme alla quantità e la qualità dei servizi erogati, non è nuova. Si tratta di un’idea messa più volte al centro di interventi legislativi e di riforme, più o meno incisive, del settore pubblico.

Senza voler tornare ancora più indietro nel tempo, già nei primi anni Novanta la riforma Cassese (con il famoso decreto legislativo n. 29 del 1993, dal titolo “Razionalizzazione dell’organizzazione delle amministrazioni pubbliche e revisione della disciplina in materia di pubblico impiego”) aveva introdotto il tema della misurazione nelle pubbliche amministrazioni.

Questo tema venne ripreso qualche anno dopo, nel 1999, in modo più mirato, da un altro decreto legislativo: il n. 286 dal titolo “Riordino e potenziamento dei meccanismi e strumenti di monitoraggio e valutazione dei costi, dei rendimenti e dei risultati dell’attivita’ svolta dalle amministrazioni pubbliche“. All’epoca questo secondo atto normativo, conosciuto con l’evocativo soprannome di “decreto sui controlli”, apparve a molti come un fondamentale momento di passaggio verso il largo impiego della misurazione nella pubblica amministrazione nelle sue diverse forme: controllo di regolarità contabile, controllo di gestione, controllo strategico, valutazione della dirigenza.

Dopo circa dieci anni venne approvata la Riforma Brunetta (decreto legislativo n. 150/2009) che dette vita alla Commissione per la valutazione, la trasparenza e l’integrità delle amministrazioni pubbliche (CIVIT), diventata poi Autorità Nazionale Anticorruzione e per la valutazione e la trasparenza delle Amministrazioni Pubbliche.

Più recentemente, un altro decreto, il n. 80 del 2021 sempre a firma del Ministro Brunetta, “per assicurare la qualita’ e la trasparenza dell’attivita’ amministrativa e migliorare la qualita’ dei servizi ai cittadini e alle imprese e procedere alla costante e progressiva semplificazione e reingegnerizzazione dei processi anche in materia di diritto di accesso“, ha introdotto il Piano Integrato di Attività e Organizzazione (PIAO). Tutti gli enti pubblici con più di 50 dipendenti devono adottarlo. Anch’esso viene descritto nel Portale ufficiale PIAO come lo strumento che “permette all’Italia di compiere un altro passo decisivo verso una dimensione di maggiore efficienza, efficacia, produttività e misurazione della performance“.

Contemporaneamente, in tutti questi anni, sono maturate anche numerose esperienze di revisione della spesa pubblica (o spending review che dir si voglia). Si fondavano, o avrebbero dovuto fondarsi, sulla misurazione dei risultati dei vari programmi d’intervento pubblico.

Senza contare poi altre importanti iniziative, come l’introduzione dell’analisi d’impatto della regolazione (AIR), nata dalla Legge n. 50 del 1999, e della valutazione d’impatto della regolazione (VIR), disciplinata con la successiva Legge n. 246 del 20051. Anch’esse logicamente fondate su misurazioni tese a dare una rappresentazione di ciò che dovrebbe accadere, o di ciò che è accaduto, in seguito all’approvazione di una nuova norma.

Ovviamente l’elenco delle esperienze di misurazione potrebbe continuare, facendo riferimento ad ambiti più specifici, legati a determinati settori d’intervento (sanità2, scuola, lavoro, imprese, giusto per citarne alcuni), oppure a differenti contesti istituzionali, o ai diversi livelli di governo.

Difficile dunque affermare che al tema della “misurazione” non sia stata dedicata adeguata attenzione da un punto di vista legislativo e amministrativo. O che al varo delle riforme non siano seguiti tentativi di darvi attuazione, persino con la nascita di nuovi organi, funzioni, istituti, strumenti ed uffici.

Infine, aggiungiamo pure che, grazie alla diffusione dei processi di informatizzazione e al largo impiego della tecnologia digitale, esiste oggi una quantità di numeri sull’attività della pubblica amministrazione che in precedenza era impensabile.

Eppure, nonostante tutto ciò, resta pressoché intatta e in buona misura giustificata l’insoddisfazione rispetto alla produzione di misure e all’uso che di queste viene fatto per migliorare la qualità della pubblica amministrazione. Tanto da lamentarne appunto la mancanza (anche quando queste sono già disponibili o sono comunque facilmente a portata di mano). Ma allora che cosa manca davvero?

Anche la lista delle mancanze è lunga
La lista delle mancanze rischia di essere molto lunga. Nel 2011 Alberto Martini e Ugo Trivellato pubblicarono un volume dal titolo “Sono soldi ben spesi? Perchè e come valutare l’efficacia delle politiche pubbliche?”. Buona parte del volume è dedicata ad una disamina delle principali carenze che avevano caratterizzato fino a quel momento le esperienze amministrative di misurazione e di valutazione maturate in Italia. Nonostante siano trascorsi 12 anni, ci pare che la lista delle carenze – e dei suggerimenti proposti dagli autori per tentare di superarle – resti valida ancora oggi. Rinviamo alla lettura di quel volume, chi abbia voglia di approfondire la questione.

In questo post ci limitiamo a mettere in evidenza quelle che, secondo noi, sono le tre mancanze di maggior rilievo. Quel che manca è….

(1) …definire chiaramente cosa dovrebbe accadere dopo la misurazione
Il problema non è la mancanza di misure, ma la forza delle motivazioni che stanno alla base della misurazione. Se non si ha chiaro perchè si misura, ovvero quale precisa decisione dovrebbe seguire all’analisi delle misure prodotte, tutto rischia facilmente di tradursi in uno sterile esercizio di compilazione, raccolta e archiviazione dati.

Citare genericamente “il miglioramento dell’efficacia e dell’efficienza dell’azione pubblica” come motivazione fondamentale porta poco lontano; occorre piuttosto prefigurare nello specifico cosa accadrà, in termini decisionali, nel momento in cui si verifica che una certa misura – esattamente quella misura di cui ci stiamo occupando – diverge dalle aspettative. Se questo passaggio non viene esplicitato fin dall’inizio, è molto probabile che esso resterà incompiuto, togliendo valore all’intera attività.

Solitamente sono pochi a dedicare la giusta attenzione alla cura dell’ultimo miglio, quello che separa il luogo della misurazione e dell’analisi da quello del dibattito pubblico e della decisione. Ma è proprio quell’ultimo miglio a fare tutta la differenza.

(2) …puntare in modo deciso alla valutazione degli effetti
Sebbene sembrino un po’ la stessa cosa, esiste una differenza sostanziale tra “misurare i risultati” e “valutare gli effetti” dell’azione pubblica. La prima è un’espressione un po’ generica che può abbracciare diversi tipi di analisi che hanno in comune l’osservazione degli esiti di un certo intervento. La seconda mira a verificare l’esistenza (e l’entità) di una relazione causale tra l’intervento pubblico e il fenomeno sul quale si intende incidere.

Un esempio può chiarire questa differenza. Si possono misurare i risultati di un corso di formazione professionale per persone disoccupate, verificando quante tra queste hanno trovato lavoro dopo un anno dal termine del corso. Immaginiamo che quel numero sia il 50%. Si tratta di una misura certamente importante, che però – se presa da sola – non ci dice alcunché sulla capacità del corso di aumentare le chance occupazionali dei partecipanti. Affinché questa misura ci consenta di argomentare qualcosa sull’utilità del corso occorre ricostruire che cosa sarebbe successo alle persone partecipanti in assenza della formazione (situazione controfattuale). In quanti avrebbero trovato lavoro comunque, pur non avendo partecipato al corso?

Se la risposta fosse il 50%, significherebbe che il corso non ha prodotto alcun effetto sulla probabilità di trovare lavoro. Se la risposta fosse il 25%, significherebbe che il corso ha addirittura raddoppiato tale probabilità. L’esito osservato sui partecipanti è il medesimo (50% di occupati), ma la conclusione diverge in modo radicale grazie alla ricostruzione della situazione controfattuale. Senza questo termine di confronto, la mera misurazione dell’esito della formazione – la percentuale di occupati tra i partecipanti al corso – non serve dunque a molto. Certamente non “a capire se un certo programma di spesa è utile o meno, oppure se è sotto o sovra-finanziato“, per citare l’articolo di Cottarelli.

Rispondere dunque a questo tipo di domande (che cosa sarebbe successo se l’intervento non avesse avuto luogo?) è la sfida cognitiva che sta alla base della valutazione controfattuale degli effetti. Una sfida che molto spesso non viene affrontata dalla pubblica amministrazione italiana. O che non viene affrontata con la dovuta decisione. Quando va bene, ci si limita appunto alla misurazione dei risultati, che lasciano però aperto il campo ad interpretazioni estemporanee (e sovente di parte) dell’efficacia degli interventi oggetto di misura.

(3) …sperimentare in modo serio per apprendere cosa funziona e cosa no
Se si investe poco sulla valutazione degli effetti, si investe ancora meno sulla sperimentazione controllata delle politiche pubbliche. A questo tema abbiamo già dedicato diversi post. Nonostante qualche recente passo avanti in questa direzione, in Italia gli studi randomizzati continuano ad essere relativamente pochi e nascono più per iniziativa di ricercatori accademici e centri di ricerca indipendenti che per un investimento strutturato, consapevole e continuativo della pubblica amministrazione.

Si spendono decine di miliardi in interventi pubblici dall’esito incerto, senza che si avverta la minima esigenza di testare l’efficacia di tali interventi mediante sperimentazioni mirate e ben condotte. La disattenzione del PNRR (Piano Nazionale di Ripresa e Resilienza) sul tema è emblematica. Eppure basterebbe davvero un investimento minimo per cambiare le cose.

Il messaggio nella bottiglia è molto semplice: se la pubblica amministrazione, in particolare quella statale, non inizia ad investire seriamente nella sperimentazione controllata, rinuncia di fatto ad una fondamentale fonte di cambiamento amministrativo (che riguarda il modo di pensare e di misurare l’azione pubblica e i suoi effetti). Le ricadute positive di tale investimento andrebbero ben al di là dell’ambito ristretto nel quale gli esperimenti si svolgono. A patto però che vi sia sufficiente massa critica (un gran numero di esperimenti e non qualche caso sporadico) e che l’intero processo sia ben organizzato e guidato.

Fino ad oggi nessuno ha raccolto il messaggio. Non ci resta che sperare nella prossima grande riforma della pubblica amministrazione o nel prossimo grande piano pubblico di investimenti. Chissà.

Marco Sisti

[1] Una riforma organica di queste attività è stata varata nel 2017 con l’approvazione del D.P.C.M. 15 settembre 2017, n. 169, dal titolo “Regolamento recante disciplina sull’analisi di impatto della regolamentazione, la verifica dell’impatto della regolamentazione e la consultazione”. Per saperne di più, si consiglia la lettura della relazione sul tema pubblicata nel 2021 dal Senato della Repubblica (Servizio per la qualità degli atti normativi).

[2] Con riferimento alla sanità vale la pena citare, a titolo esemplificativo, il Programma Nazionale Esiti, definito come strumento di valutazione a supporto di programmi di audit clinico e organizzativo.