Accade che in valutazione – che altro non è che una ricerca sociale applicata – ci si interroghi in questo modo sulla validità dei risultati: “questo (aumento/diminuzione) dell’efficacia del (programma/progetto/servizio), sarà veramente dovuto alla (buona/cattiva) qualità del progetto, oppure le cose sarebbero andate così in ogni caso?”. Per esempio: spendiamo somme per fare corsi formativi ovviamente finalizzati all’occupazione; due anni dopo, finiti i corsi, andiamo a vedere cos’è successo e constatiamo che l’occupazione è aumentata del 2%. Stappiamo lo spumante intestandoci quel 2% oppure ci poniamo dei dubbi? Per esempio: c’è una generale ripresa dopo la crisi; hanno tanto bene realizzato uno stabilimento proprio lì e quindi assunto mano d’opera; la Cina ha fatto le tali cose e la BCE le tali altre per cui… Ecco. Non possiamo essere sicuri di quel 2%, nel senso che i nostri corsi professionali potrebbero essere stati totalmente insignificanti, e quel tasso positivo di occupazione si sarebbe dato lo stesso. Oppure no, ovviamente. È quello che si chiama problema “controfattuale”; cosa sarebbe successo se… Se noi non avessimo fatto quei corsi di formazione; se li avessi fatti diversamente; se fossero durati di più; di meno… Ma naturalmente non possiamo riavvolgere il nastro e fare come nei videogiochi quando moriamo; in una parola: come facciamo a conoscere l’effetto netto del nostro intervento (quel 2% scritto sopra è l’effetto lordo).
Le conseguenze dell’esperimento
La ricerca sociale ha prodotto diversi metodi per affrontare la questione. Il più noto è l’esperimento, quello che segue due gruppi, uno sperimentale (oggetto dell’intervento) e uno di controllo (identico al precedente ma senza l’intervento); poiché i due gruppi sono identici (devono esserlo), se dopo tot tempo si registra una differenza (per esempio occupazionale) possiamo sostenere che tale differenza è interamente dovuta al nostro programma (per esempio il corso formativo) perché tutte le altre variabili sono state azzerate; ceteris paribus. Questo sistema funziona benissimo per la sperimentazione dei farmaci, dove migliaia di pazienti in tutto il mondo sono forniti di nuovo farmaco oppure di placebo (e ovviamente non sanno cos’hanno ingoiato) e poi si aspetta di vedere cosa succede: poiché si tratta di pazienti identici (facilmente estraibili in grandi numeri, tipici di queste sperimentazioni) e con la stessa patologia, le differenze fra i due gruppi (guarigioni, effetti collaterali) sono da imputare alla nuova molecola.
Esperimenti e ricerca sociale
Si può fare questa cosa nella ricerca sociale e valutativa? Ni. Andiamo con ordine. Un vero esperimento – come quello accennato – è virtualmente impossibile per queste ragioni:
1. programmi a totale copertura (per esempio una politica nazionale sanitaria, del lavoro, etc.) non consentono di estrarre il gruppo di controllo (perché tutti i cittadini, in questo caso, ricevono il beneficio);
2. programmi a copertura parziale sono per definizione destinati a utenti diversi (in cosa consiste, infatti, la parziale copertura? È una politica destinata solo ad alcune regioni? Ad alcune fasce d’età?); in questo caso non ci sarebbe l’uniformità fra i due gruppi (matching, nel gergo controfattuale);
3. privare artatamente alcuni cittadini di un beneficio, per poter realizzare l’analisi controfattuale (ipotesi estrema e solo teorica) sarebbe poco etico e politicamente discutibile.
Metodi controfattuali
Come ricercatori sociali siamo quindi in difficoltà, a meno di ricorrere ad altri metodi controfattuali, eminentemente statistici, che sono considerati, dai puristi, assai meno rigorosi e dai risultati assai meno validi. Ve ne descrivo solo uno, la differenza fra le differenze. Supponiamo che una regione (A) abbia una politica del lavoro che vuole valutare. Si sceglie allora un’altra regione (B) che assomigli in qualche modo alla nostra (non è più una questione di matching) e in entrambe (la nostra che si vuole valutare, e l’altra presa come paragone) si rilevano i dati pertinenti (per esempio l’occupazione) prima che si avvii il programma nella regione A. Finito il programma, tempo dopo, si rilevano nuovamente i dati in entrambe le regioni. Il ragionamento poi è questo:
• al T-zero A ≠ B in una certa quantità, giusto? Questa è la prima differenza, che dipende dalle naturali diversità regionali; chiamiamola ∆1;
• al T-uno A1 ≠ B1 in una presumibile differente quantità, e questa è la seconda differenza dovuta a molteplici fattori (che possiamo non conoscere) e al nostro programma (limitatamente alla regione A); chiamiamola ∆2.
Si assume che la differenza fra queste due differenze (∆2 – ∆1) sia il risultato netto del programma valutato. Capite che è una cosa un po’ diversa dalla precedente… altri sistemi, basati sulla presenza di dati statistici, sono ancora meno rigorosi.
Senza un perché
Bene. Succede che l’illusione positivistica, ampiamente presente fra statistici (i più accaniti sostenitori degli approcci controfattuali) e recentemente fra dirigenti di pubbliche amministrazioni (affascinati dalla possibilità di agguantare un’assoluta verità ultima, anche perché non necessariamente sono competenti di epistemologia e metodologia), sia tracimata dalle cattedre a non pochi bandi pubblici di ricerca e valutazione in cui l’amministrazione banditrice si arroga il diritto di chiedere – e di imporre – l’approccio controfattuale in maniera insensata e solo nell’illusione di fare qualcosa di “scientifico”. Ma oltre alle questioni già accennate, l’approccio controfattuale ha alcune importanti lacune che la sconsigliano come metodo unico di valutazione (mentre può ottimamente essere utilizzato – se ci sono le condizioni – come metodo supplementare):
4. ammesso che l’approccio controfattuale ci dica validamente se il programma ha dato un certo risultato, non spiega minimamente il perché; l’approccio controfattuale è una grande black box in cui vediamo i dati in ingresso, quelli in uscita, e niente di quel che accade in mezzo, come mostra questa schematica figura.
5. il matching è una grande illusione statistica. Le molecole possono essere uguali, gli esseri umani no. Certamente, su grandi numeri, noi pensiamo di estrarre – per esempio – campioni probabilistici generalizzabili, ma con margini di errore ben chiari, del tipo: se estraggo mille persone, casualmente, bla bla, mi aspetto di trovare un tasso di laureati, di donne, di biondi, di lettori, analogo a quello della popolazione, salvo scoprire che sono sottorappresentati i nani, quelli con cinque lauree, gli albini e i lanciatori di coltelli, e pazienza. Ma il matching ha un problema assai diverso: costruire ex novo un gruppo identico, o quanto meno analogo; e quindi la domanda ovvia è: su quali variabili? Sesso, età, professione e le altre usuali, certamente, ma poi? Appartenenza politica? Religiosa? Squadra di calcio preferita? È ovvio che si scelgono quelle variabili pertinenti con l’oggetto di ricerca, ma qui la clausola ceteris paribus vacilla; quale teoria è in grado di escludere che l’appartenenza religiosa non influisce sulle scelte professionali, che l’orientamento sessuale non incida sulle scelte accademiche o che quelle artistiche non abbia a che fare con comportamenti elettorali? Ecco, non c’è mai alcuna teoria. Gli statistici accesi sostenitori del controfattuale vedono i numeri, non i problemi, non le persone, non le teorie.
I cinque punti elencati rappresentano, tutti assieme, un grappolo di problemi insormontabili; il metodo è meno rigoroso di quello che credono gli statistici e, superate in qualche modo (non rigoroso) le molteplici difficoltà operative, il risultato ci dice cosa sia successo, ma non il perché, e questa mancanza non ci consente di capire i meccanismi del programma e di evitare il ripetersi di errori.
Claudio Bezzi
