Come scegliere una tecnica? Ci buttiamo subito su un bel questionario o è meglio una serie di focus group? Se avete seguito le riflessioni precedenti sapete già che la risposta è complessa: le tecniche – io dico – vengono molto dopo avere meditato sul mandato e sul contesto della ricerca, dopo avere ragionato sull’oggetto della ricerca e averlo concettualizzato opportunamente, fase essenziale in seguito alla quale possiamo immaginare delle “definizioni operative”, ovvero dei processi empirici che ci permettono di rilevare le informazioni utili. E questi processi empirici, che si definiscono ora, dopo tutto ciò che ha preceduto, conducono alla scelta di tecniche che possono essere qualitative, o quantitative o, in ricerca complesse, un mix di entrambe (Mixed Method). Tutto ciò premesso, che spero vi sia chiaro e convincente, possiamo immaginare un piccolo decalogo orientativo per non perdere la bussola nell’enorme offerta metodologica e nei meandri, davvero ingarbugliati, del dibattito su Qualità e Quantità. Prendete quanto segue come una pista di ragionamento, anziché una prescrizione dogmatica. Il pensiero, l’analisi, la riflessione – come ho già scritto in questa rubrica – sono sempre e solo la base di ogni scelta di metodo.
Come fare un questionario
Qui parleremo del questionario mentre, in prossimi appuntamenti, affronteremo altre tecniche.
1) Non si fanno ricerche campionarie con meno di 100 casi. Diventa ridicolo (oltre che estremamente poco affidabile) dire, per esempio, che il 23,3% del campione fa o dice qualcosa, se il campione è di 30 individui e quella data risposta l’hanno data in 7. Corollario: i valori percentuali devono potere essere di almeno una unità; quindi: 100 intervistati = nessuna percentuale nei risultati; 1.000 intervistati = un solo valore percentuale; 10.000 intervistati = due valori percentuali.
2) Non si fanno ricerche sociali senza almeno un’analisi bivariata. Se l’analisi dei dati porta a un rosario di dati tipo: il tot % è composto da maschi; il tot % ama il calcio; il tot % legge un libro al mese… allora la ricerca non sarà servita a nulla. Il questionario serve per fare un’analisi per variabili cercando correlazioni, solitamente fra variabili indipendenti (per esempio: sesso, età, titolo di studio… che non dipendono solitamente dall’oggetto di studio) e quelle dipendenti (che variano – per ragioni che vogliano comprendere – forse a causa dell’oggetto di studio). Quindi l’analisi sarà (almeno): il tot % di maschi legge libri rispetto al tot % di femmine; il tot % degli spettatori abituali di teatro è laureato, contro il solo tot% degli spettatori di serie Tv.
3) Non si fanno questionari se non si sa cosa sia la matrice dei dati e come si risolvono i principali problemi di data entry (anche se la fate fare a qualcun altro); corollario: dovete sapere come si fa la “pulizia” di una matrice per scovare gli errori di congruenza e di plausibilità.
4) È dura fare un buon questionario se non si sa, esattamente, come mettere in matrice e poi elaborare ogni singolo item; per capirci con un esempio facile, domanda a risposte multiple: “Cosa fai nel tuo tempo libero bla bla?”; risposte: “Cinema, calcetto, TV, leggo, dormo…” Come viene messa in matrice? Come si elabora? Non vi do la risposta, ma è una delle cose più difficili se non conoscete bene la matrice e il suo utilizzo nell’analisi bivariata (almeno).
5) È altrettanto dura fare un buon questionario se non si conoscono le scale. Gli errori sulle scale (tipo Likert) sono innumerevoli: quanti intervalli? Intervalli pari o dispari? Con ancoraggi numerici, semantici o auto ancorata? Ognuna di queste domande genera un tipo di scala diversa, tutte giuste, ma ognuna adatta a casi diversi e con differenti problemi di gestione.
6) Mai – dico mai – usare domande aperte se non sapete esattamente come post-codificarle e inserirle in matrice. Le domande aperte sembrano più disponibili ad accogliere il pensiero degli intervistati senza i vincoli imposti dal ricercatore; verissimo. Ma poi dovete elaborarle, specialmente al fine di inserirle in matrice. Per prima cosa moltissima informazione viene così persa (ne vale quindi veramente la pena?), e inoltre la post-codifica richiede competenze ermeneutiche di non poco conto, oltre a una capacità classificatoria fondamentale. Pensateci bene.
7) Nella ricerca sociale vige un principio di economicità che, nel caso del questionario, si traduce nel inserire solo domande necessarie (o presunte tali) per le finalità dell’indagine. Se, mentre preparate un questionario, un membro del vostro gruppo dice qualcosa tipo: “Già che ci siamo, chiediamo anche [la tale cosa]!”; oppure: “Mi piacerebbe chiedere anche [la tale altra cosa]!”, cacciatelo via con la scusa di preparare un caffè e cassate la proposta senza neppure prenderla in considerazione.
8) L’unico modo decente per somministrare un questionario è il faccia-a-faccia; solo in questo modo potete includere strumenti più sofisticati delle sole domande chiuse o scale, avete certezza della qualità media dei questionari compilati (se gli intervistatori sono qualificati) e molto altro ancora. I questionari autoamministrati sono generalmente scadenti, a meno che non ci sia comunque una presenza del ricercatore (per esempio nel caso di questionari distribuiti a una classe scolastica); i CATI sono meno che mediocri; i CAWI sono una presa in giro. E comunque: il mezzo di somministrazione determina gran parte del formato del questionario; non è lo stesso questionario, si tratta di questionari differenti.
9) In tutti i casi (specie di ricerca operativa come la valutazione) in cui tutte queste cose non si possano fare (in particolare quelle ai punti 1 e 8), e ci si ritrova a dovere fare un questionarietto per un piccolo gruppo, da elaborare velocemente, autoamministrato etc, allora, assolutamente, rispettate questa regola: solo domande chiuse, poche, con poche risposte, preferibilmente scale a 5 intervalli ben spiegate a chi deve rispondere. Perché c’è un altro principio generale della ricerca sociale che esprimerò così: più fate e più sbagliate; più domande, più scale, più item particolari, con elaborazioni sofisticate e così via, aprono molte porte a molteplici possibili errori. Se non avete la possibilità organizzativa, o i tempi e i soldi per fare bene, oppure siete alle prime armi, il meglio è nemico del bene, e quindi è di gran lunga preferibile fare poco, ma decentemente, che pretendere di fare molto e produrre un disastro.
10) Infine, si fa un questionario solo se si sa fare anche qualcos’altro. Se il questionario è l’unica tecnica che conoscete (voi credete) allora farete quello per necessità, senza capire se è il caso, se il contesto, il mandato, la natura delle ipotesi eccetera si prestano ad imboccare tale strada. Se invece conoscete anche qualche altra tecnica (specie di tipo molto diverso, come quelle qualitative basate su gruppi) allora si può immaginare che sceglierete il questionario solo perché avete una strategia di ricerca in mente (anche se, ovviamente, non è detto!). Buon lavoro.
Precedenti contributi de “Il metodo siamo noi”
- Il metodo siamo noi
- Tecniche e formato informativo dei dati
- I numeri sono un linguaggio
- Parlare bene per pensare bene
- Il metodo si pensa. Lentamente
Claudio Bezzi
