Come valutare l'affidabilità di un sondaggio e delle recensioni online

Prima di giudicare: che tipo di ricerca hai davanti

Prima di giudicare un numero, stabilisci che cosa è. Un sondaggio politico, una ricerca di mercato e una recensione online rispondono a domande diverse e richiedono criteri diversi.

Questa guida riguarda la ricerca di mercato. Nel documento Assirm il sondaggio politico è ciò che la ricerca di mercato contemporanea non è: parte rilevante della sfera pubblica e componente vitale del processo democratico.

La distinzione ha una conseguenza pratica. Il documento Assirm colloca il sondaggio politico nella sfera pubblica, dove legittima gli attori politici, forma l'agenda politica e il consenso. Una ricerca di mercato non ha questa funzione pubblica: il livello di prova da pretendere va commisurato all'uso che ne fa chi l'ha commissionata.

Il documento Assirm «I sondaggi politici. Le buone pratiche» è curato da Stefano Draghi, docente di Nuove tecnologie digitali all'Università IULM di Milano, su incarico del Comitato Standard di qualità Assirm. La supervisione è di Edoardo Lozza, professore all'Università Cattolica del Sacro Cuore. Il documento è stato approvato dall'Assemblea degli Associati il 13 giugno 2019.

Il documento colloca il sondaggio politico nella sfera pubblica come componente del processo democratico. Esso legittima gli attori politici, forma l'agenda politica e il consenso. Proprio per questo richiede standard di qualità più elevati.

Il documento delimita con precisione l'oggetto: riguarda i sondaggi sugli orientamenti politici e di voto. Non riguarda exit poll, proiezioni elettorali basate sullo spoglio di un campione di sezioni né metodi di previsione dell'esito delle elezioni. Se valuti una proiezione o un modello previsionale, i criteri di lettura di un sondaggio lo centrano solo in parte.

Le recensioni online sono un terzo oggetto, con regole proprie. Nella consultazione pubblica dell'AGCM sullo schema di Linee Guida per le recensioni online, FIPE, Federalberghi, FIAVET, FTO (aderenti a Confcommercio Imprese per l'Italia) insieme con Assoturismo-Confesercenti hanno contestato la differenziazione introdotta dallo schema. Lo schema distingue tra professionisti che pubblicano recensioni dirette e piattaforme che ospitano contributi su servizi di terzi.

Le associazioni chiedono regole uniformi e senza zone franche. Per il consumatore l'esigenza di affidabilità è identica. Chi naviga in rete non percepisce queste distinzioni giuridiche.

Resta da chiarire l'uso previsto. Renato Mannheimer, in «Sull'affidabilità dei dati» (Quaderni di Sociologia, 1996, pp. 5-30), intitola una sezione del saggio «Ma il fine dei sondaggi non è la previsione».

Usare una rilevazione per pronosticare un esito significa impiegarla per uno scopo diverso da quello per cui è costruita. Capire se il dato serve a descrivere, prevedere o decidere cambia radicalmente il livello di prova da pretendere.

Valutare una ricerca di mercato significa controllare cinque cose: campione, questionario, metodo, margine di errore e dati dichiarati da chi pubblica. Le sezioni che seguono le trattano una per una.

Il campione è la base: chi è stato intervistato e chi no

Assirm indica il campionamento tra le fasi su cui si concentrano le buone pratiche, insieme all'impostazione del questionario e all'elaborazione dei dati. La prima verifica riguarda il metodo di selezione.

In un campione probabilistico ogni unità della popolazione ha una probabilità di selezione nota. In un campione per quote si riproduce la distribuzione di alcune caratteristiche: genere, età, area geografica, titolo di studio. La scelta degli intervistati resta affidata all'intervistatore. È questa differenza a determinare quanto il risultato sia generalizzabile.

Il campione teorico non è quello che finisce nell'indagine. G. Di Franco («La trasparenza e l'affidabilità dei sondaggi elettorali in Italia», 2022) descrive il campione effettivo come determinato dinamicamente, in base alle caratteristiche del rispondente e alle esigenze delle rilevazioni attive rispetto alle quote.

Due indagini con lo stesso disegno possono chiudersi su campioni reali diversi. Conta che l'istituto dichiari come si è composto effettivamente il campione.

Mannheimer dedica una sezione specifica alle caratteristiche dei non rispondenti. Chi rifiuta non è un vuoto neutro. Se i rifiuti si concentrano in gruppi con opinioni o comportamenti diversi dalla media, il campione realizzato descrive una parte della popolazione più grande di quanto dichiari.

Un esempio di informazione minima utile viene da una rilevazione EMG Different per il TG3: campione di 1.000 casi, intervallo fiduciario delle stime ±3,1%, 5.122 contatti e 4.122 rifiuti. I rifiuti sono oltre quattro quinti delle persone contattate. Senza questo dato il lettore non saprebbe che il campione finale poggia su una minoranza dei contatti effettuati.

Quando una rilevazione sbaglia di diversi punti, il primo posto in cui guardare è chi è rimasto fuori dal campione. Il Post ricorda che anche alle elezioni politiche del 2013 i sondaggi avevano commesso errori rilevanti. Uno scarto di quella entità impone di controllare composizione del campione, quote e non rispondenti prima di attribuire il risultato a un cambiamento reale dell'elettorato.

Una ricerca di mercato commissionata da un'impresa si valuta con le stesse verifiche sul campione: metodo di selezione, composizione effettiva, caratteristiche dei non rispondenti. Il documento Assirm estende le proprie pratiche ai sondaggi condotti con metodo campionario e tramite interviste individuali, sia riservati sia destinati alla pubblicazione. La riservatezza non abbassa il livello di prova.

Anche su una ricerca di mercato i non rispondenti vanno documentati. Se i rifiuti si concentrano in gruppi con comportamenti diversi dalla media, il campione realizzato descrive una parte di popolazione più grande di quanto dichiari.

Dati chiave da richiedere su una rilevazione (es. EMG Different per TG3)

Come sono formulate le domande

Una domanda suggestiva incorpora nella formulazione il giudizio che dovrebbe misurare. I segnali nel questionario sono riconoscibili: aggettivazione valutativa; un solo argomento a favore di una posizione; alternative non bilanciate.

Altri segnali: assenza dell'opzione «non so» o «preferisco non rispondere»; due questioni distinte in un'unica domanda, con la risposta affermativa all'una letta come affermazione dell'altra.

Anche l'ordine conta. Una domanda che richiama un tema appena sollecitato attiva criteri di giudizio diversi da quelli che emergerebbero se fosse posta all'inizio del questionario. Non basta leggere le singole domande: serve la sequenza completa, come è stata effettivamente somministrata.

Assirm indica il punto più delicato. In un sondaggio di qualità le domande valutative sono rivolte solo a chi dimostra di conoscere l'oggetto della domanda. Se un giudizio viene raccolto anche da chi non conosce il tema, il dato misura la notorietà del tema, non la valutazione.

La conseguenza operativa: il questionario integrale, con l'ordine esatto delle domande e le istruzioni agli intervistatori, è il documento da chiedere per primo a chi fornisce o cita una ricerca.

Controlla anche su quale base sono calcolate le percentuali pubblicate. Se i «non so» vengono esclusi, i valori sono calcolati su un sottoinsieme di intervistati e vanno letti come tali.

Le stesse regole valgono per una ricerca di mercato. Le tre fasi che Assirm indica come decisive — impostazione del questionario, ordine e forma delle domande, elaborazione dei dati — sono il criterio da applicare. Il questionario integrale, con l'ordine esatto, resta la prima cosa da chiedere.

Per una ricerca di mercato il questionario integrale resta la prima cosa da chiedere. Senza l'ordine esatto delle domande non si può escludere che un giudizio sia stato sollecitato da una domanda precedente.

Metodo e trasparenza: cosa deve dichiarare chi pubblica

Un nucleo minimo di dati rende un risultato verificabile. La rilevazione EMG Different per il TG3, già richiamata, lo mostra: istituto, numerosità del campione, intervallo fiduciario delle stime, numero di contatti, numero di rifiuti e tasso calcolato su questi due valori. Se manca uno di questi elementi, il lettore non può ricostruire come il dato è stato prodotto.

La tecnica di intervista è parte del metodo. Assirm richiama le modalità CAPI, CATI, CAMI e CAWI. Precisa che le buone pratiche riguardano i sondaggi condotti con metodo campionario e tramite interviste individuali, sia riservati sia destinati alla pubblicazione.

Un'intervista faccia a faccia, una telefonica con intervistatore e una online autocompilata comportano tassi di rifiuto, effetti dell'intervistatore e possibilità di controllo diversi. Chi pubblica dovrebbe dichiarare quale ha usato.

Distinguere due livelli di norma. Per i sondaggi politici valgono le vigenti «Norme di qualità Market and Social Research» adottate da Assirm. Le buone pratiche del documento sono aggiuntive e servono a rendere evidenti e verificabili ai competenti e al pubblico le differenze tra sondaggi professionali e non professionali. Se un fornitore dichiara di seguire uno standard, chiedi quale documento e quale versione.

In Italia la pubblicazione dei sondaggi è sospesa nel periodo di divieto elettorale. Il Post parla degli «ultimi sondaggi pubblicati prima del periodo di divieto elettorale» come base delle attese pre-voto.

Nei giorni immediatamente precedenti il voto, quindi, il dato in circolazione può riferirsi a rilevazioni più antiche di quanto il lettore immagini. Il riferimento da controllare è la data di rilevazione, non quella di pubblicazione.

Per una ricerca di mercato il riferimento dichiarabile è l'insieme delle vigenti «Norme di qualità Market and Social Research» adottate da Assirm. Le buone pratiche sui sondaggi politici sono aggiuntive rispetto a quelle norme. Molte si possono estendere a tutta la ricerca sociale e di mercato, ma assumono particolare rilievo nel caso dei sondaggi politici.

Le pratiche Assirm riguardano i sondaggi condotti con metodo campionario e tramite interviste individuali, sia riservati sia destinati alla pubblicazione. Una ricerca di mercato condotta con le stesse modalità ricade nello stesso perimetro di controllo.

Errore statistico e intervallo di confidenza: leggerli senza fraintenderli

Il Post riporta la regola corrente: un sondaggio è ritenuto affidabile se ha un margine di errore del 3 per cento con un intervallo di confidenza del 95 per cento. L'istituto stima, per una percentuale rilevata sull'intero campione, un intervallo di valori entro cui cadrebbe il valore vero della popolazione in circa 95 rilevazioni su 100.

Due avvertenze che quel margine non copre da solo. Primo: di norma si riferisce alla stima sull'intero campione, non alle sottopopolazioni — giovani, residenti in una singola area, acquirenti di un certo prodotto — dove si allarga anche molto.

Secondo: non misura gli errori non campionari, cioè formulazione delle domande, mancate risposte, copertura della popolazione, trattamento degli indecisi.

La rilevazione TG3/EMG Different, già citata, offre un esercizio concreto. Con l'intervallo fiduciario dichiarato, una differenza di uno o due punti tra due opzioni sta dentro l'intervallo. Non è un vantaggio di una sull'altra: è rumore.

Il caso Brexit, citato dal Post, mostra la stessa cosa su un esito reale: leave al 51,9 per cento contro remain al 48,1 per cento. Circa un terzo delle rilevazioni dava un risultato pari o addirittura una vittoria dei leave. L'errore dei sondaggisti restò di pochi punti percentuali, dentro il margine del 3 per cento.

Quando il distacco vero è di pochi punti, il margine è più grande del fenomeno da misurare. Nessun sondaggio può dire chi vince.

Per una ricerca di mercato la lettura non cambia: ogni percentuale va letta insieme al suo intervallo, e una differenza inferiore al margine non distingue due opzioni. L'intervallo si riferisce alla stima sull'intero campione, non alle sottopopolazioni, e non copre gli errori non campionari.

Lezioni dagli errori: perché anche una buona ricerca può sbagliare

Uno dei casi più gravi della storia recente dei sondaggi politici italiani, secondo il Post, è quello delle elezioni europee del 2014. Le ultime rilevazioni pubblicate prima del divieto elettorale mostravano il Movimento 5 Stelle a pochi punti dal 30 per cento assegnato al PD e vicino al sorpasso.

Il PD ottenne oltre il 40 per cento dei voti e il M5S poco più della metà di quel risultato. L'errore fu di quasi dieci punti, ripetuto da più di una decina di società demoscopiche diverse.

Quando lo stesso scarto compare nella stessa direzione in più istituti, non è un errore casuale di campionamento. Le cause vanno cercate nei fattori condivisi: disegno e chiusura del campione, trattamento dei non rispondenti, ponderazione, stima degli indecisi.

Nel 2013 era già accaduto qualcosa di simile. I sondaggi avevano sopravvalutato il PD di più di cinque punti e sottovalutato di altrettanti il M5S.

Mannheimer, che già nel 1996 misurava la capacità previsiva dei sondaggi svolti in Italia, dedica una sezione alle caratteristiche dei non rispondenti. Per valutare quella parte di errore bisogna conoscere i non rispondenti, non ripetere la stessa rilevazione.

La distinzione operativa è tra errore fisiologico ed errore sistemico. Fisiologico: il valore vero cade fuori dall'intervallo dichiarato in una singola rilevazione, oppure un distacco di pochi punti viene letto come vittoria, come nel caso Brexit già richiamato. Sistemico: lo stesso scarto, nella stessa direzione, in più rilevazioni e in più istituti, come nelle europee del 2014 e nelle politiche del 2013.

Il Post cita anche le elezioni statunitensi, dove la stragrande maggioranza dei sondaggisti dava in vantaggio Hillary Clinton nel voto popolare. È il promemoria finale: la convergenza di molte indagini indipendenti non è di per sé una prova di correttezza, perché istituti diversi possono condividere gli stessi difetti di metodo.

Una ricerca di mercato commissionata non è esente dagli stessi rischi. Quando lo stesso scarto compare in più indagini, nella stessa direzione, le cause vanno cercate nei fattori condivisi: disegno e chiusura del campione, trattamento dei non rispondenti, ponderazione, stima degli indecisi.

Errori significativi nei sondaggi politici italiani (2013–2014)

Recensioni online e dati spontanei: quando sono una fonte per il mercato

Nella consultazione pubblica dell'AGCM sullo schema di Linee Guida per le recensioni online, le associazioni di settore richiamano i criteri di liceità. Una recensione è lecita solo se verificata nell'identità del recensore e nel rispetto dei criteri di legge: esperienza diretta, caricamento entro 30 giorni dalla fruizione del servizio, genuinità e attualità.

Quattro verifiche si applicano a una recensione usata come dato di mercato: chi l'ha scritta è identificato? Ha fruito davvero del servizio? Quando? L'esperienza descritta è ancora attuale?

Il secondo fronte riguarda gli algoritmi. Le associazioni di settore chiedono l'obbligo di motivare i punteggi, a garanzia del diritto di replica. Un voto aggregato senza spiegazione non è verificabile, e una sua variazione nel tempo non è interpretabile.

Sui contenuti incentivati la posizione delle associazioni è netta: sconti, regali e promesse di utilità alterano la spontaneità dei giudizi e si configurano come pratiche manipolatorie già condannate dalla Commissione europea.

Secondo la loro lettura, l'articolo 19 della Legge sulle PMI ne sancisce l'illiceità assoluta. Lo schema AGCM si limitava a blandi obblighi di trasparenza. Le associazioni chiedono il divieto totale e la separazione netta delle sponsorizzazioni pubblicitarie dal calcolo del rating complessivo.

Per chi usa le recensioni come fonte, la conseguenza è operativa: prima di contare i giudizi, accertare se sono stati premiati.

Le associazioni chiedono inoltre che le Linee Guida non permettano accordi tra piattaforme per la compravendita o la cessione di recensioni, in linea con il divieto sancito dalla legge sulle PMI. Una recensione comprata o trasferita non è un dato spontaneo, per quanto dettagliata sia la sua descrizione.

La richiesta di fondo è un regime unico, senza differenziazione tra recensioni dirette e contributi ospitati su servizi di terzi. L'affidabilità richiesta a chi legge non cambia con la qualifica giuridica di chi pubblica. La verifica va applicata allo stesso modo a entrambi i sistemi.

Quando le recensioni sono usate come fonte su un mercato, le verifiche restano quelle elencate: identità del recensore, esperienza diretta, data entro 30 giorni, genuinità e attualità. Poi si controlla se il contenuto è incentivato e se il punteggio aggregato è motivato.

Una checklist per valutare l'affidabilità in pratica

Sei elementi da pretendere, tutti nello stesso esempio già richiamato. L'indagine EMG Different per il TG3 dichiara l'istituto, la numerosità del campione, l'intervallo fiduciario delle stime, i contatti, i rifiuti e il tasso calcolato su questi due valori. Se manca anche uno solo di questi dati, il risultato non è verificabile da chi legge.

Il questionario integrale, con l'ordine esatto delle domande, è la seconda richiesta. Assirm indica nell'impostazione del questionario e nell'ordine e forma delle domande una delle fasi decisive. Senza il testo non si può controllare se una domanda valutativa sia stata posta anche a chi non conosce l'oggetto. Non si può verificare se mancasse l'opzione «non so» o se il giudizio fosse sollecitato.

Sul campione: metodo di selezione (probabilistico o per quote), composizione, quote coperte e caratteristiche dei non rispondenti. Di Franco ricorda che il campione effettivo si determina dinamicamente in base alle caratteristiche del rispondente e alle quote ancora da chiudere. È quel campione reale, non quello teorico, a produrre il dato.

Sul numero: leggere ogni percentuale insieme al suo intervallo e non trattare come vantaggio una differenza inferiore al margine. Come nel caso già richiamato, uno o due punti di scarto tra due opzioni non distinguono le due opzioni.

Sull'uso: chiarire se il dato serve a descrivere un orientamento o a prevedere un esito. Mannheimer intitola una sezione del suo saggio «Ma il fine dei sondaggi non è la previsione». Il documento Assirm esclude esplicitamente dal proprio ambito exit poll, proiezioni elettorali e metodi di previsione del risultato.

Sulle recensioni: identità verificata del recensore, esperienza diretta, data entro 30 giorni dalla fruizione, genuinità e attualità. Poi verificare se il contenuto è incentivato e se il punteggio aggregato è motivato, con possibilità di replica.

Ultimo passaggio: confrontare più rilevazioni indipendenti e, quando esistono, i dati effettivi già noti. Gli errori delle europee del 2014 e delle politiche del 2013, ricordati sopra, lo mostrano.

Aggiungi una richiesta specifica per una ricerca di mercato: quale insieme di norme l'istituto dichiara di applicare e in quale versione. Il riferimento sono le vigenti «Norme di qualità Market and Social Research» adottate da Assirm. Le pratiche sui sondaggi politici sono aggiuntive e, dove pertinenti, estendibili alla ricerca di mercato.

Chiedi la tecnica di intervista tra CAPI, CATI, CAMI e CAWI, e se la ricerca è riservata o destinata alla pubblicazione. Le pratiche Assirm valgono per entrambi i casi. Tassi di rifiuto, effetti dell'intervistatore e possibilità di controllo cambiano con la modalità.

Fai documentare le tre fasi su cui Assirm concentra le proprie pratiche: impostazione del questionario, ordine e forma delle domande; campionamento; elaborazione dei dati. Sono il nucleo operativo del controllo su una ricerca di mercato.

Per una ricerca di mercato i passaggi restano questi: campione, questionario, tecnica di intervista, intervallo di errore, norme dichiarate. Le recensioni si verificano a parte, con identità, data e genuinità.