Sondaggi e risultati veri

/ Articolo / Sondaggi e risultati veri
  • Condividi

Commenteremo poi in modo più approfondito i risultati delle elezioni europee, ma un'osservazione veloce va fatta riguardo ai sondaggi. Tutti, senza esclusione, hanno mancato di predire il calo del PdL rispetto alle politiche del 2008. In compenso, hanno più o meno azzeccato il risultato degli altri. Provo ad azzardare una ipotesi su cosa è successo.

Il fallimento dei sondaggi nel predire il risultato PdL è stato assolutamente spettacolare. Tutti, senza esclusione, i sondaggi davano il PdL ben oltre la percentuale delle politiche. Quasi tutti lo davano oltre il 40%.

Dato che in Italia vige il divieto di divulgare i risultati dei sondaggi per i quindici giorni antecendenti il voto, si potrebbe sospettare che ci sia stato un cambiamento dell'opinione pubblica nelle ultime due settimane. L'ipotesi non pare corretta. Il sito NotaPolitica ha continuato a pubblicare i risultati delle ''corse clandestine di cavalli'' e i risultati erano grosso modi in linea con quelli precedenti. Inoltre gli ''instant poll'' di Ipr Marketing, diffusi a urne appena chiuse, davano il PdL tra il 39% e il 43%. Al momento, con lo spoglio quasi completo, il PdL viene accreditato del 35,2%. Questo significa che praticamente tutti i sondaggi, fino all'ultimo momento, hanno malamente sovrastimato il risultato del PdL. Cosa è successo?

Difficile a dirsi. Un paio di osservazioni ci possono forse aiutare.

1) Stranamente l'errore previsivo ha riguardato solo il PdL. In tutti gli altri casi i sondaggi hanno più o meno correttamente previsto sia la direzione dello spostamento di consensi sia, grosso modo, la dimensione quantitativa. L'aumento della Lega e dell'IdV così come la diminuzione del PD apparivano chiaramente nei sondaggi. Lo stesso vale per i partiti a sinistra del PD: i sondaggi davano variamente la lista comunista e la lista di sinistra e libertà tra il 2% e il 4%, e comunque sotto la soglia, risultato che si è poi effettivamente verificato. E anche la tenuta dell'UDC è stata correttamente prevista.

2) Questo errore sembra una replica, con personaggi diversi, di una storia già vista alle politiche del 2008. Il protagonista allora fu la Sinistra Arcobaleno. Nessun sondaggio la dava sotto il 6,5%, e la maggioranza dei sondaggi dava la formazione bertinottiana tra il 7% e il 9%. Il risultato fu invece del 3,1%, un tracollo assolutamente imprevisto e non pronosticato. Anche in quel caso l'errore fu praticamente universale, tutti gli istituti sovrastimarono il voto alla Sinistra Arcobaleno, e specifico a una singola lista; i sondaggi fecero invece un lavoro abbastanza buono nel predire i risultati delle due coalizioni principali (pochi previdero l'esplosione della Lega Nord, ma molti sondaggi chiedevano solo il voto di coalizione) e dell'UDC.

Non sono a conoscenza dei dettagli di come i sondaggi vengono eseguiti ed è un po' presto per dire qualche cosa di definitivo sulle europee del 2009, ma faccio la mia ipotesi: il problema è che i sondaggi non tengono adeguato conto delle astensioni. Nell'analisi che feci sul risultato del 2008 ho evidenziato la correlazione positiva tra partecipazione al voto e risultato della Sinistra Arcobaleno; in altre parole, la Sinistra Arcobaleno risultava particolarmente penalizzata dall'astensione. Non ho ancora i dati sui voti validi a livello disaggregato per le europee, ma possiamo guardare come prima approssimativa indicazione alla partecipazione al voto nelle macro-regioni.

20092004differenza
Italia66,572,9-6,4
Nordest72,276,9-4,17
Nordovest71,775,5-3,8
Centro68,775,0-6,3
Sud64,069,6-5,6
Isole47,163,9-16,8

Balza agli occhi l'enorme calo di partecipazione nella circoscrizione Isole. Dato che la Sicilia fu la regione in cui il PdL ottenne il miglior risultato a livello regionale nel 2008, è lecito sospettare, almeno come ipotesi provvisoria da verificare, che in questa tornata l'astensionismo abbia colpito in modo particolare questo partito.

La conclusione è che i sondaggi italiani devono iniziare a prendere più sul serio il non voto. Se il fenomeno del non voto riguarda in modo relativamente casuale tutti gli schieramenti politici, ossia tecnicamente se la preferenza di voto e la partecipazione sono variabili stocastiche indipendenti, allora ignorare la partecipazione al voto non fa danni. Ma nelle due ultime elezioni italiane sembra essere successo qualcosa di diverso (qua il ''sembra'' è d'obbligo soprattutto per l'ultima elezione, di cui non abbiamo ancora dato completi), con un fenomeno astensionista concentrato in alcune aree dell'elettorato. A questo punto ignorare il fenomeno astensionista produce gravi distorsioni delle stime, come in effetti è stato nel 2008 per la Sinistra Arcobaleno e nel 2009 per il PdL.

Il problema non ha facile soluzione. La gente in generale non ama ammettere che non intende votare e tende a mentire nei sondaggi sulla partecipazione (mi riferisco qui in particolare ai sondaggi statunitensi, ma il fenomeno è diffuso). In Italia far ammettere a un elettore che non andrà a votare è probabilmente ancora più difficile; una percentuale che si aggira di solito intorno al 5% dell'elettorato si reca addirittura alle urne per esprimere voto nullo o bianco, probabilmente per evitare di rendere pubblica la scelta astensionista con la non partecipazione. Tuttavia, qualcosa si può fare. Negli USA gli istituti di sondaggi hanno sviluppato modelli di ''likely voter'', in cui anziché chiedere direttamente se l'elettore andrà a votare si fanno una serie di domande indirette per cercare di evincere la probabile partecipazione. È probabilmente il caso che tecniche del genere vengano introdotte anche in Italia.

Indietro

Commenti

Ci sono 45 commenti

 

Se il fenomeno del non voto riguarda in modo relativamente causale tutti gli schieramenti politici...

 

causale o casuale?

a.

Casuale ovviamente, grazie per la segnalazione dell'errore che è stato ora corretto. Come correttori di bozze facciamo un po' piangere.

Penso che Sandro abbia ragione sull'effetto dell'astensione. Non conosco i questionari di cui  parla, ma temo che in Italia sia più difficile che altrove scovare gli astensionisti - o perlomeno quella parte di loro che determina gli errori di previsione. Penso infatti che si tratti di una scelta politica da parte di elettori abbastanza fedeli e politicizzati, che vogliono segnalare la loro delusione per il comportamento del proprio partito ma non disposti a votare altri partiti. Ne conosco alcuni di sinistra che non hanno votato nel 2008 e presumo sia un meccanismo che abbia funzionato anche a destra questa volta. Aggiungerei anche l'effetto del violento scontro interno a Forza Italia in Sicilia, che non ha sicuramente favorito la mobilitazione degli elettori di quel partito.

Vorrei suggerire un'interpretazione meno wishfull thinking: se siamo d'accordo che l'elettore di destra ha un approccio, in larga parte, meno ideologico (o da tifoso, io direi, che di idee o anche solo ideologie in giro se ne vedono pochine...) e che, quindi vota in modo utilitarista (o pensando di esserlo) appare naturale che, in una elezione che è percepita come poco utile alle dirette sorti del proprio paese/tornaconto/portafoglio, l'elettore di destra si sia in larga parte astenuto. Tutto qui, forse.

Onestamente non se l'elettore di destra voti in modo più ''utilitarista'' degli altri. Ma se anche così fosse restano due problemi: 1) perché i sondaggi non se ne sono accorti? 2) perché gli utilitaristi sono solo quelli del PdL e non quelli della Lega?

www.youtube.com/watch

In genere, quelli come me, quando sentono parlare i realisti scafati in merito a come funzioni il mondo dei media, dinnanzi ad asserzioni lapidarie tipo: "sono tutti dei servi, servono sapendo di servire", reagiscono con cose tipo: "mah, la realtà è sempre più complessa"; "non puoi pensare che questi si mettano davvero lì a fare gli interessi dell'editore in maniera così laida, come pensi tu" e via con un ottimismo umanistico nell'uomo...poi vedi certi filmati e cominci a dubitare.

Chi sono dunque, questi due che parlano? Qualcuno me lo sa dire? Io non guardo il Tg5 ordinario, figurarsi quello Speciale.

vabbe', sono certo che Bianca Berlinguer avrà aperto il TG3 con: "crollo del PD: -7% in un anno!"

Concordo che la botta sia al PD. Mi pare anche salutare - soprattutto alle amministrative, Napoli,... anche se ormai ho perso fiducia che sappiano reagire alle botte. Mi pare positivo che BS non sfondi, che almeno la reazione a Noemi etc. non sia stata di segno + (e poi, non e' stato eletto il Savoia, segno che qualche valore e' rimasto). Ma l'astensione in Sicilia sembra aver contato parecchio. E non capisco... e' Lombardo? Cos'e'? 

Non voglio spendere i miei due cents per commentare delle pseudo-elezioni, che da una parte si proclamavano come la richiesta di "Silvio Santo Subito" al popolo bue-elettore e dall'altra parte: "dopo di noi il diluvio, per cui bere o affogare". Hanno perso tutti e due, e di brutto.

Dico la mia sui sondaggi: avendo una volta (le 21 di sera, a casa..) risposto a un sondaggio elettorale.

Le domande erano (dopo avermi fatto quelle classiche per inquadrarmi nel campione: età, professione, grado culturale, professione): lei nelle ultime elezioni ha votato per un partito di cdx o csx ? Manterrebbe, adesso questa sua convinzione ? Grazie e buona serata. Non so che cosa abbiano tratto da queste due domande, ma a me sembra meno di zero. I sondaggi hanno pesantemente sbagliato nel "pesare" il PDL perchè non hanno considerato nè l'astensione nè il fattore indecisione, pesando, probabilmente, troppo il tentativo di gradimento personale del premier, senza pesare il fatto che un gradimento del tipo "secondo lei il governo ha fatto bene a rimandare indietro gli immigrati clandestini?" non significa che poi lo voto.

Sondaggi e sondaggisti all'italiana, a nostre spese, come al solito.

Per inciso, ho votato PD (senza con questo voler dire che la penso esattamente come il PD, anzi, ma mi sembra solo il meno peggio) dando le tre preferenze alle tre donne presenti in lista, purchè con meno di quarant'anni (in verità erano solo due, la terza, una nota giornalista del Mattino era poco più anzianotta). Alla Provincia di Napoli mi sono astenuto, annullando la scheda.

 

 

Immagino ti offenderai se ti faccio notare che per votare hai usato gli stessi criteri che usa SB per selezionare le candidature...


faccio la mia ipotesi: il problema è che i sondaggi non tengono adeguato conto delle astensioni.

se cosi' fosse gli exit poll (che si basano su un campione di effettivi votanti) dovrebbero fare previsioni migliori degli instant poll. eppure, se capisco bene, anche gli exit poll sovrastimavano largamente i voti al pdl.

un'altra possibilita' e' che chi ha voltato le spalle a berlusconi (o stesse meditando di farlo) fosse riluttante a confessare all'intervistatore di aver votato la lega o di pietro, un bradley effect all'italiana che puo' anche spiegare il tracollo della sinistra estrema un anno fa.

 

So che più di qualche volta, per gli exit poll, siano state utilizzate prima cluster analysis e poi statistiche inferenziali; infatti in questa maniera è più veloce che prendere un campione numericamente significativo scegliendo casualmente i seggi da analizzare. Con la migliore tecnologia non sono più sicuro che facciano così, ma se continuano a farlo, è possibile che le variabili attreaverso le quali vengono aggregate determinate circoscrizioni cambino con il tempo e questo non viene preso in considerazione.

Inoltre a questo punto mi mancherebbe il legame sul come creano dei confidence interval secondo un metodo rigorosamente probabilistico. Io credo che lo facciano a posteriori prendendo per buona la cluster analysis basata sulla somiglianza di circoscrizioni nelle elezioni precedenti. Vedo di trovare maggiori dettagli...

La conclusione è che i sondaggi italiani devono iniziare a prendere più sul serio il non voto. Se il fenomeno del non voto riguarda in modo relativamente casuale tutti gli schieramenti politici, ossia tecnicamente se la preferenza di voto e la partecipazione sono variabili stocastiche indipendenti, allora ignorare la partecipazione al voto non fa danni.

 

Sandro, scusa la mia ignoranza. Cosa vuol dire la parte in neretto? Se è una cosa che pensi non vale nemmeno la pena, tanto è lungo, fa nulla.

Vuol dire che se non c'è ragione per pensare che l'astensionismo (il non voto) colpisca più alcune parti politiche di altre, allora possiamo ignorare la mancata partecipazione al voto nel formulare i sondaggi.

È una questione di tecnica di campionamento. Supponiamo ci sia una popolazione in cui il 5mila individui sono a favore del partito  A e 5mila sono a  favore del partito B. Solo l'80% della popolazione vota, ma l'astensionismo è ugualmente distribuito tra i favorevoli ad A e i favorevoli a B. Ossia, 4mila persone effettivamente voteranno A e 4mila voteranno B.

Ora supponiamo che tu sia un sondaggista e chiami a caso 1000 persone. Di queste (più o meno) 500 ti diranno che sono a favore di A e 500 a favore di B. In realtà di questi 1000 solo 800 (sempre più o meno) andranno a votare. Ma la risposta che ottieni è giusta, ossia A prende il 50% e B anche. Questo perché non esiste relazione tra il fatto di astenersi e il fatto di votare A o B, ossia se voti A la tua probabilità di astenerti  è la stessa che se voti B.

Ma ora considera uno scenario alternativo, un po`estremo. Solo i favorevoli ad A si astengono, i favorevoli a B votano senza eccezione, e l'astensionismo è sempre il 20%. A questo punto il risultato elettorale vero sarà che A prende 3000 voti e B ne prende 5000. Però il sondaggista che chiede semplicemente per chi l'intervistato è a favore otterrà il risultato che l'elezione finirà 50-50. È esattamente in questi casi che l'astensione crea problemi alla correttezza dei sondaggi. La decisione di astenersi non è indipendente dalla preferenza elettorale, per cui ignorando la decisione di astensione si sbagliano le stime.

Sembrerebbe che basti chiedere se l'interrogato andrà effettivamente a votare. Ma l'esperienza insegna che la cosa non è così semplice, perché la gente non ama dire che non vota. È vero in amerika ed è vero in Italia. Nei polls americani si cerca di stimare la probabilità di partecipazione al voto con domande indirette, ma ovviamente è una scienza molto inesatta.

Il Circap di Siena pare ci avesse preso

www.econ-pol.unisi.it/blog/

 

scrooge

Scrooge, grazie mille per il link che ho trovato molto interessante. Ancor più interessante è il fatto che le previsioni sostanzialmente corrette del Circap non sono il risultato di sondaggi, ma di un modello previsivo che usa dati sulle passate elezioni e sulla popolarità del governo in carica. Come spiegano quelli del Circap

 

Il modello previsionale impiegato (per i dettagli rimando alla mia pagina web) analizza la serie storica dei risultati elettorali delle elezioni politiche, europee e regionali dal 1994 e stima il voto sulla base del livelli di popolarità nel trimestre precedente il voto (a sua volta spiegati dalle aspettative economiche dei cittadini; Fonte ISAE), della partisanship (il risultato elettorale medio in tre elezioni precedenti) e del tipo di arena elettorale.

 

Il fatto che si possa far meglio, nella predizione del voto, usando un modello previsivo con dati indiretti piuttosto che il sondaggio diretto è interessante, e secondo me indica che nella metodologia dei sondaggi qualche problema c'è. Non so come abbia funzionato il modello Circap in altre occasioni, ma sicuramente è da tenere d'occhio.

In un articolo di oggi discute di sondaggi ed elezioni. L'articolo cerca di spiegare perché questa volta i sondaggi non hanno sbagliato a predire il risultato della Lega,  che poi equivale a cercare di spiegare perché hanno sbagliato in passato. Avanza una serie di spiegazioni ma non ho visto alcuna chiara evidenza statistica delle sue tesi. L'unica frase sugli altri partiti è l'ultima dell'articolo, che afferma:

 

Semmai, oggi i maggiori problemi, per i professionisti dell'opinione pubblica e dei sondaggi, provengono dai partiti di Sinistra e dal PD. Chiusi in alcune zone, ben delimitate. La loro base: erosa da un'ampia area di elettori delusi. I quali, quando vengono intervistati nell'ambito dei sondaggi non rispondono. Ma non perché siano reticenti. Semplicemente: non sanno se voteranno. Ed è difficile rilevare il voto degli ex voto.

 

Anche questa non ho ben capito da dove salti fuori. A me pare che i sondaggi in realtà abbiano fatto un ottimo lavoro. PD, IdV e perfino le formazioni minori come comunisti, sinistra e libertà e radicali sono stati tutti predetti abbastanza correttamente. Forse Diamanti pensa a problemi futuri, ma se è così dovrebbe chiarirlo.

Nessuna menzione invece del clamoroso errore dei sondaggi nel predire il voto al PdL, che invece mi pare la cosa più interessante di questa tornata. Mah....

 

 

Mah....

 

Dai, non far finta di non capire! Devono ben esserci delle ragioni per cui lui fa l'editorialista di "sociologia politica" su Repubblica e tu devi "accontentari" di nFA ...

Beh, è vero che tu una cattedra in Italia non ce l'hai né mai potresti vincerla, però forse ci sono anche altri fattori, no?

In attesa di comprendere il se e i come dei brogli; nella speranza che mullah fanatici e presidenti terroristi si levino per sempre dalle palle, ci consoliamo con queste immagini di protesta per la libertà contro la dittatura in Iran.