Gli studenti italiani hanno partecipato in massa al test. Sono stati intervistati circa 30mila studenti, esistono quindi pochi dubbi sulla rappresentatività del campione, anche a livello regionale. L’età media degli studenti è di 15 anni e 9 mesi. Per gli amanti dei numeri, questa la tabella che riassume i risultati.
1. La Cina. La prima grossa notizia è il risultato degli studenti cinesi, che partecipano per la prima volta ai test. In particolare gli studenti di Shanghai hanno conseguito risultati migliori in tutte le tre aree considerate: lettura, matematica, scienze. In matematica, hanno ottenuto risultati migliori persino degli studenti di Singapore, storicamente i migliori nelle rilevazioni precedenti, e di gran lunga. Non si tratta di un campione rappresentativo di studenti cinesi (gli studenti di Macao fanno un po' peggio della media OCSE, per esempio), ma indicativo della modernizzazione della Cina e dell’enfasi sullo studio e l’apprendimento. Altro materiale per Voltremont e le sue paure.
2. L’Italia. Nessuna notizia rilevante qui. In media l’Italia fa malino, come nelle precedenti rilevazioni. Fa peggio della media OCSE in modo statisticamente significativo in tutte le discipline e si piazza sopra solo a paesi di reddito e ricchezza inferiore.
Nella lettura il punteggio dell’Italia è 486, statisticamente inferiore alla media OCSE, 493. Per interpretare questo numero si può per esempio leggere nel rapporto il livello di competenza richiesto da uno studente che ottenga un punteggio di Livello 3 (su 7), con un punteggio fra 480 e 553 (traduzione un po' libera del sottoscritto):
Livello 3 (punteggio minimo 480): In questo livello si richiede al lettore di localizzare, e in qualche caso riconoscere le relazioni fra, diverse informazioni che debbano corrispondere a più di una condizione. Compiti interpretativi di questo livello richiedono al lettore di integrare diverse parti di un testo per identificare un’idea principale, capire una relazione o costruire il significato di una parola o frase. Debbono terner conto di diverse caratteristiche per comparare, contrastare o categorizzare. Spesso l’informazione richiesta non è evidente nel testo, oppure ci sono molte informazioni che competono per l’attenzione del lettore; oppure ci sono molti ostacoli nel testo, come idee che sono diverse da aspettative o espresse in forma negativa.
L'impressione è che si richieda al lettore sedicenne di stare un po' attento a quanto sta leggendo. In questo documento potete leggervi la descrizione dei vari livelli (in inglese). Nel rapporto ufficiale trovate anche degli esempi di domande (vol. 1, pagine 91 e seguenti). In Italia, quasi tre quarti degli studenti leggono a questo livello o in modo peggiore. Più del 20 percento legge a livello inferiore al 2, cioè ha una capacità di comprensione del testo che è, al massimo di questo tipo:
Livello 1a (punteggio massimo 406): In questo livello il lettore deve localizzare una o più informazioni dichiarate esplicitamente. Riconoscere il tema principale o l’obiettivo dell’autore in un testo su un argomento familiare. Oppure, effettuare una semplice connessione fra informazioni presenti nel testo e il linguaggio quotidiano. Tipicamente l’informazione richiesta nel testo è predominante e c’è poca o nulla informazione che compete con essa. Il lettore è indirizzato esplicitamente nel testo a considerare fattori rilevanti a completare il compito richiesto.
Ed ecco un esempio di lettura e domanda la cui riposta fornisce un punteggio che corrisponde al livello 1a:
Pulirsi i denti. I denti diventano sempre più puliti se li laviamo più a lungo e più vigorosamente? Ricercatori britannici sostengono di no. Hanno provato varie alternative per capire quale sia il modo migliore per pulirsi i denti. Spazzolarli per due minuti, non troppo forte, fornisce il migliore risultato. Se li spazzoli troppo forte, blah blah.... Bente Hansen, un'esperta di pulizia dentale, dice che è una buona idea tenere lo spazzolino come una penna: "Comincia da un angolo e poi pulisci tutta la fila di denti. Non dimenticare la lingua! Contiene un sacco di batteri che possono causare alito cattivo"
Domanda (353 punti): Di cosa parla questo articolo? A) Il modo migliore di pulire i denti B) Il migliore tipo di spazzolino C) L'importanza di avere buoni denti D) I diversi modi per lavarsi i denti.
L'impressione è che questa domanda corrisponda più ad un test di intelligenza che di capacità di lettura, si tenga conto però che questo è uno dei livelli più bassi. Nel rapporto si trova un commento che spiega la collocazione del livello di difficoltà della domanda: la brevità del testo, la familiarità della situazione descritta, il fatto che la risposta corretta contenga un riferimento al titolo, e così via. Consiglio soprattutto agli scettici dei test standardizzati di consultare il rapporto completo per farsi un'idea della qualità delle domande, che appaiono scelte e pensate in modo piuttosto minuzioso.
Tornando ai risultati degli studenti italiani, di particolare rilievo le differenze fra maschi e femmine. Nella lettura, i ragazzi italiani ottengono risultati significativamente inferiori delle ragazze, molto più che negli altri paesi. La media delle ragazze, 510 è significativamente superiore alla media dei paesi OCSE. Quella dei ragazzi è 464.
Nella matematica il risultato ottenuto dagli studenti italiani corrisponde a quello della lettura: il punteggio medio è 483, inferiore alla media OCSE, con una differenza statisticamente significativa. Peggio fanno solo paesi in via di sviluppo. Il risultato e' appena sopra il livello minimo per ottenere un risultato di livello 3 (su 6). Il 50% degli studenti si trova al livello 2 o inferiore. Il 74% circa risponde al livello 3 o inferiore. Il 25% circa risponde al livello 1 o inferiore. Ecco una descrizione di alcuni di questi livelli:
Livello 3 (punteggio fra 482 e 545): Lo studente deve eseguire chiaramente le procedure descritte, comprese quelle che richiedono decisioni sequenziali. Deve selezionare e applicare semplici strategie di risoluzione dei problemi. Studenti a questo livello possono interpretare e usare rapparesentazioni basate su diverse fonti di informazione e ragionare direttamente da esse. Devono sviluppare brevi comunicazioni per riportare le loro interpretazioni, ragionamenti e risultati.
In una domanda tipica per livello 3, viene mostrato un grafico indicante l’andamento per età delle due curve dell’altezza media di maschi e femmine. Le due curve si incrociano due volte, a 11 e 13 anni di età. Viene chiesto allo studente durante quale periodo di vita le femmine sono più alte dei maschi della stessa età. Il 55% degli studenti dell’OCSE risponde correttamente a questa domanda, cui viene assegnata un livello di difficoltà di 525. Per confronto, vi descrivo anche una domanda che corrisponde al livello 2 (punteggio fra 420 e 482 punti). Viene mostrato un grafico di una scala stilizzata con il seguente titolo: “Il diagramma sottostante illustra una scala con 14 scalini e un’altezza totale di 252 cm”. Il grafico poi riporta ancora l’altezza totale, oltre alla profondità della scala, 400cm. Domanda: Qual è l’altezza di ciascuno dei 14 scalini. La difficoltà della domanda è di 421, il 78% degli studenti OCSE risponde correttamente.
Nelle scienze vale quanto descritto per le altre discipline. Si noti che in questo ambito gli alunni delle elementari italiani hanno ottenuto un risultato particolarmente buono nei più recenti test TIMSS che si riferiscano al 2007 (si vedano i miei rapporti qui e qui). Questo risultato è limitato agli alunni delle elementari e non viene confermato dagli alunni delle medie testati lo stesso anno.
3. Le differenze regionali. Il rapporto breve del sito dell’Invalsi enfatizza come già fatto per le precedenti versioni le differenze per macro regioni, e confermano enormi differenze regionali. Non credo sia appropriato confrontare regioni italiane con interi paesi stranieri, ma tanto per dare un’idea, per la Lettura, il Nord-Ovest e il Nord-Est si attestano ai livelli di altri paesi europei comparabili (punteggi 511 e 504, rispettivamente, non tanto diversi da Australia, 514, Paesi Bassi, 508, Belgio, 506, Svizzera, 501, Polonia, 500, etc...). Il centro si attesta sulla media italiana, 488, mentre il sud ottiene un preoccupante 468, e le isole 456.
Nella matematica e nelle scienze le differenze hanno lo stesso ordine di grandezza: per la matematica, 507 al nord, 465 al sud e 451 nelle isole; per le science, i numeri sono 515, 466 e 454. A voler giudicare dagli esempi di domanda citati sopra, lo studente medio del Sud fa fatica ad interpretare un semplice grafico o a rispondere ad una domanda che richieda una divisione.
4. L’andamento dei risultati nel tempo. Una lettura approssimativa dei risultati porterebbe a fornire l’impressione che questi test siano determinati principalmente da coordinate geospaziali: l’Italia sta sui 480, gli USA sui 485, Singapore sui 510, e così via. In realtà ci sono esempi di miglioramenti significativi, come per esempio nel caso della Polonia, che partiva male nel 2000, o della Corea, che stava già aveva conseguito buoni risultati. In entrambi i casi, i risultati sono correlati con l'adozione ed il perseguimento di specifiche riforme mirate al miglioramento della qualità dell'apprendimento. Non mi soffermo sui dettagli, limitandomi a sottolineare che le riforme, se si vuole, si possono fare e sono anche efficaci.
Per l’Italia invece, nessuna riforma sostanziale e nessun cambiamento di rilievo nei risultati. Il corriere e la Gelmini soprattutto usano toni trionfalistici che non mi sento di condividere. Spulciando i dettagli, si scopre che nella lettura, l’Italia ottiene risultati stabili seppur altalenanti (487 nel 2000, 476 nel 2003, 469 nel 2006, e 486 nel 2009). La percentuale di studenti che leggono sotto il livello 2 rimane stabile (circa il 20%). In matematica la media italiana migliora di 17 punti rispetto al 2003 (pur rimanendo sotto la media OCSE). Si tratta di un aumento statisticamente significativo dovute principalmente ad una convergenza nei risultati fra macro regioni, con miglioramenti del Sud e delle Isole che partivano da posizioni molto basse. Per capire quanto grande sia questo miglioramento, si faccia riferimento alle differenze fra i livelli riportate in modo sommario sopra al punto 2. La differenza fra i punteggi minimi dei vari livelli è di 62 punti. In Italia, la percentuale di studenti che ha ottenuto risultati inferiori al livello 2 è diminuita in modo statisticamente significativo, passando dal 32 al 24 per cento. Sono anche aumentati in modo statisticamente significativo di qualche punto percentuale i top performers. Nelle scienze, l'aumento dal 2006 è stato di 13 punti, non elevato ma statisticamente significativo. Diviso per regione, l’aumento è stato maggiore nel Sud (19) e Isole (22 punti), ma non è stato significativamente positivo in nessuna dell macro-aree.
5. Considerazioni finali. Per riassumere, direi che rispetto al 2006 si tratta per l'Italia di “more of the same”: risultati scarsi in media e pessimi al sud in tutte le discipline. I segni di miglioramento sono piuttosto labili, e andrebbero spiegati: quali modifiche strutturali sono state intraprese per conseguire questi miglioramenti? Fossi la Gelmini (o un suo successore) intanto comincerei ad andare a spulciare i dati scuola per scuola per capire da dove vengono le differenze fra nord e sud, e da dove i miglioramenti. Continuerei col cercare di capire perché le ragazze leggono meglio dei ragazzi. Questo è vero ovunque, ma le differenze sono più marcate in Italia che altrove. Perché?
Il rapporto comunque contiene una quantità enorme di altre informazioni, che forse consentono di rispondere in parte a queste domande. Promettiamo di tornarci una volta digerita la mole di pagine.
La mia ipotesi è che differenti performance, siano esse legate a età, geografia o sesso, possano essere strettamente correlate al livello di robustezza (o disgregazione) del contesto culturale e sociale in cui si inseriscono gli individui. Ossia, quando un individuo vive in un ambiente (famiglia, amici, società...) dove esistono alcuni riferimenti credibili sia morali che pratici, allora diventa normale l'impegno personale nello studio e più in generale nell'affinamento delle proprie capacità cognitive. Se cioè l'individuo sa o intuisce che il proprio valore sociale (e quindi alla fin fine la propria autostima) dipende dai risultati che può ottenere attraverso canali quali studio, lavoro, comportamenti responsabili in genere, allora finisce per impegnarsi ed ottenere di più.
Più l'italiano si avvicina alla vita adulta e lavorativa, più si affranca dall'iniziale soggezione intellettuale ai propri genitori ad ai propri maestri, nonché dalla dimensione più circoscritta, famigliare della propria esistenza, cominciando a confrontarsi con una realtà più vasta nella quale si dice contino solo arroganza, furberia e quant'altro. Credo che questo concetto, che in parte è vero ed in parte no, ma che fa parte comunque delle lezioni di vita quotidiane che bambini e adolescenti ricevono ben presto attraverso le parole degli adulti, sortisca gli effetti negativi sull'apprendimento di cui si parla.
Mi pare infine che il miglior rendimento della popolazione femminile sia appunto da legare alla dimensione relativamente più famigliare-tribale dell'esistenza delle donne, specialmente in Italia, il che le rende meno esposte a vedere le cose in modo pessimista, cinico e deresponsabilizzante.