Questo è il mio terzo intervento sull’indagine PISA, dopo il primo che
anticipava i risultati, abbastanza azzeccati tranne la sorpresa
Shanghai (ma non si sapeva nemmeno, al di fuori della cerchia degli
addetti ai lavori, che la città era stata coinvolta nell’indagine)
e il secondo di presentazione dei risultati italiani.
Sento il dovere di ritornare sulla questione per un problema serio
apparso nel frattempo, ossia quello della composizione del campione
degli studenti italiani, che dovrebbe rappresentare tutti i quindicenni
italiani.
Lo spunto per intervenire nasce da un articolo di Salvo Intravaia
pubblicato il 10 dicembre scorso su La Repubblica intitolato «
Nella scuola pubblica si impara di più. L’Italia in basso per colpa
delle private» nel quale il giornalista usa i risultati italiani
dell’indagine PISA per difendere la validità della scuola statale e
squalificare le scuole paritarie.
A questo articolo hanno risposto Giorgio Vittadini e Luisa Ribolzi con
un articolo apparso il 13 dicembre 2010 sul Sussidario.net
intitolato «Le paritarie abbassano il livello ? È solo un’idea
(falsa) di Repubblica»
In aggiunta a questi due articoli, si può dire che la pubblicazione dei
risultati dell’indagine PISA, che ha suscitato molto interesse nel
mondo, ha anche generato perplessità tra alcuni specialisti e
osservatori delle scienze dell’educazione, perché taluni risultati sono
sorprendenti se comparati con quelli di indagini precedenti oppure con
altri della stessa indagine nello stesso sistema scolastico. In
particolare in Italia hanno suscitato perplessità alcune oscillazioni
di risultati da una rilevazione all’altra in alcune regioni visto che
in soli tre anni non sembrano esserci stati cambiamenti tali da
giustificare queste variazioni. E’ quindi opportuno ritornare
sulla questione per porre in particolare sul tappeto il tema della
campionatura.
La costruzione del campione rappresentativo per l’indagine PISA
Nell’indagne PISA non si somministrano i test e i questionari a
tutto l’universo degli studenti quindicenni, ma solo a un campione
rappresentativo, ossia a un insieme di studenti selezionati secondo
appositi criteri in grado di rappresentare tutta la fascia di età
considerata.
Da sempre, ossia sin dal 2000, il campione italiano degli studenti
quindicenni pone alcuni problemi. Chi conosce il sistema
scolastico italiano e le modalità di scelta della composizione del
campione PISA ha dubbi sulla validità di tale campione e ha ragione di
ritenere che non sia adeguamento rappresentativo di tutti i quindicenni
italiani e di tutti i tipi di istruzione e formazione secondaria
di secondo grado.
I criteri di campionatura
Esiste un problema OCSE : per essere comparabili
tra loro, i punteggi dei vari sistemi scolastici che partecipano
all’indagine PISA dovrebbero provenire da una campionatura dei
quindicenni rigorosamente omogenea fra i vari Paesi. Nonostante la
cura prestata dall’OCSE-PISA alla campionatura, sussistono numerosi
indizi che indicano la presenza di sbavature nei campioni di
quindicenni dei vari sistemi scolastici coinvolti nell’indagine. Ciò
significherebbe che i punteggi degli studenti iscritti nei vari sistemi
scolastici non sono tra loro perfettamente comparabili. Quale sia il
margine di errore indotto da queste sbavature non è dato sapere. In
ogni modo i dubbi ci sono e questi vanno controllati e verificati.
La costruzione di un campione rappresentativo di una popolazione è
questione molto delicata. La riprova è data dalla grande attenzione
riservata a questa questione ipertecnica da tutti coloro che svolgono
sondaggi.
La campionatura della popolazione scolastica presuppone l’esistenza di
un’accurata anagrafe degli studenti, aspetto problematico in Italia,
dove si stanno solo ora muovendo i primi passi in questa direzione.
Occorre inoltre prevedere l’intervento di specialisti della
costruzione dei campioni rappresentativi di tutta popolazione oggetto
di indagine. Questa è infatti un’operazione statistica che esige
determinate conoscenze che non tutti posseggono. Infine, nelle indagini
internazionali comparate, occorre la supervisione di arbitri neutri che
verifichino se i campioni dei vari sistemi scolastici rispettano i
criteri assegnati per garantire la comparabilità dei vari campioni di
popolazione e la conseguente esattezza dei calcoli.
Va da sé che se i campioni di popolazione che partecipano ad una
indagine non sono tra loro comparabili, la comparazione perde di senso.
Nell’articolo pubblicato da la Repubblica il 10 dicembre
scorso si sostiene che «a fare precipitare gli studenti
italiani in fondo alle classifiche internazionali sono proprio gli
istituti non statali».
Quest’affermazione merita di essere verificata in tre modi:
1. precisando cosa si intende per istituti non statali;
2. verificando se la tipologia usata dai responsabili
dell’indagine PISA per classificare gli istituti scolastici ( ossia la
terminologia internazionale) è diversa da quella usata in Italia e se
la portata semantica dei concetti utilizzati non è identica. Nella
terminologia internazionale usata dall’OCSE si distingue la scuola
pubblica dalla scuola privata e questa è a sua volta suddivisa in due
categorie, come indicato di seguito;
3. esaminando come è composto il campione di quindicenni italiani.
Notiamo che nell’articolo di Repubblica non si usa la terminologia
della classificazione OCSE. Possiamo supporre che si siano assimilati
gli istituti non statali alle scuole private della classificazione
OCSE, senza tenere conto però che in queste ultime esistono due
gruppi di scuole private per cui sarebbe bene precisare a quale dei due
gruppi appartengono gli istituti non statali italiani.
Ma vediamo più in dettaglio
Classificazione dell’OCSE: scuola pubblica e due tipologie di scuola
privata
Spagna: scuola privata cattolica sovvenzionata dallo Stato
L’OCSE distingue innanzitutto la scuola pubblica dalla scuola privata.
E la scuola privata in due diversi gruppi:
1. Scuole private che ricevono dal governo il 50% o più dei fondi
necessari al loro funzionamento (Government dependent private schools)
2. Scuole private che ricevono meno del 50% di finanziamenti
(Government-independent private schools).
Le definizioni sono esposte nel volume «School factors related to
quality and equity. Results from pisa 2000, OECD Paris 2005»
I dettagli della distribuzione dei quindicenni tra i vari tipi di
scuola dei sistemi scolastici inclusi nell’indagine PISA si trovano nel
volume IV, «PISA 2009 Results: What Makes a School Successful?
Resources, policies and practices, OECD, Paris 2010», che fa parte
della serie di documenti resi pubblici il 7 dicembre u.s. insieme alla
presentazione dei dati dell’indagine PISA 2009.
Inghilterra: scuola privata non sovvenzionata dallo Stato
Le modalità di classificazione delle scuole nel campione 2009 saranno
invece specificate nel rapporto tecnico dell’indagine 2009 in corso di
pubblicazione.
Conoscendo il modo di funzionare dell’OCSE possiamo ritenere che la
classificazione usata nel 2009 sia identica a quella del 2000, che
abbiamo sopra riportato, senza tema di essere smentiti (del resto
queste definizioni erano già utilizzate nel calcolo degli indicatori
internazionali della scuola nei paesi dell’OCSE usciti tra il 1992 e il
1995). Questo è confermato peraltro dalla nota 10 a pagina
59 del capitolo secondo del volume quarto della serie PISA 2009.
Riassumendo, il campione PISA come definito dall’OCSE contiene :
1. studenti delle scuole pubbliche, direttamente amministrate da
un’autorità pubblica,
2. studenti di due tipologie di scuole private:
a) le scuole private dipendenti dallo Stato ossia prevalentemente
finanziate con fondi pubblici (questo per esempio è il caso di
molte scuole private cattoliche in Francia, in Spagna, nei Paesi Bassi),
b) scuole private indipendenti dallo Stato, che ricevono meno del 50%
di fondi pubblici, è questo il caso delle scuole paritarie in Italia,
anche se non sono più definite private a seguito della legge 62/2000;
Altro problema: da quanti anni gli alunni campionati frequentano la
scuola privata?
Nelle regole per la campionatura fornite dai responsabili dell’indagine
Pisa non si precisa per quanti anni gli studenti quindicenni abbiano
frequentato la scuola privata o la scuola pubblica. L’indagine PISA non
si interessa degli antecedenti scolastici degli studenti. Quindi è
possibile che uno studente quindicenne iscritto al 1° anno di una
scuola secondaria superiore privata abbia fatto tutto il precedente
percorso della scuola elementare e media in una scuola pubblica. Per il
momento non è possibile operare una distinzione in funzione di questa
variabile che comunque non è irrilevante rispetto all’interpretazione
dei punteggi conseguiti nel test PISA (Si veda la sezione
«Reporting student data» nel vol. IV già citato,pag 23 della sintesi).
Il giudizio dell’OCSE sull’incidenza delle scuole private sui punteggi
Le scuole private, in genere, secondo l’OCSE, non abbassano la
media dei punteggi nei test. Non c’è differenza tra scuole pubbliche e
scuole private.
L’OCSE ha prodotto analisi dettagliate su tale questione con i dati dei
sistemi scolastici nei quali la scuola privata occupa un posto ben più
rilevante che in Italia.
Ecco quanto afferma l’OCSE commentando i risultati dell’indagine PISA
2009 :
“Dopo avere tenuto conto dei profili socio-economici e demografici
degli studenti che frequentano le scuole private e delle stesse scuole
private presenti nei sistemi scolastici dell’OCSE si constata che i
risultati sono simili a quelli degli studenti che frequentano le scuole
pubbliche” (Vol IV della serie PISA 2009, sintesi pag. 14)
La classificazione degli istituti in Italia: un rebus
Quando si deve applicare la classificazione internazionale
all’Italia occorre riconoscere che si è veramente in difficoltà.
In Italia per scuola pubblica si intende di norma la scuola statale,
dipendente dal MIUR, nonostante che dopo il varo della legge
62/2000 rientrino giuridicamente nell’ambito “pubblico” anche le scuole
paritarie.
Ma assumiamo il sintagma “ scuola pubblica” uguale “scuola
statale” e collochiamo le scuole paritarie nella classificazione OCSE
di scuole private.
In questo caso però, nella classificazione scuole private non si
collocano solo le scuole paritarie, ma anche i Centri di Formazione
Professionale (CFP), che, come noto, non sono statali, ma dipendenti in
gran parte dalle Regioni.
Ora la grandissima maggioranza di quindicenni italiani si trova nella
categoria degli istituti statali, ma ci sono quindicenni anche nelle
scuole paritarie, che offrono una gamma completa di istruzione e
formazione, e ci sono quindicenni nei CFP regionali.
Ce ne sono anche, per quanto in misura molto ridotta, in scuole private
vere e proprie, quelle cioè che non hanno ottenuto la parità, ma
che non vengono considerate.
Italia: varianza nella media dei punteggi tra scuole paritarie, CFP e
scuole statali
Nell’articolo di Repubblica non si precisa se i punteggi sono
bassi nella stessa proporzione per le due categorie di istituti non
statali, scuole paritarie e CFP, oppure se una categoria ha peggiori
risultati dell’altra.
L’articolo di Repubblica suggerisce soltanto che le medie dell’insieme
delle scuole private, senza distinzione tra le due categorie, sono
talmente disastrose da incidere negativamente sulla media nazionale, la
quale invece sarebbe molto migliore in termini assoluti e in termini
relativi, comparata alla media di altri sistemi scolastici, se non ci
fossero gli istituti non statali.
Se si scandagliano i risultati italiani si scopre invece subito (si
vedano le tabelle sottoriportate) che le medie delle due categorie di
istituti non statali non sono affatto simili e che la media peggiore è
quella dei CFP. Quindi, prima di affermare globalmente che gli istituti
non statali inquinano la prestazione italiana, sarebbe opportuno
effettuare questa distinzione.
La seconda obiezione riguarda i punteggi degli studenti degli istituti
statali.
E’ ormai noto che questi punteggi si distribuiscono su una vasta scala:
ci sono istituti eccellenti ed istituti pessimi. In genere, la media
dei licei è migliore di quella delle altre scuole, ma anche tra i licei
ci sono quelli buoni e quelli meno buoni.
Importa qui segnalare che ci sono istituti statali con punteggi simili
a quelli dei CFP e che ci sono istituti paritari con punteggi superiori
a quelli di certi istituti statali. In altri termini, i punteggi delle
varie categorie di scuole si intrecciano. Quest’analisi si può
fare senza grandi difficoltà e probabilmente l’INVALSI l’ha già fatta.
L’OCSE pubblica una tabella di confronto dei punteggi conseguiti dai
quindicenni nelle scuole pubbliche e nelle scuole private. Abbiamo
ripreso la parte riguardante l’Italia, disarticolando i punteggi per
categoria di scuola.
Si riportano le differenze nei punteggi conseguiti nel test di
comprensione della lettura tra scuole private e scuole pubbliche
(Vol.IV pag, 140)
Italia: Scuole pubbliche (statali)
Si può supporre che le scuole pubbliche (terminologia OCSE) raggruppino
in Italia gli studenti frequentanti le scuole statali
Italia: Scuole private dipendenti dal governo (presumibilmente i CFP)
(Tab.IV.3.9 pag.224)
Alla luce della percentuale degli iscritti in queste scuole si può
supporre, in mancanza di smentite, che questa proporzione e questi
punteggi rappresentino il risultato dei CFP. L’OCSE non fornisce
la fonte di queste informazioni, si attendono conferme dall’INVALSI
Scuole private indipendenti dal governo (presumibilmente scuole
paritarie)
Si può supporre che le scuole private indipendenti dal governo siano in
Italia le scuole paritarie, ma non abbiamo elementi a sufficienza per
confermare questa supposizione se non la deduzione che si può trarre
dalla percentuale degli iscritti.
Ciò che balza innanzitutto agli occhi è che la media in assoluto
peggiore è quella dei CFP, nei quali si registra una differenza di 86
punti rispetto alle scuole statali, e una differenza di 75
punti rispetto alle scuole paritarie.
Italia: varianza nella media dei punteggi fra scuole paritarie e scuole
statali e caratteristiche degli studenti delle scuole paritarie
superiori
STUDENTI DI LICEO PARITARIO
La differenza nella media del punteggio nel test di comprensione della
lettura fra scuole statali e scuole paritarie è, come si è visto, di 11
punti a vantaggio delle scuole statali (media scuole statali:
489 ; media scuole private indipendenti o scuole paritarie: 478).
Angela Martini (INVALSI) ritiene che concorrano a spiegare il risultato
delle scuole paritarie le caratteristiche degli studenti che le
frequentano, che sarebbero le seguenti:
1) status socio-economico-culturale più alto rispetto agli alunni delle
corrispondenti scuole statali, ma preparazione più bassa
2) genere in prevalenza maschile
In altre parole, sarebbero per lo più gli alunni di famiglia
agiata (più maschi che femmine) che non vanno bene a scuola
a frequentare in Italia le scuole secondarie superiori paritarie.
Martini deduce queste considerazioni dall’analisi specifica svolta sui
punteggi degli studenti veneti nell’indagine PISA 2006 . Non
entriamo nei dettagli dell’analisi svolta nella Regione Veneto, ci
interessa qui la conclusione degli autori del Rapporto veneto.
“Questo dato e gli altri cui si è fatto sopra riferimento delineano un
ruolo dell’istruzione non statale nel ciclo secondario
superiore che potremmo definire – fatte salve le debite eccezioni
– di “ciambella di salvataggio” per gli studenti di famiglia agiata a
rischio d’insuccessonella scuola pubblica. Tale situazione, che ha
profonde radici storiche e si ripete con maggiore o minore
intensità anche in altre regioni italiane, spiega perché
nel nostro paese, a differenza di quanto accade nella maggior
parte dei paesi OCSE, la scuola privata ottenga risultati inferiori a
quella pubblica, con un divario che si allarga fino a
diventare statisticamente significativo quando si tiene
sotto controllo lo status socio-economico-culturale degli alunni
e delle scuole, come si può evincere dalla tabella 5.4, p. 166, del
Rapporto Internazionale
Pertanto, alla luce di questi elementi, non si può affermare che le
scuole paritarie siano di per sé una zavorra, ma sono piuttosto una
componente organica del sistema scolastico italiano che risulterebbe
mediocre nel suo complesso, perché mantiene basse le competenze in
lettura di tutte le categorie di studenti.
Non vi è dubbio, comunque, che occorrano analisi più approfondite e
altri dati per capire meglio questa situazione.
Ragionevoli dubbi sulla presenza di falle nel campione italiano
Alla luce di tutto quanto siamo venuti esponendo si può ragionevolmente
pensare che il campione italiano PISA non rappresenti fedelmente la
popolazione scolastica dei quindicenni, e che non sia quindi del
tutto correttamente comparabile ai campioni di altri sistemi
scolastici, nè compiutamente utilizzabile per valutare le prestazioni
delle scuole private o meglio paritarie.
Vittadini e Ribolzi nel loro articolo sul Sussidario affermano che nel
campione italiano PISA sono presenti 30 CFP e 31 scuole paritarie su
1062 scuole paritarie esistenti nel paese, ossia una percentuale pari
al 2,9%, fra le quali si annoverano 21 licei su 426 (4,9%), 5
professionali su 225 (2,2%), 4 tecnici su 315 (1,3%). Poiché non
disponiamo dei criteri rilasciati da PISA per la stratificazione del
campione non possiamo dire se questa proporzione sia rappresentativa o
meno,ossia se sia corretta per costruire un campione rappresentativo.
Non lo sappiamo. Alla luce di questi dati temiamo però che non lo sia.
Una prova ulteriore della presenza in Italia di problemi legati alla
costruzione del campione è offerta dalle tabelle PISA, volume IV, nelle
quali per la maggior parte delle regioni (curiosamente designate nel
volume OCSE come province), non ci sono cifre nelle rubriche
riguardanti scuole private e scuole pubbliche, ma si ritrova il
simbolo «c» che significa non disponibilità di un numero sufficiente di
dati.
In una comunicazione personale ricevuta da Angela Martini (INVALSI) si
esprimono preoccupazioni di fronte alle grandi oscillazioni di punteggi
italiani tra un ciclo e l’altro di Pisa. Angela Martini
osserva :
“Per quanto riguarda il Nord, rispetto alla precedente rilevazione, il
Nord-Est perde tutto il suo vantaggio del 2006 a favore del Nord-ovest.
In particolare la Lombardia, che nel 2006 era scesa di circa 30 punti
rispetto al risultato ottenuto precedentemente nel 2003, recupera alla
grande divenendo la prima regione in Italia. Sinceramente sbalzi di
questo genere da una rilevazione all’altra mi sembrano eccessivi (o
forse PISA è un termometro sensibilissimo alle variazioni
dell’economia ?). Io sostengo dall’inizio che a mio parere ci sono
dei problemi - a dire il vero non imputabili all’OCSE – per quanto
riguarda uno dei criteri di stratificazione del campione in Italia,
quello che fa riferimento alla tipologia di scuola (licei, istituti
tecnici, ecc.). Sotto la dicitura “licei” oramai c’è di tutto, per cui,
a seconda che nel grappolo di scuole che li rappresentano nel campione
entri un numero più o meno alto di studenti di questo o quell’indirizzo
– niente affatto uguali tra loro per il tipo di popolazione reclutata –
i risultati non possono non risentirne”.
Analoga preoccupazione è espressa in una comunicazione personale di
Maurizio Gentile riguardante la composizione del campione della
provincia di Trento. Gentile segnala che:
“Il campione trentino è di 1400 alunni, ma nel database internazionale
ne risultano solo 500, di cui solo 21 soggetti sono dei licei
(meno di una classe). I colleghi stanno facendo delle verifiche
per verificare la corretteza del campione”.
Osservazione conclusiva
Gli elementi a nostra disposizione e che abbiamo fin qui indicato
avallano i dubbi sul campione italiano utilizzato nell’indagine Pisa.
Molte indicazioni suggeriscono che il campione non sia del tutto
corretto e non sia sufficientemente rappresentativo né della
popolazione dei quindicenni italiani né della tipologia di scuole
esistenti sul territorio nazionale.
Pertanto, le comparazioni tra i punteggi italiani e i punteggi
conseguiti dai quindicenni di altri sistemi scolastici vanno fatte con
estrema cautela ; a maggior ragione, i confronti interni ai vari
tipi di scuole italiane meritano un’oculata prudenza in mancanza di
informazioni precise sui criteri di stratificazione utilizzati per
costruire il campione scolastico dell’indagine Pisa.
Affermazioni perentorie e ad effetto come quelle fatte
nell’articolo di Repubblica, senza prove, senza verifiche, sono il
frutto di un atteggiamento ideologico lontanissimo da quello che ispira
l’indagine Pisa.