A) Premessa
L’Italia, seppure in ritardo rispetto agli altri paesi avanzati, ha intrapreso
la strada di una maggiore autonomia delle singole scuole come modello
organizzativo del proprio sistema educativo. Tuttavia la transizione è ancora
lontana dall’essere completata per almeno tre motivi. In primo luogo, a parità
di spesa totale, le risorse trasferite a livello locale sono insufficienti
rispetto ai compiti assegnati. In secondo luogo, gli organi decisionali e le
rispettive responsabilità all’interno delle scuole non sono ancora compiutamente
definiti. In terzo luogo, il trasferimento di autonomia decisionale ai singoli
istituti scolastici, in tema di offerta formativa, di gestione delle risorse
umane e di amministrazione finanziaria, deve procedere di pari passo con la
definizione di un sistema di valutazione che permetta di misurare i risultati
ottenuti a seconda delle scelte effettuate.
Nelle pagine che seguono affrontiamo il terzo di questi problemi, proponendo un
sistema di valutazione delle singole istituzioni scolastiche che sviluppi e
adatti alle esigenze del nostro Paese il meglio offerto in questo campo dalle
esperienze internazionali, in molti casi più avanzate delle nostre. In linea con
queste esperienze, proponiamo una valutazione delle scuole effettuata da
personale esterno ed indipendente e focalizzata su una misurazione dei livelli
di apprendimento che tenga conto delle condizioni di contesto in cui gli
studenti vivono e le scuole operano. Una valutazione con queste caratteristiche
non è pensata come un obiettivo a se stante, ma come un’infrastruttura di cui il
Paese deve dotarsi per poter migliorare il sistema scolastico. Attualmente, la
scuola italiana non è in grado di premiare i capaci e i meritevoli e nello
stesso tempo non è nemmeno in grado di aiutare efficacemente gli studenti e gli
insegnanti in difficoltà. È invece necessario poter disporre di uno strumento
che indichi dove intervenire per correggere situazioni insoddisfacenti e dove
evidenziare e valorizzare esperienze eccellenti. Solo una valutazione con queste
caratteristiche può affiancare e aiutare il trasferimento di autonomia
decisionale alle singole istituzioni scolastiche, consentendo a tutti gli
operatori di verificare la bontà delle scelte da loro effettuate.
Questi obiettivi dovrebbero essere patrimonio comune sia della “destra” che
della “sinistra” nel nostro Paese, così come accade negli altri paesi con cui ci
confrontiamo. Il Quaderno Bianco sulla Scuola pubblicato nel settembre 2007
d’intesa fra i Ministeri dell’Istruzione e dell’Economia, l’introduzione di una
prova nazionale standardizzata all’interno dell’Esame di Stato alla fine del
primo ciclo introdotta dal Ministro Fioroni, la direttiva triennale appena
varata dal Ministro Gelmini, che prosegue nella direzione tracciata dai
precedenti ministri Berlinguer, Fioroni e Moratti con la costituzione
dell’INVALSI, sono tutti passi che vanno in questa direzione, pur provenendo da
governi di ispirazione assai diversa.
Per questo auspichiamo che la nostra proposta sia esaminata con animo aperto e
costruttivo da tutte le forze politiche e sociali del paese, affinché, qualora
accettata, diventi patrimonio di tutti, ovviamente migliorabile nel tempo, ma
non soggetto al rischio di essere stravolto ad ogni cambio di governo, così come
i ponti sono costruiti al servizio della collettività con le tecnologie più
avanzate del momento, non per essere abbattuti ad ogni elezione.
B) I pilastri portanti della proposta
La nostra proposta si fonda su tre pilastri portanti. B.1) La misurazione
dell’apprendimento degli studenti
Il nostro punto di partenza è che la valutazione delle scuole debba fondarsi
principalmente su una misurazione dell’apprendimento degli studenti che tenga
conto delle condizioni di partenza e di contesto in cui gli studenti vivono e le
scuole operano (valutazione definita tecnicamente come misurazione del “valore
aggiunto” delle conoscenze). Una scuola funziona bene quando gli studenti
apprendono in modo soddisfacente rispetto a un insieme di criteri condivisi. Il
primo pilastro della nostra proposta è quindi costituito da un sistema
standardizzato di valutazione di questi apprendimenti, che consenta di integrare
la valutazione formativa quotidianamente effettuata dagli insegnanti nelle loro
classi con un punto di riferimento esterno capace di garantire la comparabilità
trasversale dei risultati conseguiti e conseguibili. Nelle pagine che seguono,
tuttavia, usiamo genericamente il termine “apprendimento”, senza entrare nel
merito dei contenuti da misurare (ad esempio le conoscenze, le abilità o le
competenze degli studenti), lasciando agli esperti in questo campo di indicare
le soluzioni più adatte a questo fine.
Anche se esistono alcune encomiabili esperienze di auto-valutazione in alcune
scuole italiane (vedi per esempio quelle del Trentino), lo sviluppo di un
sistema di valutazione nazionale è ancora in forte ritardo nel nostro paese. I
meccanismi tradizionali di controllo dei risultati scolastici hanno
progressivamente perso efficacia e la mancanza di misurazioni comparabili a
livello nazionale all’interno degli esami di stato scoraggia sia l’impegno degli
studenti, che non vedono premiato il merito, sia l’impegno degli insegnanti, che
non vedono riconosciuto il loro lavoro.
Se fino ad ora solo pochi addetti ai lavori segnalavano quanto fosse grave la
carenza di valutazioni standardizzate degli studenti, recentemente tutta
l’opinione pubblica se ne è resa conto, quando i quotidiani hanno riportato i
risultati delle indagini comparative internazionali cui l’Italia ha partecipato
(Progress in International Reading Literacy Study (PIRLS), Trends in
Internatioanal Mathematics and Science Study (TIMSS), Program for International
Student Assessment (PISA), per ricordare le più recenti). Queste indagini hanno
dimostrato in modo inequivocabile l’esistenza di un forte divario territoriale
Nord-Sud, nonostante la natura centralizzata del nostro sistema scolastico.
Inoltre hanno evidenziato un progressivo peggioramento della posizione
dell’Italia, che pur collocandosi in alto nelle classifiche riguardanti i
bambini di quarta elementare (PIRLS, TIMSS) scende nettamente al di sotto della
media OECD nel caso dei quindicenni (PISA). Questi fatti, uniti all’abbandono
scolastico che rimane ancora troppo alto specialmente nelle aree meridionali, e
al basso numero di laureati e diplomati, seppur in crescita nelle coorti più
giovani, pongono interrogativi sull’efficacia del nostro sistema scolastico, e
quindi sulla necessità improrogabile di una sua valutazione complessiva, in
particolare riguardo all’obiettivo di assicurare a tutti pari opportunità.
B.2) L’anagrafe scolastica nazionale
Al fine di passare dalla misurazione degli apprendimenti degli studenti alla
valutazione delle singole istituzioni scolastiche, il secondo pilastro della
nostra proposta è la predisposizione di un’Anagrafe Scolastica Nazionale che
segua nel tempo tutti gli studenti consentendo di abbinare la loro performance
alle caratteristiche delle scuole frequentate e degli insegnanti incontrati,
nonché a dati di fonte amministrativa sulle caratteristiche demografiche ed
economiche delle loro famiglie.
Senza un’anagrafe con queste caratteristiche non è possibile ricostruire al
meglio le condizioni ambientali e familiari in cui crescono e maturano gli
studenti, al fine di scorporare la componente dei loro risultati scolastici
attribuibile all’ambiente dalle componenti attribuibili invece agli studenti
stessi, alle scuole e ai singoli insegnanti. Informazioni di questo tipo sono
raccolte per gli stessi fini in molti altri paesi tra cui in particolare quelli
scandinavi, il Regno Unito e la Francia. Qualche esperimento pilota è anche
stato tentato per l’Italia utilizzando la banca dati America (realizzata presso
l’Università di Milano-Bicocca). Embrioni di anagrafe scolastica esistono
inoltre, senza coordinamento nazionale, in alcune regioni e province italiane.
Occorre censire e utilizzare l’esistente, ma soprattutto bisogna partire per il
futuro con una nuova struttura informativa nazionale che inizi a seguire nel
tempo una coorte di alunni dalla prima elementare in avanti, continuando a
ripetere questa rilevazione per tutte le coorti successive. Ci vorrà del tempo
per arrivare ad un’anagrafe completa, ma proprio per questo è necessario
iniziare presto a compiere i passi necessari per la realizzazione di questo
obiettivo. È possibile farlo con costi contenuti utilizzando dati amministrativi
che già esistono (per esempio il reddito familiare è reperibile attraverso
l’Agenzia delle Entrate associando il codice fiscale dello studente a quello dei
genitori, la composizione familiare è reperibile presso le Anagrafi comunali, e
così via). Ulteriori informazioni potranno essere rilevate integrando e
conservando opportunamente i dati già raccolti dalle singole scuole (per esempio
il titolo di studio dei genitori richiesto all’atto dell’ingresso dello studente
nel sistema scolastico).
Sarà inoltre necessario coinvolgere il Garante delle Privacy affinché consenta
il conferimento all’Anagrafe dei dati rilevanti raccolti da singole
amministrazioni. Ed infine il personale delle amministrazioni stesse dovrà
essere opportunamente addestrato e motivato alla conservazione elettronica di
queste informazioni che, nel rispetto della riservatezza individuale,
costituiscono un patrimonio informativo essenziale per una valutazione efficace
delle istruzioni scolastiche.
Auspichiamo che il Ministero costituisca rapidamente un panel di esperti,
coordinati dall’INVALSI, che dia indicazioni sul modo migliore per giungere
rapidamente ad una Anagrafe Scolastica con le caratteristiche sopra descritte.
B.3) Tempo, sperimentazione e cautela nell’utilizzo dei risultati della
valutazione
Il terzo fondamentale pilastro su cui si regge la nostra proposta è il tempo che
dovrà essere dato a tutti gli operatori della scuola per conoscere il sistema di
valutazione, apprezzarne l’affidabilità e quindi accettarne le conseguenze. Il
sistema di valutazione inglese ha mostrato come una quota significativa delle
scuole che ottengono la valutazione più alta in un dato anno avevano ricevuto
valutazioni basse in qualche anno
precedente. La cognizione di questo e la fiducia nella trasparenza e
affidabilità della valutazione, sono i fattori che consentono al sistema inglese
di essere accettato dagli operatori della scuola. Ma non si può pretendere che
questa cognizione esista ex ante senza un’adeguata sperimentazione da parte di
tutti i soggetti interessati.
Nel lungo periodo, i risultati delle misurazioni dovranno essere utilizzati per
costruire un sistema di incentivi che guidi le scuole ad organizzarsi per
migliorare l’apprendimento dei loro studenti. Ma sarebbe un grave errore avere
fretta nel compiere questo passo. La teoria economica della gestione delle
risorse umane insegna che i sistemi di incentivazione vanno studiati con cura e
ben sperimentati prima di essere utilizzati in larga scala (Vedi ad esempio:
S.Kerr, On the folly of rewarding A, while hoping for B, Academy of Management
Journal, 18(4), 1975, e la letteratura generata da questo articolo).
Tre condizioni dovranno essere soddisfatte prima che la valutazione possa
eventualmente essere collegata a premi e penalizzazioni per le scuole:
a) Gli obiettivi dovranno essere chiaramente definiti e annunciati
preventivamente;
b) Gli obiettivi dovranno essere il più possibile sotto il controllo di coloro
che devono essere incentivati;
c) Coloro che dovranno essere incentivati dovranno avere il tempo e gli
strumenti ragionevolmente sufficienti per il raggiungimento degli obiettivi.
È evidente che senza una sufficiente sperimentazione non sarà possibile
raggiungere nessuna di queste tre condizioni.
C) La proposta in dettaglio
C.1) Prove standardizzate per la misurazione dell’ apprendimento degli studenti
1) A cominciare dall’anno scolastico 2008-09, (come previsto nella direttiva del
Ministro) gli studenti della seconda e della quinta classe della scuola primaria
svolgeranno prove standardizzate di italiano e matematica somministrate da
valutatori esterni alla scuola e corrette in modo centralizzato a livello
nazionale.
2) Le prove saranno predisposte da esperti del mondo della scuola e della
ricerca
sotto il coordinamento dell’INVALSI, e validate sul campo utilizzando l’item
response theory (per le prove del 2008-09, la validazione è in corso di
completamento). Le domande avranno livelli diversi di difficoltà per consentire
di misurare non solo uno standard medio di prestazione ma una “curva” di
prestazioni con metodologia analoga a quella seguita dall’indagine PISA.
3) La seconda e la quinta classe della scuola primaria costituiscono due momenti
importanti nell'acquisizione di conoscenze di base (lettura, comprensione del
testo e matematica). Rilevare l’apprendimento in queste classi è essenziale per
poter disporre di una base da cui partire per misurare il valore aggiunto in
termini di apprendimento nella carriera scolastica successiva degli studenti.
4) Negli anni successivi verranno introdotte prove analoghe per la scuola
secondaria
anche nelle altre materie, e precisamente nelle classi terza del primo ciclo e
seconda e quinta del secondo ciclo. Poiché al termine di alcune di queste classi
sono previsti esami di Stato (terza del primo ciclo, quinta del secondo ciclo) è
necessario stabilire se le prove aggiuntive debbano essere inserite in questi
esami o somministrate a parte. Riteniamo preferibile che le prove standardizzate
siano somministrate a parte nel mese di aprile, per i seguenti motivi:
a) le prove devono essere somministrate da personale esterno alla scuola e
valutate centralmente in modo standardizzato, mentre gli esami di stato sono
somministrati e corretti localmente;
b) lo stress rappresentato dalla sovrapposizione con l’esame di stato potrebbe
falsare la capacità delle prove di misurare il reale apprendimento degli
studenti;
c) gli studenti non ammessi agli esami non verrebbero valutati se le prove si
sovrapponessero agli esami;
d) disporre dei risultati delle prove prima dell’estate è importante se questi
risultati devono essere utilizzati dagli ordini di scuola successivi (ad esempio
le università nel caso della classe quinta del secondo ciclo) per la selezione e
l’ammissione degli studenti, come previsto dalle direttive ministeriali (vedi
oltre, riguardo a questo punto).
5) Tuttavia, separando le prove standardizzate dall’esame di stato si corre il
rischio
che esse siano sostenute con poco impegno dagli studenti, per i quali non
avrebbero conseguenze rilevanti. Proponiamo quindi che i risultati di questa
prova:
a) siano rilevanti ai fini della ammissione all’esame di stato;
b) e contribuiscano alla dote di crediti di partenza con cui lo studente si
presenta all’esame di stato.
Ad esempio, si potrebbe stabilire che una soglia minima di punteggio sia
condizione necessaria (insieme alle altre già esistenti) per l’ammissione
all’esame della terza media e che, per l’esame finale della scuola secondaria
superiore, il risultato ottenuto nella prova standardizzata possa valere fino a
un massimo di 8 crediti per il voto finale di tale esame. Auspichiamo che il
Ministero si attivi per disegnare le modificazioni legislative eventualmente
necessarie per conseguire questi obiettivi.
6) Le prove standardizzate di ogni materia saranno corrette centralmente da
apposite
commissioni predisposte dall’INVALSI. Nel caso di prove standardizzate a
risposta multipla la correzione sarà meccanizzata. Nel caso di prove con domande
aperte, il Ministero dovrà reperire i fondi per compensare adeguatamente i
correttori che dovranno valutare le prove. Per il reperimento dei correttori si
possono esplorare le seguenti soluzioni:
a) Ricorrere a professori di scuole di altra regione, selezionati casualmente e
ai quali non venga comunicata l’origine delle prove da correggere;
b) Studenti universitari iscritti ai corsi di dottorato.
C.2) Modalità di somministrazione delle prove standardizzate
7) Le prove standardizzate aggiuntive dovranno essere somministrate agli
studenti
da personale esterno, diverso dagli insegnanti di ciascuna scuola. È naturale,
infatti, che gli insegnanti locali abbiano un incentivo ad aiutare i loro
studenti o a lasciare che si aiutino gli uni con gli altri copiando, e questo
evidentemente falserebbe i risultati della valutazione. L’analisi dei risultati
della prova nazionale del 2008, nell’esame di Stato al termine del primo ciclo,
ha purtroppo messo in luce che questo rischio è reale e va tenuto presente. Sarà
comunque necessario utilizzare degli algoritmi statistici per misurare il grado
di affidabilità dei risultati ottenuti in ogni scuola, evidenziando possibili
scostamenti sospetti rispetto alla distribuzione dei risultati ottenuti in
scuole simili. Nel caso di palesi irregolarità i test andranno ripetuti,
penalizzando eventualmente le scuole per le quali si dimostri un comportamento
irregolare.
8) Istituire un corpo di somministratori esterni per le prove aggiuntive è
costoso, ma
strettamente necessario perché la valutazione sia attendibile. Si noti che
queste persone non dovranno correggere le prove, ma solo riceverle dall’INVALSI,
somministrarle agli studenti verificando che tutto si svolga senza irregolarità
e riconsegnare all’INVALSI gli elaborati. Pur essendo consci del fatto che
questo requisito costituisce un onere aggiuntivo per il Ministero
dell’Istruzione, riteniamo che esso sia una condizione imprescindibile perché il
sistema possa funzionare. Ai fini della costituzione di questo corpo di
somministratori esterni proponiamo i seguenti passi:
a) Costituzione di un albo di persone disponibili a somministrare le prove in
province diverse da quella di residenza, ma con essa confinanti.
b) I requisiti per far parte di questo albo saranno gli stessi che consentono di
essere scrutatori o presidenti di seggio nelle elezioni nazionali; è
auspicabile, in particolare, che vengano invitati a rendersi disponibili per
questo albo i numerosi pensionati di cui il paese dispone.
c) Le persone che si saranno rese disponibili dovranno essere opportunamente
addestrate dall’INVALSI.
d) Il ministero dovrà compensare i somministratori con un adeguato gettone di
presenza (comparabile a quello ricevuto dai presidenti di seggio e dagli
scrutatori nelle elezioni), oltre a coprire in modo forfettario le spese di
trasferimento al luogo di somministrazione della prova.
9) Ai fini del ridurre i costi della somministrazione, gli Uffici Scolastici
Provinciali
valuteranno l’opportunità di raccogliere gli studenti per lo svolgimento delle
prove in luoghi più ampi delle rispettive classi (ad esempio palestre, aule
magne, eventualmente aule universitarie). È inoltre auspicabile che il Ministero
dell’Istruzione disciplini queste procedure tramite regolamenti ministeriali,
che contemplino l’obbligo, per scuole ed insegnanti, di sottoporre gli alunni
alla misurazione dei livelli di apprendimento.
10) A regime, le prove dovranno essere somministrate all’intera popolazione
scolastica delle classi di riferimento. La somministrazione censuaria dei test
in cinque classi (seconda e quinta classe della scuola primaria, terza classe
della scuola secondaria del primo ciclo, seconda e quinta classe della scuola
secondaria del secondo ciclo) ha dei
costi variabili a seconda della quota di domande aperte (che richiedono quindi
una correzione manuale) sul totale della prova e della retribuzione assegnata ai
somministratori e correttori esterni. Nell’Appendice 1 riportiamo una stima dei
costi compresa tra 31 milioni di euro (somministratori pagati 250 euro per 50
alunni, nessuna domanda aperta) e 81 milioni di euro (somministratori pagati 300
euro per 50 alunni, solo domande aperte e correttori pagati 2500 euro per
mese-persona).
C.3) Diffusione e utilizzo dei risultati delle prove standardizzate nel breve
periodo
11) Affinché i risultati delle prove diano informazioni utili per la valutazione
delle scuole, è necessario che il punteggio ottenuto dallo studente (costruito
partendo dal numero di risposte corrette ponderato per la difficoltà delle
domande) sia opportunamente affiancato da dati elaborati statisticamente al fine
separare:
- ciò che nella performance dello studente può essere attribuito specificamente
alla sua scuola e ai suoi insegnanti.
- ciò che nella performance dello studente può essere attribuito al contesto
socioeconomico e familiare in cui lo studente ha vissuto
- e ciò che invece può essere attribuito allo studente stesso.
I metodi statistici per conseguire questo obiettivo, ossia misurare il “valore
aggiunto” di ciascuna scuola (o in alcuni casi persino di un singolo insegnante,
se vi è sufficiente mobilità relativa degli studenti e degli insegnanti), sono
numerosi, sono stati studiati ampiamente dalla letteratura specializzata e sono
stati variamente applicati in diversi paesi (vedi OECD: “Measuring improvements
in learning outcomes. Best practices to assess the value-added of schools”,
2008). Tutti richiedono però l’esistenza di una Anagrafe Nazionale degli
Studenti con le caratteristiche che abbiamo descritto nella sezione B.2. Senza
questa Anagrafe non ha senso mettere in piedi un sistema di valutazione delle
scuole e per questo essa è un pilastro portante della nostra proposta.
12) Senza entrare in dettagli che esulano dagli scopi di questo documento, gli
indicatori che il sistema di valutazione dovrà produrre con le metodologie
statistiche appropriate sono di tre tipi:
a) Indicatori “panel” ossia basati sul confronto tra l’apprendimento di uno
stesso studente in due successive prove standardizzate, sia in termini assoluti
che in termini relativi. Se le prove sostenute dagli studenti in anni successivi
contengono delle domande ripetute, è possibile misurare il “guadagno assoluto”
in termini di apprendimento (come ad esempio avviene nelle prove TIMSS). In
alternativa, è possibile misurare il cambiamento nella posizione relativa di uno
studente: ad esempio se Mario Rossi ha fatto il test della terza media meglio
del 60% degli studenti del suo anno e il test della quinta elementare meglio del
40% degli studenti del suo anno, la differenza di 20 punti percentuali può
essere considerata come misura del valore aggiunto che lo studente ha ricevuto
dalla sua scuola media. Per costruire questo tipo di misura, è essenziale
l’Anagrafe Scolastica Nazionale al fine di poter seguire gli studenti nel tempo
e quindi poter fare confronti tra i risultati delle loro prove in anni diversi.
b) Indicatori “cross-section”, che utilizzino i risultati di una sola prova per
separare con opportune tecniche statistiche quanto di quel risultato è
determinato dal contesto
socio-economico e familiare. Questo secondo tipo di misura ha il vantaggio di
non dovere attendere anni per osservare lo stesso studente in prove diverse, ma
richiede ugualmente le informazioni dell’Anagrafe Scolastica relative al
contesto socioeconomico e familiare di ciascun studente.
c) Indicatori basati su combinazioni delle due precedenti misure.
Nel descrivere qui di seguito le modalità di diffusione dei risultati delle
prove, per brevità parleremo genericamente di risultati e indicatori “depurati”
intendendo però l’insieme delle misure sopra descritte.
13) A ogni studente verrà comunicato il risultato individuale nel test e il suo
posizionamento relativo nelle distribuzioni degli indicatori “grezzi” e
“depurati” rispetto a varie possibili distribuzioni di riferimento: ad esempio,
quella della sua scuola, quella del tipo di scuola (liceo, istituto tecnico
etc), quella della regione, dell’intera nazione e così via. Ad esempio Mario
Rossi, studente di liceo classico, ha fatto la prova meglio del 20% degli
studenti della sua scuola, meglio del 10% degli studenti dei licei classici
regionali, meglio del 75% della popolazione scolastica nazionale, etc.
14) Ogni scuola riceverà i risultati “grezzi” e “depurati” dei suoi studenti
insieme ad alcuni indicatori statistici atti a misurare il posizionamento della
scuola in varie distribuzioni rilevanti di riferimento: ad esempio, il ranking
provinciale, regionale e nazionale rispetto a tutte le scuole o alle scuole
dello stesso tipo, costruito sulla base della media o della mediana dei
risultati dei rispettivi studenti. Ogni scuola riceverà inoltre analoghe
informazioni relative ai suoi studenti appartenenti alle fasce problematiche
(per esempio al di sotto del primo quintile della distribuzione nazionale) o
alle fasce di eccellenza (per esempio al di sopra dell’ultimo quintile della
distribuzione nazionale).
15) In tutti i casi in cui questo sia utile e applicabile, i risultati verranno
forniti anche domanda per domanda, con la specificazione dell’indice di
difficoltà della domanda stessa.
16) L’INVALSI curerà la diffusione dei risultati con tutti i chiarimenti
necessari per la loro interpretazione, affinché possano essere utilizzati dalle
Direzioni Scolastiche Regionali, dalle scuole e delle famiglie.
17) Nei primi anni di sperimentazione, è necessario che il Ministro
dell’Istruzione annunci in modo chiaro e autorevole che i risultati di queste
prove, presi da soli, non costituiscono elemento di valutazione delle scuole con
conseguenze retributive o di budget, fino a che il sistema non sia portato a
pieno regime. Questo affinché tutti gli operatori interessati abbiano tempo di
capirne il funzionamento, verificarne l’affidabilità e suggerire le necessarie
modifiche migliorative.
18) I risultati delle prove potranno però essere utilizzati in misura via via
maggiore per individuare le aree problematiche del sistema scolastico, nelle
quali apportare correzioni, e quelle di eccellenza da imitare e diffondere.
19) I risultati delle prove dell’ultimo anno della scuola superiore potranno
inoltre essere utilizzati dalle università per accertare l’adeguatezza della
preparazione degli studenti che si iscrivono, in ottemperanza a quanto previsto
dall’art.6 della legge n.270/2004 (nota come “Riordino delle classi di laurea”
dell’allora Ministro Moratti). In prospettiva, qualora venisse liberalizzata la
possibilità di introdurre numeri programmati nelle immatricolazioni ai corsi
triennali gli stessi risultati dei test potrebbero essere utilizzati per
determinare l’ammissione alle diverse sedi universitarie, come ad esempio accade
in Inghilterra e Spagna, dove ogni ateneo stabilisce autonomamente il punteggio
minimo necessario per l’ammissione.
20) Infine i risultati delle prove standardizzate dovranno essere confrontati
con la performance degli studenti così come tradizionalmente misurata dai voti
assegnati dagli insegnanti nel corso dell’anno e negli esami di fine d’anno. I
risultati dovranno altresì essere confrontati con opportune prove non
standardizzate, come già avviene nei test OCSE-PISA. Ciò allo scopo di
effettuare una valutazione basata su più dimensioni che consenta di non perdere
alcuni aspetti fondamentali della nostra "cultura" scolastica non rilevabili
attraverso l’esclusiva somministrazione di prove standardizzate, quali ad
esempio la verifica della capacità di esposizione orale o di composizione di un
testo, la capacità di esposizione critica e sistematica del proprio pensiero, la
capacità di cogliere ed esprimere i nessi fra più discipline, la capacità di
"produrre" opere complesse ( una riproduzione di una opera d’arte un tema, un
progetto).
C.4) Utilizzo della valutazione per incentivare le scuole nel lungo periodo
21) Dopo una fase adeguata di sperimentazione alla fine della quale sia stato
raggiunto un consenso sufficientemente diffuso tra gli operatori della scuola
(insegnanti, dirigenti scolastici, responsabili degli enti locali, genitori)
riguardo alla affidabilità del metodo di valutazione qui proposto, sarà
possibile studiare se e come collegare i risultati della valutazione a misure di
natura premiante o penalizzante per i budget delle singole scuole. Per compiere
questo passo importante, sono però necessarie tre condizioni che esaminiamo
sotto in maggiore dettaglio:
a) Definizione chiara degli obiettivi che le scuole devono raggiungere.
b) Attribuzione alle scuole degli strumenti e dell’autonomia necessaria per il
raggiungimento degli obiettivi.
c) Definizione trasparente dei premi e delle penalità derivanti dal
raggiungimento degli obiettivi.
22) Per quel che riguarda la definizione degli obiettivi si possono ipotizzare
molteplici criteri, desumibili da prove sia standardizzate sia non
standardizzate, tra cui ad esempio:
a) Il miglioramento degli indicatori medi o mediani della popolazione di
ciascuna scuola.
b) Il miglioramento degli indicatori relativi agli studenti migliori di ciascuna
scuola (ad esempio quelli del quintile con risultati migliori).
c) Il miglioramento degli indicatori relativi agli studenti peggiori di ciascuna
scuola (ad esempio quelli del quintile con risultati peggiori)
Sono tutti obiettivi ragionevoli e condivisibili, che possono anche essere
selezionati alternativamente in anni diversi, a seconda che la priorità sia
intervenire sulla parte bassa della distribuzione degli apprendimenti, piuttosto
che stimolare l’eccellenza o il gruppo intero di studenti nel suo complesso. Non
spetta a noi stabilire in questa sede quali debbano essere gli obiettivi da
perseguire. A noi preme solo sottolineare che:
a) gli obiettivi dovranno essere definiti in modo chiaro affinché gli operatori
di ogni scuola possano sapere senza esitazioni che cosa a loro è richiesto.
b) Gli obiettivi non dovranno essere necessariamente gli stessi per ogni scuola:
ci sono scuole in cui la sfida è migliorare l’eccellenza e scuole in cui la
sfida è invece non lasciare nessuno indietro.
c) I dirigenti scolastici, gli insegnanti e gli altri operatori delle scuole
devono essere coinvolti nella definizione degli obiettivi per la loro scuola,
anche se per ovvi motivi non potranno avere su di essi l’ultima parola.
23) Oltre a conoscere con chiarezza gli obiettivi su cui saranno valutati,
Dirigenti scolastici, insegnanti e altri operatori della scuola dovranno poter
disporre degli strumenti adeguati per ottenere i risultati desiderati, avendo a
disposizione un periodo di sperimentazione per comprendere il funzionamento del
sistema. Esula dagli scopi di questo documento definire nei dettagli in cosa
questi strumenti debbano consistere, ma certamente alle scuole deve essere data
autonomia nella definizione dell’offerta formativa e nella gestione delle
risorse umane e finanziarie: senza questa autonomia non è pensabile che gli
operatori della scuola possano accettare un sistema di premi e penalità legato a
obiettivi che essi non possono raggiungere. È quindi opportuno evidenziare qui i
nodi che il Ministero dovrà affrontare per assicurare alle scuole la necessaria
autonomia:
a) Reclutamento e rimozione dei presidi sulla base della performance ottenuta.
b) Reclutamento e rimozione degli insegnanti.
c) Formazione e aggiornamento.
d) Governance delle scuole.
Va inoltre osservato che una quota significativa degli attuali dirigenti
scolastici non è stata selezionata nel ruolo per merito individuale, ma immessa
ope legis, creando così problemi di legittimazione all’esercizio effettivo di
una funzione dirigente. A parziale e temporaneo rimedio può allora immaginarsi
che parte delle responsabilità decisionali su questi temi venga invece
attribuita al corpo insegnante nelle sue diverse articolazioni (consiglio di
classe e/o collegio docenti), fornendo a questi organi poteri non solo di
conferma (accettazione dei nuovi docenti) ma anche di rimozione (nel caso di
insegnanti che abbiano dato cattiva prova di sé per un certo numero di anni).
24) La terza condizione perché il sistema di incentivazione possa funzionare è
che sia definito in modo chiaro e trasparente come le risorse a disposizione
delle singole scuole cambieranno a seconda del raggiungimento degli obiettivi
assegnati. Dovrà inoltre essere consentito alle scuole di distribuire ai singoli
insegnanti parte delle risorse ottenute come premio per il raggiungimento degli
obiettivi, secondo criteri scelti dalle scuole stesse (su questo vedi oltre la
sezione C.5)
25) È bene ricordare comunque che lo scopo primario del sistema di valutazione è
identificare quello che non funziona per poter intervenire e correggere. Nel
caso ad
esempio di scuole che abbiano largamente mancato il raggiungimento dei loro
obiettivi potrebbe paradossalmente essere necessario assegnare risorse
addizionali (ovviamente non utilizzabili come premio ai singoli operatori, in
questo caso) accompagnandole con un percorso guidato di miglioramento secondo il
modello anglosassone che ha dato buoni risultati. In casi estremi potrebbero
essere necessarie misure di riorganizzazione più drastiche, che vadano dalla
rimozione del dirigente scolastico e/o degli insegnanti inadeguati fino
all’accorpamento o alla chiusura della scuola.
C.5) Utilizzo della valutazione per incentivare i singoli insegnanti nel lungo
periodo
26) Mediante l’Anagrafe Scolastica Nazionale è in linea di principio possibile
abbinare ogni singolo insegnante alla performance degli studenti ai quali ha
insegnato nel periodo di riferimento (eventualmente ponderata per la durata
dell’insegnamento e per la qualità iniziale degli studenti). Analogamente è in
linea di principio possibile identificare il contributo alla formazione
individuale di dirigenti scolastici, direttori regionali, assessori regionali
all’istruzione, fino al Ministro. È quindi teoricamente possibile disegnare un
sistema di incentivazione che premi i singoli operatori della scuola in funzione
del conseguimento di obiettivi relativi agli studenti con i quali essi siano
entrati direttamente in contatto. Tuttavia numerose difficoltà concettuali e
operative invitano a non considerare questa ipotesi come realisticamente
praticabile nel breve-medio periodo. Ad esempio:
a) il lavoro degli insegnanti è in gran parte un lavoro di gruppo in cui non è
facile isolare il contributo del singolo docente.
b) La mobilità degli insegnanti non esclude la possibilità di abbinamento tra
insegnanti e studenti mediante l’anagrafe, ma rende senza dubbio complicato e
poco affidabile il sistema di valutazione.
c) Man mano che si sale di grado si indebolisce il legame tra apprendimento
degli studenti e contributo del singolo operatore scolastico.
27) Alla luce di questi problemi sembra preferibile il sistema inglese che
premia le singole scuole (o circoscrizioni scolastiche) con un budget correlato
al ranking della scuola (permettendo così anche l’intervento del decisore
politico che può scegliere di premiare di più le scuole in situazioni
difficili), lasciando poi alla singola scuola (o circoscrizione) di scegliere
liberamente come premiare i singoli insegnanti (o gruppi degli stessi).
28) Va tuttavia evidenziato il fatto che il sistema inglese si fonda su una
notevole autonomia delle singole scuole e circoscrizioni (Head of School e
Boards of Governors) riguardo a quali insegnanti assumere o rimuovere, quali
materie insegnare (oltre a quelle di base obbligatorie), come organizzare la
didattica, quali strutture acquistare etc. È essenziale che qualora si intenda
utilizzare la valutazione per premiare i comportamenti virtuosi degli operatori
scolastici, si accompagni questo percorso con il trasferimento a loro di una
maggior autonomia didattica e gestionale. Come già detto, questo è necessario
affinché il collegamento della retribuzione alla valutazione possa essere
accettato da chi deve essere valutato.
D) Altri problemi aperti
29) Nella predisposizione dei quesiti, qualora si scelga la soluzione basata su
domande a risposta multipla, sarà necessario superare la tipica opposizione
italiana a questo tipo di prova. Bisognerà con pazienza dimostrare che la
validità di questi test dipende dalla qualità sia delle domande sia delle
possibili risposte multiple, e non dal metodo in sé della risposta multipla.
Anche per convincere di questo gli operatori della scuola, sarà fondamentale il
periodo di sperimentazione iniziale durante il quale sarà possibile analizzare
la correlazione tra risultati delle prove standardizzate, delle prove non
standardizzate e degli esami tradizionali.
30) Se le domande a risposta multipla presentano l’innegabile vantaggio di
permettere una correzione meccanizzata (e quindi meno costosa e maggiormente
oggettiva), è tuttavia possibile immaginare l’introduzione di domande a risposta
aperta ma pur sempre corrette in modo centralizzato. Ad esempio, forse non tutti
sanno che nell’indagine PISA il 40% delle domande sono a risposta aperta e
richiedono l’esplicitazione di un ragionamento. Gli studenti italiani vanno
mediamente bene nelle domande a risposta multipla chiusa, mentre vanno malissimo
nelle domande a risposta aperta. È fondamentale far capire che ci può essere
continuità fra la miglior tradizione culturale del nostro fare scuola (in cui si
chiede di argomentare, leggere, riflettere, dimostrare, scrivere, sapersi
esprimere in modo corretto) e le prove standardizzate, costruite secondo quadri
di riferimento concettuali solidi e opportune validazioni sul campo.
31) Prove standardizzate come quelle qui proposte sono state criticate in quanto
inducono gli insegnanti a dedicare troppo tempo all’addestramento degli studenti
in vista della prova: nel mondo anglosassone ci si riferisce a questo problema
con il termine “teaching to the test”. Va però osservato che il problema esiste
anche nel nostro attuale sistema di valutazione (pensiamo ad esempio a quanto
tempo gli studenti dei licei dedicano a fare versioni di scarso interesse
intrinseco). Anche in questo caso, a nostro avviso, la soluzione del problema
sta in un disegno adeguato delle domande. Se le domande sono fatte bene,
esercitarsi a rispondere significa apprendere.
E) La fase di transizione
32) È ragionevole ipotizzare che il sistema di valutazione delle scuole fin qui
descritto non possa funzionare immediatamente a pieno regime per almeno tre
motivi:
- disponibilità dei fondi necessari al suo finanziamento;
- necessità di tempi tecnici per la realizzazione dell’Anagrafe degli studenti;
- necessità di un’adeguata sperimentazione, di cui già abbiamo parlato (vedi
Sez. C.4).
33) Per quel che riguarda il finanziamento, dati i vincoli imposti al Ministero
dell’Istruzione al quale è stato chiesto di contribuire pesantemente al pareggio
del bilancio pubblico generale, è possibile che in una fase iniziale non si
possa procedere alla
rilevazione censuaria degli apprendimenti di tutti gli studenti, che rimane
comunque necessaria per il buon funzionamento a regime del sistema di
valutazione. Nella fase iniziale e transitoria, quindi, proponiamo che tutte le
scuole siano valutate, ma, in ciascuna di esse, solo un campione casuale
rappresentativo di studenti sia esaminato. La dimensione del campione in
ciascuna scuola sarà determinata dai fondi disponibili, e potrà essere
progressivamente innalzata, al crescere dei fondi, fino a coprire l’intero
universo degli studenti. In questo modo ogni scuola potrà iniziare la
sperimentazione del sistema di valutazione durante la fase transitoria.
L’Appendice 2 descrive come determinare la dimensione ottimale del campione in
ogni scuola.
34) Per quel che invece riguarda l’Anagrafe degli Studenti, la sua attuazione
richiede il disegno di apposite infrastrutture informatiche e di procedure
mediante le quali i dati di ciascun studente possano essere raccolti e
registrati elettronicamente utilizzando banche dati amministrative già esistenti
(ad esempio, dati del Censimento ISTAT, delle Anagrafi Comunali, dell’Agenzia
delle Entrate, degli Istituti di Previdenza, tra cui in particolare la banca
dati ISEE dell’INPS, etc.). A queste fonti dovranno essere aggiunte informazioni
raccolte dalle scuole all’atto dell’iscrizione di ciascun studente. Quando
queste infrastrutture e procedure saranno pronte, sarà relativamente più facile
utilizzarle per costituire l’Anagrafe dei nuovi studenti che si iscrivono al
primo anno di ogni ciclo, ma non altrettanto per quella degli studenti iscritti
in anni diversi dal primo.
Tuttavia anche nella fase di avviamento del sistema, gli apprendimenti degli
studenti possono essere utilizzati per valutare le scuole solo se opportunamente
depurati dalle componenti che dipendono dal contesto in cui le scuole operano e
gli studenti vivono, come gia abbiamo detto (vedi Sez C.3, punto 11). Per questo
motivo, anche nella fase di avviamento sarà necessario raccogliere informazioni
di contesto sulle scuole e gli studenti, mediante appositi questionari
distribuiti alle scuole, alle famiglie e agli studenti stessi, in occasione di
ciascuna prova (come ad esempio accade per i test PISA e TIMSS).
Auspichiamo che al panel di esperti che dovrà disegnare l’Anagrafe degli
Studenti, con il coordinamento dell’INVALSI (vedi Sex. B.2), venga anche
affidato il compito di predisporre i questionari necessari per la raccolta delle
informazioni di contesto nella fase transitoria. Questo anche perché le
informazioni rilevate in questa fase possano poi confluire nell’Anagrafe stessa.
35) A regime non sarà necessaria una prova nella classe prima del primo ciclo
della scuola secondaria, poiché tutti gli studenti saranno esaminati nella
classe quinta della scuola primaria e, mediante l’Anagrafe Scolastica, questa
prova, confrontata con quella della classe terza del primo ciclo, potrà essere
utilizzata per calcolare il valore aggiunto nelle scuole del secondo ciclo.
Ma nella fase transitoria, in assenza di rilevazioni censuarie e di Anagrafe,
sarà necessaria una prova anche nella classe prima del primo ciclo. Tuttavia, al
fine di ridurre i costi, auspichiamo che si possa arrivare presto ad un
funzionamento a pieno regime, in modo da poter eliminare questa prova.
Appendice 1
Stima dei costi del Servizio nazionale di valutazione
(a cura dell’INVALSI)
Questa appendice riporta la stima dei costi del sistema nazionale di rilevazione
degli apprendimenti nella sua fase a regime ( sezione A) e nella sua fase di
transizione (sezione B)
Sezione A: I costi del sistema a regime
Come discusso nel documento principale, a regime il sistema di rilevazione degli
apprendimenti prevede la somministrazione di prove standardizzate a tutti i
ragazzi della seconda e quinta classe della scuola primaria, della terza classe
della secondaria di primo grado e della seconda e quinta classe della scuola
secondaria di secondo grado. La stima dei costi si basa sulla considerazione di
tre elementi:
1) la preparazione dei materiali, la loro stampa, spedizione e raccolta;
2) la somministrazione;
3) la correzione delle prove.
1) Preparazione dei materiali, stampa, spedizione e raccolta
Sulla base delle esperienze pregresse dell’INVALSI la stima dei costi connessi
con queste tipologie di attività, per le indagini su larga scala, si aggira
interno ai 2 euro a studente. Il principale fattore che incide sulla variabilità
del prezzo, per dato numero di studenti, riguarda la dimensione dei fascicoli
per l’impatto sui costi di stampa e di spedizione.1 Per dare una valutazione
della spesa connessa con la spedizione dei fascicoli verso ogni singolo plesso e
la loro restituzione al centro per la lettura ottica, si può considerare che il
costo della singola spedizione di un pacco contenente le prove per gli alunni di
un plesso varia tra i 12 e i 16 euro. Nel caso della scuola secondaria di primo
grado, i cui plessi sono circa 8.000, si sarebbe trattato di un costo
complessivo variabile tra i 96.000 e i 128000 euro, cioè di un importo per
studente variabile tra i 0,15 e i 0,22
1 Per avere un termine di paragone si può considerare che per la predisposizione
della prova nazionale nell’ambito dell’esame di stato al termine del primo ciclo
del 2008, i costi di stampa, invio e lettura ottica dei risultati sono stati
dell’ordine dei 1,2 euro a studente. Si trattava di due fascicoli di 12 e 14
pagine di lunghezza contenenti materiale per una prova di circa due ore.
L’indicazione di 1,2 euro per studente costituisce un limite inferiore del costo
reale per tre ragioni:
a) i materiali sono stati spediti agli uffici scolastici provinciali (circa 100)
che poi hanno provveduto in via autonoma alla consegna alle singole scuole;
b) le scuole hanno provveduto a rispedire non i singoli fascicoli ma solo una
scheda di ricorrezione (un foglio per studente piuttosto che l’intero
fascicolo);
c) il costo della lettura ottica di una scheda di correzione (un foglio per
studente) è inferiore a quello necessario per leggere un intero fascicolo
(operazione che richiede il taglio della costina del fascicolo e la lettura di
più di una pagina).
euro. Tenendo conto degli ulteriori elementi di costo una stima di 2 euro a
studente appare ragionevole.
2) Somministrazione
2.1) Il costo del singolo somministratore
Per valutare i costi connessi con la somministrazione delle prove il punto di
riferimento può essere il modello adottato dall’indagine OCSE-PISA. In questa
indagine il somministratore è un insegnante della scuola campionata che
somministra la prova ad un numero massimo di 35 studenti. Per questa attività,
che implica anche la partecipazione ad un seminario di formazione, egli riceve
circa 210 euro lordi (200 euro in PISA 2006). Si tratta ovviamente di un
compenso aggiuntivo rispetto al suo regolare stipendio.
Nel caso di somministratori esterni alla scuola occorre evidentemente
considerare un aggravio di costi dovuto alle spese di spostamento e al fatto che
non si tratta, in genere, di un compenso aggiuntivo. Su questa base si può
considerare che una cifra tra i 250 e i 300 euro per somministratore possa
rappresentare una stima ragionevole.
2.2) Il numero dei somministratori
Per determinare il numero dei somministratori necessari occorre definire il
numero degli studenti affidati ad ogni singolo somministratore. Nel caso di una
indagine censuaria, quale quella prospettata, assumendo un rapporto di un
somministratore per 50 studenti (non lontano dal parametro PISA di 35 studenti
per somministratore), a regime sarebbero necessari circa 11.000 somministratori
per ogni singola classe testata (intesa in questo contesto come anno di corso).
Questa è tuttavia una stima per largo difetto perché assume che in ciascun
plesso ci sia un numero di studenti pari 50 o suoi multipli per ciascuna delle
classi oggetto di rilevazione. In realtà ci sono moltissimi plessi in cui il
numero degli studenti per classe testata è largamente inferiore a 50. Ad esempio
nelle scuole elementari i circa 2.800.000 studenti delle 5 classi sono
distribuiti su circa 18.000 plessi.
Inoltre è difficile che i singoli plessi abbiano spazi sufficientemente ampi da
ospitare gruppi di 50 studenti. Nella migliore delle ipotesi il singolo plesso
ha a disposizione un solo grande locale (palestra, aula magna ect..). Nel caso
di una indagine censuaria è perciò probabile che gli studenti debbano essere
raggruppati in gruppi più piccoli e tali da poter essere ospitati all’interno
delle normali classi.
Pertanto una stima più prudente è quella basata sull’analisi della distribuzione
degli studenti per plesso ed effettuata attribuendo un somministratore nei
plessi con meno di 50 studenti per classe, 2 per i plessi con più di 50 e meno
di 75 studenti, 3 per plessi con un numero di studenti tra i 75 e i 100 ect...
Utilizzando questo criterio, nella scuola primaria a fronte di circa 18.000
plessi sarebbero necessari circa 23.500 somministratori per anno di corso
sottoposto a prova. Nella scuola secondaria di primo grado, a fronte di circa
8000 plessi, sarebbero necessari circa 20.000 somministratori e nella scuola
secondaria di secondo grado ne sarebbero necessari circa 20.000 e 17.200 nella
seconda e quinta classe rispettivamente a fronte di 7.800 plessi
In totale l’amministrazione della prova nelle cinque classi considerate nel
documento richiede la disponibilità di circa 104.000 somministratori.
Naturalmente chi somministra le prove nella scuola elementare può farlo anche
negli altri ordini di scuola.
Pertanto le persone fisiche da coinvolgere sono circa 23.500, cioè quelle
necessarie alla somministrazione simultanea in tutti i lessi delle scuole
elementari.
2.3) Il costo di somministrazione per studente.
Nella scuola primaria il costo della somministrazione è pari a 5,9 o 7,1 milioni
di euro per classe testata, a seconda che la remunerazione del somministratore
sia di 250 o 300 euro (Tavola 1). Nelle due ipotesi, la spesa complessiva per la
primaria è di 11,7 o 14,1 milioni di euro; quella per studente di 10,1 o 12,2
euro.
Nella scuola secondaria di primo grado il costo complessivo ammonta, nelle due
ipotesi, a 5 e 6 milioni di euro; quello per studente a 8,8 o 10,5 euro. Infine
nella scuola secondaria di secondo grado, la spesa totale è di 9,3 e 11,2
milioni di euro e quella per studente di 9 e 11,7 euro.
Nel complesso delle cinque classi la spesa totale varia dai 26 ai 31,2 milioni
di euro a seconda della remunerazione dei somministratori. Il costo per studente
ammonta a 9,4 o 11,3 euro per studente.
Tavola 1 : Stima dei costi di somministrazione
(persone ed euro)
costi
-omministratori -tudenti ipotesi a: 250 euro per
somministratore ipotesi b: 300 euro per
somministratore
costo totale per studente costo totale per studente
II elementare 23.500 580.000 5.875.000 10,1 7.050.000 12,2
V elementare 23.500 580.000 5.875.000 10,1 7.050.000 12,2
III media 20.000 570.000 5.000.000 8,8 6.000.000 10,5
II -uperiore 20.000 570.000 5.000.000 8,8 6.000.000 10,5
V -uperiore 17.200 470.000 4.300.000 9,1 5.160.000 11,0
Totale 104.200 2.770.000 26.050.000 9,4 31.260.000 11,3
3) Correzione delle prove
Nel caso di una prova con solo domande a risposta chiusa la correzione è
automatica e praticamente a costo zero. Pertanto il costo della correzione delle
prove entra nel calcolo solo nel caso in cui siano presenti domande con risposte
aperte poiché occorre ricorrere a correttori esterni.
Per una stima della possibile spesa si può fare riferimento alle prove
OCSE-PISA. In questa indagine circa il 40 per cento delle domande (circa 25
domande) sono a risposta aperta. Sulla base di una spesa per correttore per mese
di 2500 euro il costo della correzione di una singola prova aperta è di circa
0,4 euro.
Nel complesso il numero dei quesiti nelle prove da somministrare nell’indagine
nazionale è di circa 40. La spesa per studente varierebbe in modo lineare da
zero a 16
euro passando da nessuna domanda a risposta aperta a tutte le risposte a
risposta aperta. Nel caso in cui si mantenga la quota delle domande a risposta
aperta nella stessa proporzione del 40 per cento utilizzato in PISA, il costo
per studente ammonterebbe a 6,4 euro.
4) Stima del costo complessivo del sistema
Una stima complessiva del costo del sistema nazionale di valutazione come
prospettato nel documento è riportata nella tavola 2. I costi variano da 31
milioni di euro nell’ipotesi di costo dei somministratori di 250 euro e nessuna
domanda a risposta aperta a 81 milioni nel caso di somministratori a 300 euro
tutte le domande a risposta aperta e correttori pagati 2500 euro per
mese-persona).
Tavola 2: Stima del costo complessivo del sistema nazionale di valutazione
(persone e euro)
Il II elementare V elementare III media II superiore V superiore totale
costo per studente n.
studenti costo per studente n.
studenti costo per studente n.
studenti costo per studente n.
studenti costo per studente n.
studenti ~o studente studenti t~
1) materiali stampa e spedizione 2 580.000 2 580.000 2 570.000 2 570.000 2
470.000 2,0 2.770.000 5.540.000
2) Somministrazione
Ipotesi a: 250 euro a somministratore 10,1 580.000 10,1 580.000 8,8 570.000 8,8
570.000 9,1 470.000 9,4 2.770.000 26.050.000
Ipotesi b: 300 euro a sommi nistratore 12,2 580.000 12,2 580.000 10,5 570.000
10,5 570.000 11,0 470.000 11,3 2.770.000 31.260.000
3) Correzione
nessuna domanda a risposta aperta 0 580.000 0 580.000 0 570.000 0 570.000 0
470.000 0,0 2.770.000 0
16 domande a risposta aperta 6,4 580.000 6,4 580.000 6,4 570.000 6,4 570.000 6,4
470.000 6,4 2.770.000 17.728.000
40 domande a risposta aperta 16 580.000 16 580.000 16 570.000 16 570.000 16
470.000 16,0 2.770.000 44.320.000
Sezione B: I costi del sistema nella fase di transizione
Nel calcolo dei costi per la fase di transizione si è tenuto conto del fatto
che:
1) la rilevazione è censuaria per le scuole e campionaria all’interno di
ciascuna scuola;
2) i somministratori esterni saranno inviati solo in un campione di scuole
(circa un terzo dei plessi);
3) la somministrazione riguarda nel 2009 solo le scuole elementari;
4) al momento l’assenza di una affidabile anagrafe scolastica comporta la
necessità di includere la prima classe della scuola secondaria di primo grado
tra gli anni di corso da testare a partire dal 2010;
5) la somministrazione coinvolgerà la II classe della scuola secondaria di
secondo grado a partire dal 201 1;
6) la somministrazione coinvolge tutti gli studenti della terza classe della
scuola secondaria di primo grado (già a partire dal 2008) e tutti gli studenti
della quinta classe della scuola secondaria di secondo grado ( a partire dal
2011), nell’ambito degli esami di stato al termine del primo e secondo ciclo
(nel primo caso esiste già una legge che lo prevede, nel secondo è solo
un’ipotesi di lavoro);
7) per queste classi i costi di somministrazione sono nulli perché la stessa
avviane all’interno di un esame di stato;
8) le prove non prevedono domande con risposte aperte.
Sotto queste condizioni il costo della somministrazione nel 2009 è intorno ai
5,6 milioni di euro (tavola 3), salgono a 6,6 nel 2010 e a 8,6 milioni di euro
nel 2011.
Tavola 3: Stima dei costi nella fase di transizione
(persone e euro)
2009 Studenti
Somministratori II elementare
220.000
6.000 V elementare
220.000
6.000 I media III media
570.000
0 II superiore V superiore totale
1.010.000
12.000
Materiali, stampa e spedizione 440.000 440.000 1.140.000 2.020.000
somministrazione 1.800.000 1.800.000 0 3.600.000
correzione 0 0 0 0
Totale 2.240.000 2.240.000 1.140.000 5.620.000
2010 Studenti 220.000 220.000 130.000 570.000 1.140.000
Somministratori 6.000 6.000 2.600 0 14.600
Materiali, stampa e spedizione 440.000 440.000 260.000 1.140.000 2.280.000
somministrazione 1.800.000 1.800.000 780.000 0 4.380.000
correzione 0 0 0 0 0
Totale 2.240.000 2.240.000 1.040.000 1.140.000 6.660.000
2011Studenti 220.000 220.000 130.000 570.000 110.000 470.000 1.720.000
Somministratori 6.000 6.000 2.600 0 2.600 0 17.200
Materiali, stampa e spedizione 440.000 440.000 260.000 1.140.000 220.000 940000
3.440.000
somministrazione 1.800.000 1.800.000 780.000 0 780.000 0 5.160.000
correzione 0 0 0 0 0 0 0
Totale 2.240.000 2.240.000 1.040.000 1.140.000 1.000.000 940000 8.600.000
Appendice 2
Indicazioni per il campionamento degli studenti di ogni scuola nella fase
transitoria
L’estensione della valutazione a tutti gli studenti comporta notevoli costi di
realizzazione ed elevati tempi di organizzazione della rilevazione e di
elaborazione dei dati. Da questo punto di vista una valutazione incentrata su
una rilevazione campionaria basata su criteri statistici può essere preferibile
nella fase di transizione. Una valutazione parziale, per una data coorte, può
fare riferimento a tutti gli studenti di una o più sezioni scelte casualmente,
oppure a un campione rappresentativo di tutti gli studenti appartenenti a quella
coorte nell’ambito della scuola.
Il primo procedimento, basato sulla scelta di una o più sezioni, seguite
longitudinalmente, nella presunzione che non vi siano consistenti movimenti in
uscita e in entrata legati a dispersione o trasferimenti, se offre maggiore
semplicità di gestione e confrontabilità dei dati (test per dati appaiati), non
offre però garanzie sulla rappresentatività delle performance medie della
scuola, dipendendo dai docenti della particolare sezione/i prescelta/e, e per di
più può introdurre problematiche sul piano di una sufficiente dimensione
campionaria che dipenderà dal numero medio di studenti per classe diverso da
scuola a scuola.
Un campione casuale di studenti della classe di ingresso e di uscita (campioni
indipendenti) supera i problemi di rappresentatività e numerosità campionaria,
di fatto introducendo problemi di matching rispetto alle caratteristiche
socio-demografiche che possono influenzare le performance degli allievi. Si
tratta in ogni caso di un elemento che può essere considerato trascurabile
poiché il dato di interesse riguarda i miglioramenti medi e non individuali. In
alternativa, seguendo un approccio panel, e sovra- dimensionando un campione
casuale della classe di ingresso per far fronte a uscite di studenti dal sistema
di valutazione, si può ovviare definitivamente ai problemi di matching
anzidetti, avendosi anche una semplificazione della procedura (un solo
campione), ma si potrebbero introdurre elementi di distorsione nella valutazione
poiché le scuole potrebbero essere più propense a dedicare maggiori cure a
quegli allievi di cui è noto con largo anticipo che saranno oggetto delle prove
di apprendimento
Sulla base di queste ultime considerazioni sembra da preferirsi il sistema dei
campioni indipendenti in ingresso e in uscita, che ipotizzando un trend costante
permetterebbe anche di confrontare i campioni di ingresso e di uscita di uno
stesso anno (metodo “per contemporanei”).
Quale che sia il criterio di selezione del campione prescelto, va definita una
adeguata numerosità campionaria per contenere l’errore delle stime delle
valutazioni per un determinato livello di significatività dei risultati. Gli
elementi da cui dipende la dimensione del campione sono:
ü numerosità della popolazione da cui estrarre il campione (studenti
complessivamente iscritti alla classe per tutte le sezioni);
ü eterogeneità della caratteristica da valutare (percentuale, media) nella
popolazione;
ü errore accettabile per la caratteristica della valutazione oggetto di misura;
ü livello di significatività dei risultati.
Le dimensioni delle scuole secondo il numero di iscritti alle classi considerate
vanno da un massimo di circa 300 per le scuole primarie, a 450 per le scuole
secondarie di primo grado e a 650 per le scuole secondarie di secondo grado.
Questi dati inducono all’adozione del campionamento da popolazioni finite che
offre, a parità di errore e livello di significatività, un minore guadagno sulla
dimensione del campione rispetto a campioni estratti da popolazioni grandi.
Inoltre all’aumentare del grado di eterogeneità dei risultati delle prove di
apprendimento nella popolazione indagata crescono i rischi connessi al
campionamento.
Il problema che si incontra è dato dal fatto che, prima di fare un’indagine, non
sono note le proprietà della popolazione e la sua eterogeneità. Una stima della
eterogeneità della popolazione, espressa in termini di varianza (ó2 ) della
caratteristica oggetto di valutazione, può essere assunta da precedenti esercizi
di valutazione ovvero dal massimo valore che questa può assumere. Ad esempio se
il parametro oggetto di valutazione è dato dalla percentuale p di allievi che
superano un dato punteggio (espressione della sufficienza o di un dato livello
di preparazione), la varianza è data dalla quantità
σ~ = p(1− p) che assume il suo valore più grande (0.25) per p = 0.5 , quando
cioè la
metà degli allievi supera la sufficienza mentre altrettanti non la superano.
L’errore
accettabile (S) solitamente si assume compreso tra il 5% e il 2%, in quanto
errori
campionari più piccoli comportano numerosità campionarie piuttosto elevate.
Se invece la caratteristica da stimare è il punteggio medio dei test di
apprendimento, espresso su una scala 0 -100, la varianza massima si ottiene
dall’espressione
2
_ (max− min)2
σ — 4 = 2500. Gli errori accettabili su questa scala sono anche qui una
percentuale del punteggio medio. Così se questo viene assunto pari a 50, possono
essere considerati accettabili valori tra 5 e 2 punti. I livelli di fiducia
esprimono in termini probabilistici l’attendibilità delle stime delle
performance di una scuola. Solitamente valori accettabili sono 0.90 o meglio
0.95.
Vediamo nel dettaglio i procedimenti di calcolo per ricavare l’ampiezza di un
campione. Se l’obiettivo dell’indagine è la stima di una percentuale, possiamo
ricavare la
dimensione del campione con il seguente procedimento n = Nz2p(1−p) dove
p p (N−1~2 +z2p(1−p)
n è la dimensione campionaria, N è la dimensione della popolazione e z è il
livello di affidabilità che si presceglie e che è desumibile dalle tavole della
distribuzione normale.2 Se invece l’obiettivo dell’indagine è la stima di una
media, il procedimento da applicare
2 Ad esempio per il livello fiduciario 0.9, z vale 1.65, mentre per il livello
fiduciario 0.95 z vale 1.96.
2
diventa n =
(N − 1~2 + z2ó2
riferimento è di dimensione limitata (popolazione finita) la dimensione del
campione si
determina mediante la seguente correzione n* = n .
1+n/N
Una volta stabilita la modalità di formazione del campione, per ogni scuola si
procede alla selezione delle unità da campionare nel modo seguente:
ü si selezionano le classi iniziale e finale del ciclo oggetto di valutazione
stabilendo il numero di allievi N iscritti a ciascuna di esse e la dimensione n
del campione corrispondente;
ü si procede alla produzione di una lista ordinata per sezione (A,B,C, ... )
degli allievi per una determinata classe di ingresso o di uscita;
ü si determina il passo di campionamento dato dal valore intero del rapporto k =
N / n ;
ü si sceglie un numero casuale c compreso tra 1 e k per la classe di ingresso e
di uscita.
ü Il campione per ciascuna classe consisterà degli n studenti della lista
corrispondenti
ai numeri d’ordine c, c + k, c + 2k, c + 3k,..., c + (n −1)k .
Anche nella fase transitoria per la quale si rende necessaria la rilevazione
campionaria e in attesa del completamente dell’Anagrafe degli studenti, è
necessaria una rilevazione dei dati riguardanti la caratteristiche demografiche,
socio-economico e culturali della famiglia di provenienza degli studenti Come
già si è detto, il panel di esperti che dovrà disegnare l’Anagrafe degli
Studenti, con il coordinamento dell’INVALSI (vedi Sex. B.2), dovrà avere anche
il compito di predisporre i questionari necessari per la raccolta delle
informazioni di contesto in questa fase transitoria, informazioni che poi
dovranno confluire nell’Anagrafe stessa.
