La valutazione e la scuola: keep calm and pluralismo democratico

Da tempo mi propongo con convinzione di non intervenire nei cocenti dibattiti sulla scuola in Italia, ma non resisto. Non ho tempo di studiare bene la materia e temo di essere superficiale, ma ho l’impulso di dire qualcosa anch’io limitatamentre agli aspetti che conosco di più.

Iniziamo con due affermazioni, che poi cerco di argomentare nel caso della scuola: I peggiori nemici della valutazione sono i suoi più entusiastici sostenitori;  Chi meno capisce di valutazione, più la propone come soluzione salvifica per tutto.

Le prove INVALSI a cui sono sottoposti i nostri studenti in 2a e 5a elementare, poi ancora in terza media ed in seconda superiore sono state concepite come una fonte per valutare i risultati di competenza degli studenti  e delle scuole attraverso i punteggi medi di istituto, e capire dove sono le maggiori aree di fabbisogno: in quali provincie, in quali indirizzi scolastici, nelle aree interne, in quelle urbane, o suburbane. Pochi credo che sarebbero contrari a queste prove standard, se usate a questi fini. Quando alcuni operatori poco avveduti ne parlano come strumento di valutazione del lavoro degli insegnanti a livello di classe, non fanno un servizio utile né alle prove come fonte di informazione, né alla valutazione stessa.

Chi identifica le prove INVALSI con la valutazione degli insegnanti confonde le fonti con i giudizi.  I risultati degli studenti alle prove standard INVALSI possono essere una delle molte fonti da utilizzare per giudicare il lavoro degli insegnanti, posto che lo si voglia in qualche modo fare, ma la grande maggioranza di chi si occupa seriamente di valutazione sono certo che concorderebbe con me:

• che non debbano avere valore preponderante rispetto ad altre fonti,
• che più fonti ed opinioni diverse, quantitative e qualitative, debbano entrare nel novero della valutazione, e
• che ci debba essere un contraddittorio.

Avere a disposizione del pubblico delle informazioni standardizzate su ciò che i nostri studenti sanno non può essere una cosa negativa.  Chi crea un’identità fra queste informazioni e la valutazione degli insegnanti ha l’effetto:

1. di danneggiare la qualità di questa fonte (cheating, boicottaggi);
2. di peggiorare la qualità dell’istruzione (si insegnano i test e non la materia);
3. di ostacolare la eventuale valutazione degli insegnanti.

Non ci sono scorciatorie. La valutazione la fanno le persone; nessuna fonte di dati, per quanto utile come i risultati dei test, la può sostituire.  Io credo in modo quasi istintivo che avere dati affidabili sia meglio che non averli, e perciò mi preoccupo quando si innescano  aspettative sul loro utilizzo che possono avere l’effetto di privarcene.

 

Pubblicità

In poche frasi che policy-maker sono

Qualche giorno fa riflettevo sulla visione che ho delle politiche di sviluppo e che mi distingue da altri.  Con l’età, a fronte delle molte cose che si perdono, ci si conosce meglio e si acquista il dono della sintesi e forse della semplicità.  Ecco dunque in cosa ancora penso che le mie idee non siano mainstream.

Molti di quelli con cui lavoro operano sulla base dell’assunto che qualunque obiettivo sia raggiungibile dalle politiche pubbliche, basta chiarirsi le idee su ciò che si vuole ottenere ed investirci abbastanza soldi pubblici. Io invece credo che esistano alcuni risultati che non siamo capaci di raggiungere con gli strumenti che oggi conosciamo. (come nella pubblicità della carta di credito: there are certain things that money can’t buy..)

Viceversa, in materia di valutazione delle politiche, molti pensano che la valutazione debba essere applicata alle linee di intervento pubblico di cui siamo certi di riuscire a stimare l’impatto.  Io invece credo che la valutazione esterna, indipendente vada applicata a tutte le politiche, o comunque i criteri di scelta devono essere il valore e la rilevanza e della linea di policy.

Valutare Kublai è d’obbligo

Nel 2008 al Dipartimento per lo Sviluppo e la Coesione Economica abbiamo lanciato Kublai, ne ho già parlato qui varie volte.

L’idea era di sperimentare una modalità nuova per sostenere la nascita di imprese creative, culturali, iniziative di sviluppo locale, provando a vedere se l’intelligenza collettiva e volontaria dei molti utenti del web poteva essere arruolata ad alcune delle finalità pubbliche  delle politiche di coesione.  C’erano anche altri aspetti sperimentali nel progetto, fra gli altri il desiderio di esplorare la proprietà di una comunità opportunamente selezionata e tematicamente orientata, di fornire “segnali” alle istituzioni su quali progetti fossero meritevoli di sostegno pubblico. La natura di esperimento di Kublai è incontrovertibile: tra l’altro il suo primo finanziamento è provenuto da un iniziativa che si chiamava Laboratorio delle politiche di Sviluppo che si definiva “luogo di produzione di sapere e di confronto” e “struttura volta alla formazione di competenze”.

Sembra superfluo dirlo ma le esperienze pilota devono avere un termine, e le sperimentazioni sono tali solo se ad un certo punto da esse si impara qualcosa.  Ecco, è venuto il momento di imparare qualcosa da Kublai.  E’ venuto il momento di chiederci cosa abbiamo creato con i soldi che abbiamo speso con il progetto, se quello che abbiamo fatto ha senso, e se ne è valsa la pena.  Inutile dire che le decisioni che di qui a poco l’amministrazione prenderà sul futuro di Kublai ne saranno influenzate.

Da pochi giorni abbiamo avviato una valutazione indipendente di Kublai affidandola alla società OpenEvidence, che è stata selezionata con una procedura competitiva.  Entro l’estate sapremo qualcosa su qual’è stato il valore aggiunto di Kublai, se ha senso proseguire l’esperienza, ed eventualmente in quale forma.

Tutto questo dovrebbe essere normale, ma oggi nel nostro mondo non si può dire che lo sia.  Viene da pensare:

• forse ci sono tante altre politiche, misure e dispositivi pubblici su cui lo stato spende molti più soldi, di cui lo stato non valuta gli effetti e che perciò sarebbe ancora più doveroso valutare rispetto ad un piccolo progetto speciale come Kublai.
• Pur spendendo poche diecine di migliaia di euro in questa valutazione, che durerà meno di un anno, questi soldi rappresentano una percentuale più elevata del valore di quello che si valuta, rispetto a quello che succederebbe se si decidesse di valutare, che so, i sussidi agli agricoltori della Politica Agricola Comune
• forse Kublai, e non altro, viene valutato perchè per accidente è un progetto nato all’interno dell’Unità di Valutazione del DPS, che di questo si dovrebbe occupare principalmente

Di una cosa però sono certo, la valutazione si fa poco in italia non per problemi di soldi, ma per carenza di cultura. Ne ho scritto altrove, è un problema di scarsità di risorse umane e di attenzione.

Mi dimetto da economista

Se Vasco Rossi si può dimettere da rockstar, io avrò pure il diritto di dimettermi da economista; cioè di cambiare identità professionale. Certo se a voi non sembrerà una gran cosa, per me non è una cosa facile da dire. Quello dell’economista è un lungo training. Alcuni dibattiti sono durati molte diecine di anni ed è difficile liberarsene intellettualmente.  Poi la concorrenza interna alla disciplina è forte per cui la defezione viene interpretata dagli altri come incapacità di competere soprattutto nell’uso di certi strumenti matematici (indipendentemente dalla loro utilità).   Infine c’è il fatto che la professione, in fondo, è piuttosto ben considerata ed ha uno status pubblico più elevato di altre come la sociologia e le scienze politiche. A dispetto di tutto ciò, c’è però il fatto che una serie di questioni non mi interessano più tanto, mentre d’altra parte mi indispone sempre più la pretesa degli economisti di possedere l’unica scienza sociale degna di questo nome; di interpretare attraverso il loro modello teorico tutti i comportamenti umani.

Da ragazzo, avevo scelto di  studiare economia perchè mi interessavano le condizioni materiali delle persone, pensando che da quelle dipendesse gran parte della loro felicità. Ora non lo credo più quanto prima.

Ma c’è soprattutto un altro motivo.  Oggi mi considero soprattutto un esperto di politiche, di intervento pubblico, e ritengo che questo campo professionale debba avere una dignità sua.  D’altra parte, dopo la laurea mi sono progressivamente perfezionato in questo tipo di studi, e poi di pratica.  Tra studiosi e analisti della società, sugli obiettivi siamo spesso  d’accordo, ma al Department of Urban Studies dell’MIT ho studiato soprattutto il come si cerca di perseguirli. Non si può infatti pensare che gli obiettivi siano tutti raggiungibili, e per raggiungere alcuni risultati si possono provare molte strade. Un esempio: oggi molti sono d’accordo che bisogna rafforzare l’istruzione pubblica nella fascia dell’obbligo. L’economista spesso si accontenta di dire: “bisogna finanziare di più la scuola pubblica” immaginando che ciò sia sufficiente. In alcuni casi si addentra di più, sostenendo, con il suo modello teorico in mente, che bisogna offrire incentivi monetari alla performance degli insegnanti. A uno come me interesserebbe sapere invece se ha maggiori effetti sulla qualità dell’istruzione un euro  speso in aumenti di stipendi per gli insegnanti, per la loro formazione, in opere pubbliche che intervengano sulla qualità degli edifici pubblici, in acquisti attrezzature informatiche, o in qualcos’altro.  Mi interesserebbe capire di più sui sistemi di incentivi  a cui gli insegnanti rispondono, e che cosa succede a quegli insegnanti che ad un clima competitivo reagiscono in modo negativo.  Insomma mi piace guardare nella scatola opaca dell’attuazione di misure di policy. Di qui anche l’interesse che ho sviluppato per la valutazione delle politiche.

Lo studio delle condizioni di efficacia delle politiche pubbliche produce e accumula conoscenze sue proprie. Se gli economisti vogliono disegnare politiche pubbliche devono addentrarsi in questa area disciplinare in cui non vengono in genere istruiti formalmente.   Questo spazio nel nostro paese non è riconosciuto chiaramente, e in italiano non ha un nome.  Forse anche per questo mi ci muovo con una certa soddisfazione.

Open data dove meno te lo aspetti

Domani parlo alla camera dei deputati.

http://www.agoradigitale.org/eventodatiaperti

Chi l’avrebbe mai detto che avrei scritto una frase del genere. In questi ultimi anni mi sono impegnato per produrre e diffondere informazione obiettiva sull’operato dello stato, anche scontrandomi con la politica e con l’alta amministrazione che di solito alla trasparenza preferiscono la promozione dei propri interessi e della propria immagine.   Domani parliamo di dati aperti proprio alla camera.  Sono curioso.

Il paradosso delle politiche per l’innovazione

Da  alcuni anni non si parla più tanto di incentivare le imprese a investire o a creare occupazione, ma a innovare.  Questa visione di per sè ha i suoi problemi.  Non tutti si rendono conto di quanto sarebbe faticoso vivere in una società incui tutti innovano continuamente.  Ma non è solo questo.  Come valutatore mi chiedo spesso quale sia il criterio con cui questi progetti innovativi debbano essere  selezionati. La questione non è per nulla teorica e semmai arriva tardi: ogni anno centinaia di milioni vengono spesi  dalle politiche pubbliche di sostegno all’attività innovativa delle imprese.

Oggi la valutazione di questi progetti avviene principalmente attraverso commissioni di esperti che vengono incaricati di leggere progetti, giudicare il loro grado di innovatività, e scegliere di conseguenza quelli meritevoli di sostegno pubblico. Ma chi sono queste persone, e che cosa li qualifica come soggetti in grado di individuare che cos’è innovativo?  Si tratta di esperti di settori merceologici, tecnologie e mercati, spesso legati all’università e pagati a gettone per operare questa selezione.  Esistono degli albi appositi nazionali ed europei da cui le amministrazioni possono attingere, o sceglierne di propri.

E’ evidente a tutti il paradosso insito in questo meccanismo.  Ci si può aspettare che gli esperti conoscano ciò che è cosiderato più innovativo oggi in ogni settore, ma il compito che viene loro richiesto a ben vedere riguarda il futuro. Queste persone devono in qualche modo fare previsioni su ciò che sarà innovativo nel futuro basandosi sulla traiettoria tecnologica sperimentata finora nei settori di cui sono esperti.  Si tratta quindi di una complessa attività di stima che deve contemperare aspetti di rischio, di valore atteso di mercato e auspicabilmente anche di esternalità; tutto ciò  a meno che queste politiche non consistano solo nel promuovere l’adeguamento delle nostre imprese alla frontiera tecnologica esistente, ma io faticherei a chiamere questi finanziamenti “politiche per l’innovazione”.  Estremizzando un po’  viene da chiedersi di questi esperti quello che ci chiediamo sulle persone che cercano di venderci sistemi per vincere al totocalcio: se sono in possesso di questo metodo, perchè non lo usano loro stessi per arricchirsi?   Selezionare gli innovatori potenziali su cui scommettere denaro pubblico attraverso esperti valutatori ha dei limiti – ed è tra l’altro abbastanza costoso – ma che alternative ci sono?

Due approcci completamente alternativi a cui bisognerebbe pensare  sono: l’estrazione casuale fra i progetti proposti, e qualche sistema di peer-evaluation fra tutti i soggetti proponenti.

Con gli open data tutti possono essere valutatori delle politiche pubbliche

Faccio il valutatore di politiche pubbliche.  Sono stato formato all’idea che spetta a gente come me creare conoscenza su quali forme di spesa pubblica e di intervento dello stato funzionano e perchè.  Lo credo ancora.

Di recente però sto inziando a pensare che ci sia un’attività ancora più importante che noi dipendenti pubblici possiamo fare per migliorare l’efficacia dell’intervento dello stato: diffondere dati intelligibili e processabili da chiunque. A questa conclusione ci stiamo arrivando in tanti da molti da punti di vista e provenienze diverse.  Ne abbiamo  parlato ad un “aperitivo open data” la settimana scorsa fra quattro amici interni ed esterni all’amministrazione.  Alberto che su queste cose non ci dà tregua (e odia la vita comoda) ne parla come spaghetti open data. Da quella seratina sono uscito ancora più convinto che la cosa più produttiva che posso fare con i dati in mio possesso è condividerli con tutti quelli a cui potrebbero interessare.  Per questo la sfida per la gente come me è quella di non pensare di dover fare tutto in prima persona, ma lasciare fare all’intelligenza collettiva; capire insomma che  abilitare molte persone che vogliono poter elaborare le informazioni già disponibili, è quasi tutto quello che dobbiamo fare per avviare discussioni a più voci da cui impariamo tutti.

Dopo quella serata, adesso ai nostri amici è venuto in mente di raccogliere in un unico sito un bel po’ di link a dati già pubblicati dalle amministrazioni pubbliche italiane, per percorrere, all’italiana, la strada che le amministrazioni pubbliche inglesi ed americane stanno aprendo per noi.  Se conoscete link a questo genere di dati diffusi da pubbliche amministrazioni italiane, segnalateli ad Alberto oppure a Federico Bo, Matteo Brunati, o Laura Tagle.  Poi naturalmente ci saranno problemi di standardizzazione, di trovare software che li rendano utilizzabili semplicemente, ma visto che ci sono tutti questi intelligenti e generosi programamtori là fuori, perchè preoccuparmene.

Non posso mica far sempre tutto io… 🙂