La valutazione e la scuola: keep calm and pluralismo democratico

12 giugno 2015

Da tempo mi propongo con convinzione di non intervenire nei cocenti dibattiti sulla scuola in Italia, ma non resisto. Non ho tempo di studiare bene la materia e temo di essere superficiale, ma ho l’impulso di dire qualcosa anch’io limitatamentre agli aspetti che conosco di più.

Iniziamo con due affermazioni, che poi cerco di argomentare nel caso della scuola: I peggiori nemici della valutazione sono i suoi più entusiastici sostenitori;  Chi meno capisce di valutazione, più la propone come soluzione salvifica per tutto.

Le prove INVALSI a cui sono sottoposti i nostri studenti in 2a e 5a elementare, poi ancora in terza media ed in seconda superiore sono state concepite come una fonte per valutare i risultati di competenza degli studenti  e delle scuole attraverso i punteggi medi di istituto, e capire dove sono le maggiori aree di fabbisogno: in quali provincie, in quali indirizzi scolastici, nelle aree interne, in quelle urbane, o suburbane. Pochi credo che sarebbero contrari a queste prove standard, se usate a questi fini. Quando alcuni operatori poco avveduti ne parlano come strumento di valutazione del lavoro degli insegnanti a livello di classe, non fanno un servizio utile né alle prove come fonte di informazione, né alla valutazione stessa.

Chi identifica le prove INVALSI con la valutazione degli insegnanti confonde le fonti con i giudizi.  I risultati degli studenti alle prove standard INVALSI possono essere una delle molte fonti da utilizzare per giudicare il lavoro degli insegnanti, posto che lo si voglia in qualche modo fare, ma la grande maggioranza di chi si occupa seriamente di valutazione sono certo che concorderebbe con me:

  • che non debbano avere valore preponderante rispetto ad altre fonti,
  • che più fonti ed opinioni diverse, quantitative e qualitative, debbano entrare nel novero della valutazione, e
  • che ci debba essere un contraddittorio.

Avere a disposizione del pubblico delle informazioni standardizzate su ciò che i nostri studenti sanno non può essere una cosa negativa.  Chi crea un’identità fra queste informazioni e la valutazione degli insegnanti ha l’effetto:

  1. di danneggiare la qualità di questa fonte (cheating, boicottaggi);
  2. di peggiorare la qualità dell’istruzione (si insegnano i test e non la materia);
  3. di ostacolare la eventuale valutazione degli insegnanti.

Non ci sono scorciatorie. La valutazione la fanno le persone; nessuna fonte di dati, per quanto utile come i risultati dei test, la può sostituire.  Io credo in modo quasi istintivo che avere dati affidabili sia meglio che non averli, e perciò mi preoccupo quando si innescano  aspettative sul loro utilizzo che possono avere l’effetto di privarcene.

 


In poche frasi che policy-maker sono

30 maggio 2014

Qualche giorno fa riflettevo sulla visione che ho delle politiche di sviluppo e che mi distingue da altri.  Con l’età, a fronte delle molte cose che si perdono, ci si conosce meglio e si acquista il dono della sintesi e forse della semplicità.  Ecco dunque in cosa ancora penso che le mie idee non siano mainstream.

Molti di quelli con cui lavoro operano sulla base dell’assunto che qualunque obiettivo sia raggiungibile dalle politiche pubbliche, basta chiarirsi le idee su ciò che si vuole ottenere ed investirci abbastanza soldi pubblici. Io invece credo che esistano alcuni risultati che non siamo capaci di raggiungere con gli strumenti che oggi conosciamo. (come nella pubblicità della carta di credito: there are certain things that money can’t buy..)

Viceversa, in materia di valutazione delle politiche, molti pensano che la valutazione debba essere applicata alle linee di intervento pubblico di cui siamo certi di riuscire a stimare l’impatto.  Io invece credo che la valutazione esterna, indipendente vada applicata a tutte le politiche, o comunque i criteri di scelta devono essere il valore e la rilevanza e della linea di policy.


The Masters of Networks and me

18 maggio 2014

Few days ago in Rome I have taken part in the meeting Masters of Networks II, as part of the Insite project.  Insite is an interdisciplinary research and collaboration project in which David Lane, Paolo Gurisatti and Alberto Cottica are involved: all people that I look at with a mixture of reverence and curiosity.  Many other friends and colleagues were there: Federico Bo, Fabiana Zeppieri, Matteo Fortini and  others that would equally deserve to be mentioned.

The idea behind this event, as I understand it, was simple and powerful: public policies nowadays recognize the importance of networks; sometimes they go as far as declaring their aim to use them as instruments towards their goals, or even to promote their development.  In practice they often do not undenstand networks much. On the other side we have analysts and researchers who have devised powerful tools to describe and analyze networks. The cultural ditch between the two groups – network analysts an policy-makers – is wide and deep.  The two days were meant to be spent by the two communities  to familiarize with each others and to find applications for SN Analysis in response to the problems perceived by public policy.  In our case, we were planning to use the open data released by the Italian Ministry of University Research and Education, the  database of collaborative research projects funded by the national program (PON R&C) funded between 2007 and 2013 by the European Fund for Regional Development.

How did it go? Did it work?  What did I learn about SN analysis and its possible applications?

What factually we ended up doing in the sub-goup I participated in, is reported here.  Let me here focus on a few points of more general interest.

< here a colourful image of the work we did was supposed to appear.  Unfortunately I do not possess a good picture and  honestly it adds very little to the points I am trying to make > 

From my point of view, it was a partial success  in the sense that I intuitively sense the potential for fruitful application of SNA and remain interested in this method, but I have yet to witness the production of any significant  result which  has real implications for policy evaluation or design.

To elaborate in a little more detail:

  • SNA is presented as a mathematical method, and it certainly is if one thinks of things like the indicators that describe the properties of nodes within the network.  However, the images it produces as outputs convey so much insight to the layman, and have the beautiful property of condensing in one snapshot some features of the network, that they seem to me to be more than simply one possible representation of the analysis. If the attention of the novice to SNA is directed almost exclusively towards the pictures, this must mean something. Looking at this method from the outside the images seem to be something more inherent to the method and its current popularity.  To many, the value of SNA is in the big picture comprehensive view more than in the capability to describe the details or the network dynamics.
  • In my opinion, despite the good intentions of everyone, the encounter between policy-makers and social network analysts does not start, and does not proceed, on an even ground. When only one of the two groups holds the keys to the inner workings of this method of analysis, which cannot be transferred in one or two days, then the exhange is necessarily unbalanced. It might be a problem common to any interaction between experts of methods and experts of content-problems, and thus inevitable. Whatever the reason, the feeling that permeates the meeting is that of a one-directional flow of knowledge from the social network field towards the policy field, as if the first form of knowledge were superior to the latter.
  • The degree of interest that such analysis exerts on me is largely determined by the quality of the information available on the links, or “edges” in the SN jargon.  This quality is inevitably, or has always been in the cases I have observed, quite low or in any case not satisfactory from my point of view.  When all links are the same, networks are dull objects to examine.
  • Network science exerts a cetripetal force on me in the sense that as I observe its results largely in the form of graphical outputs, I start becoming curious of the algorythms that are at work behind it.  How “real” is that network form, how sensitive to parameters arbitrarily determined by humans?
  • The gathering together in one room of policy-makers and network scientists has something disorienting in its first moments.  It lacks basic rules of functioning.  Most people don’t really know how to interact with each others because they don’t know why they are there and what they can ask, expect, contribute.  In general I find this aspect intriguing for its fundamental open-endedness.

In general I am a bit confused about what to expect from this work, my mind seems to stop short of fully understanding both the implications and the contours of this method of social inquiry.  That’s why I want to look into it more, and do it again.


Valutare Kublai è d’obbligo

27 marzo 2014

Nel 2008 al Dipartimento per lo Sviluppo e la Coesione Economica abbiamo lanciato Kublai, ne ho già parlato qui varie volte.

L’idea era di sperimentare una modalità nuova per sostenere la nascita di imprese creative, culturali, iniziative di sviluppo locale, provando a vedere se l’intelligenza collettiva e volontaria dei molti utenti del web poteva essere arruolata ad alcune delle finalità pubbliche  delle politiche di coesione.  C’erano anche altri aspetti sperimentali nel progetto, fra gli altri il desiderio di esplorare la proprietà di una comunità opportunamente selezionata e tematicamente orientata, di fornire “segnali” alle istituzioni su quali progetti fossero meritevoli di sostegno pubblico. La natura di esperimento di Kublai è incontrovertibile: tra l’altro il suo primo finanziamento è provenuto da un iniziativa che si chiamava Laboratorio delle politiche di Sviluppo che si definiva “luogo di produzione di sapere e di confronto” e “struttura volta alla formazione di competenze”.Nuovo-Logo-Kublai2-1024x570

Sembra superfluo dirlo ma le esperienze pilota devono avere un termine, e le sperimentazioni sono tali solo se ad un certo punto da esse si impara qualcosa.  Ecco, è venuto il momento di imparare qualcosa da Kublai.  E’ venuto il momento di chiederci cosa abbiamo creato con i soldi che abbiamo speso con il progetto, se quello che abbiamo fatto ha senso, e se ne è valsa la pena.  Inutile dire che le decisioni che di qui a poco l’amministrazione prenderà sul futuro di Kublai ne saranno influenzate.

Da pochi giorni abbiamo avviato una valutazione indipendente di Kublai affidandola alla società OpenEvidence, che è stata selezionata con una procedura competitiva.  Entro l’estate sapremo qualcosa su qual’è stato il valore aggiunto di Kublai, se ha senso proseguire l’esperienza, ed eventualmente in quale forma.

Tutto questo dovrebbe essere normale, ma oggi nel nostro mondo non si può dire che lo sia.  Viene da pensare:

  • forse ci sono tante altre politiche, misure e dispositivi pubblici su cui lo stato spende molti più soldi, di cui lo stato non valuta gli effetti e che perciò sarebbe ancora più doveroso valutare rispetto ad un piccolo progetto speciale come Kublai.
  • Pur spendendo poche diecine di migliaia di euro in questa valutazione, che durerà meno di un anno, questi soldi rappresentano una percentuale più elevata del valore di quello che si valuta, rispetto a quello che succederebbe se si decidesse di valutare, che so, i sussidi agli agricoltori della Politica Agricola Comune
  • forse Kublai, e non altro, viene valutato perchè per accidente è un progetto nato all’interno dell’Unità di Valutazione del DPS, che di questo si dovrebbe occupare principalmente

Di una cosa però sono certo, la valutazione si fa poco in italia non per problemi di soldi, ma per carenza di cultura. Ne ho scritto altrove, è un problema di scarsità di risorse umane e di attenzione.


Mi dimetto da economista

30 gennaio 2013

Se Vasco Rossi si può dimettere da rockstar, io avrò pure il diritto di dimettermi da economista; cioè di cambiare identità professionale. Certo se a voi non sembrerà una gran cosa, per me non è una cosa facile da dire. Quello dell’economista è un lungo training. Alcuni dibattiti sono durati molte diecine di anni ed è difficile liberarsene intellettualmente.  Poi la concorrenza interna alla disciplina è forte per cui la defezione viene interpretata dagli altri come incapacità di competere soprattutto nell’uso di certi strumenti matematici (indipendentemente dalla loro utilità).   Infine c’è il fatto che la professione, in fondo, è piuttosto ben considerata ed ha uno status pubblico più elevato di altre come la sociologia e le scienze politiche. A dispetto di tutto ciò, c’è però il fatto che una serie di questioni non mi interessano più tanto, mentre d’altra parte mi indispone sempre più la pretesa degli economisti di possedere l’unica scienza sociale degna di questo nome; di interpretare attraverso il loro modello teorico tutti i comportamenti umani.

Da ragazzo, avevo scelto di  studiare economia perchè mi interessavano le condizioni materiali delle persone, pensando che da quelle dipendesse gran parte della loro felicità. Ora non lo credo più quanto prima.

Ma c’è soprattutto un altro motivo.  Oggi mi considero soprattutto un esperto di politiche, di intervento pubblico, e ritengo che questo campo professionale debba avere una dignità sua.  D’altra parte, dopo la laurea mi sono progressivamente perfezionato in questo tipo di studi, e poi di pratica.  Tra studiosi e analisti della società, sugli obiettivi siamo spesso  d’accordo, ma al Department of Urban Studies dell’MIT ho studiato soprattutto il come si cerca di perseguirli. Non si può infatti pensare che gli obiettivi siano tutti raggiungibili, e per raggiungere alcuni risultati si possono provare molte strade. Un esempio: oggi molti sono d’accordo che bisogna rafforzare l’istruzione pubblica nella fascia dell’obbligo. L’economista spesso si accontenta di dire: “bisogna finanziare di più la scuola pubblica” immaginando che ciò sia sufficiente. In alcuni casi si addentra di più, sostenendo, con il suo modello teorico in mente, che bisogna offrire incentivi monetari alla performance degli insegnanti. A uno come me interesserebbe sapere invece se ha maggiori effetti sulla qualità dell’istruzione un euro  speso in aumenti di stipendi per gli insegnanti, per la loro formazione, in opere pubbliche che intervengano sulla qualità degli edifici pubblici, in acquisti attrezzature informatiche, o in qualcos’altro.  Mi interesserebbe capire di più sui sistemi di incentivi  a cui gli insegnanti rispondono, e che cosa succede a quegli insegnanti che ad un clima competitivo reagiscono in modo negativo.  Insomma mi piace guardare nella scatola opaca dell’attuazione di misure di policy. Di qui anche l’interesse che ho sviluppato per la valutazione delle politiche.

Lo studio delle condizioni di efficacia delle politiche pubbliche produce e accumula conoscenze sue proprie. Se gli economisti vogliono disegnare politiche pubbliche devono addentrarsi in questa area disciplinare in cui non vengono in genere istruiti formalmente.   Questo spazio nel nostro paese non è riconosciuto chiaramente, e in italiano non ha un nome.  Forse anche per questo mi ci muovo con una certa soddisfazione.


Is it who you know?

13 gennaio 2013

Più di un anno fa pubblicavo qui un idea che da molto tempo mi frullava in testa e che riguarda le politiche di sviluppo e certe forme di spesa pubblica più in generale: che le scelte pubbliche di assegnazione delle risorse siano meno influenzate da clientelismo, corruzione, etc, di quello che la maggioranza delle persone pensano.

Qualche giorno fa l’ho posta come un’ipotesi di ricerca ad Alberto, il mio alter ego avventuroso. In men che non si dica, ho ritrovato questa questione posta come tema guida di un interessante seminario di confronto fra policy makers ed analisti delle reti. Dunque lunedì 20 mi recherò a Venezia a questo incontro che si preannuncia per me stimolante e scomodo, come tutte le vere esplorazioni del nuovo. Cercheremo dati per un esercizio di network analysis finalizzato a testare la mia semplice tesi.

Io porto in dote – orgogliosamente – i dati di opencoesione, che riguardano la spesa pubblica di cui mi occupo, anche se non credo che con quelli riusciremo a costruire delle analisi utili ad affrontare il tema di mio interesse.  Nonostante la sua ricchezza senza precedenti per una base dati liberata al pubblico, secondo me la qualità delle informazioni sui soggetti associati ai finanziamenti della politica di sviluppo non è ancora sufficiente a costruirci su delle analisi di rete.  Ma questo lo vedremo lì.

Il punto importante per me è che voglio provare con l’aiuto di esperti a impostare un analisi quantitativa non sulla base dei dati disponibili, ma della domanda di interesse. Comanda la  domanda, non le informazioni che abbiamo: vi assicuro che nella ricerca come nella valutazione, succede spesso il contrario.  Ne voglio riparlare.


Alla scuola di Albert O. Hirschman

12 dicembre 2012

Ieri è morto Albert O. Hirschman.  I suoi molti appassionati lettori e discepoli ne staranno scrivendo ed io non ho in animo di farlo ora.

Vorrei solo cogliere quest’occasione per ringraziare Luca Meldolesi che insegnando con fedeltà e trasporto Hirschman al suo corso di politica economica a Napoli, mi ha aperto il mondo dell’economia dello sviluppo, un campo di studi in cui ho trovato corrispondenza con quello che a quell’età stavo cercando.  Ho scoperto leggendo le pagine di Albert che alla ricerca delle soluzioni, del possibile, del meglio per gli altri, ognuno di noi può dare un contributo secondo quello che sa fare, che ama fare.  Il possibilismo di Hirschman dunque è stato per me anche la possibilità che finalmente mi veniva aperta di fare cose utili e allo stresso tempo per me affascinanti, stimolanti: tutte le cose buone vanno insieme.

Hirschman, l’ho scoperto poi, era al centro di un vero e proprio ambiente culturale accademico figlio del pragmatismo e dedito all’indagine empirica e orientata al cambiamento, che aveva uno dei suoi centri al Department of Urban Studies and Planning dell’MIT, dove ho studiato. Tiro fuori giusto due ricordi da quell’esperienza, che riguardano Hirschman.  Alla prima lezione di un corso di Political Economy al dip di Scienze Politiche dell’MIT, per conoscersi e rompere il ghiaccio, il prof. chiese a  ciascuno di indicare “who’s your favourite social scientist”. Due terzi delle dichiarazioni andarono per Hirschman (non la mia quella volta, più che altro perchè volevo distinguermi). Quando conseguii il Master, la famosa cerimonia del commencement tipica di tutte le università USA, con la consegna dei diplomi nel prato centrale di Killian Court, confliggeva con la possibilità che mi veniva offerta di passare qualche ora con Albert per parlare dei miei interessi di ricerca.  Quell’anno, lo speaker al commencement era nientemeno che il presidente degli USA in carica Bill Clinton.  Non ci pensai su granchè, anche se già avevo affittato lo strano cappello nero rettangolare ed il mantello.  Mai più usati, neanche in occasione del Ph.D.

Chi mi conosce sa che sono troppo geloso della mia libertà di pensiero per unirmi a clan, società di scopo,  o correnti.  Poi Albert Hirschman  l’ho conosciuto, anche se in fase ormai di declino intellettuale, e come persona non lo mitizzo .  Eppure il capo della mia scuola, se ne esistesse una, scusate oggi il conformismo, è  lui.