Nicoletta Stame

Possibilism and evaluation Judith Tendler and Albert Hirschman

PETER LANG, 2022

Albert Hirschman affirmed that “Judith Tender’s fine insights into the differential characteristics and side-effects of thermal and hydropower, and of generation and distribution, contributed in many ways to the formation of my views.” Judith Tendler, in turn, wrote that Hirschman had taught her “to look where I never would have looked before for insight into a country’s development,” and that in Albert’s work a researcher who was “patient enough” would find “a rich complexity of both success and failure, efficiency alongside incompetence, order cohabiting with disorder.”

Reconstructing the theoretical roots of interpretive social science, this text shows how Hirschman’s possibilism lies at the base of the original way Tendler practiced evaluation and anticipated many current developments. The continuing vitality of their thought enables us to trace the outlines of possibilist evaluation.

Sociologist Nicoletta Stame (PhD, State University of New York and Catania University) Is emerita professor at Sapienza University of Roma, past president of the European Evaluation Society and Associazione Italiana di Valutazione, a member of the editorial board of Evaluation, and vice-president of A Colorni-Hirschman International Institute.

Foreword by Luca Meldolesi

Tra possibilismo e valutazione

Judith Tendler e Albert Hirschman
Nicoletta Stame, Rubbettino, 2022 E. Colorni, Rubettino 2023

Albert Hirschman ha affermato che «l’indagine minuziosa di Judith Tendler sulle caratteristiche differenziali e sugli effetti collaterali dell’energia termica e idraulica, come pure sulla generazione e distribuzione dell’energia, hanno contribuito in vario modo alla formazione delle mie idee». Judith Tendler, a sua volta ha scritto che Hirschman le aveva «insegnato che per capire lo sviluppo di un paese avrebbe dovuto guardare dove non avrebbe mai pensato di guardare prima», e che nel lavoro di Albert un ricercatore «abbastanza paziente» avrebbe trovato «una ricca complessità sia di successi che di fallimenti, sia di efficienza che d’incompetenza, di ordine combinato al disordine». Ricostruendo le radici teoriche di una scienza sociale interpretativa, questo testo mostra come il possibilismo di Hirschman sia al fondamento della originale pratica di valutazione della Tendler, anticipatrice di tanti sviluppi attuali. La persistente vitalità del loro pensiero consente di tracciare i lineamenti di una valutazione possibilista.

Ethics for Evaluation

Beyond “doing no harm” to “tackling bad” and “doing good”
Nicoletta Stame, Rob D. van den Berg, Penny Hawkins, Routledge, New York, 2022.

In this book diverse perspectives on ethical guidance in evaluation are untangled and ordered in a theoretical framework focusing on evaluations doing no harm, tackling bad and doing good. Divided into four parts a diverse group of subject experts present a practical look at ethics, utilizing practical experience to analyze how ethics have been applied in evaluations, and how new approaches can shape the future of ethics. Ethics for Evaluation presents evaluators, commissioners of evaluation, policy makers and practitioners with inspiration for an ethical perspective on how evaluation can contribute towards solving problems.

The Evaluation Enterprise

A critical view
Nicoletta Stame e Jan-Eric Furubo, Routledge, 2018

“From its early roots in the 1960s, evaluation has emerged as a well developed international profession. But, is it? As evaluators we typically ask questions like: ‘What has been accomplished?’; ‘Where are we?’ Yet we have failed to ask these same questions of ourselves as evaluators and of our profession. This book assembles an international line-up of eminent scholars who ably address these issues. This is a book that is well worth reading.” – Marvin C. Alkin, Emeritus Professor, University of California, Los Angeles
“A longstanding mantra of evaluation has been the admonition to speak truth to power. To do so we must speak truth to each other, truth about evaluation’s strengths and weaknesses, achievements and shortcomings, exemplars and failures, past disappointments and future hopes. In short we must speak truth to each other about all aspects of the evaluation enterprise. This book’s contributors speak their truths. Listen well. Then formulate and speak yours.” Michael Quinn Patton, author of Principles-Focused Evaluation: The GUIDE
Today, evaluation is part of governing systems and is supported by powerful institutions. It is taken for granted that evaluation leads to betterment. However, evaluation itself is seldom analyzed from a critical perspective. In this book, Jan-Eric Furubo and Nicoletta Stame have assembled an international line-up of distinguished experts and emerging scholars to fill this void.
Examining evaluation from a critical – or evaluative – perspective, each contribution in this book offers a systematic and critical insight into the broader relationship between evaluation and society. Divided into three parts, the various chapters ask questions such as:
• What are the consequences of the institutionalization of evaluation?
• Has the professionalization of evaluators favored their action in the public interest?
• Is the money spent on evaluation worth it?
• Is the market of evaluation allowing real competition for the best services?
The answers to these questions demonstrate that the constitutive effects of the social practice of evaluation can also be the suppression of other forms of knowledge and the favoring of certain notions about societal development and political and administrative processes.

Valutazione pluralista

Stame N., Franco Angeli, Milano, 2016

La valutazione delle politiche è un processo democratico di apprendimento sociale. Questo libro analizza diversi modi di concepire e praticare la valutazione. Innanzitutto, ci si sofferma su recenti contributi che sono andati a integrare gli approcci classici: dalla valutazione basata sulla teoria alla valutazione realistica, dalle metodologie quasi-sperimentali agli approcci di pensiero positivo, dalle rassegne sistematiche alle metodologie specifiche della valutazione, per finire con un’analisi delle possibili combinazioni di approcci e metodi. La lente critica offerta dal confronto tra, e con, i differenti approcci consente poi di vedere sotto diversa luce impostazioni generalmente date per scontate su temi chiave quali accountability, apprendimento e usi della valutazione, e sul rapporto tra politica, amministrazione e valutazione. Il volume si rivolge a tutti coloro che sono coinvolti in processi di valutazione: amministratori, gestori di valutazione, valutatori, studiosi, cittadini. La sua ambizione è quella di aiutarli a comprendere quali approcci e metodi di valutazione siano coerenti con le politiche attuate, con specifiche esigenze di miglioramento, con aspirazioni di cambiamento.

Segretariato sociale e riforma dei servizi.

Percorsi di valutazione
Nicoletta Stame, Veronica Lo Presti, Daniela Ferrazza, Franco Angeli, Milano, 2010

Il volume presenta una valutazione di una politica sociale e una riflessione metodologica su come è stata condotta. La valutazione ha riguardato l’attuazione di un servizio che la legge 328/00 considera come livello essenziale di assistenza: il segretariato sociale per l’informazione e la consulenza per l’accesso ai servizi per tutti i cittadini. Dunque, uno strumento ispirato ad un principio universalistico, che mira a creare forme di integrazione in un sistema fortemente categorizzato. L’idea del segretariato sociale è stata concepita al centro sulla base di precedenti “buone pratiche”, la sua istituzione è stata stabilita da una legge nazionale, ma la sua attuazione è affidata agli enti locali (comuni, municipi, distretti).
Il testo affronta la questione della implementazione di questo strumento, fornendo una valutazione di come è stato introdotto in 4 municipi di Roma. Concentrarsi sul processo di implementazione significa studiare cosa un programma diventa attraverso la ridefinizione che gli attuatori danno dei suoi aspetti principali e cogliere le differenze tra le ridefinizioni operate nei vari contesti. Le maggiori differenze rilevate hanno riguardato: i processi decisionali (piani di zona più o meno partecipati), il modo di istituire il servizio (risorse a disposizione, collocazione nell’amministrazione del municipio, interno/esterno), la impostazione del lavoro da svolgere e, quindi, i risultati ottenuti dagli utenti.

Classici della valutazione

Nicoletta Stame (a cura di), Franco Angeli, Milano, 2007

La valutazione delle politiche e dei programmi si è affermata come campo autonomo di pratica e di ricerca negli anni ’60 negli Stati Uniti, e da allora è evoluta per ampiezza di problematiche trattate, per approfondimenti teorici, per innovazioni metodologiche, ed è diventata pratica corrente anche in molti altri paesi, tra cui il nostro.
Questa antologia raccoglie dei testi classici, poco conosciuti in Italia perché mai tradotti, ma di assoluta attualità. Sono testi che hanno fatto epoca, per la loro innovatività e per il dibattito che hanno suscitato, e perchè rappresentativi dei principali approcci alla valutazione (sperimentale, pragmatista, costruttivista). L’insieme dei testi offre complessivamente un quadro delle tante problematiche legate alla valutazione: dalla valutabilità al disegno della valutazione, dalla implementazione alla utilizzazione, dalle teorie ai metodi, dalla professione del valutatore al rapporto con la politica, e quindi con la democrazia.
Nella selezione dei testi si è poi tenuto conto delle problematiche sentite dal lettore italiano: dalla scelta dei metodi alla individuazione dei criteri di qualità, dalla misurazione della performance alla partecipazione degli stakeholders. Questi temi sono affrontati in modo trasversale a tutti i settori di policy: le indicazioni che ne provengono possono tanto illuminare la valutazione di azioni specifiche in ambito sociale, educativo, economico o ambientale, quanto aiutare a formare una matura cultura della valutazione.
Questa antologia è uno strumento fondamentale per l’insegnamento della valutazione, e offre una piattaforma indispensabile a chiunque – decisore, professionista, operatore, stakeholder – sia interessato alla valutazione.

From studies to streams

Nicoletta Stame e Ray C. Rist, Transaction
Publishers, Somerset, NJ, United States, 2006

In From Studies to Streams, il dodicesimo volume della serie Comparative Policy Evaluation, autori provenienti da quattordici nazioni affrontano le questioni da più punti di vista. L’epoca attuale è caratterizzata dalla comparsa di un insieme sempre più globale di pressioni per i governi a svolgere il loro ruolo in modo efficace, e non solo efficiente, e a dimostrare che il loro lavoro sta producendo i risultati desiderati. La tecnologia dell’informazione permette che enormi quantità di dati possano essere conservati, ordinati, analizzati e resi disponibili con poco o nessun costo. Il risultato, per la comunità di valutazione, è che, mentre le singole valutazioni sono ancora condotte, sono una fonte di informazioni in diminuzione. Nel nuovo ambiente, sempre più accelerato, le richieste e le aspettative politiche e organizzative sono riformulate pensando alla definizione di cosa, fondamentalmente, costituisce valutazione e cosa intendiamo come sua applicazione.

Per la valutazione delle politiche di emersione

Nicoletta Stame (a cura di), Franco Angeli, Milano, 2004

L’emersione del lavoro non regolare è un obiettivo recente delle politiche del lavoro e dello sviluppo, eppure intorno ad esso si è ormai costruito un quadro complesso di strumenti di incentivazione, sanzione e persuasione che vengono utilizzati tramite pratiche innovative di amministrazioni pubbliche ordinarie e di soggetti istituzionali appositamente creati, che mantengono un forte legame con la società civile.

Questo lavoro si propone di individuare approcci e metodi di valutazione in grado di giudicare i risultati di queste politiche nella loro complessità. Le tematiche affrontate riguardano gli effetti diretti e indiretti di emersione, e il modo per individuare quali strumenti funzionano meglio: dove e perché, con quale combinazione e in quale sequenza. Il volume è frutto di una ricerca collettiva condotta da docenti e ricercatori delle Università di Roma, Napoli e Bari, che ha riflettuto su queste problematiche generali alla luce di alcune esperienze di valutazione di programmi, come la legge 383/01 sulla dichiarazione di emersione, o dell’uso di strumenti integrati di induzione-sanzione da parte della “rete Comitato – commissioni – tutori di emersione”.

L’esperienza della valutazione

Nicoletta Stame, Seam, 1998

La valutazione delle politiche pubbliche è una operazione di ricerca teorica e di adozione pratica di vasto respiro, mossa alla comprensione di come migliorare i programmi sociali e il rendimento delle istituzioni sviluppando le capacità degli attori sociali sia che i programmi abbiano raggiunto i loro scopi, sia che se ne siano distaccati provocando effetti inattesi.
Questo lavoro mira a ricostruire il pensiero della valutazione attraverso l’esperienza più che trentennale degli Stati Uniti, dove si sono succedute almeno tre fasi principali di elaborazione.
Esse vengono analizzate seguendo il modo in cui i diversi approcci reagiscono all’atteggiamento prevalente rispetto ai programmi sociali: dapprima improntato all’ottimismo, poi al pessimismo, infine alla utilizzazione. Vengono così esaminati numerosi filoni di pensiero valutativo – con le loro definizioni, metodologie e usi – ciascuno dei quali ha lasciato un segno sul modo di fare valutazione.
Il complesso quadro così tracciato rimanda alla necessità presente in ogni valutazione di operare scelte consapevoli che riguardano il suo scopo, il suo disegno, le sue istituzioni, i suoi metodi. È intento del volume chiarire il significato di queste opzioni, e trasmettere il piacere di una scelta che assecondi le esigenze individuali e collettive di apprendimento e di risultato.