Questioni di metodo

Non possono comprendersi appieno le nozioni, le teorie e gli assunti causali che un indicatore veicola se non si guarda a come l’indicatore è in-timamente costruito. Ogni scelta di metodo è difatti determinante circa l’esito complessivo che si ottiene – e anche qui, come vedremo, gli aspetti da trattare e il ventaglio di opzioni a disposizione sono estremamente varie-gati. Ciascun indicatore si presenta con caratteristiche proprie: non si tratta solo di selezionare quali temi, questioni e proxy considerare e sotto quali etichette, ma anche di individuare come concretamente ottenere i dati, da quali fonti e con l’aiuto di chi, come tradurli in numeri, quali tecniche di lavorazione, pesatura e aggregazione impiegare, in quale modo costruire i valori che conducono al punteggio di arrivo87. I due paragrafi successivi si 86. René F. Urueña, Indicators as Political Spaces, 18; Michael Riegner, Measuring the

Good Governance State, 8. In quest’ottica, si è notato come “the most fundamental

objec-tion to current econometric practice is that it rests on prior assumpobjec-tions and post-hoc hy-potheses which remain systematically unexamined”: Peter Lawrence, Development by

Num-bers, 151. Un’altra obiezione tecnica sollevata di frequente concerne l’abuso dei c.d.

cross-sectional studies, cioè studi che cercano di identificare le variabili e correlazioni rilevanti non valutando l’andamento dei fenomeni investigati nel tempo – sovente in ragione dell’assenza di dati quantitativi con uno spessore temporale sufficiente –, bensì mettendo a confronto, a parità di epoca, le performances di paesi diversi: v., con toni variamente scetti-ci, Frédéric Docquier, Identifying the Effect of Institutions on Economic Growth, 33; Wol-fgang Merkel, Measuring the Quality of Rule of Law, 47; David H. Lempert, A “Democracy

Building” Development Project Indicator, 10-16; Ha-Joon Chang, Institutions and economic development, 483-484 (che porta innumerevoli evidenze di come, ad adottare una visione

storicistica, molti degli assunti sostenuti dall’economia dominante e dai risultati cross-sectional semplicemente non tengono); Christiane Arndt e Charles Oman, Uses and Abuses

of Governance Indicators, 91.

87. I passaggi tecnici sono molteplici, e tuttavia sono ampiamente codificati dalla stati-stica sociale: v. ad es., e fra i tantissimi, Deborah L. Bandalos, Measurement Theory and

Applications for the Social Sciences, Guilford Press, 2018; Lee Epstein e Andrew D. Martin, An Introduction to Empirical Legal Research, OUP, 2014; John Gerring, Social Science Me-thodology. A Unified Framework, CUP, 2012, 2a edn.; Henry Brady e David Collier (eds.), Rethinking Social Inquiry: Diverse Tools, Shared Standards, Rowman and Littlefield, 2010,

incaricheranno perciò di analizzare le soluzioni percorribili riguardo al tipo di informazioni da privilegiare e alla loro raccolta, nonché alle maniere di assemblarle e valutarle.

Due osservazioni, entrambe centrate sullo scorrere del tempo, sono tut-tavia necessarie prima di procedere oltre.

Va primariamente rinnovato un caveat già espresso più volte: gli indica-tori giuridici globali sono esperienze dinamiche. Ogni indice qui esaminato ha progressivamente modificato la propria metodologia, vuoi in risposta al-le critiche ricevute, vuoi per ragioni contingenti, per lo più connesse a cam-biamenti sopravvenuti nelle fonti di riferimento. Poiché la metodologia è la sala motori degli indicatori, è proprio sul metodo che gli interventi di ma-nutenzione e correzione sono più di frequente effettuati.

La seconda nota è strettamente connessa alla precedente, e segnala una traiettoria comune a molti degli indicatori qui esaminati, i quali sono passa-ti da un livello minimo di trasparenza circa le opzioni metodologiche per-corse a un grado di disclosure più o meno ampia, che può coinvolgere l’identità di chi lavora e collabora alla costruzione dell’indicatore, le fonti impiegate, le domande e/o i questionari che guidano la misurazione, i pun-teggi assegnati alle singole voci e le modalità di loro pesatura, le schede di-saggregate paese per paese88. Si tratta di un’articolazione pubblica del me-todo che, sia ben inteso, non consente mai di percorrere a ritroso il percorso che ha condotto a un certo risultato, perché troppi sono i passaggi arbitrari e i punti oscuri propri a quest’ultimo. Del resto, sebbene si esponga a facili critiche, l’impenetrabilità metodologica degli indicatori è direttamente

fun-Inference in Qualitative Research, Princeton U. P., 1994; Hubert M. Jr. Blalock, Conceptu-alization and Measurement in the Social Sciences, Sage Publications, 1982.

88. L’esempio di apertura maggiore alla trasparenza viene sicuramente dai ‘Doing Busi-ness’ Reports, i quali pubblicano oggi una guida metodologica estremamente dettagliata, il questionario inviato a relatori nazionali, nonché i risultati disaggregati per ciascun paese: v. retro, Cap. 4, par. 5.1. La medesima tendenza è ravvisabile nell’evoluzione che ha progres-sivamente interessato i ‘Freedom in the World’ Reports, il ‘Corruption Perceptions Index’ e i ‘Trafficking in Persons’ Reports, la cui metodologia è (ancora in parte oscura, ma) oggi sicuramente più comprensibile che nel passato (retro, Cap. 4, par. 2.1, 3.1, 4.1). Sul punto, v. anche infra, Cap. 6, par. 3. Residuano tuttavia molti indicatori completamente oscuri, il che è tipico soprattutto nel settore di quelli a pagamento. Ad esempio il software patentato ‘Con-flict Assessment Software Tool – CAST®’ impiegato dall’ONG ‘Fund for Peace’ e dalla rivista Foreign Policy per trarre ed elaborare le informazioni che sostengono il ‘Fragile Sta-tes Index’ da loro pubblicato, è segreto e non replicabile. Resta perciò un mistero come e perché agli stati sia assegnato un ranking compreso fra 1 e 10. Lo stesso vale per il pro-gramma ‘Ethics Quotient®’ elaborato dall’Ethisphere Institute per misurare le imprese in base all’eticità delle loro condotte (ma in questo caso anche i rating restano segreti, perché accessibili solo ai sottoscrittori). Su entrambe le iniziative, v. retro, Cap. 1, par. 3, nonché, rispettivamente, fundforpeace.org/fsi/indicators/ e worldsmostethicalcompanies.com.

zionale, nella prospettiva di chi produce l’indice, a isolare le conclusioni raggiunte da ogni possibile controllo, e a preservare l’apparenza di scienti-ficità che veste la superficie del prodotto finale89.

4.1. Gli ingredienti

La prima questione tecnica che si pone a chiunque intenda costruire un indicatore concerne la scelta di quale tipologia di dati ricercare. Il punto, va da sé, è fondamentale: a seconda della domanda che ci si pone, cambia la risposta che si ottiene. Per non offrire che un esempio, se l’asse ‘Registe-ring Property’ entro i ‘Doing Business’ Reports richiedesse informazioni circa la presenza di notai che salvaguardano la validità e la certezza delle transazioni immobiliari, il punteggio attribuito in materia ai paesi di diritto continentale sarebbe più alto di quello riconosciuto ai loro omologhi anglo-foni90. La decisione circa le informazioni da selezionare dipende ovviamen-te dall’identità, i pregiudizi e gli obiettivi di chi è chiamato a effettuarla; per riprendere l’illustrazione appena menzionata, se fossero giuristi parigi-ni, invece che economisti della Banca Mondiale, a redigere i Reports, a co-storo parrebbe naturale, e addirittura inevitabile, investigare il ruolo giocato da avvocati, notai e ‘huissers de justice’ entro i regimi di pubblicità e circo-lazione dei diritti su beni immobili. Ma la decisione è anche, come vedremo subito, strettamente correlata al tipo di fonti a disposizione. Cosa cercare e come ottenerlo sono sul piano teorico due problemi differenti, ma in pratica talmente legati l’uno all’altro da meritare qui una trattazione congiunta.

La forma più semplice ed economica di raccogliere le informazioni con-siste nell’individuare, entro dati già econ-sistenti, quelli che più si avvicinano a ciò che si desidera misurare91. Può trattarsi di statistiche prodotte da ammi-nistrazioni locali (ad esempio, uffici statistici nazionali) o globali (come

89. Osservazioni analoghe in Dora Gambardella e Rosaria Lumino, Sapere valutativo e

politiche pubbliche, 533; Angelina Fisher, From Diagnosing Under-Immunization to Eva-luating Health Care Systems, 241.

90. Lo notano, fra i tanti, Michèle Schmiegelow, Interdisciplinary Issues in Comparing

Common Law and Civil Law, 11-13; Nuno Garoupa e Carlos Gomez Liguerre, The Syn-drome of the Efficiency of the Common Law, 304-331; Ralf Michaels, Comparative Law by Numbers?, 778, 786-787; Bénédicte Fauvarque-Cosson e Anne-Julie Kerhuel, Is Law an Economic Contest?, 821-823. Sulle medesime linee, ma con riguardo al calcolo del PIL, v.

Lorenzo Fioramonti, Gross Domestic Problem, 104 (“if household production and services were to be included in official estimates, the US economy would be surpassed by a number of European countries in terms of GDP growth rates, thus shaking deep-seated convinctions behind the American economic dream”).

91. Il punto è sottolineato da più parti: per tutti, Sally Engle Merry, The Seductions of

Quantification, 7; Kevin E. Davis, Benedict Kingsbury, Sally Engle Merry, Introduction. The Local-Global Life of Indicators, 13.

un’organizzazione internazionale), di notizie mediatiche o circolanti nel web, di risultati provenienti da altri indicatori. Fra i casi paradigmatici che abbiamo analizzato retro, nel Cap. 4, sia i ‘Freedom in the World’ Reports che il ‘Corruption Perceptions Index’ sono basati sul lavoro svolto da anali-sti in house ed esterni a partire dalle ultime due fonti, mentre i ‘Worldwide Governance Indicators’ sono un caso di indicatore composito, ossia pog-giano esclusivamente sull’aggregazione di valori tratti da indici ulteriori92.

Utilizzare informazioni preesistenti semplifica enormemente il processo di raccolta. Tuttavia i difetti connessi a tale modo di operare sono evidenti. Può darsi che certi dati non siano disponibili riguardo a determinati paesi93, oppure non siano aggiornati, accessibili al pubblico o, semplicemente, suf-ficientemente affidabili94. Oppure può darsi che i dati non si riferiscano

92. V. retro, Cap. 4, parr. 2.1 e 3.1 (FiW e CPI), nonché 2.2 (WGI).

93. Amplius, Sharmila Murthy, Translating Legal Norms into Quantitative Indicators, 423-424, 443. L’occorrenza è più frequente di quanto si possa pensare: ciò che è visto come un fatto suscettibile di misurazione in un dato contesto e momento storico può essere del tutto non considerato o apparire come un giudizio da evitare in un altro luogo e in un’altra epoca (lo ri-corda ad esempio David Nelken, Contesting Global Indicators, in Sally Engle Merry, Kevin E. Davis, Benedict Kingsbury (eds.), The Quiet Power of Indicators, 317, 318). Per illustrare, di-videre la popolazione in categorie etniche era considerato naturale durante l’epoca coloniale, mentre oggi, in molti luoghi, la prassi è abbandonata o addirittura vietata. Negli Stati Uniti i dati censuari riportano la razza, ma non la religione; in Danimarca la religione, ma non la raz-za; in Olanda né l’una né l’altra (cfr. Sally Engle Merry, The Seductions of Quantification, 14; William Seltzer e Margo Anderson, The Dark Side of Numbers, 495; v. anche, più in generale sul tema, Louis-Georges Tin, Qui a peur des statistiques ethniques, in Isabelle Bruno, Emma-nuel Didier, Julien Prévieux (dirs.), Stat-Activisme, 155-166).

94. Ciò avviene sovente con riguardo ai dati provenienti dagli uffici statistici e governa-tivi dei paesi in via di sviluppo, in ragione della scarsa preparazione e delle limitate risorse a disposizione di questi ultimi: Simon Walker, Challenges of human rights measurement, in Bård A. Andreassen, Hans-Otto Sano, Siobhán McInerney-Lankford (eds.), Research

Me-thods in Human Rights, 306, 317; Morten Jerven, Poor numbers (che riporta il drammatico

stato delle statistiche nazionali africane, e le oscure modalità in cui le organizzazioni finan-ziarie mondiali elaborano i loro numeri sull’Africa); Angelina Fisher, From Diagnosing

Un-der-Immunization to Evaluating Health Care Systems, 241 (la quale sottolinea anche come

l’inadeguatezza può coinvolgere informazioni apparentemente semplici, quali il tasso di co-pertura vaccinale della popolazione, usualmente calcolato come il numero di vaccini som-ministrati per ciascun antigene, divisi per la popolazione. Tale misura in effetti si basa sul presupposto che vi siano dati censuari affidabili e che le statistiche mediche siano accurate e complete – il che, semplicemente, può non essere); Christopher Stone, Problems of Power in

the Design of Indicators of Safety and Justice in the Global South, 282; Sital Kalantry,

Joce-lyn E. Getgen, Steven Arrigg Koh, Enhancing Enforcement of Economic, Social and

Cultu-ral Rights Using Indicators, 290-291; Christiane Arndt e Charles Oman, Uses and Abuses of Governance Indicators, 31. Si possono dare anche casi cui l’omessa o negligente raccolta di

certi dati (ad esempio, quanti giornalisti incarcerati? quale il numero di detenuti sottoposti a tortura?) è intenzionale, e dovuta agli scarsi incentivi che uno stato può avere nel rispondere correttamente, specie laddove l’informazione getterebbe una luce dubbia sulle sue attività: