Nuovo software 2008: Concord-Java (CONtrollo e CORrezione dei Dati - versione open source)

Fase: Individuazione e trattamento degli errori Informazioni

CONCORDJAVA è la versione Open Source di CONCORD, un software generalizzato integrato per il controllo e correzione dei dati. L’applicazione richiama i software precedentemente sviluppati ed utilizzati in Istat:

• SCIA sviluppato da E. Riccini Margarucci, F. Silvestri e P. Floris. Nella sezione Download di CONCORD è disponibile la versione batch di SCIA

• RIDA sviluppato da T. Buglielli, G. Massimini e R. Colosi

L'applicazione, attualmente rilasciata in versione Beta, è disponibile per il download nella versione in lingua italiana ed in inglese.

I diversi metodi residenti nel software sono implementati in moduli distinti: • SCIA - (Sistema di Controllo e Imputazione Automatica).

Esegue il controllo e la correzione di variabili qualitative applicando integralmente la metodologia di Fellegi-Holt. Per ciascun record errato il sistema prima individua il minimo numero di variabili da imputare e poi effettua l’imputazione garantendo azioni di imputazione coerenti con un predefinito insieme di regole di controllo;

• RIDA - (Ricostruzione dell’Informazione con Donazione Automatica).

Esegue l’imputazione di variabile qualitative e quantitative mediante donatore di minima distanza. Operazioni propedeutiche sono:

ƒ la classificazione delle unità in esatte ed errate; ƒ la loro registrazione in due file distinti;

ƒ la identificazione dei valori da imputare mediante un predefinito carattere (di errore).

Propedeutica ai vari passi è la fase di definizione delle variabili, cioè dei campi del record da sottoporre a controllo, e degli edit o regole di controllo sia formali che sostanziali individuabili a partire dal questionario e dalla conoscenza relativa ai fenomeni indagati.

CONCORDJAVA Download

A. Requisiti hardware e software per il download Hardware

ƒ 256 Mb memoria RAM

ƒ 30 Mb su disco C:/ Software

ƒ Java 2 Runtime Environment 6.0 o superiore B. Download

Per poter effettuare il download occorre compilare un brevissimo questionario identificativo. L'unico scopo della notifica è tenere traccia delle persone interessate a CONCORDJAVA in modo da poterle informare dei nuovi sviluppi del progetto.

ƒ Download di CONCORDJAVA 1.0 in italiano (versione Beta) CONCORDJAVA (file setup_ConcordJava.exe)

ƒ Download di CONCORDJAVAEN 1.0 in inglese (versione Beta) CONCORDJAVAEN (file setup_ConcordJava.exe)

ƒ Istruzioni di installazione in ambiente Windows

ConcordJava richiede l’installazione dell’ambiente JAVA (Java 2 Runtime Environment 6.0 o superiore).

E’ anche necessario che la variabile d’ambiente PATH, che contiene il percorso di ricerca dei comandi, contenga il riferimento alla cartella JavaPer reimpostare la variabile di ambiente PATH in ambiente Windows :Start -> Impostazione -> Pannello di controllo -> Sistema -> Avanzate -> Variabili d’ambiente

Qui reimpostare la variabile PATH aggiungendo il percorso della cartella che contiene il file java.exe. Per esempio:

PATH=C:\Programmi\Java\jre1.6.0_03\bin;C:\WINDOWS\system32;C:\WINDOWS;C:\WINDO WS\System32\Wbem;

Per installare il software si deve scaricare il file setup_ConcordJava.exe sul proprio PC ed eseguirlo.

L’applicazione richiama l’editor di testo notepad.exe. Se si preferisce un altro editor di testo e’ possibile modificare, nel file concord.bat, il settaggio della variabile EDITOR. Per esempio: set EDITOR=C:\Programmi\Notepad++\notepad++.exe

Documentazione (equivalente a Concord versione SAS)

-Abbate C., Bove G., Crescenzi F. - (1992) “Metodi statistici multivariati per la ricostruzione dell’informazione mancante” Avanzamenti metodologici e statistiche ufficiali. Atti delle prime giornate di studio SIS-ISTAT Roma 13-14 dicembre 1992

-Abbate C., Giommi A. - (1993)“Metodi di ponderazione e di correzione di dati elementari” Atti del Convegno “La qualità dell’informazione statistica e la qualità industriale”SIS-ISTAT-AICQ, Roma 10 maggio 1991 -Abbate C., Schivano R. - (1993) “Efficacia dell’imputazione da donatore con distanza minima” Atti del Convegno SIS, Sanremo 1993

-Abbate C. - (1996) “La completezza delle informazioni e l’imputazione da donatore con distanza mista minima” Quaderni di Ricerca, ISTAT 1996

- Alboni, F. - (1994) “Il controllo e la revisione dei dati” L’utilizzazione della rete di contabilità agraria in Emilia-Romagna (Cap.7) a cura di F.Alvisi e C.Filippucci, Calderini Editore

-Barcaroli G. - (1992) "An integrated system for edit and imputation of data in the Italian Statistical Institute" Survey and Statistical Computing, pp.167-177

-Barcaroli G. - (1993) “Un approccio logico formale al problema del controllo e della correzione dei dati statistici” Quaderni di ricerca ISTAT n.9/1993

-Barcaroli G., Ceccarelli C., Luzi O. - (1995) “An edit and imputation system of quantitative variables based on macroediting techniques” Proceedings of the International Conference on Survey Measurement and Process QualityBristol (UK), 1-4 Aprile 1995, pp.12-17

-Barcaroli G., Ceccarelli C., Luzi O., Manzari A., Riccini Margarucci E., Silvestri F. - (1995) “The Methodology of Editing and Imputation by Qualitative Variables implemented in SCIA” Documento interno ISTAT.

-Barcaroli G., Luzi O. - (1995) “Sistema generalizzato per l’editing e l’imputazione di variabili quantitative (GEIS)” Quaderni di ricerca ISTAT n.1/1995

-Barcaroli G. - (1998) “La correzione probabilistica dei dati: il trattamento congiunto degli errori di rilevazione casuali e sistematici stocastici mediante l’applicazione del teorema di Bayes alla metodologia Fellegi-Holt” Statistica Applicata vol. 10 n.2/1998

-Barcaroli G., D’Aurizio L., Luzi O., Manzari A., Pallara A. - (1999) “Metodi e software per il controllo e la correzione dei dati” Documenti ISTAT, n.1/1999

-Cotton C. - (1991) "Functional description of the generalized edit and imputation system" Business Survey Methods DivisionDavila H.E. - (1992) "The Hidiroglou-Berthelot Method" Statistical Data Editing Methods and Techniques United Nations, Vol. I, February, 1992

-Engstrom P., Angsved C. - (1994) "A description of a geographical macro-editing application" Statistical Commission and Economic Commission for Europe-Conference of European StatisticiansCork, Ireland, 17-20 October 1994

-Fellegi I.P., Holt D. - (1976) "A systematic approach to edit and imputation" Journal of the American Statistical Association, vol.71, pp.17-35

-Ford B.L. - (1983) "An overview of hot-deck procedures" Incomplete data in sample surveyvol.1, pg. 191, Academic Press, New York

-Garcia Rubio E., Villan Criado I. - (1988) "Sistema DIA, Sistema de deteccion y imputacion automatica de errores para datos cualitativos" Istituto Nacional de Estadistica, Madrid, 1988

-Granquist L. Statistical Data Editing Methods and Techniques United Nations, Vol. I, February, 1992 a - "A Review of methods for rationalizing the editing of survey data"

b - "The Aggregate Method" c - "The Top-Down Method"

d - "On the need for generalized numeric and imputation system"

-Granquist L. - (1995) “Improving the traditional editing process” Business Survey Methods, John Wiley and sons

-Granquist L. - (1995) “An overview of methods of evaluating editing processes” Conference of European Statisticians (Athens, Greece, 6-9 November), Working Paper n. 3

-Grenless J.S., Reece W.S., Zieschang K.D. - (1982) “Imputation of Missing Values when the Probability of Response Depends on the Variable Being Imputed” Journal of the American Statistical Association, 77, pp 251-261

-Hawkins D.M. - (1974) “The Detection of Errors in Multivariate Data Using Principal Components” Journal of the American Statistical Association, Vol. 69. No 346

-Hidiroglou M.A., Berthelot J.M. - (1986) "Statistical Editing and Imputation for Periodic Business Surveys" Survey Methodology, June 1986, vol.12, N.1, pp.73-83

-Jackon J.E. - (1959) "Quality control methods for several related variables" Technometrics, vol. 1, n. 1

-Kalton G., Kasprzik D. - (1986) "The treatment of missing survey data" Survey methodology, 12, 1, Statistics Canada

-Klejinen J., Van Grodendaal W. - (1992) “Simulation. A Statistical Perspective” John Wiley, New York -Kovar J.G., MacMillian J.H., Whitridge P. - (1988) "Overview and strategy for the generalized edit and imputation system" Statistics Canada, Methodology Branch, April 1988 (updated February 1991)

-Kovar J.G., Whitridge P. - (1995) "Imputation of business survey data” Business Survey Methods, John Wiley and sons

-Latouche M., Berthelot J.M. - (1992) “Use of Score Function to Prioritize and Limit Recontacts in Editing Business Surveys” Journal of Official Statistics, Vol.8, No.3, Part II.

-Lee H., Ghangurde P.D., Mach L., Yung W. - (1992) “Outliers in sample survey" Statistics Canada Methodology Branch

-Little R.J.A., Smith J. - (1983) “Multivariate Edit and Imputation for Economic Data” American Statistical AssociationProceedings of the Survey Research Methods Section

-Little R.J.A., Smith J. - (1987) “Editing and Imputation for Quantitative Survey Data” Journal of the American Statistical AssociationVol. 82, N. 397, Applications Section

-Lindstrom K. - (1992) "A macroediting application developed in PC-SAS" Statistical Data Editing Methods and Techniques United Nations, Vol. I, February, 1992

-Luzi O., Ceccarelli C. - (1997) “Le componenti principali nello studio dell’editing multivariato” Atti della XXXV Riunione Scientifica della Società Italiana di Economia, Demografia e Statistica

-Luzi O. - (1996) “Applicabilità ed impatto potenziale dei metodi per l’editing di dati quantitativi basati sugli approcci del Macroediting e dell’Editing Selettivo” Contributi ISTAT

-Masselli M., Signore M., Panizopn F. - (1992) “Il sistema di controllo della qualità dei dati” Manuale di tecniche di indagine, Vol.6 ISTAT

-Winkler W.E. - (1994) “SPEER Edit System” Computer system and unpublished documentation Statistical Research Division U.S. Bureau of the Census, Washington D.C., USA.

-Riccini E. - (2004) “CONCORD versione V.1.0 - Controllo e correzione dati. Manuale utente e aspetti metodologici" Tecniche e strumenti n. 1 - ISTAT

6.5 Una nuova release dei software Mauss e Genesees versione SAS su Server