MISTRAL, la piattaforma italiana degli open data meteorologici e le sue funzionalità
Evento Online - 23 Novembre 2020
La piattaforma Mistral
Gabriella Scipione (CINECA)
High Performance Computing Department
Responsabile gruppo HPC Data Management and Analytics
Martina Forconi (Dedagroup) Information Systems Project Manager Dedagroup Public Services
2
facilitare e promuovere il riuso dei dati meteorologici nazionali
Creazione di un Portale Italiano dei dati Metereologici (open)
per acquisire, armonizzare, aggregare, trasformare, processare e distribuire dati
meteo
dati generati con l’utilizzo di risorse e competenze di
supercalcolo messe a disposizione da Cineca.
Finalità
Il progetto Mistral: finalità e challenge
3
Piattaforma Mistral: dati attualmente disponibili
4
MISTRAL: 11 regioni che hanno autorizzato
l'integrazione dei dati osservativi da stazioni
terrestri con licenza CC by 4.0
Co-financed by the Connecting Europe facility of the European Union
5
Dati disponibili: Osservati NON validati
Dati Freq Real
time Variabili Regioni Formato
Dati della rete regionale di stazioni meteo forniti dal DPCN
Varia:
10’, 15’, 20’, 30’,
…
Quasi real time
- Temperatura - umidità relativa - direzione/
velocità vento - precipitazione
totale
10 regioni: Calabria, Campania, Lazio, Liguria, Marche, Piemonte, Sardegna, Sicilia, Umbria,
Veneto
+ prov. Bolzano
Input: CSV Output: BUFR, JSON
Dati della rete meteo dell’Emilia- Romagna forniti da Arpae
Varia Sì Idem +
- pressione,
- profondità della neve
- livello e scarico del fiume
- flusso di radiazione, …
1 regione: Emilia- Romagna
Input: BUFR Output: BUFR, JSON
Dati di
MeteoNetwork In progress
6
Modello Risoluzione Area Corse
giornaliere Previsioni a Formato
COSMO-5M 5 Km Mediterraneo 2 corse
00 e 12 UTC 18 e 72 ore Input - output:
GRIB
COSMO-2I 2.2 Km Italia 2 corse
00 e 12 UTC 48 ore Input - output:
GRIB Italy Flash Flood
ecPoint rainfall blended with COSMO 2.2 ensemble post- processed
2.2 Km Italia 1 corsa
00 UTC 48 ore Input - output:
GRIB
Multimodel Ensemble
punti delle stazioni della rete regionale
Italia 1 corsa
8:00 UTC 72 ore Input: JSONLINE Output: BUFR
Dati attualmente disponibili: Forecast
7
Dati Prodotto Freq. Formato
Dati della rete radar del DPCN
• Surface Rainfall Intensity
• Altri in progress 5’ Input: GeoTIFF Output: GRIB
Dati attualmente disponibili: Radar
Cineca Cloud-HPC infrastructure
9
Open Data Portal
the main access point for citizens, public administrations and private organizations to meteorological data
Open Data Catalogue
the interoperability of the datasets and metadata of the Italian weather sector
Meteo Hub
interface to the ingested data: allows users to create and download
personal weather data collections and provides interactive maps to graphically browse the datasets
Ingestor
feed the dataset repository by preserving the integrity of the data
Piattaforma Mistral : Architettura
10
Meteo-Hub
Funzionalità & Servizi
https://meteohub.hpc.cineca.it/
Sito di progetto
https://www.mistralportal.it/
Catalogo
Open Data
https://www.mistralportal.it/catalog/
Piattaforma Mistral: Servizi
11
Piattaforma Mistral : Ingestor
12
Mistral Challenge: Flussi per acquisire dati
Production flows
1. Radar-derived products SRI (Surface Rainfall Intensity) from DPC 2. Ground station BUFR data transmitted by Regions via AMQP channel 3. Ground station BUFR data transmitted by Meteonetwork (non-profit
Weather Associations) via AMQP channel
4. Ground station CSV data exposed by DPC on FTP server
5. Multimodel Forecast JSONLINE transmitted by Arpa Piemonte via AMQP channel
Experimental flows
1. Ground station data exposed by Open data API (Trentino)
2. Ground station CSV data exposed by DPC on FTP server to FROST
Dati osservati e previsionali
▪ The logical data model is the one adopted by Arpae that has been formalized in UML based on standard
▪ ISO 19156:2011 Geographic information Observations and measurements
▪ OGC SensorThings
▪ Guidelines On Data Modelling For WMO Codes.
▪ Protocol used to send data to Mistral:
▪ publish and subscribe protocols – AMQP (RabbitMQ queues)
▪ FTP
▪ Formats in Mistral Platform:
▪ BUFR, JSON, CSV for observations (JSON,CSV only as exchange formats)
▪ GRIB for forecast
13
Mistral challenge: Armonizzazione
14
Mistral Meteo-Hub: Catalogo
ll catalogo Open Data di Mistral:
▪ è un utile meccanismo per la scoperta dei dati disponibili nella piattaforma e anche dei dataset meteorologici disponibili in Italia.
▪ è compatibile con DCAT-AP_IT, l'estensione italiana del DCAT-AP (Data Catalog Vocabulary application profile) per la descrizione dei cataloghi del settore pubblico, finalizzata a garantire l'interoperabilità semantica tra portali di dati aperti europei.
▪ è una versione personalizzata di CKAN
▪ Il Catalogo espone i metadati ad altri cataloghi
utilizzando documenti RDF serializzati secondo il DCAT Application Profile Italiano, al fine di consentire la raccolta da dati.gov.it e inoltre al Portale Europeo dei Dati.
15
Mistral Meteo-Hub: Servizi
16
Mistral Meteo-Hub: Servizi di Visualizzazione dei dati
Metodologia Dati Tipologia Tool Temporal
dimension Interactivity Static
Forecast Italy Flash Floods
Mappe Magics ✅ ⛔
Dinamiche /Multilayer (Tiles)
Forecast Italy Flash Floods
Mappe Magics ✅ ✅
Puntuale Observed
Mappa + Meteogram
ma
Leaflet/Javas cript (ngx-
charts)
⛔ ✅
Puntuale Multi Model
ensemble Mappe Leaflet ✅ ✅
17
Mistral challenge: Data POLICY (Licenses)
FORECAST
Italy flash flood CC BY 4.0
Multimodel SuperEnsamble CC BY 4.0
Cosmo 5M Copyright License
Cosmo 2I Copyright License
OSSERVATI
Dati delle stazioni a terra regionali - flusso DPC
CC by 4.0 Dati delle stazioni a terra
Emilia Romagna
CC by 4.0 Dati delle stazioni
Meteonetwork
CC by 4.0
RADAR
Surface Rainfall Intensity from Radar-DPC
CC by-SA 4.0
DATI VISUALIZZATI SU MAPPA
Forecast CC by-ND 4.0
Italy Flash Flood CC by 4.0
Observation CC by 4.0
Multi-Layer Map CC by-ND 4.0
18
XXXX
Co-financied by the Connecting European Facility of the Europen Union
