Dati aperti, appalti trasparenti

Il PNRR e le banche dati aperte

Andrea Borruso

2023-05-05

Intro

onData è un’associazione promuove l’apertura dei dati pubblici per renderli un bene comune.

Oggi insieme

I dati e le informazioni disponibili per seguire il PNRR sono pochi, e noi di #datiBeneComune insieme all’Osservatorio Civico PNRR chiederemo ancora una volta al Governo di colmare questi vuoti.

Tra i dati disponibili, quelli di:

  • OpenCUP;
  • ANAC;
  • Servizio Contratti Pubblici;
  • OpenBDAP;
  • … e la cronaca supera le scuole di monitoraggio 💪

Fino a poche settimane fa eravamo in emergenza informativa

https://www.datibenecomune.it/2023/02/07/datioggi-foia-pnrr-bene-comune/

Due parole su ItaliaDomani

  • Sono elencati soltanto circa 5.000 progetti, risalenti al 13/05/2022;
  • Le informazioni di maggiore dettaglio presenti riguardano soltanto un miliardo di euro;
  • Sono presenti le informazioni su sole quattro procedure di gara.

OpenCUP

OpenCUP mette a disposizione di tutti  - cittadini, istituzioni ed altri enti - i dati, in formato aperto, sulle decisioni di investimento pubblico finanziate con fondi pubblici nazionali, comunitarie o regionali o con risorse private registrate con il Codice Unico di Progetto.

Il Codice Unico di Progetto (CUP) è il codice che identifica un progetto d’investimento pubblico ed è lo strumento cardine per il funzionamento del Sistema di Monitoraggio degli Investimenti Pubblici (MIP).

🚀 Su OpenCUP “arriva il PNRR”

 

Se il progetto rientra tra linee di finanziamento previste dal PNRR, tra le informazioni richieste, è obbligatorio registrare anche:

  • Tematica PNRR (Missione, Componente, Misura e Sub-investimento se previsto)
  • Target previsto: per compilare in modo corretto, deve essere indicato almeno un target tra quelli previsti. Se la misura/o sub-misura prevede più di un target, valorizzare a 0 i campi non necessari. 
  • Data completamento prevista del progetto

I dati OpenCUP

I dati OpenCUP

Bello il motore di ricerca, ma …

  • se ho 100 CUP??!!
  • faccio 100 ricerche??!!
  • faccio 100 copia e incolla di pagine non tabellari??!!
  • se voglio ripetere la ricerca automaticamente il primo del mese??!!
  • se voglio collegare automaticamente questi dati ad altri??!!

🧮 I dati aperti di OpenCUP

Lavori pubblici, Incentivi e Contributi per calamità naturali:

  • Progetti - dataset relativo ai corredi informativi dei progetti
  • Localizzazione - dataset relativo alle localizzazioni dei CUP
  • Soggetti - dataset relativo alle anagrafiche dei Soggetti titolari/richiedenti dei CUP
  • Fonti di copertura - dataset relativo alle fonti di copertura finanziaria associate ai CUP
  • Link interoperabilità - dataset relativo ai CUP che presentano link ad atri portali open data

🧮 I dati aperti di OpenCUP

  • sono dati grossi
    • 13.299.899 righe x per 91 colonne, circa un miliardo e duecento milioni di celle;
    • 18 GB di dati;
  • non ci sono ad oggi API, ovvero non si può accedere ai dati in modo più comodo e leggero;
  • con un foglio elettronico sono ingestibili;
  • per questo, al momento la loro consultazione non è “per tutte/i”.

Come sono fatti questi dati?

 

Come sono fatti questi dati?

 

🪛 Come tiro fuori da 18 GB di dati, solo i dati del PNRR?

Il modo più comodo è usare gli strumenti dei film di fantascienza:

unzip -qq -c "OpenData Totale CSV.zip"  | grep -iF "pnrr" >open_cup_pnrr.csv
  • unzip estrae i dati dal file zip
  • grep filtra le righe che contengono la stringa “pnrr” (non tiene conto di maiuscole e minuscole)
  • > redireziona l’output su un file CSV

… in azione 🏃‍♂️

unzip -qq -c "OpenData Totale CSV.zip"  | grep -iF "pnrr" --color=always | less

Torniamo sulla terra (un foglio elettronico)

🔗 sheet

Domande?

  • Come invio il link alla pagina di un progetto a mio cugino?
  • Quale è il significato di tutti campi e di tutti i codici, presenti nei dati?
  • Ci sono state gare/appalti per la realizzazione di questi progetti?

ANAC

Autorità Nazionale AntiCorruzione.

Portale dei dati aperti

➡️ https://dati.anticorruzione.it/

  • RPCT: elenco dei Responsabili della Prevenzione della Corruzione e della Trasparenza;
  • In-House: elenco delle amministrazioni e degli enti aggiudicatori che operano mediante affidamenti diretti alle proprie _società__in house_ (art. 192 del d.lgs. n. 50/2016);
  • L.190/2012: elenco delle comunicazioni pervenute ed elaborate ai sensi dell’art. 1, comma 32, della Legge 190/2012;
  • Albo Arbitri: albo degli Arbitri della Camera Arbitrale;
  • Dataset: elenco dei dataset Open Data pubblicati dall’Autorità.

Il dataset “cup”

Il dataset contiene tutte le informazioni dei CUP, relative agli appalti ordinari pubblicati.
2.959.409 righe per 2 colonne, per un file di circa 90 MB. È più usabile, ma è sempre non per tutte/i.

CIG CUP
59831213A4 F55J10000140006
Z7011BECE2 J49DI4000150003
Z8525EDBD3 D78I18000050005
… …

Estraiamo tutti CIG dei CUP PNRR

# estrai lista univoca CUP
mlr --c2n cut -f CUP then uniq -a open_cup_pnrr.csv >lista_cup_pnrr.txt

# usa lista CUP per estrarre lista CIG
unzip -qq -c "cup_csv_0.zip"  | grep -F -f lista_cup_pnrr.txt >lista_cig_pnrr_anac.csv

# aggiungi riga intestazione, cambia separatore e rimuovi virgolette
mlr -I --csv --implicit-csv-header --ifs ";" label CIG,CUP lista_cig_pnrr_anac.csv

Che ci faccio con questi dati?

  • posso estrarre quelli dei CUP di mio interesse;
  • posso usare quei codici per cercare dettagli in altri portali;
  • posso leggere i dettagli sul sino ANAC (93473426A2 e 93473426A2);
  • interoperabilità con altri portali (openBDAP);
  • mettere insieme il tutto e fare analisi (il caso PINQUA).

Grazie

Andrea Borruso
mailto:andrea.borruso@ondata.it

Andrea Borruso, @aborruso | Associazione onData