1

2

3

Questa è l’idea di data governance che si intende trasmettere: un insiemeorganizzato diPersone, Tecnologie, Metodologie e Processi.

4

Il CSIA non si è mai dotato prima di strumenti per la Data Governance:� Nell’aprile 2012 su incarico dell’allora direttore Fraccaro, vienepredisposta dal

gruppo di lavoro appena costituito, una relazione introduttiva alla Data Governance;� Nell’ottobre 2012 si tiene un incontro di presentazione del prodotto iWay a cura di

Information Builder e di Pragma (partner commerciale di IB). Si tratta di unmiddleware per ottimizzare e razionalizzare la gestione e la fruizione di serviziapplicativi;

� Nel novembre 2012 il direttore CSIA organizza un incontro con le ditte Pragma eInformation Builder per la definizione di un piano di sperimentazione del prodottoiWay;

� La prima sperimentazione si conclude nel luglio 2013 e si proponeva la correzionedei CAP relativi agli indirizzi presenti nell’anagrafica dei dipendenti dell’Ateneo(GIADA) e la normalizzazione degli indirizzi stessi, con l’obiettivo finale diapportare al data base le correzioni ottenute, prima della migrazione dei dati in CSA.Il risultato di questa sperimentazione non ha però soddisfatto le aspettative;

� La seconda sperimentazione riguardava un test per la bonifica e l’allineamento delleanagrafiche presenti nei sistemi Giada, Idra, U-gov. Anche questa sperimentazionenon ha soddisfatto le aspettative perciò nella valutazione della secondasperimentazione il gruppo di lavoro sottolinea la necessità di capire meglioilfunzionamento degli strumenti per la Data Governance mettendo a confronto lostrumento iWay con strumenti analoghi di tipo Open Source.

5

Questo grafico è prodotto daGartner Inc., una società multinazionale leader inconsulenza aziendale. Il grafico presenta il confronto degli indicatori di performance traaziende concorrenti nello stesso settore.Questi grafici cercano di mappare il mercato di riferimento. Sostenuti dal fatto che ladata integration è un settore importante dell'Information Technology il gruppo procedecon la fase comparativa.

6

Nel 2014si procede al confronto di iWay con alcuni strumenti di tipo open source,coerentemente

a quanto dispone l’art. 68 del Codice dell’Amministrazione Digitale (CAD), secondo il quale le

pubbliche amministrazioni prima dell'acquisto di programmi informatici, devono procedere ad

analisi comparativa tecnica ed economica e preferire software liberi.

Gli strumenti individuati per il confronto con iWay sonoTalend e Pentahoche risultano dalla

letteratura corrente diffusi e maturi e con un’ampia community di supporto.

Durante alcunilaboratori il gruppo di lavoro utilizza e confronta questi strumenti allo scopo di

comprendere le soluzioni offerte da queste tecnologie. I laboratori realizzati, a differenza di

quanto era accaduto con le sperimentazioni iWay, hanno creato aspettative positive nei confronti

di queste tecnologie.

In seguito all’esperienza positiva nel2015si effettuano i primi test di utilizzo di questi strumenti

realizzando:

-un job di Data Integration per la conversione in formato xml di file per il MIUR;

-Un job di Data Integration per abilitare i tester ad Eduroam.

7

Ritornando al quadrante magico per ladata integration del 2012 si nota che oltre aInformation Builder, nel quadrante dei visionari, è presente anche Talend, Pentaho nonc’è.

Nel 2014 il quadrante magico per ladata integration rappresenta le due aziende in unaposizione inversa: Information Builder rimane pressoché invariata, mentre Talend siavvicina ai leaders.

8

Generalmente suite complete di tecnologie per la Data Governance comprendono anchel’ application integration. Il quadrante magico di Gartner per questo settore riporta soloTalend, dei predottopresi in esame, posizionato tra i visionari e nel 2014 migliora lapropria posizione.

9

10

Ecco perché abbiamo scelto Talend:

� Talend permette di integrare le esperienze maturate con linguaggi, framework edambienti differenti;

� Talend è lo strumento più completo rispetto ad altri strumenti open source, perchéfornisce una suite completa di integrazione e data quality;

� Talend è uno strumento standard perché si basa suApache Integration Projects.

11

12

Spesso nelle organizzazioni complesse coesistono diversi sistemi gestionali e applicativi dedicati a funzioni specifiche, in cui i database sono «isolati» l’uno dall’altro (lo scambio di dati è ridotto e non così agevole), la ridondanza delle informazioni è elevata e i dati di frequente disallineati.

In questi contesti vengono attuate politiche di controllo dei dati, ma di norma esse intervengono a livello di singola unità organizzativa o di singola applicazione e non sono quindi sempre valide per l’intera organizzazione.

Nasce quindi un esigenza: quella di avere una visione semplificata e di insieme, una vista unificata ma soprattutto certificata dei dati, rispetto alle diverse fonti che costituiscono il patrimonio informativo di un’azienda.

E’ in questi contesti e per soddisfare questa esigenza che nasce la Data Governance.

13

Innanzitutto si può descrivere la DG come l’insieme di metodologie e attività necessarie per integrare sistemi eterogenei, standardizzare i dati e il loro significato rendendoli tra loro consistenti.

Ma la DG è anche una combinazione di persone, processi, metodologiee tecnologieal fine di realizzare un costante e corretto trattamento di tutti i dati che abbiano importanza per una organizzazione e di garantire un elevata qualità dell’informazione.

14

La Data Governance non è una soluzione tecnologica; piuttosto è un’insieme di strategie che si avvalgono di tecnologie per realizzare i propri obiettivi.

Gli strumenti tecnologici a supporto della DG sono numerosi; alcuni dei principali sono:

� data integration� application integration� data quality

� data cleansing

� master data management

Il lavoro del gruppo si è focalizzato sui primi due strumenti.

-----------------------------------------------------------------------

Data Quality � per avere dati accurati e utili allo scopo atteso.

Data Cleansing � per la pulizia dei dati.

Master Data Management � per gestire i dati in comune alle principali aree di una organizzazione attraverso una vista unica.

Esistono poi strumenti per la definizione di policy, di regole per il trattamento del dato, per il monitoraggio degli scostamenti dalle regole, ecc..

15

Possiamo descrivere la Data Integration come l’insieme delle attività e dei processi chepermettono di combinaredati provenienti dasorgenti eterogenee(database, file di testoo XML, fogli di calcolo..) e distribuite, ancheesterne, in una vista unica, al fine dieffettuare attività sui dati integrati, garantendo così la possibilità di superare i tipiciproblemi di condivisione, e di rendere i dati fruibili per tutte le applicazioni e periprocessi di un’organizzazione.

16

L’Application Integration si riferisce al processo d'integrazione tra diversi tipi di sistemi informatici attraverso l'utilizzo di metodologie, strumenti software e soluzioni architetturali.

Si può dire quindi che l’Application Integration garantisce l'interoperabilità tra sistemieterogenei, che non comunicano tra di loro e per questo definiti molto spessocon iltermine di silos; contemporaneamente essa permette di modernizzare, ma ancheconsolidare e riutilizzare le applicazioni esistenti e soprattutto di coordinarle tra di loronell’ambito dell’organizzazione.

17

18

Generalmente un progetto di Data Integration coinvolge i seguenti passaggi: l’accesso ai dati dalle diverse fonti di interesse, la loro combinazione nei modi più opportuni e infine la distribuzione nei contesti in cui sono necessari.

Il progetto può essere semplice, da utilizzarsi una tantum o sporadicamente in contesti limitati, oppure anche molto complesso e riscorsivo e richiedere migliaia di job.

I diversi modi attraverso i quali i dati possono essere combinati e distribuiti, la frequenza, ma anche la successione con cui vengono realizzate queste due fasi , danno origine a diverse metodologie di integrazione (1).

(1)

• Data Consolidation (tramite ETL, creazione di un’unico DB finale, di solito un DWH, ad intervalli prefissati)

• Data Propagation (tramite ETL, creazione di più Data Store, di solito dei Data Mart, destinati ad applicazioni o contesti diversi, realizzata con una cadenza più frequente e comunque al bisogno)

• Data Federation (tramite schema di collegamento, creazione di un Data Base Virtuale)

19

Uno dei più comuni processi di integrazione è il cosiddetto processo di ETL (Extract, Transform and Load).

A partire da una sorgente di dati, che può essere costituita da fonti diverse (DB, file di diverso formato, WS), viene inizialmente effettuata un’operazione di estrazione, una successiva trasformazione (*) e infine il caricamento in un sistema di sintesi (DB, file, Web Service ma anche un DWH, uno o più Data Mart, o anche un DB virtuale).

(*) filtraggio dei dati di interesse, eliminazione dei duplicati, traduzione dei dati codificati (arricchimento), derivazione di nuovi dati calcolati, join di dati da differenti tabelle oppure raggruppamento

20

Le principali caratteristiche dei moderni tool di Data Integration sono:

� ambiente di sviluppo user-friendly, attraverso tool grafici di facile utilizzo, che utilizzano componenti e collegamenti tra di essi per disegnare un processo di integrazione dei dati

� supporto ai maggiori DB relazionali e a fonti di dati alternative

� servizi di trasformazione dei dati (1)

� supporto alle diverse metodologiedi integrazione (2)

(1) vedi slide precedente

(2) vedi nota (1) slide 19

21

Alcune caratteristiche di Talend:

� interfaccia grafica basata su Eclipse (1)

� oltre 800 componenti preconfigurati che supportano tutti le sorgenti di data in entrata e in uscita (2) e ne consentono l’integrazione e la trasformazione

� deposito comune dei metadati, che permette di memorizzare le connessioni alle fonti dati, sia che si tratti di DBMS relazionali che di file fisici, e di riutilzzarle all’interno di un progetto

� generazione di codice Java, che permette anche di sviluppare parti complesse e personalizzate

(1) noto e diffuso ambiente integrato di sviluppo

(2) supporto a tutti DBMS più conosciuti, supporto per LDAP e ai protocolli come POP3, FTP, HTTP

22

23

File xml con dati docente relativo a insegnamenti

24

File csv con la decodifica del campo pds

25

I due file visti in precedenza sono in input. Talend, grazie ai suoi componenti, provvederàad estrarre i dati dall’xml ed a leggere i dati dal file csv (tabelladi look-up) perconvertire il codice. Per realizzare ciò i due file di input verrano definiti comecomponenti nelrepository di Talend.

I dati trasformati verranno archiviati in una tabella MySQL, per fare questo è necessariocreare un componente (adapter) nelrepository di Talend per creare la connessione aldatabase.

26

27

28

29

30

Con l’Enterprise Service Bus affrontiamo l’integrazione tra applicazioni. ESB è un middleware moderno

(dalle definizioni nei primi anni 2000 si passa alla diffusione a partire dal 2010 circa)

L’integrazione tra applicazioni è un concetto precedente a ESB (il riferimento è ad Enterprise Integration o, che è lo stesso, Enterprise Application Integration)

31

Prima di abbozzare una definizione prendiamo in considerazione dei modelli di integrazione/interazione

I quadratini A, B, C … H rappresentano applicazioni

Modello di integrazione punto a punto implica accordi bilaterali, quindi utilizzo di tecnologie e processi dettati dalla contingenza con difficoltà a ricercare strumenti comuni.

Modello a Bus e accordi multilaterali su metodi e tecnologie per stabilire almeno un software comune a livello aziendale e poter sfruttare le funzionalità messe a disposizione da ESB

32

Ci sono molte definizioni. Prendiamo la prima parte di una definizione dal libro di Nicolai M. Josuttis, SOA in Practice, 2007

La definizione continua con riferimento al fatto che un’ESB può fornire altre funzionalità che hanno a che fare con la sicurezza, l’affidabilità, la gestione dei servizi, e perfino le elaborazioni

33

Nella figura sono rappresentate varie applicazioni aziendali che interagiscono via ESB. ESB è unsistema complesso.

Dettaglio dell’ESB: un middleware con funzioni specifiche di mediazione che girano su runtime o veri e propri application server .

Un’ESB introduce degli standard in una organizzazione aziendale.

34

Non si affronta la SOA. L’introduzione dell’ESB permette, come abbiamo in parte visto, dei grossi vantaggi.

Articolo : Two patterns for distributed systems: Enterprise Service Bus (ESB) and Distributed Publish/Subscribe: “The ESB has a value beyond SOA and can be used for all types of distributed systems”

… ma nello stesso tempo l’ESB può essere una implementazione dell’integration layer in ambito SOA

35

SOA Reference Architecture Technical Standard : Integration Layer

https://www.opengroup.org/soa/source-book/soa_refarch/integration.htm

L’integration Layer permette il disaccoppiamento tra un provider di servizi e un consumer; ancora una volta si evidenzia il vantaggio di avere un “soggetto” mediatoree non una connessione diretta punto a punto

36

Prendiamo ad esempio la classica erogazione di servizi in ambito universitario a partire da applicazioni web based (silos)

Fra gli ultimi anni ‘90 ed i primi anni 2000 è nata l’esigenza di integrare dati e applicazioni (mainframe, Oracle, posta, ecc.).

L’integrazione era, a grandi linee, realizzata attraverso accordi bilaterali per stabilire quali dati scrivere/leggere su file system, con che formato, a quale ora, ecc. I file venivano spostati da un sistema all’altro via FTP e da procedure batch.

Questi sistemi rivisti e corretti funzionano ancora, ma per il futuro ha più senso usare le suite di integration.

37

I Web Services sono un passo in avanti eccellente ma:

- non tutto può essere ridotto a servizio (necessità di accedere a file, tabelle, ecc.)

- spesso nascono da accordi bilaterali

- a volte una componente di mediazione offre delle funzionalità aggiuntive

In questo caso vediamo la parte di front-end di un ESB sotto forma di servizi ESB

Anche in questo caso ESB non va a sostituire i WS esistenti.

In molti casi, la piattaforma ESB sarà il luogo ideale per esporre WS potendo sfruttare componenti dell’ESB stesso.

38

Si fa l’ipotesi di un dominio dedicato per l’accesso ai servizi, con indicazione del dipartimento del dominio applicativo e del servizio.

Questa modalità di comporre il nome del servizio in un ESB deriva da un progetto UCLA iniziato circa 3 anni fa.

I servizi relativi alle dimostrazioni che seguiranno sono locali (sono nel PC) e l’indirizzo farà riferimento a “localhost”.

Per brevità non vengono date spiegazioni sul prodotto Talend, su WS, su WSDL, su SOAP, ecc.;

l’obiettivo è dimostrare con esempi la semplicità nella creazione di un servizio.

39

40

41

42

43

44

Riprendiamo con uno schema dell’ESB di Talend (contiene la parte diData Integration)

Concentriamoci sulle possibilità di interazione verso l’esterno; ad esempio

- Web Service

- Data sources

- File

- Protocolli

- ecc.

Non solo servizi, ma anche adapters per connessione a sistemi legacy (quindi middleware molto utile nella pratica)

45

Componenti di talend ESB: innanzitutto di strumenti di Operation and Management

Le varie componenti possono essere raggruppate per tipologia:

- Messaging(viene introdotta la notazione di un messaggio)

- Routing (e relativa notazione di un message router)

- Transformation (ad es. arricchimento o impoverimento di un messaggio, notazione arricchimento)

- Processing (vere e proprie elaborazioni)

-Ecc.

Le notazioni sono ben descritte nel libro Enterprise Integration Patterns di Gregor Hohpe

- esiste un sito dedicato www.enterpriseintegrationpatterns.com

- le notazioni possano essere utilizzate in microsoft visio e openoffice/libreoffice per descrizione di flussi ad alto livello e successiva implementazione in talend o ESB analogo

- queste notazioni sono di fatto uno standard e sono precedenti alle implementazioni ESB

46

Come altri sistemi (FUSE di Red Hat) Talend è basato su progetti apache: vediamo solo CXF e Camel

CXF permette a Talend di sviluppare web service in modo semplificato

Secondo la notazione EIP (Enterprise Integration Patterns) un CXF exndpoint evidenzia il flusso in entrata a seguito della chiamata di un servizio web

47

Apache Camel ha un’importanza fondamentale poiché implementauna parte degli EIP.

Nella figura oltre alle notazioni già viste ci sono delle code e dei quadrati non meglio specificati (sulla destra)

Il messaggio viene instradato sulla base di una condizione impostata nel message router.

Nella dimostrazione che segue verranno riproposti questi componenti.

48

49

50

51

Dal nostro database oracle 10gR2 non si riesce a interagire direttamente con i web service via PLSQL, quindi, viene usato una sorta di bypass sviluppato con Ruby on Rails che converte in chiamata ai ws di UGov i parametri presenti nella chiamata http fatta dalla procedura del db Giada.

52

53

54

55

I due componenti principali del job sono tOracleSP per la connessione alla procedura PLSQL del db Oracle e tSOAP per richiamare il ws di UGov.

56

La connessione al db è già stata memorizzata nel repository di Talend per essere condivisa dai job/servizi che ne necessitano; in questo caso viene infatti riutilizzata.

57

Esempio di chiamata SOAP al metodo modificaPersona del web service PersonaFisica di UGov; il testo della richiesta SOAP è stato generato con SOAP UI poi nel testo sono stati sostituiti i richiami ai parametri del flussoTalend.

58

59

60

61

Spazio Domande

62