Mirco Mazzucato CD INFN 1 Mirco Mazzucato Coordinatore INFN Grid Direttore CNAF Sviluppi...

Mirco Mazzucato CD INFN 1

Mirco MazzucatoCoordinatore INFN Grid

Direttore CNAF

Sviluppi internazionali e nazionali di GRID

La grid Europea: EGILa grid nazionale: IGI

Il Middleware Europeo:gLite e EMI

Consiglio di Sezione INFN-PDPadova

10 Febbraio 2010


EGI e Sostenibilita’• Le attivita’ dei progetti correnti (EGEE) vengono

progressivamente trasformate in servizi che EGI offre a pagamento ai propri utenti/Istituzioni– Utenti di EGI sono le comunita’/Istituzioni scientifiche e chiunque

voglia usare i servizi di EGI (ad. Es Protezione Civile, PA etc…)• All’interno di EGI vale lo stesso modello:

– EGI.eu si sostiene a regime in buona parte con il pagamento dei servizi che offre alle NGIs

– Le NGIs’ si sostengono con i servizi che offrono a pagamento alle proprie comunita’/Istituzioni di utenti (come per la rete)

• Un’eccezione:– Le attivita’ di coordinamento di EGI.eu sono finanziate inizialmente

con la quota contributiva in modo da garantire il controllo politico di EGI.eu da parte del Council di EGI

• Il contributo EC: un incentivo necessario– Per estendere ed incentivare l’innovazione e la condivisione di

risorse a livello pan Europeo .– La Ricerca deve essere fonte d’innovazione per I paesi


2. EGI_DS Review www.eu-egi.eu 4

La struttura di EGI

EGI.eu


L‘EGI Council • 9 July 2009:

1mo EGI Council Meeting, Amsterdam• Composto di NGIs and EIROs, che hanno firmato l‘ EGI

MoU (Incluso INFN come coordinatore IGI)– 8 July 2009: 23 NGIs + CERN– 16 Sept 2009: 28 NGIs + CERN + EMBL– 24 Ottobre 2009 33 NGIs + CERN + EMBL

• 2do e 3zo EGI Council Meeting, Barcelona e Bruxelles• Preparazione progetto Europeo EGI InSPIRE (25 M€)• Discussione statuti EGI.eu


http://web.eu-egi.eu/partners/egi-council-members/



EGI Council Members (16-Sett-2009)

Stato di EGI.eu• Lo statuto di EGI.eu che definisce la nuova

organizzazione europea ha preso forma– Approvato nell’ultimo EGI Council di Amsterdam il 3-2-2010 – V7 trasmessa agli uffici legali dei paesi membri– Da firmare per adesione entro il 3 Marzo 2010 per gestire EGI.eu

• Fondazione no profit di diritto Olandese denominata• “Stichting” European Grid Initiative • Un Council formato dai rappresentanti dei paesi membri

agisce come un’Autorita’ di supervisione e controllo• Un Executive Board costituito da membri eletti dal

Council gestisce le attivita’– Sono I Fondatori della Fondazione per la legge Olandese



Le National Grid Initiatives• Una NGI:

– Gestisce la grid nazionale ed il suo aggiornamento– Ha un mandato politico dalla comunita’ grid nazionale di parlare a

nome di questa ied e’ la sola organizzazione che ha questo mandato e che quindi rappresenta il solo punto di contatto a livello europeo per un paese

– Ha la capacita’ di firmare gli statuti di EGI e di prendere con questo i relativi impegni finanziari

NGI -> a regime nuova Entita’ Legale (Consorzio, Associazione…)

– Ha un budget che consente di pagare la quota associativa e gli eventuali servizi che richiede a EGI se ne ha bisogno .

– Ha una struttura sostenibile a livello nazionale in modo da prendere impegni a lungo termine con EGI

– Fornisce direttamente o indirettamente (ad es. attraverso i suoi membri) le risorse di calcolo e storage assieme ai servizi necessari per poterle condividere e usare a livello Europeo

– Stabilizza il nucleo di competenze sviluppato con la serie di progetti Europei


Grid e “Cloud Computing”• “Cloud Computing” indica un’offerta via un WEB service di risorse di

calcolo e storage con un ambiente virtuale creato secondo le esigenze degli utenti in un dominio amministrativo unico

• Amazon, Google, IBM…. offrono gia’ in pratica questo servizio con software proprietario che fidelizza gli utenti

• Cloud: Rende semplice e flessibile l’accesso a hardware, software e storage grazie a una nuova interfaccia WEB e l’offerta di ambienti virtuali

• Infrastruttura GRID = Servizi per condividire risorse ICT (anche virtuali) e/o strumenti posti in domini amministrativi diversi (tipici dell’Europa) . Supporto attivita’ collaborative e-Science (WLCG)

• Servizi basati su Protocolli Generali e Standard e Open Source:

• GRID e Cloud: una sfida ancora formidabile• La Grid Integrata con Cloud e Virtualizzazione permette

l’allargamento dell’uso dell’infrastruttura dalla Ricerca a potenzialemente ogni utente (PA e Aziende)


Funzionalita’ del Cloud

• La funzionalita’ nei servizi clouds puo’ essere descritta in molti modi e dipende dai tipi di astrazione

• Tipicamente queste astrazioni sono:– Hardware as a Service (HaaS), focusing on making hardware

available to customers.– Software as a Service (SaaS), focusing on providing ready-to-

use software services.– Data as a Service (DaaS), focusing on the provisioning of

access to data, available from various sources• Queste astrazioni possono essere viste collettivamente

come l’offerta di una Platform as a Service (Paas), o, piu’ in generale, di una Infrastructure as a Service (IaaS)

• L’infrastruttura (come IGI) diventa un servizio che si compra e si vende facilmente via WEB


Uno sviluppo recente: INFN WNOD

Worker Node on Demand (WNOD)WNOD: Selezione dinamica di risorse virtuali via grid Jobs

L’utente puo’ scegliere l’ambiente di lavoro


La proposta INFN

Convergenza di Grid and Cloud Services suDynamically Provisioned Resources

New USERPC, PA

IGI diventa un’ IaaS


La NGI Italiana : IGI• L’Italian Grid Infrastructure (IGI)

– Oggi e’ una EU Joint Research Unit– Costituita con un MoU firmato da tutti i

partner in dicembre 2007 Aperto al contributo di nuovi partner

– Riconosciuta e sostenuta con lettera dal MUR– Riconosciuta dalla Commissione Europea– Interfaccia unica verso l’EU a livello Italiano – Governance comune dell’e-Infrastruttura

Italiana• Deve al piu’ presto diventare

un’entita’ legale per firmare lo statuto di EGI.eu

• Deve stabilizzare le competenze grid disponibili


I partners attuali di IGI• Istituto Nazionale di Fisica Nucleare (INFN), • Ente per le Nuove tecnologie, l’Energia e

l’Ambiente (ENEA), • Consiglio Nazionale delle Ricerche (CNR) • Istituto Nazionale di Astrofisica (INAF), • Istituto Nazionale di Geofisica e Vulcanologia

(INGV), • Università degli Studi di Napoli Federico II, • Università degli Studi della Calabria, • Sincrotrone Trieste S.C.p.A. (ELETTRA),• Consorzi PON COMETA, COSMOLAB, SPACI,• Consortium GARR• L’Universita’ di Perugia• L’Universita’ del Piemonte Orientale• Caspur, Sissa + Cilea, CERM…• 51 centri; 15.000 cores; INFN 60-70%

Il Nuovo Consorzio IGI

• OBIETTVO 1:• Gestione, controllo, e supporto del'infrastuttura Grid

nazionale (risorse e servizi) • Servizi di supporto agli utenti• Supporto e sviluppo del middleware e servizi aggiuntivi• Gestione amministrativa della struttura IGI e disseminaz. • OBIETTIVO 2• Avviare la sperimentazione e la realizzazione di un

servizo di “Cloud pubblico Nazionale” IaaS su larga scala che possa ospitare on demand i servizi necessari per l’informatizzazione delle Pubblica Amministrazione e di tutto il settore pubblico,

• Bozza di statuto approvata dai partner della JRU in corso di finalizzazione con INFN e MIUR


I bisogni

Supporto del MIUR per procedere celermente in modo da poter firmare lo statuto di EGI entro il 3 marzo

Delega del MIUR all’INFN per costituire di IGI Consorzio entro 1 anno Mirco Mazzucato CD INFN 16

attività Personale necessario (FTE)

Gestione infrastruttura (gruppo 1) 30

Servizi per gli utenti (gruppo 2) 10

Sviluppo e pianificazione (gruppo 3) 8

Amministrazione e disseminazione (gruppo 4) 3

TOTALE 51


Il MWare in EGI: EMI• Uno dei compiti principali di EGI e’ quello di offrire

come servizio generale alle NGIs la release, il mantenimento ed il supporto delle componenti di middelware in una– Unified Middleware Distribution (UMD)

• UMD conterra’ quanto necessario per abilitare le NGIs a condividere le proprie risorse a livello Europeo ed Internazionale

• Lo sviluppo e il mantenimento di UMD e’ fatto dai 3 Consorzi (EGI, UNICORE e ARC) + teams di sviluppatori di prodotti addizionali richiesti da EGI che insieme costituiscono:

• L’European Middleware Inititiave (EMI)


EMI• EMI mette insieme:• gLite (EGEE:250 centri),• UNICORE( 11 Centri HPC) e • ARC (30 Centri Nord Europa) • Cioe’ i teams appartenenti all’Accademia e alla

Ricerca che hanno sviluppato I prodotti in uso con un co-finanziamento della Commissione Europea

• Non e’ prevedibile che nessun prodotto commerciale con le funzionalita’ richieste possa apparire in un futuro prossimo sul mercato mondiale

• EMI si pone come un’aggregatore dei produttori di middleware Open Source rilasciato sotto una licenza molto aperta

• Potrebbe divenire in futuro una fondazione per l’Open Source in Europa

La nuova Collaborazione “gLite”

Un’opportunita’ per le Istituzioni di ricerca e le imprese Europee


Gli Obiettivi • Creare un’organizzazione autonoma a sostegno del

software base Open Source gLite e della sua evoluzione dopo EGEE

• Creare un soggetto a cui aziende e individui possano contribuire risorse con la certezza che queste vengano usate per l’interesse comune

• Proteggere il marchio gLite, applicato ai propri prodotti software, dall’abuso da parte di altre organizzazioni

• Definire una doppia struttura tipica Open Source:– gLite Collaborazione no-profit – gLite Services for profit (srl)


Il modello di riferimento

• Un Consorzio no-profit – Con partner Profit e no-profit

• Alcune attività di sviluppo comuni• Una licenza open source

ConsorzioNo-profit

Nuovi Servizi GeneraliInternet

InstitutionInstitutionEnti di

ricerca

InstitutionInstitution

Aziende

LicenzaOpen Source

InstitutionInstitutionComunitàSviluppatori

InstitutionInstitutionServizi per

Imprese

e-Infrastructures

Stato Collaborazione gLite

• Collaboration Agreement firmato da parte delle attuali Istituzioni di gLite

• Entita’ che hanno firmato il CA:• Sviluppatori:• CERN, INFN/IT , CESNET/CZ , SWITCH/CH ,

NIKHEF/NL, UH-HIP/FI, STFC-RAL/UK • Certificatori di qualita’ e testers:• PNPI/RU, CESGA /SP, CSIC/SP , ASGC/TW, TCD/IE,

GRNET/GR, KISTI/KR. UCY/Cyprus, UAB/SP• Prevede Collaboration Board e Technical Board• Il CB costituito dalle Istituzioni che hanno firmato il CA

ha eletto il 6 Novembre M.Mazzucato Chair



Conclusioni• In Europa si sta costruendo un unico eco-sistema che

comprende risorse HTC-EGI e HPC-DEISA/PRACE e Archivi di dati che fornira’ un’infrastruttura generale per il mondo della ricerca e oltre con governance sostenibile

• EGI.eu fornisce il framework di coordinamento europeo per la gestione di questa infrastruttura – Statuto di EGI eu in fase di discussione e approvazione

• Le NGI come IGI devono trasformarsi in organizzazioni legali per consolidare le competenze esistenti e diventare sostenibili allargando l’offerta (PA, PC..)– Bozza di Statuto IGI concordata tra I partners– Necessario supporto MIUR al piu’ presto altrimenti dovra’ essere

l’INFN che firma lo statuto di EGI.eu come coordinatore JRU• Il CA di Glite e’ stato fimato

– Nuovo progetto Europeo EMI con ARC e UNICORE agli hearings

Mirco Mazzucato CD INFN 1 Mirco Mazzucato Coordinatore INFN Grid Direttore CNAF Sviluppi...

Documents

Transcript of Mirco Mazzucato CD INFN 1 Mirco Mazzucato Coordinatore INFN Grid Direttore CNAF Sviluppi...