INFN-GRID soggetto incubatore e di coordinamento nazionale ... · e-Infrastruttura = La...

INFN-GRIDsoggetto incubatore e di

coordinamento nazionale di progettieuropei

VII programma quadro ed opportunità per la comunità INFN16 febbraio 2007

Mirco MazzucatoINFN-Padova e CNAF

Giorgio MaggiINFN-Bari

[email protected]

G. Maggi 16 febbraio 2007

Sommario

• Un po di storia…• Da FP5 ad FP6• I progetti attivi GRID• The Italian Grid Infrastructure (IGI) Association• The c-Omega consortium for Open Middleware

support in commercial take up• Conclusioni

last update 2/20/07 17:48

Il progetto INFN Grid Il prim o prog etto nazionale (Dirett ivo febbraio 2 0 0 0 ) che si

propone d i sviluppare la tecnolog ia e una nuova e-Infrastrutturag rid per riso lvere I p rob lem i del calcolo d i LHC ( e dell’e-Sciencein g enerale)

e-Infrastruttura = La comb inazione d i Internet con i nuovi W EBe Grid Services sopra uno strato f isico cost ituto dalla Rete,Risorse d i Calcolo , Spazio d i Storag e e Supercomputers resoaccessib ile e cond ivisib ile dai nuovi serviz i g rid e da un’adeg uataorg anizzazione

Da allora m olt i deg li scop i orig inari sono stat i rag g iunt i g raz ie anumerosi prog ett i.

Gli esperim enti a LHC e m olt i altri settori orm ai basano in Italia,in Europa e nel m ondo le proprie att iv ita’ d i ricerca sulla Grid

INFN Grid e’ stato ed e’ il contenitore nazionale usato dall’INFNper per rag g iung ere I p ropri scop i coord inando tutte le att iv ita’:

nei p rog ett i Grid Nazionali, Europei ed Internazionali,

nei processi d i standard izzazione del Open Grid Forum

nella def iniz ione delle polt iche EU nel settore ICT d i ResearchInfrastructures

Attraverso la struttura m ag eriale unica del prog etto : ExecutiveBoard , Technical Board…


Il portale del progetto


La strategia

• Obiettivi chiari e stabili: sviluppo della tecnologia e dell’infrastruttura necessariaper il calcolo a LHC ma di valenza generale

• Strumenti variabili:: uso di progetti e fondi esterni all’INFN (EU, MIUR..) perraggiungere gli scopi

• Coordinamento unitario di tutti i progetti (Executive Board)• In particolare:• Sviluppo del middleware e dell’infrastruttura Grid necessaria all’INFN e a LHC

all’interno di una serie di progetti core Europei ed internazionali, spesso con ilCERN come coordinatore

• DataGrid,EGEE, EGEE II, WLCG….• ….. promossi spesso dall’INFN stesso• Collaborazione Internazionale (con US Globus e Condor per il middleware e

progetti Grid come Open Science Grid e Open Grid Forum (US) ..) per ottenereun’interoperabilita’ globale dei servizi sviluppati e l’adozione di StandardsInternazionali

• Sviluppi nazionali pionieristici del M/W e dell’Infrastruttura nazionale nelle areenon coperte dai progetti EU attraverso progetti nazionali: Grid.it, LIBI, EGG…..

• Forte contributo ai Comitati d’indirizzo politico: e-Infrastructure Reflection Group(eIRG ->ESFRI), EU Concertation meetings e con le Unita’ coinvolte dellaCommissione (F2 e F3) per stabilire i programmi di attivita’ (Calls)


I progetti strategici: da FP5 ad FP6

FP7

2004

2006

2008

2001


Data Grid-> EGEE-> EGEE-II (36 M€):

•• Coordinamento del CERN• Piu’ di 90 partners• 32 paesi coinvolti direttamente• Europa: 12 federazioni• Stretta collaborazione con

i maggiori progetti Grid Nazionaliin Europa, USA, Asia

+ 27 Paesiattraverso progetti collegati: BalticGrid SEE-GRID EUMedGrid EUChinaGrid EU-India EELA

200 Centri, 20.000 job contemporanei

Naregi JPAP gridOSG

EGEE

EUIndiaGrid

All-Activity Meeting; Bologna; January 16th-17th 2007

Enabling Grids for E-sciencE

EGEE-II INFSO-RI-031688

0

5000

10000

15000

20000

25000

30000

35000

40000

Apr-04

Jun-04

Aug-04

Oct-04

Dec-04

Feb-05

Apr-05

Jun-05

Aug-05

Oct-05

Dec-05

Feb-06

Apr-06

Jun-06

Aug-06

Oct-06

Dec-06

No

. C

PU

0

50

100

150

200

250

Apr-04

Jun-04

Aug-04

Oct-04

Dec-04

Feb-05

Apr-05

Jun-05

Aug-05

Oct-05

Dec-05

Feb-06

Apr-06

Jun-06

Aug-06

Oct-06

Dec-06

No

. S

ite

s

Status

~17.5 million jobs run (6450 cpu-years) in 2006;Workloads of the “other VOs” start to be significant – approaching 8-10K jobs per day; and 1000 cpu-months/month

• one year ago this was the overall scale of work for all VOs

All-Activity Meeting; Bologna; January 16th-17th 2007


EGEE-II INFSO-RI-031688

EGEE Resources

7335202653694919240Totals

* Estimates taken from reporting as IS publishes total MSS space

--25172414PPS

300-297382North America

1207511239198Asia-Pacific

52445515151Russia

9011631759217Central Europe

3311891286268SE Europe

200*8981125132SW Europe

20018602655166Northern Europe

280*18523237132De/CH

1300*12523715101France

135022803336271Italy

241020107309232UK/I

1000*1800780010CERN

disk (TB)#cpuDoW#cpu#sites#countriesRegion

NA4 Status & Outlook – C. Loomis – 16 January 2007


INFSO-RI-031688

Grid Virtual Organizations

• Routine and large-scale use of EGEE infrastructure.• Virtual Organizations:

– 200+ visible on the grid– 100+ registered with EGEE

http://www3.egee.cesga.es/gridsite/accounting/CESGA/tree_vo.php



INFSO-RI-031688

Usage History

Virtual Organizations

Dec

. ’05

Nov

. ’06

http://www3.egee.cesga.es/gridsite/accounting/CESGA/tree_vo.php



INFSO-RI-031688

25 Universities4 National Labs2800 CPUs

Luglio 2006200 Grid sites

34 paesi20,000 CPUs

30 sites3200 cpus

Inter-operation di varie Grids: EGEE, Open Science Grid, NorduGrid….Promuove l’evoluzione verso gli standards (OMII-Europe)

World-wide LHC Computing Grid


Altre attivita’ FP6 di INFN Grid in Europa (1)(Oltre a EGEE II)

Garantire l’ evoluzione del Middleware Grid Open Sourceverso standards internazionali OMII Europe

La sua disponibilita’ in un’efficiente repository ETICS

Contribuire alle attivita’ informatiche di Ricerca eSviluppo Core Grid

Coordinare l’espansione di EGEE nel mondo EUMedGrid Eu-IndiaGrid (MoU…) EUChinaGrid (Argo..) EELA(LHC-B…)


Altre attivita’ FP6 di INFN Grid in Europa (2)(Oltre a EGEE)

Sostenere l’allargamento di EGEE a nuove comunita’ scientifiche GRIDCC (Applicazioni real time e controllo apparati) BionfoGrid (Bionformatici; Coordinato dal CNR) LIBI (MIUR; Bionfomatici in Italia) Cyclops ( Protezione Civile)

Contribuire all’ EIRG, L’ e-Infrastructure Reflection Group creatoa Roma 12/2003 Iniziativa della Presidenza Italiana su “eInfrastructures (Internet

and Grids) – The new foundation for knowledge-based Societies”Evento organizzato dal MIUR, l’INFN e la Commissione EU

Rappresentanti in EIRG nominati dai Ministri della Scienza EU Policies e Roadmap per lo sviluppo delle e-Infrastrutture in EU

Coordinare la partecipazione all’Open Grid Forum (ex GGF)


I progetti di INFN Grid attualmente attivi in FP6


FP7: garantire la sostenibilitàdell’e-Infrastruttura Nazionale ed Europea

Il futuro per INFN Grid in FP7 dopo il 2008 EGEE ha proposto al Parlamento Europeo la costituzione dell’

European Grid Initiative (EGI) avente lo scopo di: Garantire lo sviluppo ed il supporto a lungo termine dell’e-

Infrastruttura Europea costruita da EGEE e DEISA e daiprogetti Grid nazionali avendo come fondamento delle NationalGrid Initiatives (NGI)

Fornire un quadro di coordinamento a livello EU sulla linea diquanto fatto per le reti della Ricerca da Geant, DANTE e le RetiNazionali Tipo Garr

La Commissione ha chiesto che un progetto per la sostenibilita’ alungo termine dell’infrastruttura Grid (EGI + EGEE-III, …) inaggiunta a DANTE+ Geant 1-2 sia incluso tra gli scopi di EGEE II

La costruzione di EGI a livello EU e di una National GridInitiave a livello nazionale e’ tra gli scopi principali diFP7


Obiettivo del 2007: definire EGIObiettivi

Operare l’Infrastruttura Grid di produzione EU per tutte le Scienze Sviluppare, integrare, testare, validare e distribuire il Grid middleware Fornire aiuto, training e supporto alle nuove Comunita’ di utenti

EGI


L’Obiettivo della Grid Italiana per il 2007 :IGI

E’ f inito nel 2 0 0 6 Grid . IT, Il Prog etto Nazionale 3 + 1 anni 1 2M€ ( 2 0 0 2 -0 5 ) f inanziato dal MIUR

Il futuro : L’Italian Grid Infrastructure ( IGI) Associat ion

E’ richiesta a livello EU (eIRG, ESFRI) l’unificazione dei varispezzoni delle infrastrutture Grid Nazionali in un’unicaOrganizzazione Nazionale (NGI) che possa fornire un’unicainterfaccia verso l’EU ->IGI per l’Italia

Appoggio sostanziale alla creazione di una Associazione (IGI),preposta ad una governance comune dell’e-Infrastruttura Italianada parte di tutti gli Enti pubblici coinvolti:INFN Grid, S-PACI,ENEA Grid, CNR, INAF, Centri Nazionali di supercalcolo : CINECA,CILEA, CASPUR, e Consorzi nuovi PON (Riunione al MIUR)

In corso di valutazione con il MIUR l’evoluzione del Garr inun’Associazione piu’ generale preposta alla gestione di tutte lecomponenti della e-Infrastrttura: Rete, Grid, Librerie Digitali….

Uno dei nodi cruciali per il 2007 sara’ per l’INFN gestire il passaggio daINFN Grid a IGI in modo in modo da preservare, ed anzi aumentare, ilivelli organizzativi che hanno consentito all’Italia di raggiungereun’eccellenza mondiale nel settore

last update 2/20/07 17:48From the source...From the source...

La sostenibilità del Middleware:


La sostenibilita’ del MW: OMII-Europe OMII Europe (2006-08), ~5M€ richiesti , ~1 M€ all’INFN

Progetto coordinato da UK, INFN e CERN rappresentano EGEE Convergenza tra l’inizitiva Italiana/INFN c-OMEGA e l’iniziativa

Inglese Open Middleware Institute Iniziative (OMII ) per dar vita adun progetto Europeo per lo sviluppo ed il supporto del Middleware OpenSource obbediente a Standards Internazionali ->OMII Europe

Complementare a EGI-EGEE-N e iniziative di e-Infrastrutture nazionali EGI-EGEE-N -> Operations e funzionalita’ servizi OMII-EU evoluzione verso gli standards

Obiettivi OMII-EU Fornitura supporto e certificazione qualita’ del MW per le e-Infrastrutture Evoluzione del MW verso gli standard internazionali OGF Inter-operazione ed interoperabilita’ dei servizi forniti dai maggiori

sviluppatori di MW: EGEE, Unicore, Globus e Condor L’obiettivo per il 2007 e’ far diventare OMII-EU un’altra delle

Istituzioni “stabili” Europee a supporto del MW Open Source Europeocon appendici a livello nazionali come c-OMEGA (Limitato aglisviluppatori di MW)


EGEE II

• Strumento: I3• Coordinatore: CERN• Altri partner: 91 istituzioni europee ed internazionali• Referente INFN: Mirco Mazzucato• Data inizio: 1 aprile 2006• Durata: 2 anni• Budget totale: 36.971.360 euro• Budget INFN: 3.801.000 euro• Personale: 38 FTE f + 34 FTE uf (~70 U*50%)• Obiettivi:

Punta all’irrobustimento dell’infrastruttura di GRID realizzata dalprogetto EGEE sia per quanto riguarda la gestione dell’infrastrutturae la sicurezza che per quanto riguarda il Middleware impiegato.

• Si ripresenta in FP7


OMII-EU

• Strumento: I3• Coordinatore: SOTON• Altri partner : Fujitsu Laboratorie, Forschungszentrum Jülich, Kungliga Tekniska Högskolan

Instytut Chemii Bioorganicznej PAN, Univ. of Edinburgh, Univ. of ChicagoUniv. of Illinois, Univ. of Southern California, Univ of Wisconsin,Beihang University, Institute of Computing Technology,The Computer Network Information Centre, Tsinghua University, CERN

• Referente INFN: Mirco Mazzucato• Data inizio: 1 maggio 2006• Durata: 2 anni• Budget totale: 4.782.914 euro• Budget INFN: 910.000 euro• Personale: 8 FTE f + 6 FTE uf• Obiettivi:

realizzazione di un repository di componenti e servizi chiave di Grid (robusti,flessibili, aderenti agli standard ed interoperanti) in maniera da rendere semplicel’utilizzazione della Grid anche al di fuori dell’ambiente scientifico (stessi obiettivi diC-Omega).



EUChinaGRID

• Strumento: SSA• Coordinatore: INFN• Altri partner : Beihang Univ., CNIC, IHEP, Peking Univ., Grnet, GARR, Jagiellonian Univ., CERN

• Coordinatore: Federico Ruggieri• Data inizio: 1 gennaio 2006• Durata: 2 anni• Budget totale: 1.300.000 euro• Budget INFN: 316.000 euro• Personale: 3 FTE f + 1 FTE uf• Obiettivi:

Estensione dell’infrastruttura Grid europea per la eScience alla Cina Favorire l’integrazione e l’interoperabilità dell’infrastruttura di grid europea

(EGEE) e di quella cinese (CNGrid)• Si ripresenta in FP7


EUIndiaGRID

• Strumento: SSA• Coordinatore: INFN• Altri partner: Metaware, GARR, ICTP, Cambridge Un., Tata Institute, ERNET

University of Pune, Saha Institute, C-DAC, Bhabha Atomic Research Centre

• Coordinatore: Alberto Masoni• Data inizio: 19 ottobre 2006• Durata: 2 anni• Budget totale: 1.020.000 euro• Budget INFN:• Personale:• Obiettivi:

Dare una risposta alle richieste di risorse computanzionali in diversi progetti scientifici comuniEU-India

Perseguire l’interconnessione e l’interoperabilità tra l’ifrastruttura europeda di grid e quellaindiana



EUMedGRID

• Strumento: SSA• Coordinatore: INFN• Altri partner: 25 partner in massima parte da paesi che si

affacciano sul Mediterraneo• Coordinatore: Federico Ruggieri• Data inizio: 1 gennaio 2006• Durata: 2 anni• Budget totale: 1.646.500 euro• Budget INFN: 281.416 euro• Personale: 3 FTE f + 1 FTE uf• Obiettivi:

Realizzare una infrastruttura di grid per la ricerca tra i paesi delMediterraneo



EELA

• Strumento: SSA• Coordinatore: CIEMAT• Partner: provenienti da Italia, Spagna, Portogallo e paesi dell’America Latina

• Referente INFN: Roberto Barbera• Data inizio: 1 gennaio 2006• Durata: 2 anni• Budget totale: 1.700.000 euro• Budget INFN: 127.000 euro• Personale: 2 FTE f + 0,5 FTE uf• Obiettivi:

Portare i paesi dell’America Latina al livello dell’Europa nel campo delleeInfrastrutture



ETICS

• Strumento: SSA• Coordinatore: CERN• Altri partner: Engineering. 4D-Soft, University of Wisconsin

• Referente INFN: Cristina Vistoli• Data inizio: 1 gennaio 2006• Durata: 2 anni• Budget totale: 1.429.100 euro• Budget INFN: 293.000 euro• Personale: 3 FTE f + 0,5 FTE uf• Obiettivi:

Realizzare una eInfrastruttura per la configurazione, integrazione, test ebenchmarking del Middleware di Grid, utilizzabile da qualunque progetto di sviluppodi software.



BioinfoGRID

• Strumento: SSA

• Coordinatore: CNR-ITB

• Altri partner: CNRS, UCAM-ULAB, DKFZ, STZ, CILEA

• Referente INFN: Mirco Mazzucato

• Data inizio: 1 gennaio 2006

• Durata: 2 anni

• Budget totale: 1.050.000 euro

• Budget INFN: 240.000 euro

• Personale: 2,5 FTE f + 1 FTE uf

• Obiettivi: Verificare la possibilità di utilizzare l’infrastruttura di grid EGEE in vari campi

della bioinformatica.



CYCLOPS

• Strumento: SSA

• Coordinatore: Dipartimento della Protezione Civile• Altri partner: Istituto di Metodologie per l’Analisi Ambientale

Direction de la Défense et de la Sécurité CivilesCivil Protection of Chania Prefecture Technological Educational Institute of CreteServiço Nacional de Bombeiros e Protecção Civil

• Referente INFN: Mirco Mazzucato

• Data inizio: 01 giugno 2006• Durata: 2 anni

• Budget totale: 825.000 euro


• Personale: 1,5 FTE f 0,5 FTE uf

• Obiettivi: Favorire l’uso dell’infrastruttura di GRID da parte della comunità della protezione

civile impegnata sul Global Monitoring of Environment and Security


GRIDCC

• Strumento: Specific Targeted Research Project

• Coordinatore: INFN• Partner: Brunel University, Internation Business Machine (IBM),

Imperial College of London, Greek Research and Technology Network S.A.,Institute of Accelerating Systems and Applications, Consorzio NazionaleInteruniversitario per le Telecomunicazioni, Istituto di Metodologie per l’AnalisiAmbientale - CNR, Università degli Studi di Udine, Sincrotrone Trieste S.C.P.A.

• Coordinatore: Gaetano Maron• Data inizio: 1 settembre 2004• Durata: 3 anni• Budget totale: 3.996.000 euro• Budget INFN: 767.000 euro• Personale: 6 FTE f + 5 FTE uf• Obiettivi:

Costruire un sistema ampiamente distribuito di controllo e monitoring remoto distrumentazione complessa



CoreGRID

• Strumento: NOE

• Coordinatore: GEIE ERCIM

• Partner:

• Referente INFN. Antonia Ghiselli

• Data inizio: 1 settembre 2004

• Durata: 4 anni

• Budget totale: 8.200.000 euro


• Personale: 1 FTE f + 1,5 FTE uf

• Obiettivi: Rafforzare ed aumentare l’eccellenza scientifica e tecnologica nelle

tecnologie di Grid e Peer-to-Peer


Tabella riassuntiva

Budget INFN FTE funded FTE unfunded

EGEE II 3.801.000! 38,0 32,0

OMII-EU 910.000! 8,0 6,0

GRIDCC 767.000! 6,0 5,0

CoreGRID 112.772! 1,0 1,5

ETICS 293.000! 3,0 0,5

EUChinaGRID 316.000! 3,0 1,0

EUIndiaGRID 274.800! 2,5 0,5

EUMedGRID 281.416! 3,0 1,0

EELA 127.000! 2,0 0,5

BioinfoGRID 240.000! 2,5 1,0

Cyclops 150.000! 1,5 0,5

Totale 7.272.988! 70,5 49,5

EGEE 3.767.208!

NOBEL

Totale FP6 11.040.196!


Nuove idee progettuali per FP7

• EGI Definire la sostenibilità a lungo termine dell’infrastruttura europea di GRID.

• NMR Diffondere le tecnologie di grid nella vasta comunità scientifica che usa

come metodo di indagine la spettroscopia NMR ad alta risoluzione.• F2F

Costruire la prossima generazione di sistemi, ancor più sofisticati eaffidabili, basati su grid, di archiviazione ed immagazzinamento dati per laglobalità della comunità scientifica.

• OGF Favorire il contributo dell’Europa nella adozione di “standard” per

accelerare la diffusione della Grid nell’industria, nel commercio e nei servizi.


e-Infrastructure orientations in FP7

Support the further evolution and deployment of grid and networkinginfrastructures and foster the pooling of more resources in the grid;

emphasize on provision of persistent, cross-disciplinary services withincreased levels of interoperability, trust and security

Support emergence of new organisational models for service provisioning inthe domain of grid and data infrastructures; foster evolution of current

discipline/project based service provisioning schemes to new sustainableones, application neutral and open to all user communities and resource

providers

Support resource sharing policy initiatives (e-IRG…), International coop.

EC & Member Statesto co-fund Tier-1

(petaflop machines)of a European HPC

Platform;

Procurement mech.

Foster a coordinated andfederated approach in the

domain of digital repositoriesto enable researchers toeffectively aggregate andcombine information to

generate and share knowledge


First e-Infrastructure Calls in FP7

Year 2009Year 2008Year 2007

1. e-Science Grid Infrastructures2. Scientific Digital Repositories3. Deployment of e-Infrastructures for new

Scientific Communities4. New Research Infrastructures – Design studies5. New Research Infrastructures – Preparatory phase6. Support measures (studies, policy initiatives,

international co-operation,…)

Publication: early 20071rst Closure: 2 May 20072° Closure : Sept. 2007

1. GÈANT2. Scientific Data Infrastructures3. Support measures (studies, policy initiatives,

international co-operation,…)

Publication: late 2007/early 2008Closure: spring 2008


Alcune osservazioni di carattereamministrativo

• In FP6 mi è mancata molto una CPF di riferimento Superato dalla preiscrizione

• Definire chi è il “financial officier” Inutile far firmare tutto al Presidente, se non è necessario.

• Definire il tempo produttivo 1560 ore sono usate attualmente (1512 sembra più vicino alla realtà)

• Dotarsi di elementi di flessibilità per poter rendicontare una cifraleggermente più alta del contributo UE atteso E’ necessaria in FP6, per poter sfruttare tutto l’overhead

• Non sempre è facile conoscere con precisione il budget ancora disponibile• Ed è estremamente difficile riuscire a spendere tutto il budget

In FP7 forse è superato dal meccanismo di Full Cost Flat.• In FP7 con il Full Cost Flat model, occorre trovare il modo di

rendicontare l’attività degli associati Un meccanismo tipo il Firb? Terze parti?

INFN-GRID soggetto incubatore e di coordinamento nazionale ... · e-Infrastruttura = La...

Documents

Transcript of INFN-GRID soggetto incubatore e di coordinamento nazionale ... · e-Infrastruttura = La...