LEZIONE N. 1people.na.infn.it/~merola/griglie/Lezione_01_aa_2008-09.pdf · LEZIONE N. 1 •...

Griglie computazionali - a.a. 2008-09 1

LEZIONELEZIONE N. 1

• Introduzione alle griglie computazionali (Grid computing)• Progetti Grid nazionali ed internazionali

Griglie Griglie computazionalicomputazionali

Università degli Studi di Napoli Federico IICorso di Laurea Magistrale in Informatica – I Anno


Introduzione alle griglie Introduzione alle griglie computazionalicomputazionali

(GRID computing)(GRID computing)


Una soluzione su scala mondiale per:

a) Calcolo distribuito intensivob) Accesso flessibile a grandi moli di dati

Nate in ambito scientifico, si stanno evolvendo anche verso il campo industriale, commerciale, finanziario,

amministrativo, governativo

Una soluzione su scala mondiale per:

a) Calcolo distribuito intensivob) Accesso flessibile a grandi moli di dati

Nate in ambito scientifico, si stanno evolvendo anche verso il campo industriale, commerciale, finanziario,

amministrativo, governativo

Le “griglie computazionali”<< GRID >>

Le Le ““grigliegriglie computazionalicomputazionali””<< GRID >><< GRID >>

WORLD WIDE WEB WORLD WIDE GRIDWORLD WIDE WEB WORLD WIDE GRID


consentirà a Organizzazioni Virtuali(Istituti di ricerca, Università, Industrie, Aziende, Privati)

di condividere risorse distribuite su scala mondiale.

GRIDGRIDGRID


Collegamento di una qualunqueapparecchiatura alla presa

elettrica in modo “trasparente”all’utente

AccessoAccesso a Computers e a Computers e DatiDati in in modomodo ““trasparentetrasparente”” allall’’utenteutente

GRID nasce da un’analogia:

Centrali elettriche

+ reti di distribuzione

Risorse distribuite

+ software di gestione


Alessandro Volta mostra a Parigi nel 1801la “pila” alla presenza di Napoleone I

Thomas A. Edison e la “Lampada elettrica”

Le Centrali e le Reti elettriche e Le “applicazioni” (2004)


PASSATO PRESENTENel 1969 nasce negli USAin ambito militare ARPANET, la prima rete di trasmissionedati di larga diffusione.

Nel 1989 nasce al CERN(Centro Europeo per la Fisicadelle Particelle – Ginevra) ilWorld Wide WEB come protocollo per la trasmissionedell’informazione multimedialeattraverso Internet per facilitare la collaborazione dei fisici delle particelle.

Tim Berners-Lee


Molti progetti pre-GRID nascono negli USA negliAnni ’90 sotto la spinta di ambienti scientifici ed industriali.

�NASA, DOE (Dept. Of Energy), DOD (Dept. Of Defense), �NSF (National Science Foundation), ...

CONDOR (USA)Nel 1985 Miron Livny(Un. Wisconsin) mostrò che molte stazioni di lavoro sono spesso inattive; da qui, utilizzando la natura “multitasking”di UNIX, diede origine al progetto CONDOR per utilizzare migliaia di computer nei periodi in cui sono “inattivi”.

GLOBUS (USA)Attivo dai primi anni 90, punta a generalizzare alcuni strumenti utilizzati per dimostrare le applicazioni di una possibile interconnessione fra centri di supercalcolo USA.


I-WAY (USA)Nel 1995 prese avvio il vero precursore di GRID, in cui furono connessi ad altissima velocità 17 siti scientifici in USA.

UNICORE (Germania)Progetto inizialmente finalizzato all'interconnessione di siti di ricerca nella sola Germania. Finanziato pubblicamente, appaltato industrialmente e realizzato con criteri di qualità industriale.


SETI@home

Fine anni Novanta: David Anderson pensò di fare utilizzare, su base volontaria dei proprietari (anche semplici privati) l’enorme quantità di PC sparsi in tutto il mondo (oggi ce ne sono oltre 500 milioni) per analizzare i dati del radio telescopio di Arecibo (Messico) per la ricerca di segnali provenienti da eventuali intelligenze extraterrestri.

Attualmente alcuni milioni di PC “privati” partecipa al programma SETI.


L’ INFN (Istituto Nazionale di Fisica Nucleare)INFN (Istituto Nazionale di Fisica Nucleare) è l’Ente di Ricerca pubblico che si svolge, in stretta connessione con le Universitin stretta connessione con le Universitàà, in oltre 30 sedi in Italia, 4 laboratori nazionali e laboratori internazionali (fra cui il CERN) ricerche di fisica fondamentale teorica e sperimentale nei settori della Fisica dei Nuclei e delle Particelle.

Ha realizzato la prima rete di calcolo scientifico agli inizi degli anni ’80 (INFNET), è stato promotore ed attuatore dagli inizi degli anni ’90 della rete accademica e di ricerca GARR e svolge ora un ruolo di primo piano nei progetti GRID nazionali ed europei in ambito scientifico.

Il CNAF (Bologna) è il laboratorio nazionale INFN dedicato allo sviluppo del calcolo ed delle reti.

e in EUROPA e in ITALIA ?


La missione dellLa missione dell’’ INFNINFN

• Ente di Ricerca pubblico fondato l’8 Agosto 1951, strettamente connesso con l’Università.

• Ricerche teoriche e sperimentali in fisica subnucleare, nucleare, astroparticellare.

• Applicazioni di tecnologie informatiche, elettroniche, nucleari in altri campi quali medicina, beni culturali, ambiente.

LL’’organizzazione dellorganizzazione dell’’INFNINFN

• 20 Sezioni20 Sezioni• 11 Gruppi collegati11 Gruppi collegati•• 4 Laboratori Nazionali4 Laboratori Nazionali• 1 Centro Nazionale per il Calcolo e le 1 Centro Nazionale per il Calcolo e le Reti (CNAF)Reti (CNAF)•• 1 1 EuropeanEuropean GravitationalGravitational ObservatoryObservatory

•• 2000 dipendenti, 3000 associati di altri 2000 dipendenti, 3000 associati di altri Enti (prof. ricercatori), 1700 giovani in Enti (prof. ricercatori), 1700 giovani in formazioneformazione

I N F NI N F NIstituto Nazionale di Fisica Nucleare

MilanoBic.


(1 m) (10 -10 m) (< 10 -18 m) (10 -15 m)

(10 -14 m) (10 -15 m)

(< 10 -18 m)

La Fisica delle Particelle studia i costituenti fondamentali della materia (privi di struttura interna ?), che costituiscono i “mattoni” della Natura e le loro interazioni.


LEP/ LHC

SPS

CERN

GINEVRA

LEP/ LHC

SPS

CERN

GINEVRA

LHC: Large Hadron Collider (2008-2020)Interazioni protone-protone a 14 TeV

Esperimenti: ALICE, ATLAS, CMS, LHCb

27km

Centro Europeo per la Fisica delle ParticelleCentro Europeo per la Fisica delle Particelle


VASTE COLLABORAZIONIINTERNAZIONALI(varie migliaia di fisici)

101099 eventi/seventi/s con incroci dei fascia 40MHz (bunch-crossing 25 ns)

100 eventi/s su memoria di massa1 MByte/evento � 100MB/s

107 s tempo di raccolta dati/anno�

2 PetaByte/anno di dati "raw”+1 PetaByte/anno di dati simulati

GRANDE MOLE DI DATI:~ 10 10 PBytes/annoPBytes/anno susu tapetape; ~ 2.2 2.2 PBytes/annoPBytes/anno susu discodisco

INGENTI RISORSE DI CALCOLO:

~ ~ 101066 PCPC (1 GHz)

Gli esperimenti a LHC (dal 2008)GliGli esperimentiesperimenti a LHCa LHC ((daldal 2008)2008)


Modello di calcolo distribuitoper gli esperimenti a LHC (e non solo)

Modello Modello didi calcolocalcolo distribuitodistribuitoper per gligli esperimentiesperimenti a LHC (e non solo)a LHC (e non solo)

Gerarchia di Centri regionali a più livelli

Il “MiddlewareMiddleware”, una via di mezzo tra hardware e software, deve assicurarela funzionalità e la compatibilità fra i vari ambienti.

Data ServerData Server

Data Server

CPU Server

CPU Server

CPU Server

desktop

CPU Server desktop

desktop

desktop

CERNTier 0

CPU Server

Tier 2 (Centri “Regionali”)Napoli: Tier-2 Esp.Atlas

Tier 3-4(Dip. e Istituti)

Tier 1(Centri “Regionali”naz. e internaz.)


L’hardware è sempre più potente e costa sempre meno

100

1000

10000

100000

1-gen-2000

1-gen-2001

1-gen-2002

1-gen-2003

1-gen-2004

1-gen-2005

1-gen-2006

MH

z&

SPE

Cin

t200

0

0,10

1,00

10,00

100,00

€/SP

ECin

t200

0

MHzSI2000€/SI2000

1

10

100

1000

10000

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

GB/

Driv

e

0,10

1,00

10,00

100,00

1000,00

€/G

B GB/Drive€/GB

10

100

1000

2000

2001

2002

2003

2004

2005

2006

Cap

acity

/Tap

e(G

B)

0,01

0,10

1,00

10,00

Pric

e/C

apac

ity(€

/GB

)

Cap€/GB

CPU Nastri

Dischi


Il problema è il software

CLRC Daresbury

Lo scienziato non deve vedere le differenze degli ambientidi calcolo a cui accede. Il “Middleware”, una via di mezzo tra hardware e software, deve assicurare la compatibilitàfra i vari ambienti.

Scientist

MIDLEWARE

Experiment

Experiment

Computing

Computing

Computing

Storage

Storage

Storage

Analysis

Analysis


Ian Foster and Carl Kesselman, editors,“The Grid: Blueprint for a New Computing Infrastructure,”

Morgan Kaufmann, 1999, http://www.mkp.com/grids

19991999

Ian FOSTER(Univ. of Chicago)

Carl KESSELMAN(Univ. of California)

(2a ed. 2003: The Grid2)


I cinque paradigmi del modello GRID• Distributed computing

– Synchronous processing• High-throughput computing

– Asynchronous processing• On-demand computing

– Dynamic resources

• Data-intensive computing– Databases

• Collaborative computing– Scientists


Progetti GRID Progetti GRID Nazionali e InternazionaliNazionali e Internazionali


LL’’ INFNINFNha partecipato, come comunità di High Energy Physics alla nascita del WEB (T.Berners Lee, CERN, 1989)ha realizzato la prima rete su larga scala di calcolo scientifico agli inizi degli anni ’80 (INFNET)è stato promotore ed attuatore agli inizi degli anni ’90 della rete accademica e di ricerca GARRè impegnato dalla metà degli anni ‘90 in prima linea nei progetti GRID nazionali e europei.

ContributiContributi delladella SezioneSezione didi NapoliNapoli

• La connettività in rete locale e rete INFNET (1983).• Il polo GARR di Napoli (1992).• Il primo sito WEB ufficiale dell’Italia meridionale (1994).• Il Nodo GRID INFN (2001).• Campus Grid a Mont Sant’Angelo (2005).• Data Center SCoPE dell’Università Federico II (2008).

Un Un pòpò di storia di storia ……


• Dal 1973 al 1990 Tante reti indipendenti (INFNet, CNRnet, e altre reti attorno ai consorzi inter universitari)

• Nel 1987 nasce il Gruppo Armonizzazione Reti della Ricerca (GARR) per facilitare l’interconnessione delle diverse reti

• 1990-1994: la rete GARR-1– la prima rete unitaria di Università e Ricerca in talia– co-finanziata dal MURST (5Glire)

• 1994-1998: la rete GARR-2, razionalizza la gestione della rete fino ad ora totalmente distribuita– Condivisione dei costi della infrastruttura nazionale– Sviluppo della connettività internazionale

• 1998-2003 la rete GARR-B(roadband)– co-finanziata dal MURST (con fondi CIPE 1994-1999) crea la prima

infrastruttura di rete nazionale comune tra tutti gli enti GARR (153Glire, ~75Meuro)

• 2003 inizia ad operare il Consortium GARR (Fond. CRUI, CNR, ENEA, INFN)

• 2003-2008 la rete GARR-G(iganet) (finanziata dai soci)• 2006-2008 : si prepara GARR-X(cross-connect) ….

La Rete GARR La Rete GARR (da E.Valente)


La rete GARR connette

oltre 600 siti:Università

(pubbliche e private), sedi

di enti di ricerca (CNR,

ENEA, INFN, INAF,

INGV, ASI, ESA, etc.) ed

istituzioni culturali e di

ricerca

La rete GARR è connessa

alle altre reti della ricerca

mediante Geant2 (la Rete

della ricerca Europea) ed

al Global Internet

mediante operatori di

transito internazionali

Griglie computazionali - a.a. 2008-0925

GEANT2: La rete pan-europea al centro del sistema mondialedelle reti della Ricerca


La rete GARR-B (1998-2003)

� Tutte le sedi delle Universita’ e degli enti di Ricerca collegate al baclbone

� Architettura di rete magliata solo su 4 POP � 16 POP di concentrazione

� Limitata copertura sul territorio nazionale

� Backbone basato su circuiti ATM a 155M e a 34M sulla periferia

� Supporto IPv4� Collegamento a 155M alla rete TEN-

155 � GÉANT� Modalità di accesso da 2M � 34M

(ATM)� Rete mono Operatore (incumbent) con

PoP presso centrali Telecom Italia� Con il Progetto GARR-B inizia lo

sviluppo delle reti Metropolitane (MAN)� Bari, Insubria, Napoli, Pisa, Trieste,…


La rete GARR-G oggi

� 43 PoP (oltre 90% ospitati daUniversità e enti di ricerca)

� Capacità aggregata IP del backbone� ~ 110Gbps� N. link di backbone: 62

� Capacità aggregata IP link diaccesso� ~ 70Gbps� Accessi da 2Mbps � 10Gbps � N. link di accesso: oltre 400

� 8 operatori TLC nazionali� TI, Infracom, Fastweb, Atlanet

Interoute,Wind,BT-Italia,COLT� Diversi operatori TLC locali

� Municipalizzate, ecc

Rm1Rm1

Rm2Rm2

PaPa

Ct1Ct1

NaNa

PiPiFi1Fi1

Mi1Mi1

Bo1Bo1

Mi3Mi3

Ba1Ba1

TsTs

Pd1Pd1

Ca1Ca1

ToTo

FraFra

GeGe

PvPv VeVe

TnTn

PgPg

AnAn

AqAq

CbCb

SsSs

LeLe

MtMtPzPz

SaSa

CsCs

MeMe

Ts1Ts1

RcRc

Namex

TeliaGX

Level3

GEANT2

EUMED2

CzCz

FeFe

MIX Mi2Mi2

BrBr

10 Gbps2.5 Gbps

1 Gbps622 Mbps155 Mbps

100 Mbps34 Mps

Fibra Ottica


Caratteristiche della rete GARR-X

� Evoluzione dell’infrastruttura a costi incrementali ridotti

� Flessibilità nella risposta alle richieste (attuali e future) degliutilizzatori� Possibilità di ritagliare su GARR-X reti dedicate a sedi o gruppi di

utilizzatori remoti per il supporto di servizi/applicazioni specifiche

� Integrazione con reti di Campus, reti Metropolitane e retiRegionali

� Accesso a basso costo e banda garantita� FastEthernet, 1Gigabit e 10Gigabit Ethernet in

� fibra (soluzione preferita ? 1Gbit/s)� circuito diretto (<1Gbit/s)� aggregazione di circuiti tramite reti di operatori

(<100Mbit/s)


Infrastruttura di fibra di dorsale di GARR-X

Alcune cifre di sintesi� 45 PoP GARR principali

� 99% co-locati con sedi utente

� 60 apparati trasmissivi� 150 nodi di amplificazione

(uno ogni 70 km di fibra)

� 10.500 km fibre di dorsale� 1.500 km fibre di accesso

(non presenti in figura)

PD MI

TO

PI FI

NA

GE

CT

PA

RC

CZ

CS

AN

TS

CO

BA

SA

CA

Olbia

PZ MT

TN

BR

LE

UD

PG

PV

Civit.

RM

SS

AQ

FE

Mazar.

ME

CB

VE

BO

TA


L'INFN, con un suo progetto partito nel 1997,ha provato la funzionalitàdel sistema CONDOR(1985, Un. Wisconsin) su rete geografica. Non basato su standardsriconosciuti a livello internazionale.

GARR-B155 Mbps ATM based Networkaccess points (PoP)

main transport nodes

Default CKPTdomain @ Cnaf

CKPT domain# hosts

Oltre 300 macchine

INFN INFN CONDOR CONDOR PoolPool

TORINO PADOVA

BARI

PALERMO

FIRENZE

PAVIA

MILANO

GENOVA

NAPOLI

CAGLIARI

TRIESTE

ROMA

PISA

L’AQUILA

CATANIA

BOLOGNA

UDINE

TRENTO

PERUGIA

LNF

LNGS

SASSARI

LECCE

LNS

LNL

USA

155Mbps

T3SALERNO

COSENZA

S.Piero

FERRARA

PARMACNAF Central Manager

ROMA2

10

10

40

15

415

65

5

10

2

3

6

3

23

5

1

15

INFN INFN CONDOR CONDOR PoolPool

Il progetto pilota CONDOR poolIl Il progettoprogetto pilotapilota CONDOR poolCONDOR pool


ProgettoProgetto specialespeciale INFNINFN--GRIDGRIDIniziato nel 1999 per la valutazione mediantetestbed nazionali dei servizi Globus e lo sviluppo e l’attuazione di un prototipo di sistema di calcolo, basato sul middleware di GRID e finalizzato a rispondere innanzitutto alle esigenze degli esperimenti futuri con particolare riguardo ad LHC.Coordinatore: Dott. Mirco Mazzucato, INFN Padova

ProgettoProgetto MIUR FIRB MIUR FIRB Grid.ITGrid.ITPIATTAFORME ABILITANTI PER GRIGLIE COMPUTAZIONALI A ELEVATE PRESTAZIONI ORIENTATE A ORGANIZZAZIONI VIRTUALI SCALABILI.Coordinatore: Prof. Marco Vanneschi, Dipartimento di Informatica, Univ. Pisa e ISTI, CNR .

Finanziamento: 8 MEuro

I progetti italianiI I progettiprogetti italianiitaliani


LECCE

ASIApplications of EarthObservation

PISA

NAPOLI

COSENZA

PERUGIA

PADOVA

GENOVA

MILANO

PALERMO

ROMA

TORINO

MATERA

BARI

BOLOGNA

CAGLIARI

CNITTechnologies for high-performance communication, Optical technologies, …

L’AQUILA

INFN, UniversityGrid (INFN-Grid, DataGrid, DataTag) , e-science applications, …

VENEZIA

CNR, UniversityHPC, Grid, Platforms, Programming environments, Knowledge Discovery in Data Bases, Tools, Libraries, Applications, …

Ma settori scientifici hanno aderito grazie anche a fondi specifici MIUR (e.g. progetto SPACI)


Progetti Europei5° Programma Quadro della UE (1998-2002)6° Programma Quadro della UE (2003-2007)

ProgettiProgetti EuropeiEuropei55°° ProgrammaProgramma QuadroQuadro delladella UE (1998UE (1998--2002)2002)66°° ProgrammaProgramma QuadroQuadro delladella UE (2003UE (2003--2007)2007)

NumerosiNumerosi progettiprogetti INTERDISCIPLINARIINTERDISCIPLINARI sullesullegrigliegriglie computazionalicomputazionali GRIDGRID

Progetti con lProgetti con l’’ INFN major partner:INFN major partner:

DATAGRID - Research and Technological Development (2001-04) for an International Data Grid

Coordinato dal CERN – 10 MEuro

DATATAG - Research and Technological development (2002-04) for a TransAtlantic Grid

Coordinato dal CERN – 4 MEuro


<<<< FP6FP6 aims to contribute to the creation of a true ““EuropeanEuropean ResearchResearch AreaArea”” (ERA).(ERA). ERA is a vision for the future of research in Europe, aninternal market for science and technology. Itfosters scientific excellence, competitiveness and innovation through the promotion of better co-operation and coordination between relevant actorsat all levels. Economic growth increasingly dependson research, and many of the present and foreseeable challenges for industry and society can no longer be solved at national level alone. >>

EGEE

Applications

Geant network Geant Research Network

Grid

infrastructure

ERA Applications

Grid

infrastructure


BIOLOGIA e BIOINFORMATICA:

Esplorare il Genoma umano

Identificare le sequenza di coppie di basi azotate che costituiscono il DNA nei geni e nei cromosomi.Miliardi di coppie in ogni cellula umana.

Enormi quantità di dati già disponibili nel database GenBank organizzato dal DOE (USA): sequenze di 7 miliardi di frammenti di DNA, 50 Tbytes di dati, equivalenti a 100.000 CD.Necessità di tecniche rapide di sequenziamento, robot, calcolo distribuito, accesso ai database.

“Test-beds” e Applicazioni di DataGRIDoltre la Fisica delle particelle


OSSERVAZIONE DELLA TERRA:

Studio dell’ozono atmosferico

Parecchi satelliti dell’Agenzia Spaziale Europea “osservano” la Terra, raccogliendo circa 100 Gbytes di dati al giorno.Fattore 5 di aumento dopo il lancio nel 2001 del satellite ENVISAT.

Archivio di 800 Tbytes già disponibile.GRID sarà cruciale per l’accesso, la gestione e l’analisi di tali ingente mole di dati.

Testbed: usare i dati relativi all’ozono atmosferico.


ENVISAT Applications and Data

Underwater: RA-2 and DORIS combine to produce a detailed map of local gravitationalstrength, detecting the distribution of denser and less dense rock in the Earth crustbeneath the oceans.

Sea level: AATSR measures sea surface temperature to 0.3 °C accuracy. MERIS precisely maps ocean colour, plankton and chlorophyll distributions. ASAR and RA-2 measure ocean currents, average wave-heights and wind velocities.

Ground level: ASAR, AATSR and MERIS map the vegetation and land use around you.

Altitude 0 to 4 km : ASAR and RA-2 create anaccurate digital map of your surroundings, withheight contours asaccurate as 10 m.

Altitude 0 to 10 km: MERIS obtains an image in which the clouds you see are but a part of a complex map of the concentration of water vapour.

Altitude 0 to 20 km: MIPAS and SCIAMACHY are detecting low levels of gases from industry, power generation and agriculture.

Altitude 0 to 100 km: GOMOS, MIPAS and SCIAMACHY are building a three-dimensional profile of ozone concentrations in the atmosphere.

…400+ TB/year…

L. Fusco - EU 2nd Year Review – 04-05 Feb. 2003 – WP9


Contributi da varie aree tematiche:

BioBio GRIDGRID (collaborazione chimici e biologi per l’HPC)

Meteo GRIDMeteo GRID (portale meteo- previsioni on-demand)

CAE GRIDCAE GRID (Computer-aided Engineering per l’industria aeronautica)

HPC HPC ResearchResearch GRIDGRID (High Performance Computing)


Weather forecasting application

Distributed data analysis in High Energy Physics

Surgery decisionsupport application

Flood crisis team decision support system

simulation

forecasting

monitoring

CrossGrid è un progetto internazionaleInterdisciplinare dedicato alle applicazionie all’interazione utente sistema.


L’obiettivo è creare un testbed intercontinentale per le griglie computazionali.

Il Progetto DataTag

NLNLSURFnet

CERN

UKUKSuperJANET4

AbileneAbilene

ESNETESNET

MRENMREN

ITITGARR-B

GEANT

NewYork

STAR-TAP

STAR-LIGHT

FRFRINRIA ATRIUM

/VTHD

ATRIUM/VTHD

3*2.5G3*2.5G

2.5G2.5G ---->> 10G10G

10G10G

Completato 31 marzo 2004


Il Progetto LCG (LHC Computing Grid)Il Il ProgettoProgetto LCG LCG (LHC Computing Grid)(LHC Computing Grid)

LCG

LCG ha come scopo la creazione di un servizio grid per l’ High Energy Physics 24 h/day.

40 nazioni; 200 siti; 100 VO; 37 k CPU; 7 PB storage


Durata 20042004--0808. Finanziamento 32 32 MEuroMEuro Coordinamento del CERN. CERN. 11 federazioni regionali comprendenti 70 partners in 26 Paesi

per sviluppare una infrastruttura GRID europea multidisciplinaremultidisciplinare(prime applicazioni HEPHEP e BiologiaBiologia) e promuovere l’integrazione con l’ US Cyber Infrastructure e la Japan Asian-Pacific Grid.

I Progetti europei EGEE, EGEE IIEnabling Grid and EScience in Europe

I Progetti europei I Progetti europei EGEE, EGEE, EGEEEGEE IIIIEEnabling GGrid and EEScience in EEurope


EGEE EGEE RoadmapRoadmap

Globus 2 based Web services based

EGEE-2EGEE-1LCG-2LCG-1

EDGVDT . . .

LCG

EGEE

. . .AliEn

gLitegLite


Altri Importanti progettiinternazionali Grid

Grid testbed linking IBM laboratoriesIBMBlueGrid

Create & apply an operational grid for applications in high energy physics, environmental science, bioinformatics

eu-datagrid.orgEuropean Union

European Union (EU) DataGrid

Delivery and analysis of large climate model datasets for the climate research community

earthsystemgrid.orgDOE Office of ScienceEarth System

Grid (ESG)

Create operational Grid providing access to resources & applications at U.S. DOE science laboratories & partner universities

sciencegrid.orgDOE Office of Science

DOE Science Grid

Create operational Grid providing access to resources at three U.S. DOE weapons laboratories

www.cs.sandia.gov/discomDOE Defense Programs

DISCOM

Create & deploy group collaboration systems using commodity technologies

www.mcs.anl.gov/FL/accessgrid; DOE, NSFAccess Grid

FocusURL & SponsorsName


Create & apply an operational grid within the U.K. for particle physics research

gridpp.ac.ukU.K. eScience

GridPP

Integration, deployment, support of the NSF Middleware Infrastructure for research & education

grids-center.orgNSF

Grid Research Integration Dev. & Support Center

Research on Grid technologies; development and support of Globus Toolkit™; application and deployment

globus.orgDARPA, DOE, NSF, NASA, Msoft

Globus Project™

Grid technologies and applicationsgridlab.orgEuropean Union

GridLab

Create a national computational collaboratoryfor fusion research

fusiongrid.orgDOE Off. Science

Fusion Collaboratory

Create tech for remote access to supercompresources & simulation codes; in GRIP, integrate with Globus Toolkit™

eurogrid.orgEuropean Union

EuroGrid, Grid Interoperability (GRIP)

FocusURL/SponsorName


Create and apply a production Grid for earthquake engineering

neesgrid.orgNSF

Network for Earthquake Eng. Simulation Grid

Create and apply production Grids for data analysis in high energy and nuclear physics experiments

ppdg.netDOE Science

Particle Physics Data Grid

Create international Data Grid to enable large-scale experimentation on Grid technologies & applications

ivdgl.orgNSF

International Virtual Data Grid Laboratory

Create and apply a production Grid for aerosciences and other NASA missions

ipg.nasa.govNASA

Information Power Grid

Technology R&D for data analysis in physics expts: ATLAS, CMS, LIGO, SDSS

griphyn.orgNSF

Grid Physics Network

Research into program development technologies for Grid applications

hipersoft.rice.edu/grads; NSF

Grid Application Dev. Software



Support center for Grid projects within the U.K.

grid-support.ac.ukU.K. eScience

UK Grid Support Center

Technologies for remote access to supercomputers

BMBFTUnicore

U.S. science infrastructure linking four major resource sites at 40 Gb/s

teragrid.orgNSF

TeraGrid


Griglie computazionali -a.a. 2008-09

48

INFNPONFIRB


53

Atlas Wall Clock Time Italian Region (Jan-Oct 2006) BARI2%

BOLOGNA0%

CAGLIARI0%

CNAF0%

FERRARA0%

FIRENZE2%

FRASCATI1%

LNL8%

MILANO6%

NAPOLI1%

NAPOLI-ATLAS6%

PADOVA5%

PISA0%

ROMA17%TRIESTE

0%

ROMA20%

ROMA30%

SPACI-LECCE0%

SPACI-NAPOLI0%

TORINO2%

T158%

Atlas Wall Clock Time per Region (Jan-Oct 2006)

Russia2%

UKI23%

AsiaPacific3%

CentralEurope6%

CERN28%

France9%

GermanySwitzerland5%

Italy10%

NorthernEurope4%

SouthEasternEurope4%

SouthWesternEurope6%


54

EsempioEsempio didi usouso del del TierTier--2 2 didi NapoliNapoli in in termini termini didi CPU time e CPU time e Wall TimeWall Time

ATLAS

Altre VO


•• EELAEELA: coordinato dal CIEMAT (Spagna), estensione di EGEE all’ America Latina. 1,7 MEuro. L’INFN coordina il WP4 (dissemination e training)

•• EUCHINAGRIDEUCHINAGRID: coordinato dall’INFN, estensione di EGEE alla Cina. 1,3 MEuro. L’INFN coordina i WP1 (management), WP4 (applications support) e WP5 (dissemination e training)

•• EUMEDGRIDEUMEDGRID: coordinato dall’INFN, estensione di EGEE ai Paesi del Mediterraneo). 1,9 MEuro. L’INFN coordina il WP1 (management) e il WP4 (applicationssupport)

Altri Progetti EuropeiAltriAltri ProgettiProgetti EuropeiEuropei


•• ETICSETICS coordinato dal CERN, Testing, Integrazione e Configurazione del Software. L’ INFN coinvolto prevalentemente in WP3 (sw configuration tools).

•• BIOINFOGRIDBIOINFOGRID. Una SSA (Specific Support Action) collegata ad EGEE. Coordinata da CNR-ITB Milano + DKFZ(GE), CNRS, UCAM-CLAB, CILEA, INFN. Applicazioni Grid alla Genomica, Proteomica, Dinamicamolecolare. Contributo INFN: WP6 Coordinamento degli aspettitecnici, user training, application support e integrazionedelle risorse.


�� CoreGRIDCoreGRID (2004-2008)Il programma di attivita' e' focalizzato su 6 aree di ricerca per lo sviluppo del middleware della 'Next Generation Grid' ritenute strategiche:– integrazione di programmi nazionali sulle grid– condivisione di un testbed integrato per research assessment– incoraggiare la mobilita' del personale – management integrato di proprieta' intellettuali – common understanding of essential grid tecnologies– assicurare internal collaboration e dissemination

INFN è coinvolto in:– Grid Information and Monitoring Services– Knowledge & Data Management


• LITBIO: Laboratorio Interdisciplinare di Tecnologie BIOinformatiche applicato alla Genomica e Proteomica.(ITB Istituto Tecnologie Biomediche- Milano, DISTI -Genova, consulenza INFN)

• LIBI: Laboratorio Internazionale di BioInformatica– Unità di ricerca: ITB-Bari (capofila), UNIBO,

UNIMI, CMB-TS, CINECA, INFN, SPACI, IBM– Ruolo INFN: implementazione del livello “core”

dell’infrastruttura di GRID del Laboratorio.

Altri Progetti MIUR FIRBAltriAltri ProgettiProgetti MIUR FIRBMIUR FIRB


Aree applicative GRID

AeronauticaAmbienteAstronomiaAstrofisicaBioinformaticaChimicaClimatologiaCosmologiaDisegno industrialeE-learningFarmacologia

Fisica delle Alte EnergieFluidodinamicaGenomicaGeologiaIngegneria molecolareMedicinaMeteorologiaNet EconomyOsservazione della TerraStudi sui terremoti


Il VII programma Quadro dellIl VII programma Quadro dell’’UE (2007UE (2007--2013)2013)

Verso le NGI (National Grid Infrastructures)e verso EGI (European Grid Infrastructure)


61

LCG

INFN Comm. Scient. Naz.

I progetti INFN sulle Grid sono gestiti da un INFN Executive BoardINFN Executive Board

(presieduto da M. Mazzucato; L.M. ne è componente)

20142014European Grid Initiative

http://www.eu-egee.org/


EGEE-III

Main Objectives– Expand/optimise existing EU grid

infrastructure, include more resources and user communities

– Prepare migration from a project-based model to a sustainable federated infrastructure based on National Grid Initiatives

EGEE: Flagship Grid infrastructure project co-funded by the European Com.

Duration: 2 years Consortium: ~140 organisations across 33 countriesEC co-funding: 32Million €

(da M. Mazzucato)

Griglie computazionali - a.a. 2008-09 64The EGEE project - Bob Jones - EGEE'08 - 22 September 2008 64

EGEE Production Grid InfrastructureSteady growth over the lifetime of the projectImproved reliability

EGEE Achievements

Griglie computazionali - a.a. 2008-09 65The EGEE project - Bob Jones - EGEE'08 - 22 September 2008 65

EGEE Applications

• >270 VOs from several scientific domains– Astronomy & Astrophysics– Civil Protection– Computational Chemistry– Comp. Fluid Dynamics– Computer Science/Tools– Condensed Matter Physics– Earth Sciences– Fusion– High Energy Physics– Life Sciences

• EU users: ½ LHC , ½ Other VOs• ESFRI communities

Applications have moved from testing to routine and daily usage

~80-95% efficiency


e-Infrastructure sustainability

Users need now to rely on a permanent, common general European Grid infrastructure

Sustainable independently of short project funding cycles->The European Grid Initiative (EGI) -> new organizational modelOperate the European level of the production Grid infrastructure for a wide

range of scientific disciplines to link national e-Infrastructures• National Grid Initiatives (NGI)• EGI.Org Central Organization

Coordinate the integration and interaction between National Grid Infrast. (NGIs)


The EGI model

NGI2NGI1

NGIn

…

European Grid Initiative

EGI

National Grid Initiatives (NGIs)Resource Centres

Research TeamsResearch Institutes

EGI.org


Grids in Europewww.eu-egi.eu


The EGI Users

• Research Teams (RTs) establish one or more Virtual Organizations (VOs) for each User Community and use the Grid services to share their IT resources

…

VOAVOB1

VOB3VOZ

Discipline User Community BDiscipline UserCommunity A

Discipline User Community Z

VOB2

Researchers / RTs Research InstitutesIT ResourcesIT Resources


The middleware issue in Europe

• EGEE Grid: focus on production quality– gLite based, strong hierarchical model. Include Globus/ Condor– Guarantee stable and high quality services

• NorduGrid– ARC based, many commonalities with EGEE, more flexible model

• DEISA as the supercomputing Grid– UNICORE based, less overlap with ARC/gLite

• Smaller Grid islands– Mostly Globus and Condor based– Default choice for general grid R&D publications and prototypes– Some serving specific application communities – Includes also activities of some European countries

• Commercial products– Usually single components, basic functions, limited use in

academic world– Cloud: Amazon S2 and S3 services still not used by Science


Universal Middleware Distribution (UMD)

• Proposed by the Middleware Consortia.– gLite– ARC– UNICORE

• To foster convergence of the current solutions through adoption of common standard profiles

• Repository contains high quality middleware components satisfying EGI criteria

• Selected by a Middleware Coordination Board (MCB) constituted by Users, Operations and Middleware Consortia


72


IGI today

• The Italian Grid Infrastructure (IGI) is– an EU Joint Research Unit– Based on a MoU signed in December 2007– Recognized and supported by the Italian Ministry of

the University and Research– Recognized by the EU Commission– Providing a unique International interface for what

concern the Italian grid infrastructure– Providing a common coordination of the Italian Grid

infrastructure for e-Research by public Institutions– Open to new partners


IGI partners • Istituto Nazionale di Fisica Nucleare (INFN), • Ente per le Nuove tecnologie, l’Energia e l’Ambiente

(ENEA), • Consiglio Nazionale delle Ricerche (CNR) • Istituto Nazionale di Astrofisica (INAF), • Istituto Nazionale di Geofisica e Vulcanologia (INGV), • Università degli Studi di Napoli Federico II, • Università degli Studi della Calabria, • Sincrotrone Trieste S.C.p.A. (ELETTRA),• Consorzio COMETA, • Consorzio COSMOLAB, • Consorzio SPACI,• Consortium GARR• L’Universita’ di Perugia• L’Universita’ del Piemonte Orientale• …..ongoing discussions with Computing Centres


IGI main Objectives

• Svolgere attività di ricerca e sviluppo nel campo dei servizi e delle infrastrutture di Grid

• Partecipare, attraverso l’integrazione delle proprie risorse computazionali e di dati, al consolidamento ed all’espansione dell’infrastruttura europea di Grid, al servizio dell’Area della Ricerca Europea (ERA) e, per il tramite di questa, stabilire i collegamenti con altre Grida livello internazionale

• Consolidare, rafforzare ed espandere, partecipando ai bandi del VII P.Q., l’infrastruttura di Grid europea giàrealizzata attraverso i progetti del VI P.Q.

• E’ gia’ un ottimo punto di partenza come NGI

LEZIONE N. 1people.na.infn.it/~merola/griglie/Lezione_01_aa_2008-09.pdf · LEZIONE N. 1 •...

Documents

Transcript of LEZIONE N. 1people.na.infn.it/~merola/griglie/Lezione_01_aa_2008-09.pdf · LEZIONE N. 1 •...