PON SCoPE Riunione PON SCoPE - 29 marzo 2007 Lesperienza dellINFN per linfrastruttura GRID nazionale...

Riunione PON SCoPE PON SCoPE - 29 marzo 2007

L’esperienza dell’INFN per l’infrastruttura GRIDL’esperienza dell’INFN per l’infrastruttura GRID nazionale ed europeanazionale ed europea

L’organizzazione del progetto in work packagesL’organizzazione del progetto in work packages

Il prototipo presso il Dipartimento di Scienze FisicheIl prototipo presso il Dipartimento di Scienze Fisiche

L. Merola

Progetti nazionali:- INFN-GRIDINFN-GRID [dal 2000]- Grid.ITGrid.IT, finanziato dal MIUR/FIRB [2002-2005]- BioinfoGrid, LIBI, LITBIO, Cyclops

Progetti europei: - DataGrid (EDG) [V PQ UE [2001-2004] - DataTAG [V PQ UE 2002-2003] - LHC Computing Grid (LCGLCG), progetto CERN [dal 2002] - EGEEEGEE [VI PQ UE 2004-2006] - EGEE-IIEGEE-II [VI PQ UE 2006-2008] - EELA, EUChinaGrid, EuIndiaGrid, EUMedGrid,

OMII, ETICS, CoreGRID, GRIDCC [VI PQ UE]

VII PQ UE (EGEE-IIIEGEE-III, NMR, OGF, …) Da testbed a infrastruttura Grid di produzione verso la costituzione di Italian Grid Infrastructure Association e di una European Grid Initiative.

LCG

INFN Comm. Scient. Naz.

I progetti INFN sulle Grid sono gestiti da un INFN Executive BoardINFN Executive Board

(presieduto da M. Mazzucato; L.M. ne è componente)

EGEE

40 nazioni200 siti> 100 VO

37 k CPU7 PB storage

INFNPONFIRB

Middleware INFNGRIDMiddleware INFNGRID

Servizi “core” (presenti in ciascun sito) Repository pacchetti del middleware

(YAIM - INFNGRID 3.0.0 - Scientific Linux CERN 3.x - Istallazione e aggiornamenti automatici via PXE – Framework Globus 2.x)

Servizi di computing

(Computing Element gestione dei Worker Node – Servizi Globus: globus-gatekeeper, globus-gridftp, GRIS – Batch system: PBS, Torque, LSF)

Servizi di storage

(Storage Element gestione dello storage – Servizi Globus: globus-gridftp, GRIS)

User Interface

(sottomissione di job, visualizzazione stato di un job, cancellazione di un job, recupero dell'output di un job, via remota SSH o web GENIUS)

Piena compatibilità con il m/wEGEE (gLite/LCG) con release e aggiornamenti frequentie controllati centralmente.

Servizi “collective” (gestiti centralmente) Servizi di autenticazione/autorizzazione

(VOMS - Virtual Organization Membership Service) Servizi di allocazione dei job

(Resource Broker – allocazione job via matchmaking con le risorse) Servizi informativi

(GRIS Grid Resource Information Service Information Index Cataloghi di file / repliche

(LFC LCG File Catalog localizzazione dei dati, copia dei dati, gestione e replica dei dati, gestione dei meta-dati, MySQL)

User interface

Servizi aggiuntivi di supporto e gestione dell’infrastruttura

Certification Authority

(Certificati personali e server di una Registration Authority locale) Servizi di Monitoring

(GridIce monitoring delle risorse, SAM Service Availability Monitoring monitoring dei servizi)

Servizi di Accounting

(DGAS - Distributed Grid Accounting: le informazioni sono raccolte in un database Home Location Register)

Servizi di Ticketing per la risoluzione di problemi

(Gestione dei trouble ticket)

SE

WNCE

YAIM

UI

GRID

UI

DGAS

TS

SAM

MS

LFC

II

VOMS

RB

Grid Service Center

Grid Site

No jobsRunning/Waiting jobs

Il laboratorio GILDA

Il portale GENIUSDISSEMINATIONDISSEMINATION

Esempio di applicazioneScienze del Microcosmo – Fisica delle Alte Energie

Hierarchical model

Data ServerData Server

Data Server

CPU Server

CPU Server

CPU Server

desktop

CPU Server desktop

desktop

desktop

CERNTier 0

CPU Server

Tier 2 (“Regional” Centers)Tier-2 Esp.Atlas:Tier-2 Esp.Atlas:RM1, NARM1, NA

Tier 3-4 (Dip. e Institute)

Tier 1 (“Regional”naz. and internaz. Center)

Esperimento ATLAS

Tier-0 (CERN)Tier-0 (CERN)• Archivio dei RAW data ricevuti dall’EF e distribuzione ai Tier1 • Prompt Reconstruction • Distribuzione output ricostruzione (ESD,AOD,TAG) ai Tier-1

Il modello generale di calcolo per l’offline e l’analisi dati di un esperimento di Fisica delle Alte Energie (es. Esp.ATLAS, CMS, ALICE, LHC-b) è quello gerarchico multi-Tier.

Tier-1 (10)Tier-1 (10)• Accesso a lungo termine e archivio di un subset di RAW data• Copia dei RAW data di un altro Tier-1• Reprocessing della ricostruzione dei propri RAW data con parametri di calibrazioni e allineamenti finali e distribuzione AOD ai Tier-2 • Archivio dati simulati MC prodotti nei Tier-2

Tier-2 Tier-2 • Simulazione Monte Carlo • Analisi dei dati

~50 Mb/s

~3-4/T1~3-4/T1

Event Builder

Event Filter

Tier3

10 GB/s

320 MB/s

~ 150 MB/s

~10~10

~PB/s

Tier2

Tier0

Tier1

Esempio di uso del Tier-Esempio di uso del Tier-2 di Napoli in termini di 2 di Napoli in termini di CPU time e Wall TimeCPU time e Wall Time

ATLAS

Altre VO

Resp. ScientificoG. MARRUCCI

Resp. Amministr.E. CESARO

Comitato Direttivo G. MARRUCCIV. BARONE G. FRANCESCHETTIN. MAZZOCCA L. MEROLAA. MURLI G. RUSSOF. SALVATORE G. VENTRE

Middleware Middleware A&BA&B

(30 prof. + ric.)

Scienze del Scienze del Microcosmo e Microcosmo e

del Macrocosmodel Macrocosmo(19 prof. + ric.)

Scienze dei Scienze dei Materiali e Materiali e

dell’Ambientedell’Ambiente(37 prof. + ric.)

Scienze Scienze della Vitadella Vita

(42 prof. + ric.)

Aree scientifiche

WP1WP1PROGETTAZIONE, REALIZZAZIONE PROGETTAZIONE, REALIZZAZIONE

E TEST DELL'INFRASTRUTTURA E TEST DELL'INFRASTRUTTURA DI CALCOLO E GRIDDI CALCOLO E GRID

( 1 contr. )( 1 contr. )

Work Packages

WP2WP2IMPLEMENTAZIONE IMPLEMENTAZIONE

DEL MIDDLEWARE DI BASE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRIDDELLA PIATTAFORMA GRID

( 3 contr. )( 3 contr. )

WP3WP3REALIZZAZIONE E GESTIONE REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE DELLA VO E DELLE RISORSE

E SUPPORTO AGLI UTENTIE SUPPORTO AGLI UTENTI( 2 contr. )( 2 contr. )

WP4WP4PROGETTAZIONE E SVILUPPO DI PROGETTAZIONE E SVILUPPO DI

MIDDLEWARE APPLICATIVO E SVILUPPO MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHEDELLE APPLICAZIONI SCIENTIFICHE

( 34 contr. )( 34 contr. )

WP5WP5INTEGRAZIONE DELLA GRID SCOPE INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE NELL'INFRASTRUTTURA NAZIONALE

ED INTERNAZIONALEED INTERNAZIONALE( 1 contr. )( 1 contr. )

WP6WP6DIFFUSIONE DEI RISULTATI E DIFFUSIONE DEI RISULTATI E

TRAINING AGLI UTENTITRAINING AGLI UTENTI( 0 contr. )( 0 contr. )

WP1 PROGETTAZIONE, REALIZZAZIONE E TEST DELL'INFRASTRUTTURA DI CALCOLO E GRID

1.1 Definizione delle specifiche generali e delle infrastrutture hw/sw del sistema di calcolo.

1.2 Definizione delle specifiche di dettaglio delle risorse di calcolo, storage e rete.

1.3 Partecipazione all'elaborazione del capitolato tecnico per la gara relativa alle opere edili ed agli impianti tecnologici.

1.4 Partecipazione all'elaborazione del capitolato tecnico per la gara relativa alle attrezzature.

1.5 Progettazione, realizzazione e test del prototipo SCoPE a scala ridotta.

1.6 Monitoraggio tecnico/scientifico della realizzazione dell’infrastruttura e del centro di calcolo SCoPE.

1.7 Attivazione del centro di calcolo SCoPE.

1.8 Connessione ed integrazione delle sedi periferiche non ancora collegate.

WP2 IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID

2.1 Definizione delle specifiche del middleware di base di Grid e dei tools relativi.

2.2 Installazione e test del middleware di base LCG/EGEE sul prototipo SCoPE (CE, WN, SE, UI).

2.3 Progettazione, realizzazione e test dei servizi Grid di start-up sul prototipo ScoPE (VOMS, RB, II, LFC)

2.4 Progettazione, realizzazione e test dei servizi di Grid Monitoring (GridICE) e di Service Availability (SAM)

2.5 Progettazione, realizzazione e test dei tool di monitoring ambientale e di management dell'infrastruttura.

2.6 Installazione e test del middleware di base INFNGRID nelle strutture periferiche coinvolte (CE, WN, SE, UI).

2.7 Progettazione di algoritmi per lo sviluppo di nuovo software per realizzare librerie e servizi di griglia specifici

WP5 INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE

5.1 Coordinamento con gli atri PON, progettazione e realizzazione dell'infrastruttura Grid comune.

5.2 Integrazione nelle Grid nazionali Grid.it, INFN-GRID e nella Grid europea EGEE

WP6 DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI6.1 Realizzazione di un Laboratorio Virtuale per la diffusione dei risultati ed il training

dei nuovi utenti.6.2 Inclusione di un sottoinsieme di risorse della Grid SCoPE nel testbed GILDA (Grid

INFN Laboratory for Dissemination Activities) per l'integrazione di realtà territoriali (industria, ecc.)

WP3 REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI

3.1 Creazione della Virtual Organization SCoPE e definizione delle politiche di utilizzo delle risorse SCoPE.3.2 Management dei servizi “core” del centro di calcolo ScoPE.

3.3 Management dei servizi “core” nei siti periferici.

3.4 Management dei servizi “collective” del centro di calcolo ScoPE.

3.5 Progettazione ed implementazione di un sistema di trouble ticketing (TS).3.6 Installazione di un portale di accesso (Web User Interface) alle risorse Grid

(GENIUS) 3.7 Gestione della VO SCoPE

WP4 PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE

4.1 MATEMATICA NUMERICA

4.2 FISICA SUBNUCLEARE4.3 MATERIALI E AMBIENTE4.4 ASTROFISICA4.5 INFORMATICA4.6 ELETTROMAGNETISMO E TELECOMUNICAZIONI4.7 SCIENZE STATISTICHE E SOCIALI4.8 SCIENZE DELLA VITA E BIO-INFORMATICA

MATEMATICA NUMERICA Sviluppo, validazione e testing di codici per la risoluzione numerica di problemi inversi di base della matematica numericaSviluppo, validazione e testing di codici di base della matematica numerica e loro utilizzo nella risoluzione di problemi inversi applicati all'imagingStudio di metodi di algoritmi paralleli di base della matematica numericaFISICA SUBNUCLEARESviluppo, test e gestione del software per il sistema distribuito basato su grid di simulazione, data management e analisi dati dell'esperimento atlasStudio del modello di analisi dati dell'esperimento atlas nell'ambito delle interazioni protone-protone presso l'acceleratore LHCSupporto alla modellizzazione e allo sviluppo di algoritmi di fisica per utilizzo sulla Grid del Progetto PON SCoPEMATERIALI E AMBIENTESviluppo di un codice tight binding per il calcolo delle proprietà ottiche di semiconduttori nanostrutturatiSviluppo e validazioni di codici basati sulla teoria del funzionale della densità per lo studio di materiali semiconduttori e polimericiIntegrazione di metodi classici e quantistici per lo studio di nanomaterialiMetodi informatici, statistici e documentali di interesse ambientaleModellistica e simulazione numerica di materiali complessi quali vetri, gel, polimeri, colloidi, sistemi biolodgici, sistemi magnetici disordinati e materiali granulari.

ASTROFISICAStudio del modello di analisi dati nell'ambito della struttura cosmica su larga scala

Studio di codici innovativi per la ricerca di onde gravitazionaliImplementazione, validazione e documentazione codici per l'astrofisica di survey

Supporto alla modellizzazione di algoritmi per il Progetto PON SCOPEINFORMATICAMetodologie e tecnologie per l'accesso in sicurezza e la valutazione delle prestazioni di sistemi gridApplicazione in ambito grid computing di metodologie e tecnologie per la gestione delle risorse dei sistemi distribuiti con garanzia di qualità del servizioProgetto e realizzazione di un repository per la scoperta e il matchmaking intelligenti di risorse

Argomenti di ricerca

ELETTROMAGNETISMO E TELECOMUNICAZIONIProgetto di una rete di sensori in connessione wireless operante in architettura grid e realizzazione di un test-bed per una città sicuraModelli numerici di sistemi elettromagnetici complessi in ambiente gridUn'architettura grid innovativa per il monitoraggio elettromagnetico di un'area geografica

Nuovi algoritmi per l'elaborazione di segnali ed immagini in architetture wireless grid

Progettazione, realizzazione e modellazione di servizi web e sviluppo di sistemi prototipali per applicazioni di elaborazione di segnali e di monitoraggio ambientale per l’architettura GRID del Progetto PON SCOPE

Sviluppo di metodi e algoritmi efficienti, implementabili su piattaforma GRID, per l’analisi e la caratterizzazione elettromagnetica di strutture complesse di grandi dimensioni

SCIENZE STATISTICHE E SOCIALIAlgoritmi di ottimizzazione per la statistica computazionale basati su grid computing

Metodologie dell'e-learning basate sull'integrazione di sistemi complessi per la gestione dei contenuti nelle scienze socialiSCIENZE DELLA VITA E BIO-INFORMATICASviluppo ed implementazione di protocolli per l'interfacciamento di database bioinformatici con metodi di simulazione molecolareSviluppo ed implementazione di protocolli computazionali per la simulazione di sistemi e processi nel campo delle scienze della vitaMessa a punto di strumenti software per l'analisi di sequenze conservate del genoma umano e loro interfacciamento con il sistema di grid computingAnalisi computazionale di sequenza del genoma umano, mediante strumenti software innovativi per l'annotazione di elementi funzionaliStudio di un sistema di analisi centralizzato per immagini biologiche diretto allo studio del movimento cellulare e capace di avvalersi dei sistemi di calcolo distribuito ad alte prestazioniStudio di metodi di annotazioni caratteristiche funzionali in genomi batterici, con tecniche di predizione su larga scalaAnalisi mediante tecniche computazionali di dati di spettrometria di massa di peptidi e proteineStudio di metodi multiscala per applicazioni nel campo delle scienze della vitaProgettazione e realizzazione di sistemi di gestione e di interfacce computazionali nell’ambito della bioinformatica

Liv.1 ed G

CentroCentroPON S.CO.P.EPON S.CO.P.E..

DDipartimento di ipartimento di SScienze cienze FFisicheisicheINFNINFNEdificio GEdificio G

Cabina elettricaG.E. 1 MW

Tier2–ATLASTier2–ATLASPrototipo SCoPEPrototipo SCoPE

CAMPUS GRIDMSA

DMADiChi

DSF INFN

C.S.I.

GARR

Fibra ottica

PON PON S.CO.P.E.S.CO.P.E.

14 marzo 2007

9 marzo 2007

Infrastruttura di Grid======= 1 -------------- management

G ======= 2 --------------I ======= …. -------------- FG ======= 10 -------------- AA SB User Interface & Test node TI ======= 1 --------------T ======= 2 -------------- E

======= …. -------------- TE ======= 10 -------------- HT EH Computing Element RE ======= 1 -------------- NR ======= 2 -------------- EN TE Worker Node Blade AT -------------- 1 -------------- low latency

-------------- 2 ---------------------------- … ---------------------------- 96 --------------

Worker Node Blade B======= 1

G ======= 2 II ======= … NG ======= 128 FA IB TIER 2 ATLAS NI ======= 1 IT ======= 2 B

======= … AE ======= N NT DH Grid Storage ElementsE ======= 1 --------------R ======= 2 --------------N ======= … --------------E ======= 10 --------------T

100

Storage SATA12…

100

Storage SCSI12…

Risorse di calcoloe di storagepreviste nel PON

Da integrare nell’infrastruttura grid nazionale ed internazionale (Grid.It, INFN-Grid, EGEE)

Scientific Linux 3.x, 4.xLCG/EGEE m/w

Sala infrastrutturaSala infrastruttura

Principale Campus GridPrincipale Campus Grid

Sala Sala Tier-2 ATLASTier-2 ATLAS

Prototipo SCoPEPrototipo SCoPE

Tier-2 ATLAS e Prototipo SCoPETier-2 ATLAS e Prototipo SCoPE

PC1PC1Monitoraggio ambientale (T, HV, UPS)

PC3PC3HW Monitoring(Operating Systems)

PC2PC2SW Monitoring(servers, storage)

PC4PC4GRID Monitoring(infrastruttura, servizi)

Backup system

UPS INFN60 kVA

LOCALE TIER-2 ATLAS

CHILLER

Locali o spazi esterni

SIST. ANTINCENDIO

PRESENTER 42”

Campus Grid Network

1 Gb/s1 Gb/s

8 biproc. dual core

Unità di raffreddamento

switch

Rack UNIV. FED II

SE + 9 TB

Serversservizi

GRUPPO ELETTRO

GENO UniNA

Locali PON SCoPE

7 biproc. dual core

Rack-2 TIER-2 ATLAS

switch


17 biproc.

UPS INFN400 kVA

SE + 25 TB

Rack-1 TIER-2 ATLAS

switch


CISCO CISCO 37503750 1 Gb/s1 Gb/s1 Gb/s1 Gb/s


A T L A SSCOPE

Servers per serviziComputing elementStorage elementWorker Nodes

PC monitoring

Le Connessioni di ReteLe Connessioni di ReteLe Connessioni di ReteLe Connessioni di Rete

LAN INFN

1 Gbps

1 Gbps1 Gbps

1 Gbps

2 x1Gbps

100/200 Mbps

10 Gbps

1 Gbps

10 Gbps

1 Gbps

N x1 Gbps

2.5 GbpsCampus Grid

GARR

MAN UNINA

Siti Campus Grid

Tier 2Pon UniNA

CPU1

YAIMRepository pacchetti e profili di GRID

CPU2-CPU2’

VOMSCPU3-CPU3’

RB - IICPU4

LFC

CPU5

CECPU6

WNCPU7

SECPU8

UI

CPU9

GridICECPU10

SAMCPU11

GENIUSCPU12

Ticketing

PON SCoPEINFRASTRUTTURA e SERVIZI GRID

Registration Authority Federico II

COLLECTIVE CORE

Man power allo startup delPrototipo SCOPE

Man power a regime nelCentro SCoPE

N. 4 persone intercambiabili e specializzate a 2 a 2:

• 2 per VOMS e LFC• 2 per RB e II

N. 4 persone intercambiabili e specializzate a 2 a 2:

• 2 per VOMS e LFC• 2 per RB e II

N. 2 persone N. 4 persone

N. 2 persone N. 2 persone

Totale man powerstartup prototipo:

n. 8 persone

Totale man powera regime:

n. 10 persone

wp2 wp2/wp3

Tempistica e ConclusioniTempistica e Conclusioni

I Fase:I Fase: Costruzione dell’Edificio e realizzazione degli Impianti.Realizzazione della GRID (e della VO) d’Ateneo integrando le preesistenze e costruendo i servizi Grid collective e core.Uso delle APPLICAZIONI

II Fase:II Fase: Acquisizione e messa in produzione delle risorse di calcolo/storage.

Integrazione delle infrastrutture GRID dei 4 PON.Uso delle APPLICAZIONI

III Fase:III Fase: Operatività a regime del Centro ScoPE .Integrazione nella GRID

nazionale ed europea LCG/EGEE Uso delle APPLICAZIONI

Obiettivi Intermedi (OR)Obiettivi Intermedi (OR)

OR1:OR1: Specifiche generaliSpecifiche generaliOR2:OR2: ModellizzazioneModellizzazioneOR3:OR3: Logistica e sistemiLogistica e sistemiOR4:OR4: Middleware di baseMiddleware di baseOR5:OR5: Attivazione del sistemaAttivazione del sistemaOR6:OR6: Middleware applicativoMiddleware applicativoOR7:OR7: Sviluppo algoritmi e Sviluppo algoritmi e prime applicazioniprime applicazioniOR8:OR8: Sviluppo Applicazioni Sviluppo Applicazioni IntegrateIntegrateOR9:OR9: Potenziamento di reti di Potenziamento di reti di collaborazione scientificacollaborazione scientificaOR10:OR10: Diffusione dei risultatiDiffusione dei risultati

PON SCoPE Riunione PON SCoPE - 29 marzo 2007 Lesperienza dellINFN per linfrastruttura GRID nazionale...

Documents

Transcript of PON SCoPE Riunione PON SCoPE - 29 marzo 2007 Lesperienza dellINFN per linfrastruttura GRID nazionale...