G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

CASPUR,Roma, 26-27/3/2009 Riunione IGI-TF-Progettazione

Verso una infrastruttura di calcolo aperta e flessibile: risorse multipiattaforma nella GRID di

produzione

G. Bracco, A. Santoro, C. Scio*, A. Rocchi, S. Migliori, A. Quintiliani, S. Podda

ENEA FIM, C.R. ENEA FrascatiVia. E. Fermi 45 00044 Frascati ROMA (Italy)

bracco@enea.it

(*) Esse3Esse, Roma, Italy

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

• ENEA-GRID e l'interoperabilità con altre infrastrutture

• SPAGO: un metodo per implementare in modo semplice un gateway e alcuni esempi

• L'esperienza della partecipazione in EGEE

• Considerazioni su IGI

Contenuto

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

• Si basa su:– OpenAFS (shared filesystem)

– LSF Multicluster (resource manager)

ENEA-GRID

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Hardware

• sistema più rilevante: CRESCO HPC, Portici (NA) #125 in Top500 Giugno/2008 (#2 in Italia) 17.1 Tflops, 300 hosts, 2720 cores, InfiniBand 4xDDR

• altre risorse: ~100 hosts ~650 cpu

– AIX: IBM SP5 256 cpu (12 p575 1.5GHz, 16 cpu + 1 p595 1.9 Ghz, 64 cpu, 1.5 Tflops); SP4, 96 cpu, Frascati (Roma)

– SGI Altix 350 (IA64) 32 cpu Casaccia (Roma) & Onyx– Cray XD1 24 cpu Casaccia (Roma)– Linux clusters 32/x86_64; Apple cluster; Windows servers

Software

• Codici commerciali (fluent, ansys, abaqus, nastran,...)

• Codici di ricerca ed open source (CPMD, MCNP, OpenFoam,...)

• Ambienti di calcolo (Matlab, IDL, ...)

Risorse di calcolo ENEA-GRID

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Le GRID sono tante e varie

Grid5000

[W.Gentzsch EGEE'07, Budapest]

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Per l'interoperabilità: gatewayad es: ENEA-GRID/gLite

1) da ENEA-GRID a gLite2) da gLite a ENEA-GRID

Interface:LSF Multicluster

AFSAFS users

Interface: gLite

ENEA-GRID

http:www.afs.enea.it/project/eneaegee

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

da ENEA-GRID a Glite

Gateway

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

da gLite a ENEA-GRIDShared Proxy Approach for GRID Objects (SPAGO)

CE

WN/UNIX

gLite

WN/UNIX

Proxy

gLite

shared Filesystem(AFS, NFS, GPFS, ...)

I/OFiles

Resource manager(LSF/PBS)

• gLite non è installata localmente sui WN• CE + Proxy = Gateway

Prompt invocation(LSF, PBS or scripted SSH)

GRID (RB)

Firewall

DMZ

ENEA-GRID

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Ridirezione dei comandi sul ProxyWN utilizzando wrappers installati sui WN

gLite Standard

SPAGO

• WN: JOBSCRIPT– Globus-url-copy input-file– JOB– Globus-url-copy output-file

• WN: JOBSCRIPT– Globus-url-copy input-file

lsrun -m proxy Globus-url-copy input-file– JOB– Globus-url-copy output-file

lsrun -m proxy Globus-url-copy output-file

lsrun: prompt jobexecution

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Il sito ENEA-INFO di EGEE mette nella griglia di produzione risorse AIX usando il metodo SPAGO utilizzando AFS come file system condiviso e lsrun come comando di prompt execution

AIX

IRIXMacOSX

CRAY

Altix

Any Linux

3 Frame SP4: 96 cores AIX

Esempi di applicazione

A scopo di demo (Conferenza EGEE'08, Istanbul, sono state messe in GRID anche altre architetture UNIX

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Interoperabilità PON/GRISU: CRESCO/PI2S2/Cybersar/SCOPE/SPACI

• 500 cores, RH 5.1 con SPAGO

AIX

IRIX

MacOSCRAY

Altix Any Linux

SISSA/Democritos: 200 cores/PBS della rete

regionale del Friuli condivisi con

EU-IndiaGRID tramite SPAGO

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

• Variabili SPAGO nei profili di configurazione ig-WNx,CEx• Pacchetti software SPAGO-friendly: quali comandi ha senso

siano “wrappati”, un flag?• Aggiunta di informazioni nell'Information Service• Test SAM: solo Linux!

Difficoltà di implementazione

• L'amministratore dei WN dovrebbe poter fare l'override delle variabili d'ambiente (L'ambiente del CE e del WN dovrebbero essere disaccoppiati)

• Il software del WN dovrebbe essere rilocabile (anche nei riferimenti dal CE)

• Manutenzione all'evolvere di gLIte: transizione gLite 3.0 -> 3.1• Configurazione dei pool account

Come integrare meglio SPAGO in una griglia di produzione basata gLite

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Esperienza come resource provider in una vera GRID di produzione.

Il minimo di macchine “dedicate” per mettere in GRID le risorse locali e permettere gli utenti locali di accedere alla GRID.

• CE (gLite 3.1, lcgCE) + BDII locale

• SE

• MON

• UI

• [Proxy Worker Node (SPAGO)]

una DMZ dedicata, una Registration Authority

Impegno risorse umane: 2 FTE

Esperienza ENEA in EGEE (1)

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

Osservazioni architetturali

• gLite è un software complesso a “lasagna” frutto di processo di tipo “evolutivo” efficace ma poco “elegante”: porting difficile

• L'architettura è poco flessibile: 1 CE per ogni risorsa omogenea

• in generale non è chiaro perchè CE/SE/BDII/MON/.. debbano essere macchine distinte

• Mancanza di supporto MPI & HOME su file system condiviso.

• Accounting: problemi di riservatezza dei dati interni

• Firewall/DMZ

Il lato organizzativo:

• Difficoltà di interazione e feedback con gli sviluppatori

Esperienza ENEA in EGEE (2)

G. Bracco 26-27/3/2009 IGI-TF-Progettazione, Roma

IGI deve giustificare la propria esistenza in base a considerazioni di ottimizzazione dell'utilizzo delle risorse investite in un paese fortemente arretrato nel campo delle risorse per il calcolo avanzato

– flessibilità di accesso e facilità di utilizzo di tutte le risorse– creazione di comunità per le applicazioni

•deve essere una struttura di produzione orientata sia al calcolo distribuito che quello ad alte prestazioni

•deve essere attraente per gli utenti ed i resource provider: semplicità e flessibilità del middleware

•deve essere il contesto dove le esperienze nazionali nel campo del GRID computing possano portare contributi sia di infrastruttura ma anche architetturali.

•deve analizzare/integrare i risultati l'evoluzione tecnologica in corso (CLOUDs?....)

Verso IGI