1 STATO DELLINTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004 Riunione del Comitato Tecnico...

1

STATO DELL’INTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004

Riunione del Comitato Tecnico sull’Interoperabilità MUR, 29/11/2007

S.Pardi

2

Documento tecnico

E’ stato creato di un Documento Operativo a cura del gruppo tecnico al fine di attuare le direttive fornite dal documento di interoperabilità.

Tale documento contiene le specifiche prettamente tecniche proponendo delle soluzioni che dovranno comunque essere approvate dal comitato di interoperabilità.

3

Documento tecnico

SOMMARIO1. TAG DI RUNTIME2. JOB QUEUE3. SERVIZI COLLECTIVE CENTRALI E DISTRIBUITI4. SERVIZI DI MONITORAGGIO5. ISTALLAZIONE SOFTWARE APPLICATIVO6. INTERFACCE E PROTOCOLLI PER LO STORAGE7. ABILITAZIONE DELLE VO COMUNI8. ACCOUNTING9. GESTIONE DOWNTIME E SISTEMA DI TICKET10. SERVICE LEVEL AGREEMENT11. INTEROPERABILITA’ CON ALTRE INFRASTRUTTURE

4

Documento tecnico


5

TAG DI RUNTIME

I TAG sono parole chiave utilizzate per descrivere le caratteristiche delle risorse sia hardware che software, i servizi offerti dai singoli siti, informazioni geografiche e tutto ciò che serve a descrivere delle risorse.

Tali parole chiave vengono utilizzate dagli utenti per individuare le risorse che possiedono i requisiti per le proprie applicazioni, dai tools di monitoraggio e da altre applicazioni.

6

TAG DI RUNTIME

1. TAG DI RUNTIMEDEFINIZIONE DELLE REGOLE PER LA PUBBLICAZIONE

DEI TAG TAG MIDDLEWARE TAG SOFTWARE APPLICATIVO TAG PON TOOL KIT TAG SISTEMI OPERATIVI ED ARCHITETTURE

Tabella delle variabili d’ambiente dei CETabella delle variabili d’ambiente di tipo SITE

7

TAG DI RUNTIMETAG SPECIFICA

MIDDLEWARE

LCG-X_Y_Z Supporta versione del middleware LCG-X_Y_Z

GLITE-X_Y_Z Supporta versione del middleware GLITE-X_Y_Z

ANAGRAFICA

CITTA’ (XXXX) Città dove è situato il sito

PROJECT-NAME (XXXX) Nome del progetto

SITE-NAME (XXXX) Nome del sito

LIBRERIE E SOFTWARE

MPICH Libreria MPICH

MPICH2 Libreria MPICH versione 2

MPI_HOME_SHARED Architettura MPI con directory Shared tra i worker node

MPI_HOME_NOTSHARED Architettura MPI con directory NON Shared tra i worker node

IDL-X.Y Supporto per IDL versione X.Y

ABAQUS-X.Y Supporto per ABAQUS versione X.Y

PON TOOL KIT

CRESCO-TOOL-KIT-x.y Supporto per il tool kit del progetto CRESCO

CYBERSAR-TOOL-KIT-x.y Supporto per il tool kit del progetto CYBERSAR

PI2S2--TOOL-KIT-x.y Supporto per il tool kit del progetto PI2S2

SCOPE--TOOL-KIT-x.y Supporto per il tool kit del progetto SCOPE

8

TAG DI RUNTIME

TAG SPECIFICA

ARCHITETTURE

SI00MeanPerCPU=xxxx Valore medio del Benchmartk SI00 tra tutti i WN

SF00MeanPerCPU=yyyy Valore medio del Benchmartk SF00 tra tutti i WN

i386 Architettura i386

i686 Architettura i686

X86_64 Architettura a 64 bit x86_64

IA64 Architettura Itanium a 64

PowerPC_G4 Architettura G4

PowerPC_G5 Architettura G5

NETWORK

INFINIBAND-1X Rete in infiniband tra i Worker Node 1X

INFINIBAND-4X Rete in infiniband tra i Worker Node 4X

9

TAG DI RUNTIMEhttp://goc.grid.sinica.edu.tw/gocwiki/How_to_publish_the_OS_name SISTEMA OPERATIVO CE_OS CE_OS_RELEASE CE_OS_VERSION

CentOS 3.5 CentOS 3.5 Final

Debian sarge Debian 3.1 sarge

Debian etch Debian 4.0 etch FedoraCore 4 FedoraCore 4 Stentz

Gentoo 2006.0 Gentoo 2006.0 n/a

RedHat Enterprise RedHatEnterprise x.y.z xxxx

RHEL AS3 Taroon Update 6 RedHatEnterpriseAS 3 TaroonUpdate6

RHEL AS4 Nahant Update 3 RedHatEnterpriseAS 4 NahantUpdate3

Rocks Linux 3.3 linux-rocks-3.1 Rocks Linux ?

Rocks Linux 4.1 linux-rocks-4.1 Rocks Linux ? ScientificLinux 3.0.2 Scientific Linux 3.0.2 SL ScientificLinux 3.0.3 Scientific Linux 3.0.3 SL

openSuse 10.2 SUSE LINUX 10.2 n/a

Ubuntu 5.10 Ubuntu 5.10 breezy

AIX 5.2 AIX 5.2 AIX

Windows XP Microsoft WINDOWS

XP Professional SP2

10

JOB QUEUE

Nome Coda CPUTIME (minuti)

WALLTIME (minuti)

PRIORITY

jobmanager-<lsf/pbs>-cresco_short 15 120 Alta

jobmanager-<lsf/pbs>-cresco_long 720 1440 Media

jobmanager-<lsf/pbs>-cresco_inf 2880 4320 Bassa

jobmanager-<lsf/pbs>-cybr_short 15 120 Alta

jobmanager-<lsf/pbs>-cybr_long 720 1440 Media

jobmanager-<lsf/pbs>-cybr_infinite 2880 4320 Bassa

jobmanager-<lsf/pbs>-pi2s2_short 15 120 Alta

jobmanager-<lsf/pbs>-pi2s2_long 720 1440 Media

jobmanager-<lsf/pbs>-pi2s2_inf 2880 4320 Bassa

jobmanager-<lsf/pbs>-scope_short 15 120 Alta

jobmanager-<lsf/pbs>-scope_long 720 1440 Media

jobmanager-<lsf/pbs>-scope_inf 2880 4320 Bassa

11

TAG + CODE JOB

Le regole sui TAG e le CODE Job sono già state implementate sui prototipi di SCoPE e di PI2S2

12

SERVIZI “COLLECTIVE” CENTRALI E DISTRIBUITI

Nel documento di interoperabiltià sono state individuate due classi di servizi “collective”:

Servizi di primo livello:

VOMS, BDII, RB/WMS, CE, SE, WN, UI

Servizi di secondo livello:

Monitoring, LFC, Ticket, Accounting

13

Per l’implementazione dei servizi collective, i servizi individuati come di primo livello, sono replicati nelle varie sedi come stabilito nel documento di interoperabilità.

Per quanto riguarda i servizi di secondo livello tecnicamente appare opportuno centralizzare alcuni di essi per evitare un eccessivo carico sull’infrastruttura Grid.


14

Possibile soluzione:

Servizi di secondo livello distribuiti:

LFC, Ticketing

Servizi di secondo livello centralizzati:

Monitoring, Accounting ???


15

SERVIZI DI MONITORAGGIO

Poiché i tool di monitoraggio producono traffico sui serivizi Grid si propone di centralizzarli in linea di massima.

Le proposte di tool individuati di interesse per i 4 progetti sono:

Web LDAP Browser (da installare in ogni sito) GridICE GStat SAM Real-Time Monitoring HGSM (GOCdb)

16


Web LDAP Browser

Descrizione: Servizio per consultare i BDII di ogni sito via web.

Si propone che ogni sito installi un web LDAP Browser sui propri top BDII per consentirne la rapida e semplice consultazione

Esempio di servizio web LDAP Browser

http://scoperb01.dsf.unina.it

17


SAM

Descrizione: Tool per la certificazione dei servizi

Esempio di servizio SAM

https://sam-cybr.ca.infn.it/sam/sam.py

Le azioni proposte possono essere così riassunte:

Tutti i progetti abilitano una coda poncert o 4 code crescocert, cybersarcert, cometacert e scopecert sulle loro macchine, con priorità maggiore delle code job.

Si definisce una VO poncert unica su un unico VOMS server centrale nel quale vengono registrati un numero limitato di utenti privilegiati dei vari progetti.

Tali utenti vengono mappati su utenti locali di tipo poncert01, poncert02 e cosi via su tutti i progetti.

Si definisce un unico SAM server centrale

18


GridICE

Descrizione: Tool di monitoring distribuito per Grid.

Si propone che ogni sito abiliti tutti i servizi per la pubblicazione delle informazioni su GridICE sulla porta ldap 2136. Tali informazioni saranno utilizzate da un servizio GridICE centrale.

Esempio di servizio Gridice

http://scopegridice01.dsf.unina.it

19


GStat

Descrizione: Tool per la creazione di statistiche e monitoraggio delle installazioni dei siti operativi.

Per il servizio GStat si propone di utilizzare il server goc.grid.sinica.edu.tw

Esempio ed indirizzo del server

http://goc.grid.sinica.edu.tw/gstat/

20


Real-Time Monitoring

Descrizione: Tool di monitoraggio basato su immagini satellitari per la collocazione geografica dei siti distribuiti.

Si propone di registrare i siti nel database del servizio RTM dell’Imperial College (UK) al sito:

http://gridportal.hep.ph.ic.ac.uk/rtm/

22

ISTALLAZIONE SOFTWARE APPLICATIVO

Si propone che tutti i progetti identifichino una serie di tool e librerie necessarie per il corretto funzionamento dei job dei propri utenti. Tale insieme di software andrà a rappresentare un PON toolkit che dovrà essere installato sugli altri progetti per garantire agli utenti la piena interoperabilità.

23


Questi toolkit potranno essere contraddistinti da un nome con una versione da pubblicare nella variabile CE_RUNTIME:

CRESCO_TOOL_KIT_1.0CYBERSAR_TOOL_KIT_1.0COMETA_TOOL_KIT_1.0SCOPE_TOOL_KIT_1.0

24

ISTALLAZIONE SOFTWARE APPLICATIVO Il software di progetto che comprende librerie e tool applicativi, verrà installato nelle aree /opt/exp_soft delle singole infrastrutture.Ciascun progetto dovrà abilitare sulle proprie risorse, un numero limitato (uno, al massimo due) di utenti sgm per le VO cresco, cybersar, cometa (pi2s2) e scope, in modo di garantire che ciascun progetto possa installare ed aggiornare i propri toolkit sulle altre infrastrutture.

25


Software proprietario – occorre creare un sistema di distribuzione delle licenze per consentire solo agli utenti autorizzati di eseguire il running di job che utilizzano tali software.

26

Riassumendo

Tra gli argomenti fin ora trattati appaiono maturi per unascelta:

1. TAG DI RUNTIME2. JOB QUEUE3. SERVIZI COLLECTIVE CENTRALI E DISTRIBUITI4. SERVIZI DI MONITORAGGIO

Argomenti ancora da approfondire5. ISTALLAZIONE SOFTWARE APPLICATIVO

27

Prossimi step


28

Discussione proposta

Prima di affrontare la questione tecnica sembra opportuno discutere il punto 7

ABILITAZIONE DELLE VO COMUNI

1 STATO DELLINTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004 Riunione del Comitato Tecnico...

Documents

Transcript of 1 STATO DELLINTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004 Riunione del Comitato Tecnico...