LEZIONE N. 7people.na.infn.it/.../Lezione_07_aa_2007-08.pdf · LEZIONE N. 7 • WMS (Workload...

Introduzione alle griglie computazionali - a.a. 2007-08 1

LEZIONELEZIONE N. 7

• WMS (Workload Management Service)• Matchmaking• JDL (Job Description Language)• Job submission

Introduzione alle griglie Introduzione alle griglie computazionali computazionali

Università degli Studi di Napoli Federico IICorso di Laurea in Informatica – III Anno


WorkloadWorkload Management Management ServiceService (1/2)(1/2)

Lo scopo del WMS e’ la distribuzione dei job (scheduling) tra le risorse di calcolo disponibili in ambiente Grid

funzionalita’ offerte

• Assegnazione delle risorse ai job• Sottomissione dei job • Monitoring dello stato• Recupero dell’output


WorkloadWorkload Management Management ServiceService (2/2)(2/2)

componenti

• User interface (UI)punto di accesso a Grid per gli utenti

• Resource Broker (RB)servizio di scheduling distribuito

• Job Submission Service (JSS)servizio di job submission

• Logging and Bookkeeping Service (LB)servizio di job monitoring


Job Job submissionsubmission (1/10)(1/10)

UIJDL

Logging &Bookkeeping(LB)

ResourceBroker (RB)

Job SubmissionService (JSS)

StorageElement(SE)

ComputingComputingElement (CE)Element (CE)

Information Service (IS)

ReplicaCatalogue(RC)



UIJDL


ResourceBroker (RB)


StorageElement(SE)




Job SubmitEvent

Input Sandbox

submitted

Job Status



UIJDL


ResourceBroker (RB)





submitted

waiting

StorageElement(SE)

Job Status



UIJDL


ResourceBroker (RB)





submitted

waiting

ready

StorageElement(SE)

Job Status



UIJDL


ResourceBroker (RB)

Job SubmissionService(JSS)




submitted

waiting

ready

BrokerInfo

scheduled

StorageElement(SE)

Job Status



UIJDL


ResourceBroker (RB)





submitted

waiting

ready

scheduledInput Sandbox

running

StorageElement(SE)

Job Status



UIJDL

LogginBookkeeping(LB)

g &

ResourceBroker (RB)





submitted

waiting

ready

scheduled

Job Status

running

StorageElement(SE)

Job Status



UIJDL

Logging &Bookkeeping

ResourceBroker

Job SubmissionService

StorageElement (SE)ComputingComputing

Element (CE)Element (CE)

Information Service


submitted

waiting

ready

scheduled

running

Job Status

done

Job Status



UIJDL

Logging &Bookkeeping

ResourceBroker

Job SubmissionService

StorageElement (SE)ComputingComputing

Element (CE)Element (CE)

Information Service


submitted

waiting

ready

scheduled

running

done

Job Status

outputready

Output Sandbox

Job Status


UIJDL


ResourceBroker (RB)

Job SubmissionService (JS)

StorageElement(SE)

ComputeComputeElement (CE)Element (CE)



Output Sandbox

cleared

submitted

waiting

ready

scheduled

running

done

outputready

Job Job submissionsubmission (10/10)(10/10)Job Status


Job Job DescriptionDescription LanguageLanguage (1/8)(1/8)

informazioni da specificare per l’esecuzione di un Grid-job

• requisiti “fisici” del job (spazio disco, memoria, ...)

• requisiti “logici” del job (sistema operativo, librerie, sw ...)

• Dati di input e output (logical file name, ...)

e’ possibile specificare questi parametri utilizzando il JDL(Job Description Language)



caratteristiche

• basato su Condor ClassAd (CLASSified ADvertisement language)

• un ClassAd e’ una sequenza di coppie (attributo, valore)

[attr1 = value1attr2 = value2...attrn = valuen

]



categorie di attributi

• job attributedefiniscono le caratteristiche del job

• resource attributecomputing resource attribute

specificano i requirement in termini di risorse di computingutilizzano il prefisso “other.”

storage resource attributespecificano i requirement in termini di risorse di storage(protocollo di accesso, logical file name, ...)



job attributes

• Executablenome del file che contiene il codice eseguibile

• Argumentsargomenti da fornire all’eseguibile

• StdInput, StdOutput, StdErrnomi dei file che conterranno standard input / output / error del job

• Environmentlista di attributi relativi all’environment

(segue)



job attributes

• InputSandboxlista di file locali (rispetto alla UI) necessari all’esecuzione del job

• OutputSandboxlista di file (generati dal job) da recuperare dopo l’esecuzione del job



computing resource attributes

• Requirements- requirement del job rispetto alle risorse di computing

- vengono specificati utilizzando i nomi degli attributi definitinell’Information Service

• Rank- specifica una preferenza rispetto ad un insieme di risorse che soddisfano

i requirement richiesti

- viene specificato utilizzando i nomi degli attributi definitinell’Information Service



storage resource attributes

• InputDataPFN (Physical File Name) o LFN (Logical File Name)da utilizzare come input del job

• ReplicaCatalognome del Replica Catalog da utilizzare per la risoluzione PFN → LFN

• DataAccessProtocolprotocollo da utilizzare per accedere al PFN

• OutputSEnome dello Storage Element da utilizzare per la copia dei file di output del job



esempio di JDL file

Executable = “gridTest”;StdError = “stderr.log”;StdOutput = “stdout.log”;InputSandbox = {“home/joda/test/gridTest”};OutputSandbox = {“stderr.log”, “stdout.log”};InputData = “LF:testbed0-00019”;ReplicaCatalog = “ldap://sunlab2g.cnaf.infn.it:2010/

lc=test, rc=WP2 INFN Test, dc=infn, dc=it”;

DataAccessProtocol = “gridftp”;Requirements = other.Architecture == “INTEL” &&

other.OpSys == “LINUX” && other.FreeCpus >= 4;

Rank = “other.MaxCpuTime”;


MatchmakingMatchmaking (1/3)(1/3)

Resource Broker

• il suo compito e’ quello di individuare la risorsa di computing“migliore” su cui sottomettere il job dell’utente

• interagisce con Information Service

• il Computing Element selezionato deve soddisfarei requirement specificati nella descrizione del job (JDL file)

• se più Computing Element soddisfano i requirement alloraviene scelto il Computing Element con rank più alto



scenari possibili

1. sottomissione diretta dei job - l’utente specifica il Computing Element su cui deve essere sottomesso il job- il Resource Broker non effettua il matchmaking

2. sottomissione di job senza requirement sullo storage - il Resource Broker effettua il matchmaking

interroga l’Information Service per ottenere l’elenco delle risorseche soddisfano i requirement e le credenziali dell’utente

se più Computing Element soddisfano i requirement allora vienescelto il Computing Element con Rank più alto

(segue)



3. job submission con indicazione di risorse di storage

- il Resource Broker effettua il matchmaking

interroga l’Information Service per ottenere l’elenco delle risorseche soddisfano i requirement e le credenziali dell’utente

seleziona (dalla lista di Computing Element ottenuta) i ComputingElement “vicini” agli Storage Element ottenuti al passo 1

se il risultato della selezione consiste in piu’ Computing Element allora viene scelto il Computing Element con Rank piu’ alto


Comandi della Comandi della UserUser InterfaceInterfaceScenario 1Scenario 1-- sottomissione direttasottomissione diretta

• lcg-infosites --vo atlas ceUso direttamente l’Information system per conoscere le risorse disponibili.

[doria@atlasui01 ~]$ lcg-infosites --vo atlas cevalor del bdii: egee-bdii.cnaf.infn.it:2170#CPU Free Tot Jobs Running Waiting ComputingElement----------------------------------------------------------129 1 0 0 0 ce.phy.bg.ac.yu:2119/jobmanager-pbs-atlas115 15 148 100 48 lcgce01.cpp.ualberta.ca:2119/jobmanager-lcgpbs-atlas 70 64 0 0 0 atlasce01.na.infn.it:2119/jobmanager-lcgpbs-atlas

• globus-job-submit <CE> </path/executable> <args>Sottometto un eseguibile direttamente ad una coda di un CE.Ottengo un ID del job, che userò per monitorare lo stato e per riprendere l’output del CE


Comandi della Comandi della UserUser InterfaceInterfaceScenario 2/3 Scenario 2/3 –– sottomissione tramitesottomissione tramite ResurceResurce BrokerBroker• edg-job-submit xxx.jdl

sottomette il job descritto nel file JDL

• edg-job-list-match xxx.jdllista delle risorse che soddisfano i requirement specificati nel file JDL (il RB effettua il matchmaking senza sottomettere il job)

• edg-job-cancelcancellazione di un job

• edg-job-statusvisualizza lo stato di un job

• edg-job-get-outputeffettua lo stage-out dei file specificati tramite l’attributo OutputSandbox


Job statusJob statusSubmitted: Il job è stato creato sulla UI manon ancora sottomesso

Waiting: Il job è in fase diprocessamento da parte del WMProxy

Ready: Il job è statoprocessato ma non inviato alCE destinazione

Scheduled: Il job è nel CE incoda in attesa di essereeseguito

Running: Il job sta girandosul Computing Element

Done: Il job haterminato la suaesecuzione

Aborted: Il job èstato abortito dalWMS

Cancelled: Il job èstato annullatodall’utente

Cleared: Il job haterminato e l’output èstato scaricato


Servizio diServizio di LoggingLogging && BookkeepingBookkeeping (LB)(LB)

Tiene traccia delle azioni dell’utente

Tiene traccia delle variazioni di stato dei job

L’utente interagisce con il servizio LB atraverso i comandi:

• globus-job-status

• edg-job-status

• edg-job-get-logging-infovisualizza la sequenza completa delle transizioni di stato di un job(utilizzato per debugging)


Job Job submissionsubmission (2/10)(2/10)edg-job-submit myjob.jdl

myjob.jdlExecutable = "$(CMS)/exe/sum.exe";InputData = “lfn:testbed0-00019";ReplicaCatalog = "ldap://sunlab2g.cnaf.infn.it:2010/rc=WP2 INFN Test Replica Catalog,dc=sunlab2g, dc=cnaf, dc=infn, dc=it";DataAccessProtocol = "gridftp";InputSandbox = {"/home/user/WP1testC","/home/file*”, "/home/user/DATA/*"};OutputSandbox = {“sim.err”, “test.out”, “sim.log"};Requirements = other.Architecture == "INTEL"

&& other.OpSys== "LINUX Red Hat 9.x";Rank = other.FreeCPUs;


Combined CE and WMS User and Reference Guide → https://edms.cern.ch/file/572489/1/WMS-guide.pdf

Workload Management System User and Reference Guide→ https://edms.cern.ch/file/572489/1/EGEE-JRA1-TEC-572489-WMS-guide-v0-2.pdf

Logging and Bookkeeping User and Reference Guide → https://edms.cern.ch/file/571273/1/LB-guide.pdf

JDL Attributes Specification → https://edms.cern.ch/file/555796/1/EGEE-JRA1-TEC-555796-JDL-Attributes-v0-8.pdf

“LCG-2 User Guide” capitolo 6 - Workload Management→ https://edms.cern.ch/file/454439//LCG-2-UserGuide.html

RiferimentiRiferimentiI paragrafi introduttivi delle seguenti “User and Reference Guide” possono essere un buon punto di partenza per lo studio degli argomenti.

https://edms.cern.ch/file/572489/1/WMS-guide.pdf

https://edms.cern.ch/file/572489/1/EGEE-JRA1-TEC-572489-WMS-guide-v0-2.pdf

https://edms.cern.ch/file/571273/1/LB-guide.pdf

https://edms.cern.ch/file/555796/1/EGEE-JRA1-TEC-555796-JDL-Attributes-v0-8.pdf

https://edms.cern.ch/file/454439//LCG-2-UserGuide.html

LEZIONE N. 7people.na.infn.it/.../Lezione_07_aa_2007-08.pdf · LEZIONE N. 7 • WMS (Workload...

Documents

Transcript of LEZIONE N. 7people.na.infn.it/.../Lezione_07_aa_2007-08.pdf · LEZIONE N. 7 • WMS (Workload...