Introduzione alle griglie computazionali - a.a. 2005-061 LEZIONE LEZIONE N. 9 WMS (Workload...

Introduzione alle griglie computazionali - a.a. 2005-06 1

LEZIONELEZIONE N. 9

• WMS (Workload Management Service)• JDL (Job Description Language)• Matchmaking• Job submission

Introduzione alle griglie computazionali Introduzione alle griglie computazionali

Università degli Studi di Napoli Federico IICorso di Laurea in Informatica – III Anno

Workload Management Service Workload Management Service (1/2)(1/2)

Lo scopo del WMS e’ lo scheduling distribuito dei job inambiente Grid

funzionalita’ offerte

• job submission• job execution• job status monitoring• output retrieve

Workload Management Service Workload Management Service (2/2)(2/2)

componenti

• User interface (UI)punto di accesso a Grid per gli utenti

• Resource Broker (RB)servizio di scheduling distribuito

• Job Submission Service (JSS)servizio di job submission

• Logging and Bookkeeping Service (LB)servizio di job monitoring

Job Description Language Job Description Language (1/8)(1/8)

informazioni da specificare per l’esecuzione di un Grid-job

• requirement fisici del job (spazio disco, memoria, ...)

• requirement logici del job (environment, ...)

• data requirement (logical file name, ...)

e’ possibile specificare questi parametri utilizzando il JDL(Job Description Language)

caratteristiche

• basato su Condor ClassAd (CLASSified ADvertisement language)

• un ClassAd e’ una sequenza di coppie (attributo, valore)

[attr1 = value1attr2 = value2...attrn = valuen

categorie di attributi

• job attributedefiniscono le caratteristiche del job

• resource attributecomputing resource attribute

specificano i requirement in termini di risorse di computingutilizzano il prefisso “other.”

storage resource attributespecificano i requirement in termini di risorse di storage(protocollo di accesso, logical file name, ...)

job attributes

• Executablenome del file che contiene il codice eseguibile

• Argumentsargomenti da fornire all’eseguibile

• StdInput, StdOutput, StdErrnomi dei file che conterranno standard input / output / error del job

• Environmentlista di attributi relativi all’environment

(segue)

job attributes

• InputSandboxlista di file locali (rispetto alla UI) necessari all’esecuzione del job

• OutputSandboxlista di file (generati dal job) da recuperare dopo l’esecuzione del job

computing resource attributes

• Requirements- requirement del job rispetto alle risorse di computing

- vengono specificati utilizzando i nomi degli attributi definiti nell’Information Service

• Rank- specifica una preferenza rispetto ad un insieme di risorse che soddisfano i requirement richiesti

- viene specificato utilizzando i nomi degli attributi definiti nell’Information Service

storage resource attributes

• InputDataPFN (Physical File Name) o LFN (Logical File Name)da utilizzare come input del job

• ReplicaCatalognome del Replica Catalog da utilizzare per la risoluzione PFN LFN

• DataAccessProtocolprotocollo da utilizzare per accedere al PFN

• OutputSEnome dello Storage Element da utilizzare per la copia dei file di output del job

esempio di JDL file

Executable = “gridTest”;StdError = “stderr.log”;StdOutput = “stdout.log”;InputSandbox = {“home/joda/test/gridTest”};OutputSandbox = {“stderr.log”, “stdout.log”};InputData = “LF:testbed0-00019”;ReplicaCatalog = “ldap://sunlab2g.cnaf.infn.it:2010/

lc=test, rc=WP2 INFN Test, dc=infn, dc=it”;

DataAccessProtocol = “gridftp”;Requirements = other.Architecture == “INTEL” &&

other.OpSys == “LINUX” && other.FreeCpus >= 4;

Rank = “other.MaxCpuTime”;

Comandi della User InterfaceComandi della User Interface

• edg-job-list-matchlista delle risorse che soddisfano i requirement specificati nel file JDL(il RB effettua il matchmaking senza sottomettere il job)

• edg-job-submit

sottomette job su una delle risorse che soddisfano i requirement specificati nel file JDL• edg-job-cancel

cancellazione di un job• edg-job-status

visualizza lo stato di un job• edg-job-get-output

effettua lo stage-out dei file specificati tramite l’attributo OutputSandbox• edg-job-get-logging-info

visualizza la sequenza completa delle transizioni di stato di un job(utilizzato per debugging)

Matchmaking Matchmaking (1/3)(1/3)

Resource Broker

• il suo compito e’ quello di individuare la risorsa di computing“migliore” su cui sottomettere il job dell’utente

• interagisce con Information Service e Data Management Service

• il Computing Element selezionato deve soddisfarei requirement specificati nella descrizione del job (JDL file)

• se piu’ Computing Element soddisfano i requirement alloraviene scelto il Computing Element con Rank piu’ alto

scenari possibili

1. direct job submission- l’utente specifica il Computing Element su cui deve essere sottomesso il job- il Resource Broker non effettua il matchmaking

1. job submission senza requirement su storage resource- il Resource Broker effettua il matchmaking

interroga l’Information Service per ottenere l’elenco delle risorseche soddisfano i requirement e le credenziali dell’utente

se piu’ Computing Element soddisfano i requirement allora vienescelto il Computing Element con Rank piu’ alto

(segue)

1. job submission con requirement su storage resource

- il Resource Broker effettua il matchmaking

interroga il Data Management Service per ottenere l’elenco degliStorage Element che contengono i file richiesti

interroga l’Information Service per ottenere l’elenco delle risorseche soddisfano i requirement e le credenziali dell’utente

seleziona (dalla lista di Computing Element ottenuta) i ComputingElement “vicini” agli Storage Element ottenuti al passo 1

se il risultato della selezione consiste in piu’ Computing Element allora viene scelto il Computing Element con Rank piu’ alto

Job submission Job submission (1/10)(1/10)

Logging &Bookkeeping(LB)

ResourceBroker (RB)

Job SubmissionService (JSS)

StorageElement(SE)

ComputingComputingElement (CE)Element (CE)

Information Service (IS)

ReplicaCatalogue(RC)

ResourceBroker (RB)

StorageElement(SE)

Job SubmitEvent

Input Sandbox

submitted

Job Status

ResourceBroker (RB)

submitted

waiting

StorageElement(SE)

Job Status

ResourceBroker (RB)

submitted

waiting

StorageElement(SE)

Job Status

ResourceBroker (RB)

Job SubmissionService(JSS)

submitted

waiting

BrokerInfo

scheduled

StorageElement(SE)

Job Status

ResourceBroker (RB)

submitted

waiting

scheduled

Input Sandbox

running

StorageElement(SE)

Job Status

ResourceBroker (RB)

submitted

waiting

scheduled

Job Status

running

StorageElement(SE)

Job Status

Logging &Bookkeeping

ResourceBroker

Job SubmissionService

StorageElement (SE)ComputingComputing

Element (CE)Element (CE)

Information Service

submitted

waiting

scheduled

running

Job Status

Logging &Bookkeeping

ResourceBroker

Job SubmissionService

StorageElement (SE)ComputingComputing

Element (CE)Element (CE)

Information Service

submitted

waiting

scheduled

running

Job Status

outputready

Output Sandbox

Job Status

ResourceBroker (RB)

Job SubmissionService (JS)

StorageElement(SE)

ComputeComputeElement (CE)Element (CE)

Output Sandbox

cleared

submitted

waiting

scheduled

running

outputready

Job submission Job submission (10/10)(10/10)Job Status

SUBMITTED

WAITING

SCHEDULED

RUNNING

DONE(ok)DONE(failed)

OUTPUTREADY

CLEARED

ABORTEDDONE(cancelled)

Job statusJob status

dg-job-submit myjob.jdlMyjob.jdl

Executable = "$(CMS)/exe/sum.exe";InputData = "LF:testbed0-00019";ReplicaCatalog = "ldap://sunlab2g.cnaf.infn.it:2010/rc=WP2 INFN Test Replica Catalog,dc=sunlab2g, dc=cnaf, dc=infn, dc=it";DataAccessProtocol = "gridftp";InputSandbox = {"/home/user/WP1testC","/home/file*”, "/home/user/DATA/*"};OutputSandbox = {“sim.err”, “test.out”, “sim.log"};Requirements = other.Architecture == "INTEL"

&& other.OpSys== "LINUX Red Hat 6.2";Rank = other.FreeCPUs;

RiferimentiRiferimenti

“The European DataGrid User’s Guide” http://marianne.in2p3.fr

European DataGrid WP1 web site http://www.infn.it/workload-grid (WMS User & Admin Guide and JDL docs)

ClassAd http://www.cs.wisc.edu/condor/classad

Introduzione alle griglie computazionali - a.a. 2005-061 LEZIONE LEZIONE N. 9 WMS (Workload...

Documents

Transcript of Introduzione alle griglie computazionali - a.a. 2005-061 LEZIONE LEZIONE N. 9 WMS (Workload...

Lezione conclusiva sul CASO VENETO slides lezione 15.04.2010 lezione conclusiva sul CASO VENETO. slides lezione 15.04.2010.

LEZIONE 1 LEZIONE 1 STRETCHSITTING I - img.ibs.it · LEZIONE 1 LEZIONE 1 STRETCHSITTING I ... (fig. 1-3), che, non subendo sollecitazioni dannose, possono risanarsi. ... conseguente

GUIDA PRATICA ALL’UTILIZZO DI POWERPOINT · presentazione al computer, ... Lezione 1 – Finestra di PowerPoint Lezione 2 ... Lezione 4 – Creare una presentazione Lezione 5 –

Convegno Italiano di Logica Computazionale CILC 2006 Bari 26-27 giugno 2006 Semantic-based matchmaking and query refinement for B2C e-marketplaces S. Colucci,

Quali rischi nella sincronizzazione manuale dei …...2013/07/25 · Workload Automation assicura che ogni batch sia processato: al momento giusto, seguendo la corretta cronologia,

Lezione 9 Termodinamica - fisica.uniud.itcobal/Lezione_XI_fisicaI.pdf · Lezione 9 Termodinamica Argomenti della lezione: introduzione misura della temperatura dilatazione termica

Workload Automation: il Fulcro dell’Integrazione dei ... · La ricerca dell’EMA ha messo in luce quattro caratteristiche generali per adattare la WA al data ... schedulatori dei

Tivoli Workload Scheduler - publib.boulder.ibm.compublib.boulder.ibm.com/tividd/td/TWS/GI10-9255-00/it_IT/PDF/... · Nota: File in linea dei manuali sul prodotto sono disponibili

appunti Lezione 5, 2° esercitazione · Lezione 2 ed altre regole esito Lezione 2 parte 1 esito Lezione 2 parte 2 Autori: brani e link 1° e 2° esito appunti Lezione 3 esito Lezione

Lezione # 13: 05.05.2016 Lezione # 14: 12.05.2016 ... · 1 gabriele.veneziano@cern.ch Lezione # 13: 05.05.2016 Lezione # 14: 12.05.2016 Discussioni personali su appuntamento: venerdì

Lezione (14 dicembre) - people.unica.it - Università … › ... › 12 › 12-dicembre-Lezione-16.pdf2019/12/12 · Lezione 16 (12 dicembre) Lezione 17 (18 dicembre) Equazioni differenziali

Esperimenti di testing della JVM basati sullutilizzo di workload di stress e di motori inferenziali Facoltà di Ingegneria Corso di Studi in Ingegneria.

Cultural Heritage Matchmaking · Cultural Heritage Matchmaking @ SuperScienceMe è un forum sui beni culturali per far incontrare l’offerta di tecnologie e applicazioni avanzate

Anno Scolastico 2020/2021 Classe I A SECONDARIA DI …...MATEMATICA MUSICA TECOLOGIA ITALIANO ITALIANO Leggenda: LEZIONE SINCRONA LEZIONE ASINCRONA LEZIONE SINCRONA SOSTEGNO LEZIONE

Design and Characterization of the Berkeley Multimedia Workload

Tivoli Workload Scheduler Job Scheduling Consolepublib.boulder.ibm.com/tividd/td/TWS/SH19-4552-00/it_IT/...macchina per uso privato, purché tale riproduzione riporti le informazioni

Lezione · Lezione venerdì 3 febbraio 2017 08:09 Seconda lezione Pagina 1 . Seconda lezione Pagina 2 . Seconda lezione Pagina 3

XV lezione 1 giugno Lezione h 14 gioved ì

Sistemi Informativi – Lezione 1zack/teaching/0809/mfosset/05-lezione-2.pdf · Lezione 2 Prof. Paolo Ciaccia paolo.ciaccia@unibo.it DEIS – Università degli Studi di Bologna. Lezione

Anatomia Comparata Lezione N.10 - Mammiferi. Lezione 10 - Mammiferi2.