Presentazione tesi specialistica - L'ottimizzazione delle risorse della Grid di EGEE mediante un...

Sommario

Introduzione al Grid Computing

Queue Ranking e Algoritmi Adattivi

Le ottimizzazioni realizzate

Conclusioni e Future Work

L’Ottimizzazione delle Risorse della Grid

di EGEE mediante un Framework

Intelligente basato su SOA

Laureando: Davide CiambelliRelatore: Antonio Laganà

Correlatori: Carlo ManualiLeonardo Pacifici

Università degli Studi di PerugiaFacoltà di Scienze Matematiche, Fisiche e Naturali

13 Maggio 2010Anno Accademico 2008-2009

Davide Ciambelli Corso di Laurea Specialistica in Informatica

Sommario

1 Introduzione al Grid ComputingChe cos’è Grid?Middleware gLite della Grid di EGEEOttimizzazione delle risorse

2 Queue Ranking e Algoritmi AdattiviL’idea: GriFAnalisi delle codeApproccio adattivo per il filtraggio delle code

3 Le ottimizzazioni realizzateL’evoluzione di GriFDatabase GriFScript rank.shScript state.sh

4 Conclusioni e Future Work

Sommario

Che cos’è Grid?

Middleware gLite della Grid di EGEE

Ottimizzazione delle risorse

Che cos’è Grid?

“A computational grid is a hardware

and software infrastructure thatprovides dependable, consistent,

pervasive, and inexpensive access to

high-end computational capabilities”

Ian Foster, The Grid Blueprint for a Future Computing Infrastructure (1999)

Sommario

Che cos’è Grid?

Insieme di software che fungono da intermediari tra diverse

applicazioni

Obiettivi:Interoperabilità e connettività per applicazioni distribuite supiattaforme eterogeneeCollante delle applicazioni utilizzate all’interno di un sistema

Vantaggi:Consente di ottenere un elevato livello di servizio per gliutenti ed un elevato livello di astrazione per i programmatori

Rende più semplice la manutenzione, l’implementazione el’integrazione delle applicazioni

Sommario

Che cos’è Grid?

applicazioni

Sommario

Che cos’è Grid?

applicazioni

Sommario

Che cos’è Grid?

Problemi relativi alla Grid di EGEE:Le informazioni circa le risorse geograficamente distribuite edi natura eterogenea spesso non affidabiliL’aggiornamento dello stato dei job presenta notevoli ritardi

Soluzioni implementate:Queue Ranking

Filtri Adattivi

Sommario

Che cos’è Grid?

Problemi relativi alla Grid di EGEE:Le informazioni circa le risorse geograficamente distribuite edi natura eterogenea spesso non affidabiliL’aggiornamento dello stato dei job presenta notevoli ritardi

Soluzioni implementate:Queue Ranking

Filtri Adattivi

Sommario

L’idea: GriF

Analisi delle code

Approccio adattivo per il filtraggio delle code

L’idea: GriF

GriF (Grid Framework): Framework intelligente basato su unaService-Oriented Architecture

Obiettivo: gestire la sottomissione dei job da distribuire in griglia

Vantaggi introdotti:Ottimizzazione della fruibilità dei jobRapidità di esecuzione dei jobEfficienza nel recupero dei risultatiFrammentazione dei job in subjob

Come ottimizzare la gestione delle risorse di Grid?

Sommario

L’idea: GriF

Analisi delle code

L’idea: GriF

Sommario

L’idea: GriF

Analisi delle code

L’idea: GriF

Sommario

L’idea: GriF

Analisi delle code

L’idea: GriF

Sommario

L’idea: GriF

Analisi delle code

Obiettivo: ottimizzare la gestione delle risorse partendodall’analisi delle code

Problema: frammentare i job rallenta la loro esecuzione conl’architettura Grid corrente

Limiti delle code:Insufficiente strutturazione

Incapacità di ottimizzare la schedulazione di job paralleli

Soluzione: ottimizzare la propagazione dei job in base ad alcuniparametri

Raggiungibilità della codaDisponibilità delle CPURendimento della coda (ranking)

Sommario

L’idea: GriF

Analisi delle code

Sommario

L’idea: GriF

Analisi delle code

Sommario

L’idea: GriF

Analisi delle code

Adattivo: meccanismo che cambia il suo comportamento sullabase delle informazioni disponibili

Obiettivi:raccogliere informazioni sui job in tempo reale

costruire contenitori virtuali di apprendimento peranalizzare i comportamenti dei job

Abilità del sistema:analizzare le richieste degli utentiesaminare le regole presenti nel repository

individuare la coda migliore tra quelle disponibili

Sommario

L’idea: GriF

Analisi delle code

Sommario

L’idea: GriF

Analisi delle code

Sommario

L’evoluzione di GriF

Database GriF

Script rank.sh

Script state.sh

Obiettivo di GriF: interagire con la griglia in modo rapido edefficace

Problema: scarsa efficienza ed affidabilità della Gridproblemi di overhead

scarsa correttezza nel retrieve dei risultati

Soluzione: introduzione di strumenti di qualitàDatabase

Agenti artificialiScript rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Schema generale di GriF

Sommario

Database GriF

Script rank.sh

Script state.sh

Database GriF

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Obiettivo: raccogliere le informazioni sullo stato delle code daclassificare attraverso la funzione Rank

RANK (x , y , z ,w) = x (α · y + (z + β) (w + γ))

dove:x indica se la coda è up o down

y rappresenta la funzione last_performance

z rappresenta il numero di CPU libere per ogni codaw rappresenta il tempo di raggiungibilità relativo ad ogni coda

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

z rappresenta il numero di CPU libere per ogni codaw rappresenta il tempo di raggiungibilità della coda

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

LAST_PERFORMANCE considera i subjob totali contenuti nellatabella Rules eseguiti in ciascuna coda e li classifica in base al lorosuccesso o all’insuccesso

LAST_PERFORMANCE =(( DONE

ABORTED )·TOTALJOBS)TIME(m)

TIME rappresenta il tempo medio di esecuzione di una certa codacalcolato come sommatoria dei tempi di esecuzione di ogni subjobnormalizzati secondo k

TIME (m) =�n

j=1EXEC_TIME(m)j

k(j) , j �= 0

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Ruolo di k: dividere l’input del job padre determinando il numerodei subjob

Esempio: k = 1

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Esempio: k = 1

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Esempio: k = 1

se nnrg = 4 il job padre viene frammentato in 4 subjob

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Esempio: k = 1

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Esempio: k = 1

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Esempio: k = 1

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Esempio: k = 1

Sommario

Database GriF

Script rank.sh

Script state.sh

Script rank.sh

Esempio: k = 1

Sommario

Database GriF

Script rank.sh

Script state.sh

Obiettivo: aggiungere regole di ottimizzazione nella tabella rules

Operazioni eseguite:Selezione dei job padri con stato nulloEsecuzione del comando glite-job-status per ogni job padreControllo dello stato dei subjob nell’SE

Aggiornamento degli stati dei subjobControllo integrità delle informazioni

Sommario

Database GriF

Script rank.sh

Script state.sh

Operazioni eseguite:Selezione dei job padri con stato nullo

Esecuzione del comando glite-job-status per ogni job padreControllo dello stato dei subjob nell’SE

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Operazioni eseguite:Selezione dei job padri con stato nulloEsecuzione del comando glite-job-status per ogni job padre

Controllo dello stato dei subjob nell’SE

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Database GriF

Script rank.sh

Script state.sh

Sommario

Obiettivi raggiunti:Sviluppo di un Framework collaborativo intelligente

Sottomissione ottimizzata di job parametriciMiglioramento delle performance delle code

Future Work:Avviare indagini sulla tipologia degli utenti

Eseguire profilazioni allo scopo di calcolare la QoU relativaalle attività degli utentiImplementare un modello di creditizzazione perCOMPCHEM

Sommario

Obiettivi raggiunti:Sviluppo di un Framework collaborativo intelligente

Sottomissione ottimizzata di job parametriciMiglioramento delle performance delle code

Future Work:Avviare indagini sulla tipologia degli utenti

Eseguire profilazioni allo scopo di calcolare la QoU relativaalle attività degli utentiImplementare un modello di creditizzazione perCOMPCHEM

Presentazione tesi specialistica - L'ottimizzazione delle risorse della Grid di EGEE mediante un...

Technology

Transcript of Presentazione tesi specialistica - L'ottimizzazione delle risorse della Grid di EGEE mediante un...