Introduzione alle griglie computazionali - a.a. 2005-06 1

LEZIONELEZIONE N. 12

• Grid Monitoring• modello GMA• GridICE• GridICE demo

Introduzione alle griglie computazionali Introduzione alle griglie computazionali

Università degli Studi di Napoli Federico IICorso di Laurea in Informatica – III Anno

Introduzione alle griglie computazionali - a.a. 2005-06 2

Grid Monitoring Grid Monitoring (1/5)(1/5)

definizione

• misurazione di parametri significativi relativi alle risorsepresenti in Grid

• attivita’ strategica per il calcolo distribuito- performance analisys- resources/services fault detection- problems spotting- statistics and capacity planning- auditing system

Introduzione alle griglie computazionali - a.a. 2005-06 3

Grid Monitoring Grid Monitoring (2/5)(2/5)

metodologie di resource monitoring

• push

• pull

observer resource

observer resource1

2

Introduzione alle griglie computazionali - a.a. 2005-06 4

Grid Monitoring Grid Monitoring (3/5)(3/5)

problemi da gestire

• scalabilita’il servizio di monitoring deve garantire la stessa qualita’ del servizioindipendentemente dal numero di risorse monitorate

• bassa intrusivita’le attivita’ di monitoring non devono compromettere le prestazioni offertetramite i servizi

• formato degli eventi di monitoringtradeoff tra semplicita’ di utilizzo e compattezza (es. documento XML)

• security(segue)

Introduzione alle griglie computazionali - a.a. 2005-06 5

Grid Monitoring Grid Monitoring (4/5)(4/5)

problemi da gestire

• architettura distribuitaevitare il “single point of failure” e favorire delle architetture a componentimodulari

caratterizzazione degli eventi di monitoring

• short lifetime of utility• aggiornamenti frequenti

Introduzione alle griglie computazionali - a.a. 2005-06 6

Grid Monitoring Grid Monitoring (5/5)(5/5)

LOW LEVEL measurements– CPU load– memory usage– disk usage (per partition)– network activity– number of processes– number of users (UI)– …

Computing Element Storage Element

Worker NodeWorker Node

Worker NodeWorker Node

Resource Broker

Information Index

Replica Manager

Replica Catalog

[…]

SERVICE checks– gatekeeper– gsiftp– gris– gdmp– RB/LB– …

“GRID” measurements– number of total CPUs– number of free CPUs– number of running jobs– number of waiting jobs– SE free disk space– …

Introduzione alle griglie computazionali - a.a. 2005-06 7

Grid Monitoring ArchitectureGrid Monitoring Architecture

Producer

DirectoryService

Consumer

1) Event publicationinformation

2) Lookup

3) Event producer & Event schema information

5) Event data

4) Query or

Subscribe

Introduzione alle griglie computazionali - a.a. 2005-06 8

GridICE GridICE (1/3)(1/3)

• scopo di GridICE e’ l’implementazione di un servizio di Gridmonitoring “VO-centric”

• prodotto integrato in LCG (CERN)

• iniziativa nata nell’ambito del progetto europeo DataTAG

• attualmente e’ un’attivita’ di development EGEE-SA1 / Grid.it

Introduzione alle griglie computazionali - a.a. 2005-06 9

GridICE GridICE (2/3)(2/3)

descrizione

• data pushper l’aggregazione dei dati di monitoring relativi ad un cluster

• data pullper la raccolta dati nel GridICE database

Introduzione alle griglie computazionali - a.a. 2005-06 10

GRIS (GLUE schema)

WP4 fmonserver

computing element

information providers farm monitoringarchive

runldif output

write

read WP4 monitoring agent

worker node

/procfilesystem

WP4 sensor

run

readmetric output

metric output

WP4 monitoring agent

worker node

/procfilesystem

WP4 sensor

run

readmetric output

metric output

information index

GIIS (GLUE schema)

monitoring server

discovery service

monitoring service

ldap query

ldap query

web interface

MonitoringDB

GridICE ArchitectureGridICE Architecture

Introduzione alle griglie computazionali - a.a. 2005-06 11

...

worker nodes

computing elementaccess node

storage elementaccess node

LEMON ServerLEMON Client

GRIS

GRIS

LEMON Client

GRIS2136

SITE GIIS

replica locationservice

broker

storage elementaccess node

LEMON ServerLEMON Client

GRIS

LEMON Client

GRIS2136

SITE GIIS

REGIONGIIS

TOP-LEVEL

GIISREGION

GIIS

site INFN-CNAF

site CERN

GridICE Server

LEMON Client

LEMONClient

GridICE DeploymentGridICE Deployment

Introduzione alle griglie computazionali - a.a. 2005-06 12

Grid Monitoring Service

Grid Information Service

Monitoring Tool

GridICE GridICE (3/3)(3/3)

sviluppi futuri

Introduzione alle griglie computazionali - a.a. 2005-06 13

RiferimentiRiferimenti

“Grid Monitoring Architecture” http://www-didc.lbl.gov/GGF-PERF/GMA-WG/

“GridICE” http://grid.infn.it/gridice