LEZIONE N. 10LEZIONEpeople.na.infn.it/~merola/CORSO_GRID_2008-09/Lezione_10... · 2009-05-07 ·...

1Introduzione alle griglie computazionali aa 2006-07Griglie Computazionali - aa 2008-09

LEZIONELEZIONE N. 10

• Gestione dei dati in GRID• Storage Element • Storage Resource Management• I protocolli di accesso ai dati• Il trasferimento dati: GridFTP• LCG File Catalogue

GriglieGriglie computazionali computazionali

Università degli Studi di Napoli Federico IICorso di Laurea Magistrale in Informatica – I Anno

Il problema della gestione dei dati• Supponete di eseguire una applicazione su una

macchina locale. E’ necessario:– allocare lo spazio per i file di input

– trasferire i file di input

– assicurasi della correttezza del trasferimento e recuperare eventuali errori

– allocare lo spazio per l’output

– rimuovere gli input per far spazio a nuove esecuzioni

• Supponete ora che lo storage sia condiviso:– fare i passi precendenti per tutti gli utenti e tutte le appicazioni

– stabilire quote per i diversi utenti

Gestione dei dati in GRIDIl sistema di gestione delle risorse di storage nella griddeve inoltre occuparsi di

• Eterogeneità:

– I dati sono registrati in diversi sistemi di storage, che usano differenti tecnologie d’accesso

• Distribuzione geografica:

– I dati sono registrati il locazoni diverse, in molti casi non esiste un file system condiviso né un namespace comune

– I Dati devo essere trasferiti in modo efficiente tra le diverse locazioni

• Descrizione:

– I dati sono immagazzinati come files; occorre un modo per identificare i file e localizzarli in base al loro contenuto

GRID Data Management System• In GRID si aggiungono anche altre funzionalità di

base:– localizzazione dei dati– accesso ai dati remoti– copia dei dati– catalogazione e replica dei dati– gestione dei meta-dati

• I dati sono gestiti sotto forma di files.• I metadati sono “dati che descrivono i dati” e possono

tra l’altro essere utilizzati per correlare files in insiemi, contenenti dati dello stesso tipo.

Risorse di storage• Tutti i dati, sia locali che in GRID, sono memorizzati in una

risorsa storage (che può variare da un singolo disco ad una libreria di nastri)

• Risorse differenti offrono differenti livelli di Quality of Service (QoS).

• Ogni hardware è controllato da un particolare software.

• Risorse differenti hanno differenti modi di accesso.

Definizione:

Una risorsa di storage è una combinazione di un hardware e di un software che lo controlla (file system)

StorageHardware

Risorsa di storage

Il servizio di Storage• Lo Storage Element è il servizio che consente ad utenti

o applicazioni GRID di utilizzare le risorse di storage, ossia di memorizzare i dati e ritrovarli per usi futuri

• Lo Storage Element fornisce tre tipi di interfacce:– Accesso ai dati (I/O)

– Trasferimento dati (GridFTP)

– Storage Management (SRM)

StorageHardware

Risorsa di storage

I/O Interface

Transfer Interface

Management Interface

Storage Resource Manager (SRM)• Chiamiamo SRM l’interfaccia che si occupa

dell’interazione tra la Grid e le risorse di storage.

• La definizione di uno standard SRM permette l’interoperabilità tra le molteplici implementazioni

• Il servizio SRM non effettua del trasferimento dei file tra SE, ma può invocare i componenti del middlewareche se ne occupano (come GridFTP).

Definizione:

I servizi SRM sono componenti del middleware di Grid la cui funzione è la gestione delle risorse di storage, mediante l’allocazione dinamica dello spazio di storage.

Storage Resource Manager (SRM)• I dati gestiti da un servizio SRM possono essere

registrati in disk pool servers e/o Mass StorageSystems (nastri+dischi)

• La caratteristica di un SRM è di fornire un file system virtuale che nasconde la complessità del pool di risorse gestite dall’interfaccia.

• I file possono essere spostati in modo trasparente tra diverse risorse di storage gestite dallo stesso SRM.

• Le risorse sono sono espandibili dinamicamente.

SRM v2.2

• I file non sono più entità permanenti sullo storage: mediante la definizione di una lifetime specificata possono avere durata limitata.

• L’utente può effettuare il pinning di un file, impedendone la cancellazione finchè ne ha bisogno.

• L’autorizzazione di accesso ai pool e ai singoli file ègestita mediante le credenziali VOMS.

• E’ implementata una space reservation che consente di preallocare lo spazio di storage alle VirtualOrganization.

• In gLite si utilizzano diverse implementazioni di SRM• Per ogni tipo di SRM possono esserci diversi

protocolli di accesso (posix-like) ai file.

Implementazioni di SRM

Implementazioni di SRM• I tipi di SRM presenti in gLite sono:

– DPM (Disk Pool Manager): consiste di un server che fornisce un singlo punto di accesso verso un pool di server di disco.

– Castor e dCache: mediante un disk buffer, un server fa da frontend ad un sistema complesso di mass storage (liberie di nastri e/o server di dischi).

– StoRM: sfrutta le caratteristiche dei file system paralleli per l’accesso alle aree disco.

CASTOR (CERN)

dCache (Fermilab and DESY)

Disk Pool Manager - DPM

StorageResourceManager-StoRM (INFN)

Data Files• Un file rappresenta la granularità più fine dei dati (il

Data Management System non tratta oggetti, vettori, tabelle …)

• I files su uno Storage Element sono read-only: non possono essere modificati, ma solo cancellati o sovrascritti.

• Possono esistere numerose repliche dello stesso file, in locazioni diverse

• Devono essere accessibili da ogni punto della Grid.

• Si possono trasferire file tra file system locali (ad es. la propria UI) e la Grid (cioè un SE)

IdentificazioneIdentificazione didi un GRIDun GRID --file (1)file (1)

– Un file nella GRID è logicamente identificato, in maniera univoca, dal suo GUID (GRID Unique Identifier)• l’unicità è garantita da un algoritmo• non è user friendly

guid: f81d4fae-7dec-11d0-a765-00a0c91e6bf6

– Il LFN (Logical File Name) definisce un alias del GUID, creato da un utente per meglio identificare il file

lfn :/grid/cms/20030203/run2/track1I nomi logici sono organizzati in una struttura gerarchica di

directory

IdentificazioneIdentificazione didi un GRIDun GRID --file (2)file (2)

– Il SURL (Storage URL o Site URL) individua le copie fisiche dei file

• include l’indirizzo dello Storage Element ed il path del file

• per un SRM il path è quello del file system virtuale

srm ://srm.cern.ch/castor/cern.ch/cms/output10_1

- Il TURL (Transport URL) contiene anche il protocollodi accesso al file:

gsiftp ://pcrd24.cern.ch/flatfiles/cms/output10_1

GRIDGRID --filefile

Logical File Name 1

Logical File Name 2

Logical File Name n

Physical File SURL n

Physical File SURL 1

Chiamiamo aliasogni nome del file

Chiamiamo replicaogni istanza fisica del file

Ogni file nella grid può avere più alias e più repliche, ma un solo GUID .

I file possono essere replicati per vari motivi:•Metterli vicino ai CE per questioni di efficienza•Resistere a eventuali guasti di un SE

• LFN e GUID identificano un file indipendentemente d alla sua locazione

• SURL e TURL contengono informazioni sulla locazione fisica del file e su come vi si può accedere.

•Il mapping tra SURL e TURL viene fatto dal servizio SRM

Accesso allo Storage in un sito GRID

Interazione con SRM

Protocolli di accesso ai dati

• Il protocollo di base per il trasferimento dei GRID file èGSIFTP:– è una estensione di FTP (standard File Transfer Protocol),

– include autenticazione e encryption dei servizi di sicurezzaGSI.

– Trasferisce in parallelo multiple stream di dati

• Il protocollo RFIO (Remote File Input/Output) si usaper l’accesso diretto ai dati remoti su un SE. – Consente di “leggere” i dati su un SE senza trasferirli.

– Ne esiste una verisone sicura che usa GSI.

Il modello FTP per il trasferimento dati

FTP• Control functions

(commands) and replycodes are transferred over the control connection.

• All data transfer takesplace over the data connection.

• The control connection must be “up” while data transfer takes place.

• The control connection uses the TELNET protocol.• Commands and replies are all line oriented text

(default is ASCII).

FTP client commands

Requirements su trasferimento dati• Velocità: si vuole utilizzare al massimo la

velocità consentita dalle connessioni fisiche, minimizzando l’overhead dovuto a servizi e protocolli

• Sicurezza: I files devono essere trasferiti solo tra entità autenticate

• Robustezza: i servizi devono essere stabili e va implementatla una fault tolerance.

GridFTP• GridFTP - File Transfer Protocol in Grid

Computing Networks.– high-performance

– secure

– reliable data transfer protocol

– optimized for high-bandwidth wide-area

• based upon the Internet FTP protocol

• it implements extensions for high-performanceoperation

GridFTP• Security

– Authentication of users or services

– The Globus GridFTP server and client use the Grid Security

– Infrastructure (GSI) protocol.

• Parallel Stream– GridFTP supports multiple TCP streams in parallel between a

single source and destination.

– This feature can improve aggregate bandwidth in relation tothat done by a single stream

• Automatic negotiation of TCP buffer/window sizes(Tunability for network and I/O parameters)

GridFTP• Stripping - having several network endpoints - at the

source, destination, or both - participating in the transfer of the same file.

• Done by having a cluster with a parallel shared le system.

• Each node in the cluster reads a section of the le and sends it over the network.

• Stripping and parallelism may be used together whereone may have more than one TCP streams open between each of the servers participating in the transfer.

GridFTP• Partial File Transfer

– Partial file access: Regions of a file may beaccessed by specifying an offset into the file and the length of the block desired

– GridFTP supports this capability by specifying the byte position in the file to begin the transfer.

• Support for reliable and restartable datatransfer

• Integrated instrumentation, for monitoringongoing transfer performance

Using GridFTP: globus-url-copycommand line • globus-url-copy is the command to transfer a file between

sites using GridFTP.

• It is not an interactive command.

• Does not interact with SRM.

• The usage is:

– globus-url-copy <source> <destination>

• where <source> or <destination> are of the format:

• if local file, file:<full path>

• if remote file, gsiftp://<hostname>/<full path>

globus-url-copy syntaxServer to local:$ globus-url-copy gsiftp://<source> file:/<dest>

Local to server:$ globus-url-copy file:/<source> gsiftp://<dest>

Remote server A to remote server B:$ globus-url-copy gsiftp://<source> gsiftp://<dest>

GridFTP Preformace• By default, globus-url-copy uses 1 stream• Monitor performance using -vb flag$ globus-url-copy -vb

gsiftp://se01.ligo.caltech.edu:15000/usr1/grid/smallfile file:/tmp/smallfile

9437184 bytes 658.09 KB/sec avg 512.95 KB/sec inst

• Multiple channels dramatically boosts transfer rate$ globus-url-copy -vb -p 4

gsiftp://se01.ligo.caltech.edu:15000/usr1/grid/largefile file:/tmp/largefile

523960320 bytes 5814.25 KB/sec avg 5568.27 KB/sec inst

Protocolli di accesso ai dati: RFIO• RFIO è il protocollo di accesso dati (non copia) fornito da

alcuni SRM

• RFIO implementa una versione remota delle funzioni di I/o standard Posix, come:

– open, read, write, lseek and close

• Utilizza un protocollo molto “leggero”.

Protocolli di accesso ai dati: RFIO• Esiste una versione sicura ed una insicura di RFIO:

– La versione insicura puo’ essere usato solo per accedere ai dati in una LAN, tipicamente dai WN allo SE. Il controllo dell’accesso ai dai è fatto sulla user ID e non sulle credenziali VOMS. Questa versione èimplemantata in CASTOR

– RFIO in versione sicura (gsirfio) puo’ essere usato per l’accesso remoto ai file anche da una UI o da WN fuori dal sito. Autorizzazione e Autenticazione basate su GSI. Implemenatto in DPM e StoRM.

LFC LFC –– LCG File CatalogueLCG File CatalogueLCG = LHC Computing Grid LHC = Large Hadron Collider

Logical File Name 1

Logical File Name 2

Logical File Name n

Physical File SURL n

Physical File SURL 1

– Il mapping traLFN, GUID e SURLè fornito da un unicocatalogo,– Un file si può considerare un GRID File solo se è

fisicamente presente su un SE ed è registrato in un LFC– L’ LFC pubblica i propri riferimenti all’Information

Service, in modo da essere identificato dagli altri servizi.

Architettura dellArchitettura dell ’’ LFCLFC

I I MetadatiMetadati nellnell’’ LFCLFC

– I system metadatacontengono la dimensione del file, che resta sempre invariata e unachecksumper ognireplica, che viene calcolata ad ogni copia del file per verificarne l’integrità.

– I metadata di utentedescrivono i dati contenuti nel file. Possono tra l’altro essere utilizzati per correlare files in insiemi, contenenti dati dello stesso tipo.

LFC LFC

– La chiave principale di accesso all’LFC è il nome logico– Lo spazio dei nomi è organizzato ad albero di directory.

/grid/<VO>/<path>– I permessi sono molto simili alle ACL di un filesystem

Unix– Gli utenti di una VO hanno i permessi di lettura e scrittura

solo nella sottodirectory corrispondente

Defined by the userLFC Namespace

LFC ha una struttura ad albero/grid/<VO_name>/ <you create it>

ComandiComandi LFC LFC

– Esiste un ampio set dicomandi per interagire con ilcatalogo, che non toccano i file sugli SE:

Set file/directory access control listslfc-setacl

Remove a file/directorylfc-rm

Rename a file/directorylfc-rename

Create a directorylfc-mkdir

List file/directory entries in a directorylfc-ls

Make a symbolic link to a file/directorylfc-ln

Get file/directory access control listslfc-getacl

Change owner and group of the LFC file-directorylfc-chown

Change access mode of the LFC file/directorylfc-chmod

ComandiComandi didi Replica ManagementReplica Management

– Il Replica Management consiste in un set di comandi che l'utente può utilizzare per interagire con il servizio di Storage, quindi con i file presenti sugli SE. • Comandi di gestione del catalogo– lcg-aa: aggiungi un alias per un dato file– lcg-rf: registra nel catalogo un file esistente su un SE– lcg-lr: dato LFN, GUID o SURL, elenca tutte le repliche

• Comandi di gestione dei file– lcg-cp: copia un GRID file su una UI

– lcg-cr: copia un file locale su un SE e lo registra nel catalogo

– lcg-del: cancella una replica

– lcg-rep: copia un file da un SE ad un altro e registrala replica

Interazione tra Replica Manager e SRMInterazione tra Replica Manager e SRM

Replica Managementclient SRM

File Catalogue

Storage6

1. Il Client RM chiede al LFC di indicare la posizione di un dato file (a partire da GUID o LFN)

2. L’LFC risponde indicando un SRM (PFN)3. Il Client RM chiede il file allo SRM4. Lo SRM chiede allo Storage System di rendere disponibile il file al Client RM…5. … o attraverso lo SRM stesso 6. … o direttamente

Esempio d’uso dei comandi di replica

[doria@atlasui01 ~]$ voms-proxy-init --voms atlasEnter GRID pass phrase:Your identity: /C=IT/O=INFN/OU=PersonalCertificate/L=Napoli/CN=Alessandra DoriaCreating temporary proxy.............................................. DoneContacting voms.cern.ch:15001 [/DC=ch/DC=cern/OU=computers/CN=voms.cern.ch] "atlas" DoneCreating proxy ................................................. DoneYour proxy is valid until Wed May 14 12:46:32 2008

[doria@atlasui01 ~]$ export LFC_HOST=lfc.cr.cnaf.infn.it[doria@atlasui01 ~]$ lcg-cr --vo atlas -d srm://t2-dpm-01.na.infn.it/dpm/na.infn.it/home/atlas/users/alessandradoria/test100 -l /grid/atlas/users/alessandradoria/test100 file:///home/doria/testguid:b7f199a0-8a75-4e70-bacc-08c8cf1af981[doria@atlasui01 ~]$ lfc-ls -l /grid/atlas/users/alessandradoria-rw-rw-r-- 1 19014 1307 42 Feb 07 2007 ale12-rw-rw-r-- 1 19014 1307 42 Feb 12 2007 ale13-rw-rw-r-- 1 19773 1307 153808339 May 14 01:04 test100

Input e Output su SE nel JDL

• Vediamo gli attributi del Job Descrition Language gli chespecificano Input e Output (da/a) un SE

InputData

Executable=Executable=Executable=Executable= ““““/home//home//home//home/doriadoriadoriadoria////mytestmytestmytestmytest””””;;;;

Input e Output su SE nel JDL

OutputData

References• Data Management e Storage Element:

gLite User Guide – cap. 7 – Data Management

https://edms.cern.ch/file/722398/1.2/gLite-3-UserGuide.html

• GRIDFTP

http://globus.org/toolkit/data/gridftp/• F. Donno et al., "Storage Element Model for SRM 2.2 and

GLUE schema description, v3.5“:http://glueschema.forge.cnaf.infn.it/uploads/Spec/V13/SE-Model-3.5.pdf

LEZIONE N. 10LEZIONEpeople.na.infn.it/~merola/CORSO_GRID_2008-09/Lezione_10... · 2009-05-07 ·...

Documents

Transcript of LEZIONE N. 10LEZIONEpeople.na.infn.it/~merola/CORSO_GRID_2008-09/Lezione_10... · 2009-05-07 ·...

Pos. - istitutogreppi.edu.it...aa 10 giagnorio costantina 30,7 aa 11 colombo ornella 28,93 aa 12 romeo anna maria 27,6 aa 13 cuva antonella 27,3 aa 14 formichella anna 26,67 ... aa

Introduzione a ROOT (parte III)chiesa/labinfo/Lezione_10.pdf · (sigma gaussiana) Il numero di ... CASO1: Signal + Background Function > 99448 signal events. LabInfoII - Lezione10

Progetto Fireworks Simulatore di spettacoli pirotecnici Linguaggi e Modelli Computazionali LS Francesco Ferri.

Modelli Computazionali per la Comunicazione Lezione del 25 ottobre 2006 "What Has Happened to Ontology?"

L’Istituto di Scienze computazionali dell’USI

LIstituto di Scienze computazionali dellUSI. USI La creazione dellIstituto di Scienze computazionali (ICS) è approvata dal Consiglio dellUSI nel luglio.

4a Data Mining e motori computazionali

Appunti di Metodi Statistici e Computazionali

Semantica approcci computazionali

Risorse Computazionali per il Web Semantico

...Fascia Profilo Descrizione Profilo I n c. 3 AA ASSISTENTE AMMINISTRATIVO 3 AA ASSISTENTE AMMINISTRATIVO 3 AA ASSISTENTE AMMINISTRATIVO 3 AA ASSISTENTE AMMINISTRATIVO 3 AA ASSISTEN

Progetto per lesame di Linguaggi e Modelli Computazionali LS Chiara Chiara Gualtieri.

Livello di Retetwiki.di.uniroma1.it/pub/Reti_elab/CanaliCongiunti/Lezione_10-rete-IP... · 1-2 Pila di protocolli Internet applicazione: di supporto alle applicazioni di rete FTP,

Attività progettuale in Linguaggi e Modelli Computazionali M My Small Language Realizzato da: Filippo Malaguti.

Progetto di Linguaggi e Modelli Computazionali LS Andrea Decorte.

3 AA 49 TUZZOLINO ANTONIETTA 22,4€¦ · 3 aa 60 cascio angela claudia 20,9 3 aa 61 tolstoi ... 3 aa 149 gulisano annalisa 15,8 3 aa 150 montana maurizio 15,75 3 aa 151 nappa elsa

Percorsi di linguistica e filologia computazionali fileAndrea Bozzi Percorsi di linguistica e di filologia computazionali a cura di Maria Sofia Corradini Bozzi e Giacomo Ferrari testi

INFORMATICA UMANISTICA D: LESSICOGRAFIA E COMPUTER Rappresentazioni vettoriali del significato Teorie computazionali dellacquisizione lessicale.

LEZIONE N. 16LEZIONEpeople.na.infn.it/~merola/CORSO_GRID_2008-09/Lezione_16...Introduzione alle griglie computazionali aa 2006-07Griglie Computazionali - aa 2008-09 1 LEZIONE N. 16LEZIONE

Qualche altro esempio dai Principia - science.unitn.itfontanar/downloads/Lezione_10.pdf · La Prop. 39 del Libro I Prop. 39. Data una forza centripeta di qualsiasi genere, e supponendo