Test per SC4Test per SC4

SRM, servers, clientsSRM, servers, clients

SRM e SC4SRM e SC4

Su GRID, SRM ha il compito di interfacciare Su GRID, SRM ha il compito di interfacciare differenti implementazioni di differenti implementazioni di storage storage managersmanagers

Rappresenta la “novità” nel file transferRappresenta la “novità” nel file transfer I test preliminari devono “provocare” le I test preliminari devono “provocare” le

funzionalità di basefunzionalità di base Ove le funzionalità siano presenti e Ove le funzionalità siano presenti e

funzionanti, se ne valutano le prestazioni funzionanti, se ne valutano le prestazioni scegliendo scegliendo opportuni parametriopportuni parametri per le per le misuremisure

Cosa fa SRM e come funzionaCosa fa SRM e come funziona

SRM non è un protocollo di trasferimento, SRM non è un protocollo di trasferimento, né di I/Oné di I/O

SRM interviene nella fase iniziale di SRM interviene nella fase iniziale di negoziazione del protocollo comune tra negoziazione del protocollo comune tra client e serverclient e server

Successivamente l’operazione continua Successivamente l’operazione continua usando un protocollo standard usando un protocollo standard (tipicamente srmcp “converge” verso (tipicamente srmcp “converge” verso gsiftpgsiftp))

SRMSRM

Server Server • dCachedCache• DPMDPM• StoRMStoRM• DRMDRM

ClientClient• DRM SRM clientDRM SRM client

SRM v1SRM v1 SRM v2SRM v2

• DPMDPM No Client SRM (solo lcg-*)No Client SRM (solo lcg-*)

• dCachedCache srmcp srmcp /opt/d-cache/srm/bin/opt/d-cache/srm/bin

$ /opt/d-cache/srm/bin/srmcp -debug file:////home/enzo/testo srm://pccms5.cmsfarm1.ba.infn.it:8443//dpm/cmsfarm1.ba.infn.it/home/gridit/testoStorage Resource Manager (SRM) CP Client version 1.17Copyright (c) 2002-2005 Fermi National Accelerator Laborarory SRM Configuration: debug=true gsissl=true help=false pushmode=false userproxy=true buffer_size=131072 tcp_buffer_size=0 stream_num=10 config_file=/home/enzo/.srmconfig/config.xml glue_mapfile=/opt/d-cache/srm/conf/SRMServerV1.map webservice_path=srm/managerv1.wsdl webservice_protocol=https gsiftpclinet=globus-url-copy protocols_list=http,gsiftp save_config_file=null srmcphome=/opt/d-cache/srm urlcopy=/opt/d-cache/srm/sbin/url-copy.sh x509_user_cert=/home/enzo/.globus/usercert.pem x509_user_key=/home/enzo/.globus/userkey.pem x509_user_proxy=/tmp/x509up_u500 x509_user_trusted_certificates=/etc/grid-security/certificates retry_num=20 retry_timeout=10000 wsdl_url=null use_urlcopy_script=false connect_to_wsdl=false delegate=true full_delegation=true from[0]=file:////home/enzo/testo to=srm://pccms5.cmsfarm1.ba.infn.it:8443//dpm/cmsfarm1.ba.infn.it/home/gridit/testo

srmcp 1/3

Wed Dec 14 19:16:31 CET 2005: starting SRMPutClientWed Dec 14 19:16:31 CET 2005: SRMClient(https,srm/managerv1.wsdl,true)Wed Dec 14 19:16:31 CET 2005: connecting to serverWed Dec 14 19:16:31 CET 2005: connected to server, obtaining proxySRMClientV1 : connecting to srm at httpg://pccms5.cmsfarm1.ba.infn.it:8443/srm/managerv1Wed Dec 14 19:16:32 CET 2005: got proxy of type class org.dcache.srm.client.SRMClientV1SRMClientV1 : put, sources[0]="/home/enzo/testo"SRMClientV1 : put, dests[0]="srm://pccms5.cmsfarm1.ba.infn.it:8443//dpm/cmsfarm1.ba.infn.it/home/gridit/testo"SRMClientV1 : put, protocols[0]="http"SRMClientV1 : put, protocols[1]="dcap"SRMClientV1 : put, protocols[2]="gsiftp"SRMClientV1 : put, contacting service httpg://pccms5.cmsfarm1.ba.infn.it:8443/srm/managerv1doneAddingJobs is falsecopy_jobs is emptyWed Dec 14 19:16:35 CET 2005: srm returned requestId = 72Wed Dec 14 19:16:35 CET 2005: sleeping 1 seconds ...

srmcp 2/3

Wed Dec 14 19:16:37 CET 2005: FileRequestStatus with SURL=srm://pccms5.cmsfarm1.ba.infn.it:8443//dpm/cmsfarm1.ba.infn.it/home/gridit/testo is ReadyWed Dec 14 19:16:37 CET 2005: received TURL=gsiftp://pccms5.cmsfarm1.ba.infn.it/pccms5:/storage1/cms/2005-12-14/testo.72.0doneAddingJobs is falsecopy_jobs is not emptycopying CopyJob, source = file:////home/enzo/testo destination = gsiftp://pccms5.cmsfarm1.ba.infn.it/pccms5:/storage1/cms/2005-12-14/testo.72.0GridftpClient: memory buffer size is set to 131072GridftpClient: connecting to pccms5.cmsfarm1.ba.infn.it on port 2811GridftpClient: gridFTPClient tcp buffer size is set to 0GridftpClient: gridFTPWrite started, source file is java.io.RandomAccessFile@1a8773c destination path is pccms5:/storage1/cms/2005-12-14/testo.72.0GridftpClient: gridFTPWrite started, destination path is pccms5:/storage1/cms/2005-12-14/testo.72.0GridftpClient: parallelism: 10GridftpClient: adler 32 for file java.io.RandomAccessFile@1a8773c is 3912265078GridftpClient: could not set addler 32 org.globus.ftp.exception.UnexpectedReplyCodeException: Custom message: Unexpected reply: 500 'SITE CHKSUM e9306d76': command not understood.GridftpClient: waiting for completion of transferGridftpClient: gridFtpWrite: starting the transfer in emode to pccms5:/storage1/cms/2005-12-14/testo.72.0GridftpClient: DiskDataSink.close() calledGridftpClient: gridFTPWrite() wrote 299bytesGridftpClient: closing client : org.dcache.srm.util.GridftpClient$FnalGridFTPClient@1c4f0f8GridftpClient: closed clientexecution of CopyJob, source = file:////home/enzo/testo destination = gsiftp://pccms5.cmsfarm1.ba.infn.it/pccms5:/storage1/cms/2005-12-14/testo.72.0 completedsetting file request 0 status to DonedoneAddingJobs is truecopy_jobs is emptystopping copier[pccms22] /home/enzo >

srmcp 3/3

BenchBench

Client C Client C multilibreria e multiprotocollo multilibreria e multiprotocollo per I/O e trasferimento di fileper I/O e trasferimento di file

da, verso e tra storage managersda, verso e tra storage managers

BenchBench Permette di usare i protocolli comunemente usati Permette di usare i protocolli comunemente usati

in GRID per effettuare: in GRID per effettuare: • Accesso ai file (file, rfio autenticato, rfio standard, pnfs, Accesso ai file (file, rfio autenticato, rfio standard, pnfs,

dcap, gsidcap)dcap, gsidcap)• Trasferimento (gsiftp)Trasferimento (gsiftp)

Permette di usare ogni protocollo mediante Permette di usare ogni protocollo mediante chiamate a differenti API (dcap, GFAL, rfio chiamate a differenti API (dcap, GFAL, rfio standard)standard)

Permette di testare anche SRM (GFAL)Permette di testare anche SRM (GFAL) Misura i tempi di tutti i trasferimenti al fine di Misura i tempi di tutti i trasferimenti al fine di

produrre statistiche suprodurre statistiche su• Tempi di apertura/chiusura di fileTempi di apertura/chiusura di file• Tempi di scrittura/letturaTempi di scrittura/lettura

Bench e le misureBench e le misure

L’uso di script Bash/Perl permette la L’uso di script Bash/Perl permette la realizzazione di test complessirealizzazione di test complessi

L’L’esecuzione contemporanea su esecuzione contemporanea su più client più client verso un unico serververso un unico server• può aspirare a saturare la banda che un può aspirare a saturare la banda che un

disk server può garantiredisk server può garantire• può verificare il bilanciamento del caricopuò verificare il bilanciamento del carico• può estrapolare il tempo di attesa per le può estrapolare il tempo di attesa per le

negoziazioni SRMnegoziazioni SRM

./bench -w -c 5 -s 12 -l gfal –e srm://pccms5.cmsfarm1.ba.infn.it:8443/dpm/ba.infn.it/home/gridit/

Bench <-> SRMBench <-> SRM

Bench non riesce a entrare nel dettaglio Bench non riesce a entrare nel dettaglio dei messaggi che i server forniscono dei messaggi che i server forniscono relativamente alle singole operazionirelativamente alle singole operazioni

Questo è importante nel caso di SRM, dove Questo è importante nel caso di SRM, dove il Report richiede la compliance il Report richiede la compliance relativamente ai singoli metodi di SRMrelativamente ai singoli metodi di SRM

Il client SRM di DRM Il client SRM di DRM • sembra supportare pienamente SRMv1/v2sembra supportare pienamente SRMv1/v2• entra sufficientemente in dettaglio nelle entra sufficientemente in dettaglio nelle

singole operazionisingole operazioni• permette di testare l’interoperabilità v1<->v2permette di testare l’interoperabilità v1<->v2

Codice e documentazioneCodice e documentazione

È disponibile del codice, che è in È disponibile del codice, che è in continua modificacontinua modifica

Il codice sarà disponibile e Il codice sarà disponibile e periodicamente aggiornato sul wikiperiodicamente aggiornato sul wiki

La documentazione è user-friendly, in La documentazione è user-friendly, in forma di esempi guidatiforma di esempi guidati

Sviluppi previstiSviluppi previsti

Creazione di un tool in C che apre n Creazione di un tool in C che apre n file su server (n≈10file su server (n≈1033) e misura le ) e misura le “reazioni” del server e del client“reazioni” del server e del client

Realizzazione di script Bash/Perl per Realizzazione di script Bash/Perl per test più complessi, seguendo le test più complessi, seguendo le direttive del reportdirettive del report

Reperire nuove informazioni sui CVS Reperire nuove informazioni sui CVS dei server e dei clientdei server e dei client