Testbed release:processo di integrazione e validazione

A. Ghiselli, L. Gaido

L’ attivita’ principale del testbed consiste in:

- validazione delle release sw prodotte dai WP di sviluppo

- integrazione delle release dei singoli WP per produrre la release generale (Testbed release)

- validazione della Testbed release

- rilascio “ufficiale” e distribuzione della release

Affinche’ questo processo sia possibile altre attivita’sono svolte parallelamente. Esse riguardano:

- Information Service

- autorizzazione e security

- produzione dei kit di installazione

- monitoring

- allocazione risorse per i test

- validazione infrastruttura di Testbed

- organizzazione del supporto

Validazione sw prodotto dai WP

La prima fase di validazione consiste nella verifica che il sw prodotto sia funzionante e rispondente ai requirements.Per fare questo e’ necessario che:

- i WP che hanno prodotto il sw forniscano, insieme ad esso, dei ‘semplici’ programmi (benchmarks) che siano in grado di testare le caratteristiche specifiche del sw prodotto

- persone del WP che ha prodotto il sw partecipino all’attivita’ di test (abbastanza scontato)

Al termine della prima fase di validazione del sw e’ necessario integrarlo con il software prodotto dagli altri WP.

Chi se ne deve occupare?

Finora (Testbed0)….

L’INFN ha prodotto il kit di installazione del sw di Grid e ne ha fornito supporto anche per DataGrid. Ha mantenuto, inoltre, il contatto con tutti i soggetti coinvolti nella produzione di kit: - WP4 (prototipo basato su LCFG a Bo e Pd) - WP8 (kit installazione sw di esperimento) - WP12 (linee guida, dipendenze,…) - altri WP (gdmp, etc.)

Il “release team” di INFNGRID sta confezionandoun meccanismo per il packaging del software di griglia, in armonia con i requirements dettati dal WP4.

A Giugno/Luglio, il WP6 sara’ in grado di testare questo nuovo meccanismo di distribuzione in ambito del software di installazione del WP4 per le farms.

Con i francesi (che hanno la responsabilita’ del WP6) si sta creando un repository di sorgenti e binari del prodotto a partire dal mese 9

Per quanto riguarda il futuro l’INFN ha elaborato una proposta che verra’ sottoposta al WP6 di DataGrid.

Testbed release

The production of a Testbed Release consists of two main phases: - Middleware Integration, producing the first Testbed Release (or Beta Release)- Testbed Release Validation, producing the "Testbed Official release".

Each phase has specific objectives and will have a specific team.

Middleware Integration

In order to understand the most suitable organization could be useful to analyze the input, the sequence of the operation and the output of the integration process.

Input1. each WP will present its software package with the following information (to be agreed with the WPs):• A Software Product Description document• References to other WPs' package• References to external software (if any)• Test suite • WP person (1-2) responsible of the package

Input

2. Testbed software repository; where all the WPs' packages will be available for the integration. Each WP package should be conform to well defined guidelines (WP12 Recommendations).

Integration Team setup

The WPs managers and the Testbed permanent group on the Input basis, will decide :

1. the composition of the Integration team, taking into account the following components: - WPs package responsible(s) - Testbed software packaging and installation kit responsible (group) - Testbed basic service people (if required) - QA person2. Team coordinator3. Testbed resources

Integration Team operations

The team will make a plan about:- How to produce the integrated package and the installation kit- The test suite of the integrated package

At the end, the team will present the Testbed release 1, included documentation and test suite, that will be the input of the "validation Process'.

Schema nel doc word

Da fare:

- costruire il primo release team (per il mese 9)

Come effettuare i test (sulle risorse del testbed)

1) I richiedenti il test (RT) presentano la richiesta al Planning Group contenente: - le finalita’ e le caratteristiche del test - le risorse necessarie (farm, siti, rete, altro) - i partecipanti al test - indicazione del test manager (riferimento globale per il test)

2) Il Planning Group (PG) si attiva per vedere quali sono le implicazioni delle richieste del test per quanto riguarda i servizi di grid coinvolti, le risorse disponibili, etc. Il Planning Group manda le info necessarie (fra cui le risorse assegnate) per il test al richiedente (RT), al test manager (TM) e “allerta” i site manager coinvolti.

Come effettuare i test (sulle risorse del testbed)

3) Test manager: - verifica che le risorse assegnate siano disponibili - in collaborazione con il resource database manager alloca le risorse (nel database XML) - in collaborazione con l’ LDAP manager crea i grid-mapfile - si mette in contatto con i site manager per la definizione degli account e trasmette loro i grid-mapfile necessari per il test - alla fine del test redige un report 4) LDAP manager: - prepara utenti/gruppi nel database - costruisce i grid-mapfile in collaborazione con il Test Manager

5) Site manager: - preparano le farm configurando l’ambiente richiesto per il test - creano gli account e aggiornano il grid-mapfile - forniscono supporto al test manager ed ai partecipanti al test

Come effettuare i test (sulle risorse del testbed)

6) Utenti: - eseguono il test coordinati dal TM - si rivolgono ai site manager ed alla struttura di supporto in caso di problemi

7) Responsabili WP: - supervisionano tutta l’attivita’ dei test

Come effettuare i test (sulle risorse del testbed)

Tools necessari: - form per fare la richiesta di test (con info obbligatorie) - il database delle risorse deve contenere piu’ informazioni (sw grid installati sulle farm, sw di esperimento, versioni, flag di “occupato” possibilmente associato ad un periodo temporale, etc. ) - e meccanismo di ricerca rapido delle risorse nel DB (per poter selezionare quelle che hanno certe caratteristiche) - database LDAP con i certificati per la creazione automatica dei grid-mapfile - tool di validazione dell’infrastruttura del Testbed (benchmarks, etc.)

Vedi schema dal file word

Planning Group (mancano i nomi definitivi)

Testbed coordinators: Antonia Ghiselli, Luciano GaidoWP requirements: (WP managers?)Applications: - CMS: C. Grandi, G. Bagliesi, ......- Atlas: L. Luminari, B. Osculati, S. Resconi, ......- LHCb: R. Santacesaria, V. Vagnoni, S. Vecchi, .......- Alice: R. Barbera, P. Cerello. .......- Virgo: C. Palomba, A. Euleteri, F. Barone, F. Ricci, ..........Release distribution and documentation : F. Donno, A. Sciaba’, S. BaraleNetwork coordination : T. Ferrari, L. GaidoGrid basic services coordinators:- Information service : A. Cavalli, L. Fonti, F. Semeria, G. Vitafinzi, A. Bassi- Security service: R. Alfieri, L.Dell’Agnello, R. Cecchini, A. Gianoli- Monitoring: F. Semeria, R. Barbera

Ulteriore problema e’ il supporto:

E’ stata elaborata una proposta da sottoporre al WP6 diDataGrid.Due livelli:

- central management - local management

Central management and support: Central Admin-group

The Admin-Group will act as central management group and has to provide:· Configuration, tuning and overall maintenance of the DATAgrid Testbed software release · Configuration, tuning and overall maintenance of the globus software · Management tools · Activity reports · Resourse statistics (CPU, Network, )· Guidelines about the testbed and Globus releases that have to be installed · Help desk for users and local administrators· Interface to the Globus support-team and the WPs contacts for software problems handling

The required man-power should be 1 person for each organization + dedicated project man-power

Local management and support: Local admin-group

Local management has to provide:· release installation in agreement with the central management · implementation of the local usage policies· first level of the user support

man-power: 2 people per site (site managers or others)

vedi schema nel doc word

Per quanto riguarda i servizi:

IS: • continuano le attivita’ di test su MDS2• sviluppo infrastruttura basata su MDS2 per fine giugno• attivita’ svolta in ambito DataGrid

Security:• partecipazione alle attivita’ di DataGrid (coordinamento tra CA)• INFN e’ la piu’ attiva

Autorizzazione:

• attivita’ appena iniziata in ambito europeo• l’INFN si propone di coordinare questo tipo di attivita’

Ruolo e partecipazione degli esperimenti

persone FTE

ALICE 5 2.2 ATLAS 6 1.2CMS 11 3.2 LHCb 5 1.7VIRGO 3 1

totale 30 9.3

CMSMaggi (BA), Capiluppi (BO), Grandi (BO), Siroli (BO),Renzi (BO), Costa (CT), Gasparini (PD), La Caprara (PD), Ronchese (PD), Sciaba’ (PI), Valente (Roma1)

ALICEMura (CA), Masoni (CA), Barbera (CT), Sitta (TO),Scomparin (TO)

ATLASResconi (MI), Vercesi (PV), Marzano (RM1), De Salvo (RM1), Luminari (RM1), Stanescu (RM3)

LHCbVagnoni (BO), Galli (BO), Marconi (BO), Gianoli (FE),Santacesaria (RM1)

VIRGODe Rosa (NA), Eleuteri (NA), Palomba (RM1)