6//3/00 M.Mazzucato - GRID-Milano 1

IL NUOVO PROGETTO GRID INFN

SCOPO: Studio e sviluppo di una infrastruttura di calcolo per l’INFN distribuita su area geografica e connessa da una rete ad alta banda a strutture simili in corso di sviluppo negli altri paesi europei. Lo sviluppo dell’architettura e dei tools software necessari sara’ fatto in collaborazione con le altre Istituzioni dei paesi europei (UK-RAL,FR-In2p3,SP-IFAE…) all’interno di un progetto europeo comune

REQUIREMENTS : l’infrastruttura di calcolo dovra’ essere capace di soddisfare i bisogni di calcolo dei moderni esperimenti e in particolare quelli degli esperimenti a LHC e Virgo che sono ordini di grandezza superiori di quelli attualmente in corso al CERN. I risultati degli studi del progetto Monarc costituiranno un costante punto di riferimento per lo sviluppo del progetto

6//3/00 M.Mazzucato - GRID-Milano 2

The Grid

“Dependable, consistent, pervasive access to [high-end] resources”

• Dependable: Can provide performance and functionality guarantees

• Consistent: Uniform interfaces to a wide variety of resources

• Pervasive: Ability to “plug in” from anywhere

6//3/00 M.Mazzucato - GRID-Milano 3

Layered ArchitectureApplications

Core ServicesMetacomputing

Directory Service

GRAMGlobus

Security Interface

Heartbeat Monitor

Nexus

Gloperf

Local Services

LSF

Condor MPI

NQEEasy

TCP

SolarisIrixAIX

UDP

High-level Services and Tools

DUROC globusrunMPI Nimrod/GMPI-IO CC++

GlobusView Testbed Status

GASS

6//3/00 M.Mazzucato - GRID-Milano 4

Storia del progetto GRID INFN Dall’inizio del 1999 il CNTC ha cominciato a discutere ed

esaminare le tecnologie piu’ adatte a soddisfare i bisogni di calcolo degli esperimenti a LHC e in particolare a realizzare il sistema di Centri Regionali distribuito a vari livelli (Tier1..Tier4) proposto da Monarc. Vedi verbale CNTC 16/4/99

Riunione congiunta con esperimenti 28/6/99 a Napoli per

definire i requirements e computing models favoriti Indicazione verso Centri Regionali distribuiti Tier1…Tier4

Workshop CNTC di Martina Franca 28/10/99. Definizione di un programma di attivita’ per CNTC ed esperimenti a LHC e Virgo per arrivare a formulare una proposta di sperimentazione di una infrastruttura di calcolo distribuita in linea con i requirements

6//3/00 M.Mazzucato - GRID-Milano 5

Storia….

Workshop di Milano 16/12/99 e CNTC 21/12/99 a conclusione di un primo ciclo di discussioni nel CNTC, all’interno degli esperimenti e di valutazioni tecniche approfondite Conferma orientamento verso la sperimentazione di

tecnologie atte a realizzare Centri Regionali distribuitiOrientamento verso la sperimentazione delle

Computing GRID

6//3/00 M.Mazzucato - GRID-Milano 6

L’evoluzione del progetto Europeo Discussioni a livello Europeo in parallelo con le discussioni

interne all’INFN sulla stessa tematica Meeting tra EU and HEPCCC in Novembre 99

incoraggia la formulazione di un progetto europeo che affronti lo sviluppo di una tecnologia adeguata ad affrontare la problematica del calcolo distribuito alla scala degli esperimenti LHC

Direttivo INFN di Dicembre 99 da’ mandato a M. M. e F.Ruggieri a partecipare alle riunioni per il lancio del progetto

Kick-off meeting al CERN 11 gennaio, 2000 OK dal CERN e dai membri di In2p3, RAL-Pparc, Ifae, Nikhef, Ung. 2 Task forces: preparazione parte tecnica e proposal

La EU incoraggia a sottomettere un proposal per il 10 Maggio 2000

13 Febbraio 2000 sottomesso alla CE outline del progetto

6//3/00 M.Mazzucato - GRID-Milano 7

Descrizione del Progetto Europeo Scopo : Sviluppo e dimostrazione di WA Comp. Fabric Focalizza gli sforzi per risolvere le tematiche che sono

caratteristiche del mondo della fisica delle Alte Enegie e Nucleare e non sono coperte da altri progetti di GRID : management di grandi quantita’ di dati (Pbytes) high throughput computing management delle computing fabrics locali e wide-area GRID

Sviluppo del Middleware Realizzazioni di Testbed demonstrators usati su casi reali Collaborazione con altre scienze

“OK” a partecipare da parte di una collaborazione di Istituti Metereologici Europei organizzata da CNR-Bologna

Collaborazione con l’Industria Partners Italiani

6//3/00 M.Mazzucato - GRID-Milano 8

EU-Project : il programma di attivita’

Lista preliminare dei Workpackages:computing fabric managementmass storage managementwide area data managementwide-area workload managementwide-area application monitoringapplication development/adaptation

EU-Project : Le risorseNational/regional part of the GRID funded by national

agenciesEU financial support for development of midddleware,

overall integration and operation of testbeds

6//3/00 M.Mazzucato - GRID-Milano 9

Prospettive e benefici dal Progetto GRID per l’INFN

Sfruttamento ottimale delle risorse di calcolo e di storage presenti nell’INFN e in HEP tramite lo sviluppo di un software “middleware” di alto livello che consentira’ un accesso “trasparente” a tutte queste risorse

Acquisizione di una tecnologia di frontiera nelle sedi INFN che in prospettiva potrebbere trovare una larga applicazione in: Altri settori scientifici che hanno un comune il problema dell’accesso e

dell’analisi distribuita di grandi moli di dati Settori commerciali come ISP/ASP che si trovano a fronteggiare

l’esigenza dello sviluppo di cluster scalabili in siti centrali diversi per fronteggiare la domanda che viene dal Web, dalle ricerche su grandi archivi di dati e dal commercio elettronico

Universita’ : indirizzo applicativo informatico laurea in Fisica

6//3/00 M.Mazzucato - GRID-Milano 10

Alcuni numeri per il progetto Europeo ed INFN

Estimated computing resources required at CERN for LHC experiments in 2006 (Da Tech prop. e Monarc)

  collaboration ALICE ATLAS CMS LHCB Total CPU capacity (SPECint95)2006 450,000 600,000 600,000 70,000 1,720,000 annual inc. 150,000 200,000 200,000 15,000 565,000 estimated # cpus in 2006 2,250 3,000 3,000 350 8,600 disk capacity (TB)in 2006 300 550 550 80 1,480 annual inc. 90 200 200 20 510 mag. tape capacity (PB) 2006 3.7 3.4 3.4 1.4 11.9 annual inc. 2.0 2.0 2.0 0.9 6.9 aggregate I/O rates (GB/sec)disk 100 100 100 12 312   tape 1.2 0.4 0.4 0.2 2.2

SPECint 95: A modern PC has a performance of roughly20-30 SPECint95s. We expect this to grow to around 200 SPECint95s by 2006.

6//3/00 M.Mazzucato - GRID-Milano 11

Assunzioni Progetto Europeo

Estimated computing resources for an LHC Regional Computing Centre (2006) (Da Monarc)

    CPU capacity 120,000 SI95 disk capacity 110 Tbytes disk I/O rate 20 GBytes/sec tape storage 0.4 PetaBytes WAN connection 2.5 Gbits/sec

6//3/00 M.Mazzucato - GRID-Milano 12

I TESTBEDS DEL PROGETTO EUROPEO E INFN E’ opinione condivisa in Europa e in USA che per sviluppare la

tecnologia GRID adatta a risolvere i problemi del calcolo dei futuri

esperimenti sia necessario sviluppare dei testbeds che si sviluppino nel tempo fino ad arrivare a una dimensione non trascurabile di quanto sara’ necessario per LHC (10-20%)

Questo deriva :

Dalla complessita’ del Calcolo a LHC che al momento non ha uguali in altri settori scientifici o della societa’ma pero’ ne anticipa le esigenze (vedi talk Obectivitj e Nag a

Chep2000)

Dalla recente esperienza di Babar che ha mostrato come a questo livello di complessita’ i problemi non scalino

Si ritiene quindi che la validazione del middle-ware debba essere fatta su un Tier0 di circa il 50% di un centro per un esperimento LHC 2006 e su centri regionali fino al 20% negli altri paesi Europei

6//3/00 M.Mazzucato - GRID-Milano 13

Babar results in writing using Objectivity

0

4

8

12

16

20

24

28

32

36

40

0 20 40 60 80 100 120 140 160 180 200# nodes

even

ts/s

ecbaselineinitNrPages2dbClustersnoObjy2AMSes2AMSes+2dbClusters(segr)1Gb metadata4AMSes+4dbClusters(segr)fixedAMS (4 used)fixed AMS (1 used)FS defragm

4 datamovers

6//3/00 M.Mazzucato - GRID-Milano 14

TEMPI DI PREPARAZIONE PROGETTO Eu-Grid

Prossime scadenze Eu-Grid e conseguenze per l’INFN 7 Marzo : Workshop al CERN per definire il workplan e i

packages da sviluppare Il gruppo tecnico Grid-INFN ha gia’ formulato le proposte INFN

15 Marzo : Preparazione Draft con Workplan, schedule, risorse Approvazione del Draft da parte Management INFN

30 Marzo : finalizzazione del progetto : Istituzioni partecipanti, risorse richieste, piano attivita’, deliverables, schedule etc.. Inizio Scrittura Progetto Eu-Grid

30 Marzo - 30 Aprile : finalizazzione documento da sottomettere alla firma delle Istituzioni partecipanti

30 Aprile -10 maggio : Firma del documento dai rappresentanti delle Istituzioni

6//3/00 M.Mazzucato - GRID-Milano 15

STATO PREPARAZIONE PROGETTO INFN-Grid

Scala dei tempi concordata nella riunione CNTC del 28/10/99 Inizio immediato all’interno degli esperimenti della discussione sullo

sviluppo della tecnologia per i Centri regionali LHC e Virgo Costituizione immediata di un gruppo tecnico per la valutazione delle

tecnologie . Riunioni al CNAF 29/11/99, 14/12/99 26 Febbraio : Documenti finali approvati ufficialmenti dgli

esperimenti e contenenti : Indicazione del modello di computing che si intende adottare per la

sperimentazione Struttura gerarchica distribuita Tier1..Tier4 alla Monarc Sedi che intendono partecipare alla sperimentazione e in che ruolo Scelta della tecnologia di base per l’inizio della sperimentazione Piano di attivita’ per l’utilizzo dei test beds Manpower disponibile per lo sviluppo della tcnologia

6//3/00 M.Mazzucato - GRID-Milano 16

Le decisioni preliminari degli esperimenti :CMS

Verbale della riunione di CMS Italia a Firenze 25/11/99 (P. Capiluppi- Comp Coord CMS) CMS Italia preferisce un Centro Regionale (Tier1) presso una unita’ INFN coinvolta in

CMS La complessita’ del calcolo a LHC richiede infatti la possibilita’ di accedere

direttamente con privilegi ai sistemi specialmente nella fase iniziale di sperimentazione( Reboot, kill di jobs, daemon etc.)

CMS Italia preferisce un Centro Regionale Tier 1 “distribuito misto” che vede una sede come riferimento primus inter pares

CMS Italia ritiene che si debba rapidamente andare verso sperimentazioni reali di un Centro Regionale del tipo proposto utilizzando gli studi HLT come “use case” reale

Verbale della riunione CMS Comp. Italia a Padova 11/2/2000 (P. Capiluppi) Le tecnologie di Grid (e Globus) sono da sperimentare in quanto possono costiture il

mezzo per realizzare il calcolo distribuito (e gerarchico) necessario ad LHC e all'INFN (CMS). La partecipazione di CMS deve essere chiara e qualificata per lo sviluppo dei tools che costituiranno la base dei Centri Regionali.

CMS Italia intende pertanto partecipare al Progetto di Grid Europea con tutte le risorse che riuscira' a mettere in campo.

6//3/00 M.Mazzucato - GRID-Milano 17

Le decisioni preliminari degli esperimenti : ATLAS

Mail di L. Perini (Comp. Coord. Atlas) 15/2/2000 ATLAS-Italia e' intenzionato a realizzare un RC (Tier1) in Italia per lo

start-up di LHC. L'ipotesi preferita per l'implementazione si avvale dei servizi forniti

dai Consorzi di Calcolo per l'outsourcing del personale di tipo sistemistico e presumibilmente per ospitare l'hardware di calcolo (di proprieta' INFN)

ATLAS-Italia e' interessato alla sperimentazione dei tools di GRID, come delineato nel progetto EU-GRID, per realizzare in modo trasparente la distribuzione delle risorse di calcolo e dei dati fra i diversi Tier-n a disposizione della Collaborazione

La realizzazione per il 2003 di un prototipo in scala circa 20% dell'installato prevedibile per il 2006 presenta molti vantaggi

I siti individuati per la partecipazione alla fase iniziale di prototipizzazione sono due: Roma1 e Milano, con Roma1 capofila

6//3/00 M.Mazzucato - GRID-Milano 18

Le decisioni preliminari degli esperimenti : ALICE

Mail di A. Masoni (Comp Coord. Alice) 17/2/2000 Dato il ruolo che la collaborazione italiana ricopre all’ interno di

ALICE si ritiene necessario poter avere un centro regionale Tier1 in Italia

Si ritiene che la tecnologia della GRID possa costituire un valido approccio. ALICE-Italia è pertanto disponibile a partecipare all’attività di sperimentazione di prototipi di centri regionali con tecnologia GRID

Si ritiene che la strutturazione definitiva in termini di centri Tier-1,2,3 debba venire dai risultati della sperimentazione. L’ orientamento attuale è verso una architettura basata su un centro Tier1 distribuito fra due o tre sedi e tre o più centri Tier2. Una struttura di questo tipo tiene conto della distribuzione delle risorse nelle varie sedi e ne consentirebbe un ottimale utilizzo.

6//3/00 M.Mazzucato - GRID-Milano 19

Le decisioni preliminari degli esperimenti : Virgo

Mail di F. Ricci (17/2/99) Come Ti avevo assicurato nella riunione di Milano della commissione

da Te presieduta mi sono fatto carico di innescare nell'ambito della parte italiana dell'esperimento la discussione relativa al problema della partecipazione di Virgo alla sperimentazione di Grid.

Si e' avuta una rapida convergenza sul manifestare la nostra disponibilità a tale processo di sperimentazione ed abbiamo individuato un gruppo di persone, (praticamente uno per ciascuna sezione partecipante al progetto Virgo) che possano dedicare una limitata percentuale del loro tempo a questo scopo.

Noi siamo coscienti che Grid non risolve da solo il problema del calcolo di Virgo ma che si tratta certamente di una strada da esplorare insieme con la costituzione di solidi centri fortemente interconnessi per l'elaborazione ed il calcolo dei dati dell'esperimento.

Sono quindi nella condizione di assicurarTi, come Virgo Italia, il nostro pieno interessamento allo sviluppo di questi progetti

6//3/00 M.Mazzucato - GRID-Milano 20

LE DECISIONI PRELIMINARI DEGLI ESPERIMENTI

Tutti gli esperimenti sono d’accordo sui seguenti orientamenti (ATLAS, CMS, ALICE, VIRGO)

Dato il ruolo che hanno e per sfruttare al meglio gli investimenti fatti le collaborazioni italiane ritengono necessario poter avere un Centro Regionale Tier1 in Italia

Si ritiene che la tecnologia della GRID possa costituire un valido approccio. Tutti gli esperimenti sono pertanto disponibili a partecipare da subito all’attività di sperimentazione di prototipi di Centri Regionali con tecnologia GRID fornendo tutte le risorse che potranno mettere in campo

Si ritiene che la strutturazione definitiva in termini di centri Tier-1,2,3 debba venire dai risultati della sperimentazione. Una struttura di questo tipo tiene conto della distribuzione delle risorse nelle varie sedi e ne consentirebbe un ottimale utilizzo.

6//3/00 M.Mazzucato - GRID-Milano 21

INFN-GRID : future scadenze (da discutere..)

6 Marzo a Milano lancio progetto INFN GRID Strutture manageriali del progetto Piano di attivita’ manpower, schedule e milestones

7 Marzo al CERN : definizione contributo INFN e partners industriali INFN al progetto Eu-Grid

30 Marzo preparazione draft contenente workplan INFN-Grid contributo INFN EU-Grid manpower disponibile piano attuazione testbeds schedule e milestones

30 Marzo -30 Aprile discussione draft nell’INFN e finalizzazione progetto

30 Aprile presentazione progetto per l’approvazione finale in sintonia con il progetto EU-Grid

6//3/00 M.Mazzucato - GRID-Milano 22

INFN-GRID : Piano di attivita’

Contributo allo sviluppo dei tools comuni nel progetto Eu-Grid Realizzazione dei servizi necessari all’implementazione dei tools per

tutto l’INFN Certification authority INFN riconosciuta da Eu-Grid e Us-Grid Implementazione del sistema di Security per l’utilizzo delle risorse e

delle infrastrutture GRID INFN e Internazionali Sviluppo di Information Server INFN per l’allocazione e la gestione

delle risorse INFN Sistema gestione Farm per INFN

Implementazione di test beds secondo le necessita’ dei futuri esperimenti Collaborazioni con altri settori scientifici (Istituti metereologi…) in

Italia per la generalizzaione dei tools e dei servizi Collaborazione con partner industriali italiani per il traferimento

tecnologico

6//3/00 M.Mazzucato - GRID-Milano 23

RISORSE : EU-GRID (Stima iniziale..) Middleware development. Mostly young researchers and

software engineers. Industrial participation. Four teams of 4-5 persons at CERN plus 2-3 other sites. Total EU funded effort 20 person/year per 3 years = 60 PY = €5 M ->INFN 4-5P Fin. EU

CERN and the other partners will provide system support, training and management (4 senior system programmers plus 4 senior managers during 3 years). Total = 24 PY = €4 M EU unfunded effort -> INFN 2-3 P Fin. INFN

Testbed expertise and coordination: central team of 4-5 persons at CERN, 3 persons in larger partners and 1-2 in smaller. Total EU funded effort 20 persons/year = 60 PY = €5 M

-> INFN 3 P Fin EU

Applications: 5 persons in HEP, 5 persons in Biology and 5 persons in the other science = 15 person-years per year EU funded effort = €4 M. The consortium will provide at least twice as much effort, equivalent to €8 M. ->INFN 1 P Fin EU

6//3/00 M.Mazzucato - GRID-Milano 24

Overheads: Relocation of staff, travel subsistence: €1 M per year = €3M

Dissemination and workshops: €1 M in total

Networking: provided by other EU funded projects (estimated at €5 M/y)

Materials budget for test beds: CERN (3’000 CPUs = €2 M funded plus €1 M unfunded; disks = 300 TB = €4 M funded plus €2 M unfunded; mass storage = €1 M funded plus €1 M unfunded). Total for CERN: €11 M (€7 M EU funded + €4 M EU unfunded); Extensions to nationally funded testbeds: €5 M distributed between the partners. Total EU funded materials = €12 M. ->INFN 1 ML Infrastruttura

Total financial envelope:

EU funded: €18 M for personnel (and overheads) and €12 M for material = €30 M

Funded by the partners: €12 M for personnel and €18 M for materials = €30 M

Networking: €15 M (estimated) to be provided by Géant or other network projects.

INFN : 5M Euro da EU (1 M Infrastruttura + 4M Personale) INFN CONTRIBUTO : 5-10 M Euro Infrastruttura Grid iNFN + Pers.

6//3/00 M.Mazzucato - GRID-Milano 25

Risorse e manpower per INFN GRID (preliminare..)

Gli esperimenti a LHC prevedono dal 2001 al 2003 degli studi approfonditi per lo studio delle performance del rivelatore, del trigger e del software con numero crescente di eventi da simulare, ricostruire e analizzare CMS HLT: vari campioni di 10**7 eventi nel 2003 ->10**8 in totale Alice : Mock data Challenge Atlas : Mock data Challenge in corso di definizione

Si e’ proposto di dimensionare i test bed di INFN GRID in modo che possano rispondere a queste esigenze

Le esigenze di test beds per LHC-B, Virgo e altri esperimenti saranno incorporate non appena definite

Una prima stima del finanziamento necessario in 3 anni per l’infrastruttura Grid (assumendo di estendere il modello CMS agli altri esperimenti) e’: ~20 Glit (5 , 5 e 10 Glit) di cui ~2 Glit da EU-Grid

La prima stima del manpower INFN disponibile per il progetto Eu-Grid e INFN-Grid e di circa 20-25 FTE

Contributo EU-Grid al personale 8 Glit

6//3/00 M.Mazzucato - GRID-Milano 26

EU-GRID e INFN GRID : Conclusioni

Lo sviluppo della tecnologia delle GRID sta attirando risorse e progetti sempre piu’ numerosi in tutto il mondo

A Padova, dopo una settimana di Chep2000, sabato 14/2, piu’ di 100 persone, inclusi i responsabili del Computing dei maggiori laboratori, hanno partecipato al workshop sulle GRID, organizzato dall’INFN e alla discussione dei progetti EU-GRID, US-GRID e alla collaborazione EU-US in questo campo

~70 persone hanno parteipato al GRID tutorial di Carl Kesselman (co-autore del libro GRID con Ian Foster anch’esso presente), organizzato dall’INFN

In USA oltre ai progetti HEP PPDG e Griphyn la NASA sta realizzando il primo sistema di produzione basato sulla tecnologia GRID e sui tools di Globus

L’INFN come e’ apparso dal workshop e’ all’avvanguardia per l’esperienze fatte con Condor e i test beds di Globus

6//3/00 M.Mazzucato - GRID-Milano 27

EU-GRID e INFN GRID : Conclusioni La Giunta e il Direttivo hnno dato un OK sostanziale alla preparazione

di un proposal per un progetto INFN sulle Grid che comprende la collaborazione con i partner Europei nel progetto Eu-Grid per lo sviluppo del “middle-ware” comune.

Il progetto INFN-Grid sviluppera’ una infrastuttura generale Grid per l’INFN e si occupera’ in particolare dello sviluppo dei prototitipi dei Centri Regionali Tier1…Tier4 per LHC

E’ stato dato a MM il mandato di preparare il proposal per INFN-Grid entro i tempi previsti dal progetto europeo

La partecipazione INFN al progetto Eu-Grid sra’ coordinata nell’ambito del progetto INFN-Grid

Sono stati nominati referees che hanno il compito di valutare il progetto e dare il proprio parere alle Commissioni Scientifiche entro i tempi previsti per il Progetto Europeo Ferroni, Marini, Taiuti, Salina, forniranno il loro parere alle Commissioni

Scientifiche 1, 2, 3, 4 e 5 rispettivamente e Sozzi li coadiuva

6//3/00 M.Mazzucato - GRID-Milano 28

Tabella Provvisoria dei Costi

Altro Totali Contributo

PY Costo (M euro) (M euro) (M euro) EU(M euro)

CERN 48 4+1 Overhead 11 (7 EU) 16 8INFN 48 4+1 5 (1 EU) 10 5FRANCE 48 4+1 5 (1 EU) 10 5UK 48 4+1 5 (1 EU) 10 5HUNGARY 24 2+0.5 2 (1 EU) 4.5 2.5ALTRI 84 7+0.5 2 (1 EU) 9.5 4.5Totali 300 25+5 Overhead 30 (12 EU) 60 30

PersonaleNazione od Organizzazione

300 Persone Anno = 100 Persone x 3 Anni1 PY x 3 Anni = 250,000 Euro