Ampliamento dell’infrastruttura del CNAF/T1

Referee meeting 28/8/2008

infrastruttura

• 1) Stato progetto di ampliamento:– pianificazione, progetto esecutivo

• 2) Stato progetto migrazione:– Fase gialla– Fase blu

• 3) Piano per risorse 2008

• 4) stato autorizzazioni/comunicazioni

• Progetto di ampliamento– Consegnato il progetto definitivo il 6/07/07

– Il progetto definitivo contiene:• Relazione tecnica

• Relazione tecnica per le diverse tipologie di interventi previsti:– impianto meccanico

– impianto elettrico

– opere edili

– opere strutturali

– opere di insonorizzazione

• Computo metrico estimativo, disciplinare descrittivo e prestazionale, una serie di elaborati grafici per i vari impianti previsti

tempi

• Il progetto definitivo e’ stato consegnato il 6/7/2007 con circa 4 mesi di ritardo rispetto alle date previste dal contratto (1/3/2007)

• L’ufficio tecnico del responsabile del procedimento ha validato immediatamente il progetto definitivo, in termini di tipo e contenuto degli elaborati tecnici che corrispondono a quanto previsto dalla legge vigente per gli appalti pubblici.

• Sono stati consegnati alla ditta di progettazione STEAM s.r.l di Padova, per ogni tipologia di intervento una serie di osservazioni e miglioramenti da recepire nella stesura del progetto esecutivo

• Il progetto esecutivo, da contratto e’ in 15 giorni dalla data di validazione del definitivo

tempi

• Durante il mese di agosto sono proseguite attivita’ di sopralluogo e di rilievi per eseguire gli schemi ed i progetti di dettaglio necessari ad appaltare le opere

• Il progetto esecutivo non sara’ comunque disponibile per il l’inizio di settembre 07

• Obiettivo: ricevere e validare il progetto esecutivo in tempo per richiedere l’appalto dei lavori al direttivo di ottobre 2007

tempi

• Inizio ottobre 07 progetto esecutivo• Fine ottobre 07: approvazione consiglio direttivo indizione gara di

appalto lavori• Fine novembre 07: pubblicazione bando gazzetta europea e GURI• Fine gennaio 08: prequalifica aziende• Fine febbraio 08 : lettera di invito e ricezione offerte economiche• Direttivo di marzo 08: delibera di assegnazione lavori • Fine maggio 08: firma del contratto di appalto• Inizio lavori Luglio 08• Durata lavori: il crono-programma e’ uno dei documenti previsti nel

progetto esecutivo e quindi ad oggi non e’ disponibile, i lavori sono ‘standard’ cioe’ non sono necessari pezzi unici da realizzare ad hoc, valutazione personale durata dei lavori 6 mesi.

• E’ importante avere il tempo di valutare e studiare bene il progetto esecutivo, per ridurre il piu’ possibile la necesssita’ di modifiche in corso d’opera costose in termici economici e di tempo

costi

• L’importo complessivo dell’intervento , inclusi le somme a disposizione dell’amministrazione, imprevisti, IVA passa da:– € 4.286.080,59 - progetto preliminare– € 6.985.926,00 - progetto definitivo

• Dettaglio degli incrementi: – Impianto Elettrico:

• € 1.719.420,05 - progetto preliminare

• € 3.094.862,92 - progetto definitivo

Costi

– impianto meccanico/termo-idraulico:• € 800.491,76 - progetto preliminare• € 1.429.432,97 - progetto definitivo

– opere edili/strutturali/acustiche:• € 286.270,54 - progetto preliminare• € 640.173,53 - progetto definitivo

– motivazioni incrementi di costo:• manutenibilita’ di tutti gli apparati• ridondanza di almeno un apparato per ogni tipologia• separazione tra impianti tecnologici (distribuzione acqua, antincendio

etc) e locali con apparecchiature informatiche• carico ‘utile/informatico’ installabile 1400KW

– carenze progettuali del definitivo• impianto di supervisione e controllo • opere strutturali non chiaramente motivate e valutate genericamente• dettaglio dei prezzi: alcune voci del CME sono macro voci non

analizzate• Elaborati grafici elettrici non completi degli schemi dei quadri e della

tabella delle potenze

Acrobat Document

Acrobat Document

Decisioni progettuali

• UPS statici o rotanti?– Abbiamo deciso per UPS rotanti se costo

comparabile con quelli statici

• Sorgenti alternative di acqua refrigerata– Flangia disponibile per installazione

scambiatore di calore per eventuale sorgente di tele-raffrescamento

• Trasformatori– 4 trasformatori in resina da 2000KVA Vcc 8%– In accordo con ENEL

Migrazione

• Fase gialla, consiste in:• Impianto termo-idraulico

– Installazione Chiller aggiuntivo– Realizzazione collegamento con impianto di distribuzione

acqua fredda attuale– Distribuzione acqua fredda ai condizionatori interni alle

isole ad alta densita’ che verranno installati in sala 1 (dove verranno spostate le apparecchiature informatiche) realizzate in modalita’ compatibile con il progetto di ampliamento

– Predisposizione per terminali di ventilazione/scambio acqua aria nelle zone rete, GARR, libreria etc che verranno isolate dal resto dei locali durante i lavori

– Lavori appaltati contratto in corso di svolgimento, punto 1 e 2 completati

Migrazione

• Fase gialla, consiste in:• Impianto elettrico

– Installazione quadro aggiuntivo nella cabina elettrica dell’universita’

– Realizzazione collegamento elettrico impianto distribuzione e di raffreddamento acqua nuovo con relativi quadri

– Collegamento ‘esterno’ alla sala Tier1 in modo da non ‘disturbare e non essere disturbato dai lavori di ampliamento

– Predisposizione per collegare esternamente alla sala Tier1 macchine ed impianti che verranno riposizionati in sala 1

– Cablatura del GE al nuovo quadro in cabina

Migrazione

• Migrazione fase blu consiste in:– Realizzazione distribuzione elettrica agli armadi che

verranno installati nelle isole ad alta densita’ in sala 1 in modo compatibile con il progetto di ampliamento

– Realizzazione relativi quadri elettrici come da progetto di ampliamento

– Spostamento UPS

– Scavi per alloggiamento QE

– Collegamento ‘esterno’ alla sala di tali quadri con la cabina elettrica dell’univerisita’

Gare e procedure

• Fornitura e posa in opera di Quadri elettrici e Blindo per upgrade Sala 1 del  Tier1, incluso alimentazione isole e predisposizione per nuova libreria , importo ~ 200Ke

• Lavori per collegamento temporaneo della Sala 1 alla fornitura elettrica universita’ con passaggio ‘esterno’ importo ~ 100KEuro

• Lavori edili in sala 1 (scavi, pavimento flottante, delimitazione per cantiere futuro, parete in laterizio per corridoio tecnico, spostamento UPS): ~ 30 K Euro

tempi

• Progetto per fornitura e posa in opera upgrade sala 1 entro 10 settembre, delibera consiglio direttivo di settembre, durata procedura di assegnazione circa 4 mesi, inizio lavori febbraio 08, durata 1 mese

• Lavori edili assegnabili direttamente, conclusione entro dicembre 2008

• Lavori elettrici esterni come per fornitura e posa in opera blindo …., inizio lavori febbraio 08, durata 15 giorni

• Conclusi i lavori idraulici e quelli edili si possono realizzare:– stesura della rete dati, selezione della ditta per la

fornitura gia’ in corso

– installazione delle isole ad alta densita’

– Migrazione macchine in sala 1: marzo 08

– E’ previsto uno spegnimento completo, del centro, spostamento UPS e riaccenzione delle macchine nella nuova sala durata del down: 2 giorni

• Nel frattempo le nuove installazioni previste proseguono nelle sale attuali

Acrobat Document

Piano 2008

• Nella sala1 che e’ destinata ad ospitare tutte le risorse del Tier1, durante la fase dei lavori di upgrade per portare la potenza complessiva disponibile fino a 4 MWatt, sono previste 4 isole ad alta densita’ APC con 11 rack ciascuna ed un’isola con 12 : 56 Racks in totale piu’ la libreria attuale e la nuova libreria.

• Risorse raccomandate per il Tier1 per il 2008 (fino al 1 aprile 2009 secondo le attuali regole di LHC) :

– CPU: 7.5 M SpecInt2K– Disco: 3 PByte– Tape: 4.5 PByte

• La soluzione per soddisfare completamente queste raccomandazioni durante tutta la fase dei lavori di upgrade del centro dati gli spazi e le potenze elettriche e frigorifere a disposizione nella sala 1

Acrobat Document

Piano 2008- Farming

• Attualmente il Tier1 dispone di 3 Racks di dual core Blade a 2.0 a GHz che complessivamente forniscono ~1.5 M SpecInt2K.

• La potenza totale di CPU disponibile pari a ~ 3 MSpecInt2K e’ ottenuta da una serie di racks aggiuntivi (16 racks) che ospitano processori 1U da 2.4 a 3 GHz.

• Il singolo core del quad core risulta avere prestazione praticamente simili a quelle di un single core del dual core a 2.6 GHz., quindi 1 Rack riempito con quad core rende disponibili ~1 MSpecInt2K..

• Si propone di eliminare i 16 racks contenenti processori 1U acquistati da due o piu’ anni e perdendo cosi’ in totale ~1 MSpecInt2k e risparmia ~90 KWatt di potenza elettrica.

• Si acquistano 5 nuovi Rack di Blades quad core con frequenza di 2.6 GHz o superiore per arrivare ai 7 MSpecInt2k., questi 5 nuovi Racks consumano ~90KWatt..

• Sono da conservare e spostare in Sala1 – 3 Racks con i Blade HP– 6 Racks di Opteron – 1 Rack di Server.

• Quindi tutta la farm cosi’ costituita ed i server occupano nel 2008 un totale di 15 Racks per dare 7MSpecInt2K, senza aumentare sostanzialmente il consumo di potenza elettrica attuale che ora e’ 140KW.

• Il consumo previsto per questa configurazione in totale e’ 174 KW.

Piano 2008- storage

• Attualmente e’ disponibile 1 PB di disco che occupa i seguenti Racks:– 5 Racks IBM (300 TB, 14 KWatt) – 5 Racks Storage Tek (250TB, 17 KWatt),– 10 Racks EMC2 (400 TB +DB, 24 KWatt), – 9 Racks con servers, diskserver e infortrend

(33 KWatt )• totale 90 KW.

– Sono in acquisto 200TBytes aggiuntivi alloggiati in 3 Racks.

Piano 2008- Storage

• Si possono mantenere:– 9 Rack EMC2 (inclusi i diskserver) che

forniscono 400TB RAW, e consumano 24KWatt– 5 racks IBM che forniscono 300TB e

consumano 14KW– 1 racks di diskserver/server nazionali 6 KW (in

zona 6)

• Totale 44 KW e 15 Racks– Aggiungere i 200TB di disco in corso di

acquisizione comporta 3 Racks e 12KW aggiuntivi

Piano 2008

• Con dischi da 1 TB saranno disponibili 146TB Netti/Rack e quindi acquisire i 2 PB aggiuntivi richiede 14 Racks di disco per 2 PB + altri 7 Racks per 200 Disk server -> 21 racks in totale, con un consumo totale di 78KW (8 rack di disco consumano 18KW, 14 racks di disco consumeranno 36KW, 1 rack di disk server 6KW, 7 Rack di disk server 42KW).

• Totale necessario per 3 PB, 15+3+21=39 Racks • Un’ ulteriore ottimizzazione si puo’ fare sostituendo anche i 5 Rack

dello storage IBM con un paio di nuovi Racks con dischi da 1 TB. In questo modo, se necessario, si possono risparmiare altri 3 Racks per nuove esigenze. Un ulteriore spazio che puo’ contenere fino a 7-8 Racks e’ ancora disponibile per nuove esigenze nell’area della sala riservata alla nuova libreria.

• In questi spazi si possono quindi facilmente ospitare i 2-3 rack di WN utilizzati correntemente per vari test

• Le risorse di INFN-GRID ed i testbed rimangono ospitati i nella zona dedicata alla rete in sala 2 che non sara’ toccata durante i lavori.

Piano 2008: Riassunto disponibilita’ e consumi

• Totale disponibile in Sala 1

• Farm + servizi: 174KW, 15 Rack, 7 MSpecInt2K

• Disks, diskserver e Libreria attuale: 136 KW su 39 Racks; 3PB disco e 1 PB Tape

• Nuova Libreria : <20 KWatt; ulteriori 3.5 PB Tape

• Switch di Rete, Racks test e Grid in sala2: 60-70 KWatt

• Totale 54 Racks e 2 Librerie in Sala1 + materiale in Sala2 con un consumo globale di ~400 KW, compatibile con la potenza attuale consumata globalmente dalle apparecchiature sotto UPS pari a 405 KWatt

Conclusioni

– La soluzioni proposta prevede• la potenza consumata in sala dalle apparecchiature rimanga

costante rispetto a quella consuma attualmente e pari a ~450 KWatt

• Il nuovo gruppo frigo in corso di accensione fornira’ capacita’ frigorifera di 320 KWatt con un fattore di rendimento (COP) di circa 2,2, cioe’ con un consumo di 145KW, da verificare sul campo

• Il gruppo frigo attuale ha invece un rendimento pari a meno di 1 nei mesi estivi ed 1,5 nei mesi invernali

• Utilizzando al massimo il nuovi gruppo frigo , si potrebbero avere disponibili altri 150 KW dovuti ad un migliore rendimento del nuovo apparato, utilizzabili per nuovi dispositivi o per margine nei consumi se maggiori di quelli previsti

• Si puo’ partire da subito con le nuove acquisizioni per poi spostarle in sala 1 secondo questo piano quando disponibile