1 © CINECA - WS INAF Marzo 2008 Dipartimento Sistemi & Tecnologie D. S&T Evoluzione del sistema di...

1© CINECA - WS INAF Marzo 2008

Dipartimento Sistemi & TecnologieDipartimento Sistemi & TecnologieD. S&TD. S&T

Evoluzione del sistema di supercalcolo

CINECACasalecchio di Reno (BO)

Via Magnanelli 6/3, 40033 Casalecchio di Reno | 051 6171411 | www.cineca.it


La facilityLa facility

ARRIVO ENEL

GE 250 KVA

GE 1- 1750 KVAGE 2 - 1750 KVAGE 3 - 1750 KVA

CAB “A”

Q. BT “A”

Q. GE 250

PC Ia fase

UPS (80+80+80)/2

UPS (250+250)

PC IIa fase

UPS 2K/A1-4

UPS 2K/B5-8

Q. CDZ 1

Q. CDZ ENI

Q. GE 3

Q. CDZ CRAY

Q. CDZ SM

CAB “B1” CAB “B”

CAB “C”

CROSS

MTBT

SUPER CALCOLO CINECA

HOSTING ENI

Q, BT “B”

Q. BT “C”

CROSS

UPS (80+80+80)/1


Potenze Installate 2007Potenze Installate 2007

Potenza impegnata contrattualmente con ENEL 4200 KW

N°3 trasformatori in resina MT/BT Pn=1000 kVA cad. 3000 kVA



UPS 250+250 kVA 500 kVA

N°2 Sistemi UPS (3x80 kVA) 480 kVA

N°2 Sistemi UPS 2000 kVA 4000 kVA

GE3 1750 kVA 1750 kVA

GE2 1750 kVA 1750 kVA

GE1 1750 kVA 1750 kVA

GE 250 kVA 250 kVA


Infrastruttura HPC al CINECAInfrastruttura HPC al CINECAServizio calcolo scientificoServizio calcolo scientifico

Modello IBM LS20 IBM LS20 IBM 1350 IBM x346 IBM p5-575 HP BL460cArchitettura Linux Cluster Linux Cluster Linux Cluster Linux Cluster IBM SP Linux Cluster

ProcessoreAMD Opteron Dual-Core 2.6

Ghz

AMD Opteron Dual-Core 2.2 Ghz

Intel Pentium IV 3.06 Ghz

Intel Xeon Dual-Core 3.2 Ghz

IBM Power 5 1.9 Ghz


Rete di interconnesione

CISCO Infiniband SDR 4x


Myricom Myrinet LAN

Gigabit EthernetIBM High

Performance Switch

Voltaire Infiniband DDR 4x

Sistema operativo RedHat RHEL5 RedHat RHEL4 SuSE SLES 8 SuSE SLES 9 AIX 5.2 RedHat RHEL4

6,1 Tflops4.7 Tflops 6.2 Tflops 0.3 Tflops 3.9 Tflops

256

10240 GB 2128 GB 788 GB 90 GB 1216 GB 2048 GB

266 512 13 64

1024 48 512 1024

Numero di nodi

RAM

Performance di picco

BCX

5120

1280

26.6 Tflops

Nome Logico

Numero di core

BCC CLX FEC SP5 XC4

1064


Infrastruttura HPC al CINECAInfrastruttura HPC al CINECAServizio Calcolo TecnicoServizio Calcolo Tecnico

Nome LogicoENI

ENI01-02-03 ENI04-05-06 ENI07 ENI08

Modello IBM LS21 IBM HS21 IBM LS21 IBM HS21

Architettura Linux Cluster Linux Cluster Linux Cluster Linux Cluster

ProcessoreAMD Opteron Dual-Core 2.6

Ghz


AMD Opteron Dual-Core 2.6 Ghz


Numero di core3x 1024 3x 1024 2048 2048

10240

Numero di nodi3x 256 3x 256 512 512

2560

RAM3x 4096 GB 3x 4096 GB 8192 GB 8192 GB

40960 GB

Rete di interconnesione


Sistema operativo RedHat RHEL4

Performance di picco

3x 5.3 Tflops 3x 6,1 Tflops 10,6 Tflops 12,2 Tflops

57 Tflops


Infrastruttura di rete locale e rete geograficaInfrastruttura di rete locale e rete geografica

LAN WAN

• No single point of failure;• Multilayer architecture;• Separated domain routing• Core layer 40 + 40 GB/s of routing capacity

• Internet– GARR 200 Mbps, Tiscali 30 Mbps, FastWeb 20

Mbps.

• Link wan– DEISA 10 Gbps), ENI 2x1Gbps (2Q07)– 2-10 Mbps: meteo, ER Region, Health Min, other

private costumers


Infrastruttura di storageInfrastruttura di storage

• Integrated for HCP and ICT system• Technology transfer from HCP to ICT

environment• HPC Area scratch: 160 + 180 TB; 10

GB/s front end bandwidth• HCP repository: 30 + 80 TB; 4 GB/s

front end bandwidth

• ICT service: 75 TB; 5-15 TB synchronous / asynchronous replica

• No single point of failure• Adoption of GPFS as parallel file

system• TIVOLI Storage manager for archiving

and back up

Storage Storage ServersServers

SVCSVC

GPFS clusterGPFS cluster

Rete IPRete IP

GPFSGPFS(via (via IP)IP)

GPFS GPFS (via (via IP)IP)

Cluster ACluster A Cluster BCluster B … … Cluster NCluster N

NFSNFS

SAN HPC SAN ICT

BrocadeBrocadeSilkworm2800Silkworm2800

Storage Storage ServersServers



replica

SVC

2x Cisco2x CiscoMDS9513MDS9513


Posizione nel Top500Posizione nel Top500

Jun 93

Nov 93

Jun 94

Nov 94

Jun 95

Nov 95

Jun 96

Nov 96

Jun 97

Nov 97

Jun 98

Nov 98

Jun 99

Nov 99

Jun 00

Nov 00

Jun 01

Jun 01

Nov 01

Jun 02

Nov 02

Jun 03

Nov 03

Jun 04

Nov 04

Jun 05

Nov 05

Jun 06

Nov 06

Jun 07

Nov 07

226

Cra

y Y

mp

4p

e

266

285

Cra

y C

90 2

pe

353

132

Cra

y T

3D 6

4pe

168

209

159

Cra

y T

3D 1

28p

e

57 C

ray

T3E

128

pe

70

29 C

ray

T3E

120

0 12

8pe 38

36 C

ray

T3E

120

0 25

6pe 47

65

88

109

109

136

30 IB

M S

P4

512p

e30

3662 63

60 IB

M C

LX

102

410

0

131

225

44 IB

M C

BC

AM

D 5

120

67

48 IB

M H

S21

Xeo

n 5

120

1

51

101

151

201

251

301

351

401


Tera Flop sostenuti dai sistemi di maggior potenza per i paesi considerati

ASCII White

ASCII Q

DOE BGL

LLNL Blue Gene L

Blue Gene P

KEK

Tokio U.

Earth Simulator

Earth Simulator+

HPCx2

CSAR

HPCx

HPCx

Hector

EPSRC

LRZDWD

RZG

FZJ

HLRS

FZJ

LRZ

Gauss

Meteo FranceCNES

CEA CEA

Genci

CEPBA

Galizia U.

Mare Nostrum

CINECA

CINECA

CINECA

CINECA

0,1

1

10

100

1000

2000 2001 2002 2003 2004 2005 2006 2007 2008

Ter

a F

lop

USA

Giappone

Regno Unito

Germania

Francia

Spagna

Italia


Andamento della produzioneAndamento della produzione

Ore totale di produzione servizio di calcolo

34.274.309

13.238.646

2.774.275

5.264.6037.529.670

2.027.3331.519.0242.476.576

3.987.141

0

5.000.000

10.000.000

15.000.000

20.000.000

25.000.000

30.000.000

35.000.000

40.000.000

1999 2000 2001 2002 2003 2004 2005 2006 2007


Utilizzo per modelli di servizioUtilizzo per modelli di servizio

Utilizzo per categoria di utenza dati 2006

48,50%

43,00%

6,00%2,00% 0,50%

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

ConvenzioniEnti di Ricerca

e Università

Servizi per leIndustrie

Unione Europea ServizioMeteorologico

CINECA

Utilizzo per categoria di utenza dati 2007

32,63%

61,50%

3,59% 2,28%

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

Convenzioni, Entidi ricerca eUniversita'

Servizi per leindustrie

Unione Europea CINECA


Utilizzo dei sistemiUtilizzo dei sistemi

64%

55%

78%

56%

75%

60%

66%

66%

50%

66%

66%

55%

69%

69% 68%66%

54% 56% 54%

70%

58%63%

51%60%

0,00%

20,00%

40,00%

60,00%

80,00%

100,00%

1999 2000 2001 2002 2003 2004 2005 2006 2007

Utilizzo percentuale dei sistemi per il calcolo scientifico Cray T3E

IBM SP

CLX

'Generale'


Distribuzione dell’utilizzo da parte degli EntiDistribuzione dell’utilizzo da parte degli Enti

Convenzioni, Enti di Ricerca e Universita' 2007

INAF15%

INSTM7%

INFM24%

OGS1%

SISSA19%

UNI TS2%

ICTP10%

GRANT11%

CNISM6%

ALTRI5%


Il modello di riferimento dell’ecosistema HPC Il modello di riferimento dell’ecosistema HPC EuropeoEuropeo


Partnership for Advanced Computing in EuropePartnership for Advanced Computing in Europe

Partnership at State Member LevelPartnership at State Member LevelItaly represented by CINECA delegated by the MURItaly represented by CINECA delegated by the MURin collaboration with CNR / INFMin collaboration with CNR / INFM

€ 10 Mio EU funded project to define the implementation plan€ 10 Mio EU funded project to define the implementation plan

State Member in kind funding for the computing infrastructure State Member in kind funding for the computing infrastructure implementation, EU co found the transnational accessimplementation, EU co found the transnational access

Preparatory phase Preparatory phase


Prace Consortium membersPrace Consortium members

1 (Coord.) Forschungszentrum Juelich GmbH FZJ (GAUSS) Germany

2 Universität Stuttgart – HLRS USTUTT-HLRS (GAUSS) Germany

3 LRZ der Bay. Akademie der Wissenschaften BADW-LRZ (GAUSS) Germany

4 Grand Equipement national pour le Calcul I. GENCI France

5 Engineering and Phys. Sciences Research C. EPSRC UK

6 Barcelona Supercomputing Center BSC Spain

7 CSC Scientific Computing Ltd. CSC Finland

8 ETH Zürich - CSCS ETHZ Switzerland

9 Netherlands Computing Facilities Foundation NCF Netherlands

10 Joh. Kepler Universitaet Linz GUP Austria

11 Swedish National Infrastructure for Comp. SNIC Sweden

12 CINECA Consorzio Interuniversitario CINECA Italy

13 Poznan Supercomputing and Networking Centre PSNC Poland

14 UNINETT Sigma AS SIGMA Norway

15 Greek Research and Technology Network GRNET Greece

16 Universidade de Coimbra UC-LCA Portugal


PRACE GoalsPRACE Goals

• MoU:– Plan and manage the transition from the current European

cooperation in HPC to a European entity operating a world class Tier 0 HPC service, as defined in the ESFRI Roadmap

• FP7 Project: Exceute the preparatory phase of the RI– Prepare creation of a persistent pan-European HPC service as a

Research Infrastructure (RI)- 3-5 Tier-0 centres hosted by different countries- Meeting the demands of excellent users from academia and

industry- Integration with the European HPC Ecosystem

– Perform all tasks required to facilitate the operation of the RI immediately after the end of the project


• Preparation of the RI as a single legal entity– Legal form and governance structure, funding, procurement, and usage

strategy, Peer Review process– HPC Ecosystem links: European and national HPC infrastructures e.g.

DEISA, HPC-Europa, the ESFRI projects, EGEE and EGI, communities, vendors and user industries, …

• Prepare operation of petascale systems in 2009/2010– Deployment and benchmarking of prototypes– Porting, optimising, petascaling of applications– Start a process of technology development and assessment for future

multi-petascale systems

Work plan outlineWork plan outline


BSC Barcelona Supercomputing Centre Spain

CINECA Consorzio Interuniversitario per il Calcolo Automatico Italy

CSC Finnish Information Technology Centre for Science Finland

EPCC/HPCx University of Edinburgh and CCLRC UK

ECMWF European Centre for Medium-Range Weather Forecast UK (int)

FZJ Research Centre Juelich Germany

HLRS High Performance Computing Centre Stuttgart Germany

IDRIS Institut du Développement et des Ressources France

en Informatique Scientifique - CNRS

LRZ Leibniz Rechenzentrum Munich Germany

RZG Rechenzentrum Garching of the Max Planck Society Germany

SARA Dutch National High Performance Computing The Netherlands

and Networking centre

Participating Sites


Towards a European HPC Ecosystem – DEISA2Towards a European HPC Ecosystem – DEISA2

ObjectivesEnhancing the existing distributed European HPC environment (DEISA) to a turnkey operational infrastructure

National HPCCenter

(T1)National HPC

Center(T1)

National HPCCenter

(T1)

National DataCenter

(T1)National DataCenter

National HPCCenter

(T1)

National HPCCenter

(T1)

Advancing the computational sciences in Europe by supporting user communities and extreme computing projects

Enhancing the service provision by offering a complete variety of options of interaction with computational resources

FusionCommunity

CosmologyCommunity

Climate Community

Material SciencesCommunity

Weather forecastCommunities

IndustryCommunities

European Petascale Center(T0)



Integration of Petaflop-Centres The Petascale Systems need a transparent access from and into the national data repositories

DEISA2 – The Virtual European HPC CenterOperation - Technology - Application

USATeraGrid,DoE

JapanNAREGI

ChineseAcademy

RussianAcademy

DEISA2

Bridging worldwide HPC projects


Scheda per la segnalazione di Infrastrutture di Scheda per la segnalazione di Infrastrutture di Ricerca (IR) per la Roadmap ItalianaRicerca (IR) per la Roadmap Italiana

• Infrastruttura di Supercalcolo per l’Italia / HPC - Italian SuperComputing Infrastructure• ACRONIMO HPC-ISI• PROPONENTi• CINECA - Consorzio Interuniversitario (www.cineca.it)in accordo e con il supporto dei seguenti Enti e Consorzi di ricerca italiani:

– CNR-INFM: CNR - Dipartimento per la Fisica della Materia – INAF: Istituto Nazionale di Astrofisica– OGS: Istituto Nazionale di Oceanografia e di Geofisica Sperimentale – CNISM: Consorzio Nazionale Interuniversitario per le Scienze Fisiche della Materia – INSTM: Consorzio Interuniversitario Nazionale per la Scienza e Tecnologia dei Materiali – ICTP: International Centre for Theoretical Physics – SISSA: Scuola Internazionale Superiore di Studi Avanzati – CMCC: Centro Euro-Mediterraneo per i cambiamenti climatici – Servizio Meteorologico Emilia Romagna e Presidenza del Consiglio dei Ministri /Protezione

Civile – Istituto Ortopedico Rizzoli – Coordinamento Europeo Iniziativa Virtual Physiological Human – Iniziativa nazionale per la fluido dinamica computazionale – Rete Nazionale dei centri di competenza sui rischi naturali della Protezione Civile– Gli Atenei membri del Consorzio CINECA

http://www.cineca.it/


ObiettivoObiettivo

In questo scenario, la IR proposta ha l’obiettivo di realizzare “l’Infrastruttura di Supercalcolo per l’Italia” da inserirsi nell'ambito del modello a piramide definito dalla Commissione Europea.

La IR sarà costituita dal Tier 1 per l’Italia, che si indica venga reso disponibile presso il CINECA, che dovrà essere potenzialmente in grado di scalare al Tier 0, e sarà inoltre costituita dalla

integrazione in modalità grid del sistema distribuito dei centri di supercalcolo regionali e disciplinari con particolare riferimento ai centri PON (COMETA, COSMOLAB, CRESCO, Università Federico II) e ai Consorzi di Supercalcolo CILEA e CASPUR.


Elementi economiciElementi economici

Costi Strategia finanziamento

100 KEuro Spese di procurment

Fase di Costruzione70 MEuro

Noleggio operativo spalmato su di un periodo di 4 anni.I costi sono stimati per l’implementazione di una IR da posizionarsi a Tier0 e includono i costi di acquisizione del sistema di calcolo e i costi marginali per l’adeguamento del sistema di distribuzione della energia elettrica e dell’impianto di condizionamento

Il CINECA cofinanzia direttamente l’iniziativa con un investimento diretto dell’ordine di 20MEuro

Operatività Annua(incluso supporto utenti)10 MEuro

I costi includono il servizio di manutenzione delle apparecchiature, i costi diretti di esercizio, i costi diretti di gestione e i costi per l’attività di supporto utenti, disseminazione, formazione, collaborazione scientifica

Chiusura e Smantellamento100 KEuro

Il carattere di persistenza della infrastruttura non implica costi di smantellamento, per altro i costi di sostituzione dei sistemi di calcolo sono in genere inclusi nella fornitura successiva.


Supercomputer Definitions: the CINECA point Supercomputer Definitions: the CINECA point of viewof view

• A modern supercomputer is an enabler for capability computing in sufficient capacity.

High latency

Low latency

Low integration High integration

Internet GRID

INFN GRIDEGEE Capacity cluster

Capacity supercomputer

Distributed supercomputingDEISA

Capability supercomputerEnabling computing

CINECA


Evoluzione del sistema per il calcolo tecnico scientificoEvoluzione del sistema per il calcolo tecnico scientifico

• 1969: CDC 66001969: CDC 6600• 1975: CDC 76001975: CDC 7600• 1985: Cray X-MP / 4 81985: Cray X-MP / 4 8• 1989: Cray Y-MP / 4 64 1989: Cray Y-MP / 4 64 IBM 3090 600 VF IBM 3090 600 VF • 1993: Cray C-90 / 2 1281993: Cray C-90 / 2 128• 1994: Cray T3D 641994: Cray T3D 64 Cray C-90 / 2128 Cray C-90 / 2128 (IBM SP2 32)(IBM SP2 32)• 1995: Cray T3D 1281995: Cray T3D 128 Cray C-90 / 2128 Cray C-90 / 2128 (IBM SP2 32)(IBM SP2 32)• 1996: Cray T3E 128 1996: Cray T3E 128 Cray C-90 / 2128 Cray C-90 / 2128 (IBM SP2 32)(IBM SP2 32)• 1998: Cray T3E 256 1998: Cray T3E 256 SGI Origin 16SGI Origin 16• 1999: Cray T3E 256 1999: Cray T3E 256 SGI Origin 64 SGI Origin 64 IBM SP Power 3 16IBM SP Power 3 16• 2000: Cray T3E 256 2000: Cray T3E 256 SGI Origin 128 SGI Origin 128 IBM SP Power 3 128IBM SP Power 3 128• 2002: IBM SP4 5122002: IBM SP4 512 SGI Origin 128SGI Origin 128• 2004: IBM CLX Xeon 10242004: IBM CLX Xeon 1024 IBM SP4 512IBM SP4 512 SGI Origin 128SGI Origin 128• 2005: IBM SP5 5122005: IBM SP5 512 IBM CLX Xeon 1024IBM CLX Xeon 1024• 2006: IBM BCX Amd 51202006: IBM BCX Amd 5120 IBM SP5 512IBM SP5 512 IBM BCC 1024IBM BCC 1024• 2007: IBM BCX Amd 51202007: IBM BCX Amd 5120 IBM Eni Linux cluster 10240IBM Eni Linux cluster 10240• 2009: 100 TF2009: 100 TF

primo supercalcolatore in Italia

introduzione dei sistemi paralleli

introduzione dei sistemi massivamente paralleli

Introduzione di un sistema di classe tera flop

introduzione dei sistemi vettoriali

Introduzione di un sistema di classe 10x tera flop

Introduzione di un sistema di classe 100x tera flop


Alcune considerazioni TecnologicheAlcune considerazioni Tecnologiche

• I sistemi cluster hanno raggiunto il livello di maturità ed il limite di sviluppo• Esistono tre strategie di evoluzione

– Potenza del microprocessore: strategia IBM Power 6 ( verso i 10Ghz di clock– Miglioramento delle prestazioni del sistema di interconnessione: strategia Cray (Rete

di interconnesione proprietaria; utilizzo del bus AMD Hyper transport; eliminazione del jittering a livello del sistema operativo…

– Utilizzo di componenti a basso costo e basso consumo per realizzare sistemi ultra massively parallel: Strategia IBM Blue Gene

• Affiorano configurazioni di sistemi ibridi: scalare vettoriale; coprocessori (GPU, Cell, FPGA…

• Con riferimento alle strategie di evoluzione precedenti 100 TF si ottengono con configurazioni del tipo:

– 5/6 K processori Power 6 (IBM SP6)– 10/15 K processori AMD (Cray XT4 / 5)– 50 / 60 K processori PowerPC (IBM Blue Gene)

1 © CINECA - WS INAF Marzo 2008 Dipartimento Sistemi & Tecnologie D. S&T Evoluzione del sistema di...

Documents

Transcript of 1 © CINECA - WS INAF Marzo 2008 Dipartimento Sistemi & Tecnologie D. S&T Evoluzione del sistema di...