INFO Sevizio Centralizzato Informatica e Reti Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il...

INFO

Sevizio Centralizzato Informatica e Reti

Casaccia, 5, 06, 2002

Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

1

INFRASTRUTTURA PER IL INFRASTRUTTURA PER IL CALCOLO SCIENTIFICO DEL CALCOLO SCIENTIFICO DEL

Centro di FRASCATI Centro di FRASCATI

Ing. Antonio De GaetanoIng. Antonio De Gaetano

[email protected]@frascati.enea.it

INFO


Casaccia, 5, 06, 2002


2

PRINCIPALI RISORSEPRINCIPALI RISORSE

• IBM SPIBM SP

• CLUSTER LINUXCLUSTER LINUX

• GRAFICA AVANZATAGRAFICA AVANZATA

• CATIACATIA

INFO


Casaccia, 5, 06, 2002


3

Infrastruttura di Infrastruttura di calcoloFrascaticalcoloFrascati

SERVER AFS

Mainframe Gest.IBM-SP

SGI-ORIGIN 3200

Cluster Linux

AFSAFS

““enea.itenea.it””

Posta el. DNS

LAN

CATIA

Web

BACKUP & DIS.-REC.

INFO


Casaccia, 5, 06, 2002


4

IBM-SPIBM-SP

Elaboratore General Purpose Massivamente Elaboratore General Purpose Massivamente Parallelo ad architettura DMP (Distributed Parallelo ad architettura DMP (Distributed Memory Processor) costituito da un insieme Memory Processor) costituito da un insieme di nodi di calcolo interconnessi tra loro con di nodi di calcolo interconnessi tra loro con una rete dedicata ad alta velocità HPS (High una rete dedicata ad alta velocità HPS (High Performance Switch)Performance Switch)

• Utilizzato nei principali settori commerciali : Utilizzato nei principali settori commerciali : Banche, WEB, gestionale, editoria, database, Banche, WEB, gestionale, editoria, database, ecc.ecc.

INFO


Casaccia, 5, 06, 2002


5

SWITCH

SWITCH

MEMORY

FRAME 1 9,9 GFlops FRAME 2 9,6 GFlops

SWITCH

THIN 2

THIN 2 THIN 2

THIN 2

THIN 2THIN 2

THIN 2THIN 2

THIN 2 THIN 2

THIN 2 THIN 2

THIN 2

THIN 2

THIN 2

THIN 2

THINTHIN

MEMORY

SWITCH

PW3 PW3

PW3PW3

LANLAN

SWITCH

MEMORY

SWITCH

MEMORY

SWITCH

FRAME 3 SP3 48 GFlops

IBM SP FRASCATI

•R50

•R50

PW3 II

PW3 II

AFSAFS

INFO


Casaccia, 5, 06, 2002


6

CARATTRISTICHE DEI NODI

Mod ARC Freq. CPU PfPk RAM

THIN POWER2 66 MHz 1 210 MFlops 256 MB

R50 PowerPC 200 MHz 8 1.6 GFlops 2 GB

THIN2 PW2SC 160 MHz 1 620 MFlops 512 MB

PW3 POWER3 200 MHz 2 1.6 Gflops 1 GB

PW3 II POWER3 II 375 MHz 16 24 Gflops 16 GB

IBM-SP

INFO


Casaccia, 5, 06, 2002


7

Symmetric Multiprocessor (SMP)

4-, 8-, 12- or 16-way

375 MHz POWER3-II

64-bitCopper

1GB - 64GB memory 16 GBInternal disks

ƒ Base node: 2 internal disks, 0 to 72.8GB

2 X 18 GBSSA DISC

PCI bus architecture (base node)ƒ One 32-bit bus (one 32-bit slot)ƒ Two 64-bit buses (four 64-bit slots)

Choice of SP Switch and MX2 Adapter or

SP Switch2 and SP Switch2 Adapter* * MX2 and SP Switch2 Adapters do not use PCI

slots.

Relative OLTP performance

4-way = 81.78-way = 163.712-way = 242.316-way = 319.3

SPECfp_rate95 (peak)

4-way = 17398-way = 341812-way = 498516-way = 6353

SPECint_rate95 (peak)

4-way = 8458-way = 168412-way = 252316-way = 3352

RIO

New7/00

375 MHz POWER3 SMP High Node

8 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Casaccia, 5, 06, 2002

System Implementation

Supports bus- and switch-based MP bus memory configurations

BUS-BASED SWITCH-BASED

L2 Cache L2 Cache

POWER3 POWER3

DRAMMemory

Memory I/OController

I/ODRAM

MemoryI/O

POWER3 POWER3

L2 Cache L2 Cache

Switch

9 Infrastrutture e Servizi per il Calcolo Scientifico FRASCATI

Casaccia, 5, 06, 2002

Superscalar Processor

FloatingPointUnit

FPU1

FloatingPointUnit

FPU2

FixedPointUnit

FXU2

FixedPointUnit

FXU3

LD/STUnit

LS1

LD/STUnit

LS2

Branch/Dispatch

Memory Mgmt UnitInstruction Cache

IU

Memory Mgmt UnitData Cache

DU

Bus Interface Unit: L2 Control, ClockBIU

L2 Cache1-16 MB

6XX Bus

32 Bytes 32 Bytes

32 Bytes 16 Bytes

FixedPointUnit

FXU1

INFO


Casaccia, 5, 06, 2002


10

New generation of SP Switch and adapter

Switch throughput increased (3x bandwidth of SP Switch)150 to 500MB/sec one-way300 to 1000MB/sec for bi-directional

Supports only POWER3 and POWER3-II high nodes

SP Switch2

INFO


Casaccia, 5, 06, 2002


11

Software Installato LocalmenteSoftware Installato Localmente

– S.O. AIX 4.3.3 S.O. AIX 4.3.3

– XLF 7.1XLF 7.1

– XLC 5.0 ( C, C++)XLC 5.0 ( C, C++)

– HPF 1.4HPF 1.4

– POE (Parallel Operating Enviroment) POE (Parallel Operating Enviroment)

– ESSLESSL

– PESSLPESSL

– Client AFSClient AFS

– LSFLSF

INFO


Casaccia, 5, 06, 2002


12

XLF 7.1XLF 7.1

• Supporto F77, F90, F95, OpenMP e Supporto F77, F90, F95, OpenMP e direttive SMPdirettive SMP

• Ottimizzazione di alto livello tramite Ottimizzazione di alto livello tramite Interprocedural Analysis Interprocedural Analysis – xlf -c -O5 (ottimizzazione estrema)xlf -c -O5 (ottimizzazione estrema)

• -qnostrict (preserva la sintassi ANSI)-qnostrict (preserva la sintassi ANSI)• -qsmp (supporto multiprocessor)-qsmp (supporto multiprocessor)• -q64 (compilazione 64bit nativi)-q64 (compilazione 64bit nativi)

INFO


Casaccia, 5, 06, 2002


13

Librerie matematicheLibrerie matematiche

• ESSL, PESSLESSL, PESSL– Supporto multiprocessor, supporto MPI, BLAS, Supporto multiprocessor, supporto MPI, BLAS,

elevata ottimizzazione per i processori IBMelevata ottimizzazione per i processori IBM

• Libreria IBM Libmass disponibile free su Libreria IBM Libmass disponibile free su http://www.rs6000.http://www.rs6000.ibmibm..comcom//resourceresource//technologytechnology/MASS/MASS/

– xlf -o code …… -lmassxlf -o code …… -lmass

– particolarmente efficiente per le funzioni particolarmente efficiente per le funzioni intrinseche sqrt, div, log, exp, sin, cos, tan, etc.intrinseche sqrt, div, log, exp, sin, cos, tan, etc.

INFO


Casaccia, 5, 06, 2002


14

Parallel EnvironmentParallel Environment

• Supporto MPI, MPI-2Supporto MPI, MPI-2– ottimizzazione in ambiente share ottimizzazione in ambiente share

memorymemory

– ottimizzato per ambiente con ottimizzato per ambiente con interconnessione Switch SPS e SPS-2interconnessione Switch SPS e SPS-2

– poe code -procs np poe code -procs np

INFO


Casaccia, 5, 06, 2002


15

debuggerdebugger

• DBX & PEDBX per codici paralleliDBX & PEDBX per codici paralleli

• xlf -c -g code.f …. xlf -c -g code.f …. – analisi post-mortemanalisi post-mortem

– analisi in modalita’ running (dbx -attach nid)analisi in modalita’ running (dbx -attach nid)

– comandi di analisicomandi di analisi• printprint• runrun• wherewhere• quit (detach in modalita’ running)quit (detach in modalita’ running)

INFO


Casaccia, 5, 06, 2002


16

Software SP- Software SP- FRASCATIFRASCATI

• LIBRERIE MATEMATICHELIBRERIE MATEMATICHE ::

– NAG NAG

– IMSL IMSL

Prodotti:Prodotti:

ABAQUS,ABAQUS,

ANSYS, ANSYS,

MCNP, MCNP,

FLUENT, FLUENT,

MATLAB,MATLAB,

………….. ..

INFO


Casaccia, 5, 06, 2002


17

Console Switch

Cavi tastiera, mouse, monitor (m. 30)

Switch Fast ethLAN

PC (3)

Monitor, tastiera e mouse

10x IBM PC Intellistation

Pentium IV @ 1.8 GHz

512 MB RDRAM

40 GB ATA100 Hard Disk

2x EtherExpress 100 Mb/s

1x GigaEther

Rack Mounted

PC 1

X 2PC 3

PC 2

PC 10

CLUSTER LINUX/INTEL

INFO


Casaccia, 5, 06, 2002


18

frascati.enea.it

CLUSTER LINUX/INTEL CLUSTER LINUX/INTEL FRASCATIFRASCATI

Configurazione HardwareConfigurazione Hardware

192.168.1.*

Rete per servizi di accesso e monitoring del Beowulf cluster

Rete comunicazioni internodo codici paralleli (Fast Ethernet)

Rete comunicazioni punto-punto codici paralleli (Gb Ethernet)

Rete per servizi di accesso e monitoring del Beowulf cluster

Rete comunicazioni internodo codici paralleli (Fast Ethernet)

Rete comunicazioni punto-punto codici paralleli (Gb Ethernet)

10.0.0.*

INFO


Casaccia, 5, 06, 2002


19

S. O. Linux RedHat 7.2 (kernel S. O. Linux RedHat 7.2 (kernel 2.4.7)2.4.7)

AFSAFS: : OpenAFS client V1.2.3OpenAFS client V1.2.3 Replica dell’installazione

(semplificata via NFS) ma maggiore velocita’

di accesso agli eseguibili di sistema

CLUSTER LINUX/INTEL FRASCATICLUSTER LINUX/INTEL FRASCATISoftware localeSoftware locale

INFO


Casaccia, 5, 06, 2002


20

Tools di sviluppoTools di sviluppo

• Compilatori Portland Group Compilatori Portland Group

(cc, f77/90, c++, hpf, OpenMP) con MPICH(cc, f77/90, c++, hpf, OpenMP) con MPICH

• Compilatori GNU (gcc, g77, g++)Compilatori GNU (gcc, g77, g++)

• MPI LAM V6.5.6 MPI LAM V6.5.6

(Ohio Supercomputer Centre) (Ohio Supercomputer Centre)



INFO


Casaccia, 5, 06, 2002


21

Tools di amministrazione e Tools di amministrazione e monitoringmonitoring

• Scalable Cluster EnvironmentScalable Cluster Environment

(Kasetsart University in Thailand)(Kasetsart University in Thailand)

SMILE Cluster Management System

Web/VRML based system monitoring



INFO


Casaccia, 5, 06, 2002


22

Tools di amministrazione e Tools di amministrazione e monitoringmonitoring

• Webmin: Amministrazione e Webmin: Amministrazione e monitoring via WEBmonitoring via WEB

(www.webmin.com)(www.webmin.com)



INFO


Casaccia, 5, 06, 2002


23

PrestazioniPrestazioni

NetPipe V2.5NetPipe V2.5

• Uno tra i migliori software di test delle Uno tra i migliori software di test delle comunicazioni internodo (punto-comunicazioni internodo (punto-punto)punto)

• Compilato per usare a basso livello Compilato per usare a basso livello – TCP/IPTCP/IP

– MPICHMPICH

– LAM-MPILAM-MPI

INFO


Casaccia, 5, 06, 2002


24


INFO


Casaccia, 5, 06, 2002


25


INFO


Casaccia, 5, 06, 2002


26

GRAFICA AVANZATAGRAFICA AVANZATA

ENEA GARR Node

ENEA

CAMPUS

FTU experiment Misureinterferometriche

Olografia 3D

LAN

INFO


SGISGI™™ Onyx Onyx®® 3000 3000 Series Series MACCHINA MASSIVAMENTE PARALLELA AD ARCHITETTURANUMAflex COSTITUITA DA UN INSIEME DI CPU INTERCONNESSETRAMITE ROUTERS R-BRICK

INFO


Casaccia, 5, 06, 2002


28

Minimum (16p) System 128p System

128P System Topology

R

Rack 1

C

CC

C

RC

CC

C

R

Rack 2

C

CC

C

R C

CC

C

R

Rack 3

C

CC

C

RC

CC

C

R

Rack 4

C

CC

C

R C

CC

C

1 2 3 4

C-Brick

C-Brick

C-Brick

Power Bay

R-Brick

C-Brick

R-Brick

C-Brick

C-Brick

C-Brick

Power Bay

C-Brick

C-Brick

C-Brick

C-Brick

Power Bay

R-Brick

C-Brick

R-Brick

C-Brick

C-Brick

C-Brick

Power Bay

C-Brick

C-Brick

C-Brick

C-Brick

Power Bay

R-Brick

C-Brick

R-Brick

C-Brick

C-Brick

C-Brick

Power Bay

C-Brick

C-Brick

C-Brick

C-Brick

Power Bay

R-Brick

C-Brick

R-Brick

C-Brick

C-Brick

C-Brick

Power Bay

C-Brick

Power Bay

Power Bay

I-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

Power Bay

Power Bay

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

Power Bay

Power Bay

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

Power Bay

Power Bay

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick

P, I, or, X-Brick P, I, or, X-Brick P, I, or, X-Brick

R-Brick8-port router

Power Bay

Power Bay

I-Brick

C-Brick

C-Brick

C-Brick

Power Bay

R-Brick

C-Brick

Power Bay

R-Brick

P-Brick

G-Brick G-Brick

G-Brick

G-Brick

G-Brick

G-Brick

G-Brick

SGI™ Onyx® 3800 (16-512p, 1-16 pipes)

INFO


Casaccia, 5, 06, 2002


29

System Building BlocksSystem Building BlocksC-brick

CPU Module

D-brickDisk Storage

R-brickRouter Interconnect

X-brickXIO Expansion

P-brickPCI Expansion

I-brickBase I/O Module

G-brickGraphics Expansion

INFO


Casaccia, 5, 06, 2002


30

SGI™ Onyx® 3200 4p, 1RM 4 GB RAM

C-Brick

BR

P

P

PBR

P

XIO+

System Topology

XIO+ Ports

NetworkNetwork

XIO+ Ports

4p System

G-Brick

Power Bay

C-Brick

I-Brick

P, I, or, X-BrickI-Brick

IR Pipe IR Pipe

G-Brick

P,I, or X-Brick

INFO


Casaccia, 5, 06, 2002


31

Gets pixels to the outside worldDigital -> Analogue conversion2 outputs, plus s-video standardCan add

digital output6 more outputstime division multiplexer

Transforms TrianglesApplies lightingConvolutionConverts pixel formatsFloating point heavy

Converts triangle outline to dotsInherently parallelAdding RM's adds:

Frame BufferPixel FillDoes not increase texture memory

InfiniteReality3InfiniteReality3™™ Graphics PipelineGraphics Pipeline

Image credit: Monitor Image of Bay Bridge courtesy of Coryphaeus Software

Second output can beNTSC/PAL Composite

or S-video

2-8 OutputsDisplayGeneratorVideo

Processing

GeometryEngine® 4 GE-16GeometryProcessing

XIO

RasterManager

RM10Pixel

Processing

13 M Polygons/sec 256 MB Texture Mem 320 MB Framebuffer Mem (4RMs) 880 M Pixels/sec 3520 M Samples/sec

INFO


Casaccia, 5, 06, 2002


32

File Server AFSFile Server AFS

• AIXFS ( IBM F50 + 7133-600) 150 GB AIXFS ( IBM F50 + 7133-600) 150 GB SSASSA

• RS2CED (IBM H70 + 7133-D40) 570 RS2CED (IBM H70 + 7133-D40) 570 GB SSAGB SSA

• 43p (IBM 6H1 + 7133-D40) 180 43p (IBM 6H1 + 7133-D40) 180 GB SSA (RAID 5 +1)GB SSA (RAID 5 +1)

INFO


PROGETTAZIONE PROGETTAZIONE MECCANICAMECCANICA FRASCATI FRASCATI

CATIA: 4.2 e 5.2 in AFS CATIA: 4.2 e 5.2 in AFS multipiattaforma ( IBM, SGI, NT)multipiattaforma ( IBM, SGI, NT)

•L’utente non è legato alla ws

•Tutti i modelli sono accessibili da tutti i sistemi della cella enea.it e dal mondo AFS.

•Integrazione con l’ambiente di grafica avanzata (ONYX2) per analisi 3D, grafica immersiva, ecc.

•AMBIENTE DI LAVORO:

• SGI-ORIGIN 3200 (4 CPU,4 GB RAM),

•5 IBM/RS6K-43P( 1 CPU,512 RAM)

•7 IBM/RS6K-41T(1 CPU,128 RAM)

• IBM/RS6K-43P(2 CPU, 1 GB RAM)

INFO


Modalità di utilizzo dei server di calcolo del C.E.D. di Frascati

INFO


Macchine riservate per lavori interattivi

sp01 sp05sp11sp12sp13sp14bw09bw10fenf

Nome macch. Arc. Sist. Oper. N° cpu RAM Freq.

PowerPC “Power3 “ “ “Pentium IV “Pentium III

AIX 5.1.0 “ “ “ “ “Red Hat 7.2 “ “

8“2“““1“2

2 GB “1 GB “ “ “512 MB “256 MB

200 MHz “200 MHz “ “ “1.8 GHz “600 MHz

INFO


sp2 sp3 linux

Risorse di calcolo riservate per lavori batch

16 nodiPW2SC

160 MHzRAM 512MB

O.S.AIX 5.1.0

2 nodiPower3II375 MHz

RAM 16GB32 CPU

O.S.AIX 4.3.3

8 nodiPentiun IV

1.8 GHzRAM 521MB

O.S.Linux

Red Hat7.2

INFO


Comando per controllare lo stato delle risorse

lsload –R nome delle risorsa report delle macchine di una specifica risorsalsload report di tutte le macchine client (LSF) della cella AFS enea.itlsload frascati report di tutte le macchine client (LSF) di Frascati

Ex. lsload –R linux

INFO


Run di un job seriale

Scheduler LSFComando bsub

Dal prompt di una Shell Unix di una macchina (AFS – LSF) CLIENT della cella enea.it scrivere:

bsub –R nome della risorsa* –q nome della coda ** my_programm dove: * nome della risorsa può essere uguale a (“ sp2, sp3 o linux ”) ** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”).

Ex. Bsub –R sp3 –q medium_2h a.out

INFO


Run di un job parallelo (SP2 o SP3)

Scheduler LSF + LOADLEVELERParallel environment POEScript poe.bsub


poe.sub my_programm nome della risorsa* -inp my_input –out my_out –err my_error –queue nome della coda ** -procs n***dove: * nome della risorsa può essere uguale a (“ -sp2 o -sp3 ”) ** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”). *** n = 2-16 per sp2 , 2-32 per sp3

Ex. poe.sub a.out –sp3 –queue medium_2h

INFO


Run di un job parallelo (Linux)

Scheduler LSF Parallel environment LAMScript lam.bsub


lam.sub my_programm nome della risorsa* -inp my_input –out my_out –err my_error –queue nome della coda ** -procs n***dove: * nome della risorsa deve essere uguale a -linux ** nome della coda può essere uguale a (“ small_10m, medium_2h, large ”). *** n = 2-8

Ex. lam.sub a.out –linux –queue medium_2h

INFO


Comandi per controllare lo stato dei jobs sottomessi

bjobs lista dei propri jobs in esecuzione o in coda d’attesa bjobs –u all lista di tutti i jobs bkill cancella un job in coda bpeek lista dello standard output

Per ottenere ulteriori informazioni sull’utilizzo dei comandi digitare:man nome del comando

INFO


Casaccia, 5, 06, 2002


42

Ulteriori informazioniUlteriori informazioni

•www.frascati.enea.it

•Presentazione su Presentazione su

•www.afs.enea.it/nino/public

INFO


Casaccia, 5, 06, 2002


43

INFO Sevizio Centralizzato Informatica e Reti Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il...

Documents

Transcript of INFO Sevizio Centralizzato Informatica e Reti Casaccia, 5, 06, 2002 Infrastrutture e Servizi per il...