Simone Tinti HPC dept. – System Engineer simone.tinti@e4company

27
Simone Tinti HPC dept. System Engineer [email protected]

description

Simone Tinti HPC dept. – System Engineer [email protected]. Attività R&D. Analisi mercato: prodotti e campi di impiego Analisi dei componenti Studi di compatibilità Misura ed analisi di prestazioni Tuning sistemi Validazione soluzioni HPC Affidabilità. - PowerPoint PPT Presentation

Transcript of Simone Tinti HPC dept. – System Engineer simone.tinti@e4company

Page 1: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Simone TintiHPC dept. – System Engineer [email protected]

Page 2: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Attività R&D

•Analisi mercato: prodotti e campi di impiego

•Analisi dei componenti

•Studi di compatibilità

•Misura ed analisi di prestazioni

•Tuning sistemi

•Validazione soluzioni HPC

•Affidabilità

www.e4company.com [email protected]

Page 3: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Evoluzione sistemi HPC

•L’utilizzo di architetture cluster e’ in continua ascesa, attualmente costituiscono la piattaforma piu’ diffusa per lo sviluppo di applicazioni HPC

• Nov 2006: il 72% dei sistemi presenti nella TOP 500 e’ basato su cluster

www.e4company.com [email protected]

Page 4: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

• Migrazione da sistemi UNIX a Linux

Evoluzione sistemi operativi

www.e4company.com [email protected]

Page 5: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Processor Family

0%10%20%30%40%50%60%70%80%90%

100%

2001 2002 2003 2004 2005 2006

Other

AMD + INTEL

Interconnessioni

0%

10%

20%

30%

40%

50%

Gigabit Ethernet Myrinet Infiniband Other

• Il 75% dei sistemi è basato su CPU x86 32/64 bit

• I sistemi di recente adozione sono basati su CPU multi-core

• Gigabit Ethernet entry level

•Progressiva riduzione delle soluzioni proprietarie

Evoluzione verso gli standard di mercato

www.e4company.com [email protected]

Page 6: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Evoluzione sistemi HPC

•La tecnologia basata su “commodity of the shelf” si va consolidando come la soluzione ideale per le applicazioni HPC:

•Miglior rapporto prezzo/prestazioni

•Flessibilità

•Ampia diffusione => scambio di conoscenze con un ampia community

•Facile integrazione con infrastrutture preesistenti

•Architettura sistemi

• Hardware

(CPU, Interconnesioni)

•Software

(SO, MPI)

Semplicità

Standard

Open source

www.e4company.com [email protected]

Page 7: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Integrazione di un sistema HPC

Dimensionamento

Requisiti

Selezione componenti Interconnessione

Integrazione di servizi

Deployment

Validazione del sistema

Progettazione

www.e4company.com [email protected]

Page 8: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Progettazione di un cluster HPC

Elemento essenziale nella progettazione di un sistema

CPU bound

I/O bound Memory bound

Codici eterogenei

Analisi dei requisiti

Componenti / Dimensionamento

•Architettura del nodo computazionale

•UMA (INTEL)

•NUMA (AMD)

•Nsocket / nodo

•Ncore / socket

•RAM ( GB/core)

•Interconnessione

•Topologia

•Tecnologia

•GbE

•10 GbE

•Infiniband

•Myrinet

www.e4company.com [email protected]

Page 9: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Scelta del nodo computazionale

•Fattore di forma: [1U,5U]

•Nsocket: [1,8]

•Ncore: [2], 4 da luglio 2007

•Blade: 264 core/rack (1,37 TFLOPS@2,6GHz)

Dato l’alto numero di combinazioni possibili per effettuare la scelta più idonea occorre affidarsi a:

•Analisi

•Esperienza

Architettura Non Uniform Memory Access

(AMD)

•Fattore di forma: [1U,6U]

•Nsocket: [1,4]

•Ncore: [2,4], 8/16 nel 2008

•Blade: 7U, 28 socket, 56 core

•New: blade quad core 528 core/rack!!! (2,8 TFLOPS@2,66GHz)

Architettura Uniform Memory Access

(INTEL)

… ma soprattutto test!

www.e4company.com [email protected]

Page 10: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Nodi computazionali INTEL

• Soluzione “classica”: biprocessore dual/quad core, 16 DIMM socket (32GB)

Twin 1U

• 2 motherboard in uno chassis

• 2 CPU quad core / motherboard => 16 core in 1U (85GFLOPS)

• Alimentatore condiviso => alta efficienza

•2 x Infiniband 20Gbps HBA integrati

•2 x 8 DIMM socket (32GB/chassis)

www.e4company.com [email protected]

Page 11: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Nodi computazionali AMD

• Soluzione “classica”: biprocessore dual core, 16 DIMM socket (32GB). Quad core da luglio 2007

E8344: 3U - 4 way Opteron

• 4 CPU Opteron Dual Core

• 32 DIMM socket (128GB RAM)

• 3 slot PCI-Express (2 slot 16x)

• 3 slot PCI-X 133MHz 64 bit

• 6 HD

• Versatile:

• Nodo di calcolo

• Piattaforma per CAE

•Server per applicazioni grafiche

www.e4company.com [email protected]

Page 12: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Nodi computazionali AMD

E85xx: 5U - 8 way Opteron

• 8 CPU Opteron Dual Core

• 32 DIMM socket (128GB RAM)

•2 slot PCI-Express 16x

•8 HD

• Soluzione di managment

• Sistema SMP ideale per simulazione di modelli complessi in ambito fisico, chimico, biomedico

www.e4company.com [email protected]

Page 13: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Soluzioni blade AMD / INTEL

• Densità estrema:

•66 blade biprocessore quad core

•528 core / rack

•2,8TFLOPS / rack

•66 blade biprocessore dual core AMD Opteron

•264 core / rack

•1,37 TFLOPS / rack

• Sistema di raffreddamento innovativo

• Alimentazione ad alta efficienza

•Ie blade sono alimentate in DC, al conversione AC-> DC avviene all’ingresso del rack.

•Efficienza 83%, contro i tradizionali 63-73%

INT

EL

A

MD

www.e4company.com [email protected]

• Interconnessione : GbE, Myrinet, Infiniband

Page 14: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Interconnessioni

• Gigabit Ethernet entry level su tutte le soluzioni

• Myrinet 10Gb/s

• Infiniband DDR 20 + 20 Gb/s (100 Gb/s a breve termine), anche integrata sulla motherboard. Infinipath su slot HTX, per latenze inferiori ai 2 microsecondi

• La prima installazione infiniband (24 nodi Opteron) risale al giugno 2005 (CASPUR). Espansa a 36 nodi dati gli eccellenti risultati.

www.e4company.com [email protected]

Page 15: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Integrazione di un sistema HPC

Dimensionamento

Requisiti

Selezione componenti Interconnessione

Integrazione di servizi

Deployment

Validazione del sistema

Progettazione

www.e4company.com [email protected]

Page 16: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Integrazione di servizi

• L’offerta HPC è integrabile da una gamma completa di soluzioni storage (DAS, NAS, SAN)

IB storage

Infiniband switch

FC storage

VIC (Virtual I/O controller)

IB to FC or Ethernet

•Tendenza: System Area Network. Interfaccia Infiniband per MPI e accesso a storage (QoS)

•Recupero degli investimenti tramite integrazione di dispositivi preesistenti sul l’infrastruttura infiniband (es. gateway IB to FC “trasparenti”)

www.e4company.com [email protected]

Page 17: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Storage Server

• Soluzione ad alta flessibilità e basso costo sviluppata presso i nostri laboratori, basata su commodity of the shelf:

•2 CPU Dual core Woodcrest

•RAM dimensionabile secondo le esigenze (fino a 16GB DDR2 FBDIMM)

•Controller SAS/SATA multi lane ad altissime prestazioni

•12 TB in 4U

•24 TB in 7U

•2HD dedicati per il SO

•Scelta dai professionisti:

•65 storage 4U CERN Ginevra, 70 presso uno dei maggiori ISP

•7U lab Gran Sasso, CASPUR

E5730 – up to 24TB

E5475 – up to 12TB

www.e4company.com [email protected]

Page 18: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

•Compatibile con le principali distro Linux (Red Hat, SUSE, Scientific Linux…).

•Implementabile anche su piattaforma MS Windows

•SATAII/SAS

•Interfaccia esterna:

•Dual Gb

• Aggregated 4Gb

•10 Gb Ethernet

•Infiniband 20Gb+20Gb per soluzioni HPC

•Differenti campi applicativi:

•Back up, nearline storage

•Video server

•File server

•Storage HPC

• Oltre 350 MB/s Writing, 500MB/s Reading (iozone, xfs, 15HD SATA 7.200 rpm Raid 5)

• Implementabile in tecnologia SAS 15000 rpm

• Ottime performace in ambienti con accessi concorrenti (stabile con oltre 100 processi da 2GB)

•2 HD dedicati al SO (Raid 1) su controller dedicato

• Gestione hardware dei principali livelli Raid (tipicamente 5,6)

•Battery backup unit

•IPMI compliant

• Managment

• Alimentazione ridondata hot swap

PotenzaFlessibilità

Affidabilità

www.e4company.com [email protected]

Page 19: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Storage Area Network

•Unico Qlogic Signature Partner in Italia

•Realizzate con le più recenti soluzioni tecnologiche. Stato dell’arte: tecnologia Fibre Channel 4+ 4 Gb multipath

•Soluzioni in HA

•Failover per ambienti critici (es finance, biomedics..)

• Realizzazione di SAN in ambienti eterogenei:

•Istituti di credito

•Enti pubblici (Ministero Tesoro)

•Meteorologia (ARPA)

•Biomedicina (Chiron/Novartis)

•Industria/commercio

•Elaborazione immagini/ visione artificiale

www.e4company.com [email protected]

Page 20: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

E65xx

Caratteristiche tecniche

• Chassis 2U

•12 HD SAS/SATA II

•SATAII: fino a 9 TB

•SAS: fino a 3,6 TB

•Full system, 10U – 5 chassis

•SATA II: 42 TB

•SAS: 16,8 TB

•Possibilità di mix SATAII/SAS per differenziare aree back-up e intensive I/O

•Interfaccia host:

•Fibre channel 4Gb

•SAS

•iSCSI

•Infiniband (entro 2007)

•Super capacitor cache back up

•Mirrored cache (Simulcache)

•Assured snapshot

www.e4company.com [email protected]

Page 21: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

2004 2005 2006 2007 2008

1 Gb/s 1.0% 0% 0% 0% 0%

2 Gb/s 93.0% 64.1% 17.0% 3.0% 0%

4 Gb/s 5.0% 32.4% 75.0% 85.0% 73.0%

8/10 Gb/s 1.0% 3.5% 8.0% 12.0% 27.0%

Source: Gartner Dataquest (November 2005)

Fibre Channel Interface Forecast

www.e4company.com [email protected]

Page 22: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

SAN per HPC

•Grazie alla collaborazione nata con Data Direct Network possiamo offrire soluzioni estreme in ambito storage

Fino a 560TB in un singolo storage system

•+3GB/s sustained performance, sia in lettura che scrittura

•Petascale solution (transfer rate nell’ordine dei TB/s)

• Ideale per: HPC, Visualization, Modeling Simulation, Real-Time Data Acquisition, Biomedicine, Genomics, Medical Imaging, Oil & Gas

•Soluzioni adottate dai sistemi più performati della TOP500, ma anche nel settore finanziaro e “rich” media (WB, CNN, Disney, BBC, FOX, Time Warner…)

www.e4company.com [email protected]

Page 23: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Ulteriori servizi

Monitoring / management

•soluzioni free, open source (Torque, MAUI, System Imager, Ganglia)

• soluzioni enterprise (SCALI Manage, Altair PBS Pro…)

Infrastrutture ambientali

Tool di sviluppo ed ottimizzazione

•Compilatori INTEL, Pathscale, PGI

•INTEL VTune performance analyzer

Dispositivi programmabili

•multi-threaded array cooprocessor

•FPGA

www.e4company.com [email protected]

Page 24: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Integrazione di un sistema HPC

Dimensionamento

Requisiti

Selezione componenti Interconnessione

Integrazione di servizi

Deployment

Validazione del sistema

Progettazione

www.e4company.com [email protected]

Page 25: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

•Affidabilità: elemento essenziale, garantito dal ciclo produttivo di E4

•Selezioni componenti di qualità

•Processo produttivo curato in tutti i dettagli

•Burn-in

•Almeno 72h prove di stress accelerato in stanza con condizioni climatiche limite

•24h Test di tutti i sottosistemi singolarmente

•48h test di tutti i sottosistemi contemporaneamente

Validazione dei sistemi

www.e4company.com [email protected]

Page 26: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Conclusioni

Semplicità Potenza Affidabilità Integrazione

•COTS

•Tool di management

•Sistemi ad alta densità basati su CPU multi-core

•Interconnessioni low latency / high bandwith

• SW consolidato

•Selezione HW

•Accurato testing del sistema

• Monitoring / management

•Storage Area Network

•System Area Network

•FPGA, cooprocessor

www.e4company.com [email protected]

Page 27: Simone Tinti HPC dept.   –  System Engineer simone.tinti@e4company

Grazie per l’attenzione!