Post on 02-May-2015
Simone TintiHPC dept. – System Engineer simone.tinti@e4company.com
Attività R&D
•Analisi mercato: prodotti e campi di impiego
•Analisi dei componenti
•Studi di compatibilità
•Misura ed analisi di prestazioni
•Tuning sistemi
•Validazione soluzioni HPC
•Affidabilità
www.e4company.com simone.tinti@e4company.com
Evoluzione sistemi HPC
•L’utilizzo di architetture cluster e’ in continua ascesa, attualmente costituiscono la piattaforma piu’ diffusa per lo sviluppo di applicazioni HPC
• Nov 2006: il 72% dei sistemi presenti nella TOP 500 e’ basato su cluster
www.e4company.com simone.tinti@e4company.com
• Migrazione da sistemi UNIX a Linux
Evoluzione sistemi operativi
www.e4company.com simone.tinti@e4company.com
Processor Family
0%10%20%30%40%50%60%70%80%90%
100%
2001 2002 2003 2004 2005 2006
Other
AMD + INTEL
Interconnessioni
0%
10%
20%
30%
40%
50%
Gigabit Ethernet Myrinet Infiniband Other
• Il 75% dei sistemi è basato su CPU x86 32/64 bit
• I sistemi di recente adozione sono basati su CPU multi-core
• Gigabit Ethernet entry level
•Progressiva riduzione delle soluzioni proprietarie
Evoluzione verso gli standard di mercato
www.e4company.com simone.tinti@e4company.com
Evoluzione sistemi HPC
•La tecnologia basata su “commodity of the shelf” si va consolidando come la soluzione ideale per le applicazioni HPC:
•Miglior rapporto prezzo/prestazioni
•Flessibilità
•Ampia diffusione => scambio di conoscenze con un ampia community
•Facile integrazione con infrastrutture preesistenti
•Architettura sistemi
• Hardware
(CPU, Interconnesioni)
•Software
(SO, MPI)
Semplicità
Standard
Open source
www.e4company.com simone.tinti@e4company.com
Integrazione di un sistema HPC
Dimensionamento
Requisiti
Selezione componenti Interconnessione
Integrazione di servizi
Deployment
Validazione del sistema
Progettazione
www.e4company.com simone.tinti@e4company.com
Progettazione di un cluster HPC
Elemento essenziale nella progettazione di un sistema
CPU bound
I/O bound Memory bound
Codici eterogenei
Analisi dei requisiti
Componenti / Dimensionamento
•Architettura del nodo computazionale
•UMA (INTEL)
•NUMA (AMD)
•Nsocket / nodo
•Ncore / socket
•RAM ( GB/core)
•Interconnessione
•Topologia
•Tecnologia
•GbE
•10 GbE
•Infiniband
•Myrinet
www.e4company.com simone.tinti@e4company.com
Scelta del nodo computazionale
•Fattore di forma: [1U,5U]
•Nsocket: [1,8]
•Ncore: [2], 4 da luglio 2007
•Blade: 264 core/rack (1,37 TFLOPS@2,6GHz)
Dato l’alto numero di combinazioni possibili per effettuare la scelta più idonea occorre affidarsi a:
•Analisi
•Esperienza
Architettura Non Uniform Memory Access
(AMD)
•Fattore di forma: [1U,6U]
•Nsocket: [1,4]
•Ncore: [2,4], 8/16 nel 2008
•Blade: 7U, 28 socket, 56 core
•New: blade quad core 528 core/rack!!! (2,8 TFLOPS@2,66GHz)
Architettura Uniform Memory Access
(INTEL)
… ma soprattutto test!
www.e4company.com simone.tinti@e4company.com
Nodi computazionali INTEL
• Soluzione “classica”: biprocessore dual/quad core, 16 DIMM socket (32GB)
Twin 1U
• 2 motherboard in uno chassis
• 2 CPU quad core / motherboard => 16 core in 1U (85GFLOPS)
• Alimentatore condiviso => alta efficienza
•2 x Infiniband 20Gbps HBA integrati
•2 x 8 DIMM socket (32GB/chassis)
www.e4company.com simone.tinti@e4company.com
Nodi computazionali AMD
• Soluzione “classica”: biprocessore dual core, 16 DIMM socket (32GB). Quad core da luglio 2007
E8344: 3U - 4 way Opteron
• 4 CPU Opteron Dual Core
• 32 DIMM socket (128GB RAM)
• 3 slot PCI-Express (2 slot 16x)
• 3 slot PCI-X 133MHz 64 bit
• 6 HD
• Versatile:
• Nodo di calcolo
• Piattaforma per CAE
•Server per applicazioni grafiche
www.e4company.com simone.tinti@e4company.com
Nodi computazionali AMD
E85xx: 5U - 8 way Opteron
• 8 CPU Opteron Dual Core
• 32 DIMM socket (128GB RAM)
•2 slot PCI-Express 16x
•8 HD
• Soluzione di managment
• Sistema SMP ideale per simulazione di modelli complessi in ambito fisico, chimico, biomedico
www.e4company.com simone.tinti@e4company.com
Soluzioni blade AMD / INTEL
• Densità estrema:
•66 blade biprocessore quad core
•528 core / rack
•2,8TFLOPS / rack
•66 blade biprocessore dual core AMD Opteron
•264 core / rack
•1,37 TFLOPS / rack
• Sistema di raffreddamento innovativo
• Alimentazione ad alta efficienza
•Ie blade sono alimentate in DC, al conversione AC-> DC avviene all’ingresso del rack.
•Efficienza 83%, contro i tradizionali 63-73%
INT
EL
A
MD
www.e4company.com simone.tinti@e4company.com
• Interconnessione : GbE, Myrinet, Infiniband
Interconnessioni
• Gigabit Ethernet entry level su tutte le soluzioni
• Myrinet 10Gb/s
• Infiniband DDR 20 + 20 Gb/s (100 Gb/s a breve termine), anche integrata sulla motherboard. Infinipath su slot HTX, per latenze inferiori ai 2 microsecondi
• La prima installazione infiniband (24 nodi Opteron) risale al giugno 2005 (CASPUR). Espansa a 36 nodi dati gli eccellenti risultati.
www.e4company.com simone.tinti@e4company.com
Integrazione di un sistema HPC
Dimensionamento
Requisiti
Selezione componenti Interconnessione
Integrazione di servizi
Deployment
Validazione del sistema
Progettazione
www.e4company.com simone.tinti@e4company.com
Integrazione di servizi
• L’offerta HPC è integrabile da una gamma completa di soluzioni storage (DAS, NAS, SAN)
IB storage
Infiniband switch
FC storage
VIC (Virtual I/O controller)
IB to FC or Ethernet
•Tendenza: System Area Network. Interfaccia Infiniband per MPI e accesso a storage (QoS)
•Recupero degli investimenti tramite integrazione di dispositivi preesistenti sul l’infrastruttura infiniband (es. gateway IB to FC “trasparenti”)
www.e4company.com simone.tinti@e4company.com
Storage Server
• Soluzione ad alta flessibilità e basso costo sviluppata presso i nostri laboratori, basata su commodity of the shelf:
•2 CPU Dual core Woodcrest
•RAM dimensionabile secondo le esigenze (fino a 16GB DDR2 FBDIMM)
•Controller SAS/SATA multi lane ad altissime prestazioni
•12 TB in 4U
•24 TB in 7U
•2HD dedicati per il SO
•Scelta dai professionisti:
•65 storage 4U CERN Ginevra, 70 presso uno dei maggiori ISP
•7U lab Gran Sasso, CASPUR
E5730 – up to 24TB
E5475 – up to 12TB
www.e4company.com simone.tinti@e4company.com
•Compatibile con le principali distro Linux (Red Hat, SUSE, Scientific Linux…).
•Implementabile anche su piattaforma MS Windows
•SATAII/SAS
•Interfaccia esterna:
•Dual Gb
• Aggregated 4Gb
•10 Gb Ethernet
•Infiniband 20Gb+20Gb per soluzioni HPC
•Differenti campi applicativi:
•Back up, nearline storage
•Video server
•File server
•Storage HPC
• Oltre 350 MB/s Writing, 500MB/s Reading (iozone, xfs, 15HD SATA 7.200 rpm Raid 5)
• Implementabile in tecnologia SAS 15000 rpm
• Ottime performace in ambienti con accessi concorrenti (stabile con oltre 100 processi da 2GB)
•2 HD dedicati al SO (Raid 1) su controller dedicato
• Gestione hardware dei principali livelli Raid (tipicamente 5,6)
•Battery backup unit
•IPMI compliant
• Managment
• Alimentazione ridondata hot swap
PotenzaFlessibilità
Affidabilità
www.e4company.com simone.tinti@e4company.com
Storage Area Network
•Unico Qlogic Signature Partner in Italia
•Realizzate con le più recenti soluzioni tecnologiche. Stato dell’arte: tecnologia Fibre Channel 4+ 4 Gb multipath
•Soluzioni in HA
•Failover per ambienti critici (es finance, biomedics..)
• Realizzazione di SAN in ambienti eterogenei:
•Istituti di credito
•Enti pubblici (Ministero Tesoro)
•Meteorologia (ARPA)
•Biomedicina (Chiron/Novartis)
•Industria/commercio
•Elaborazione immagini/ visione artificiale
www.e4company.com simone.tinti@e4company.com
E65xx
Caratteristiche tecniche
• Chassis 2U
•12 HD SAS/SATA II
•SATAII: fino a 9 TB
•SAS: fino a 3,6 TB
•Full system, 10U – 5 chassis
•SATA II: 42 TB
•SAS: 16,8 TB
•Possibilità di mix SATAII/SAS per differenziare aree back-up e intensive I/O
•Interfaccia host:
•Fibre channel 4Gb
•SAS
•iSCSI
•Infiniband (entro 2007)
•Super capacitor cache back up
•Mirrored cache (Simulcache)
•Assured snapshot
www.e4company.com simone.tinti@e4company.com
2004 2005 2006 2007 2008
1 Gb/s 1.0% 0% 0% 0% 0%
2 Gb/s 93.0% 64.1% 17.0% 3.0% 0%
4 Gb/s 5.0% 32.4% 75.0% 85.0% 73.0%
8/10 Gb/s 1.0% 3.5% 8.0% 12.0% 27.0%
Source: Gartner Dataquest (November 2005)
Fibre Channel Interface Forecast
www.e4company.com simone.tinti@e4company.com
SAN per HPC
•Grazie alla collaborazione nata con Data Direct Network possiamo offrire soluzioni estreme in ambito storage
Fino a 560TB in un singolo storage system
•+3GB/s sustained performance, sia in lettura che scrittura
•Petascale solution (transfer rate nell’ordine dei TB/s)
• Ideale per: HPC, Visualization, Modeling Simulation, Real-Time Data Acquisition, Biomedicine, Genomics, Medical Imaging, Oil & Gas
•Soluzioni adottate dai sistemi più performati della TOP500, ma anche nel settore finanziaro e “rich” media (WB, CNN, Disney, BBC, FOX, Time Warner…)
www.e4company.com simone.tinti@e4company.com
Ulteriori servizi
Monitoring / management
•soluzioni free, open source (Torque, MAUI, System Imager, Ganglia)
• soluzioni enterprise (SCALI Manage, Altair PBS Pro…)
Infrastrutture ambientali
Tool di sviluppo ed ottimizzazione
•Compilatori INTEL, Pathscale, PGI
•INTEL VTune performance analyzer
Dispositivi programmabili
•multi-threaded array cooprocessor
•FPGA
www.e4company.com simone.tinti@e4company.com
Integrazione di un sistema HPC
Dimensionamento
Requisiti
Selezione componenti Interconnessione
Integrazione di servizi
Deployment
Validazione del sistema
Progettazione
www.e4company.com simone.tinti@e4company.com
•Affidabilità: elemento essenziale, garantito dal ciclo produttivo di E4
•Selezioni componenti di qualità
•Processo produttivo curato in tutti i dettagli
•Burn-in
•Almeno 72h prove di stress accelerato in stanza con condizioni climatiche limite
•24h Test di tutti i sottosistemi singolarmente
•48h test di tutti i sottosistemi contemporaneamente
Validazione dei sistemi
www.e4company.com simone.tinti@e4company.com
Conclusioni
Semplicità Potenza Affidabilità Integrazione
•COTS
•Tool di management
•Sistemi ad alta densità basati su CPU multi-core
•Interconnessioni low latency / high bandwith
• SW consolidato
•Selezione HW
•Accurato testing del sistema
• Monitoring / management
•Storage Area Network
•System Area Network
•FPGA, cooprocessor
www.e4company.com simone.tinti@e4company.com
Grazie per l’attenzione!