Post on 02-May-2015
Stato del GRID Computing a Catania
Giuseppe Andronico
Cagliari, 26/05/2004 Giuseppe Andronico 2
Staff Centro di Calcolo: Ernesto Cangiano, Carlo
Rocca, Giuseppe Sava, Patrizia Belluomo Centro di Calcolo + GRID: Giuseppe
Platania GRID: Roberto Barbera, Salvatore Monforte,
Marco Pappalardo, Rosanna Catania, Antonio Carrieri, Valeria Ardizzone, Emidio Giorgio, Giuseppe La Rocca
Cagliari, 26/05/2004 Giuseppe Andronico 3
Overview Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 4
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 5
Panoramica
Development testbed in EDG WP1, WP2
Application testbed in EDG Application testbed EGEE, INFNGRID,
GILDA, GILDA CA Sito di produzione di ALICE con AliEn
Cagliari, 26/05/2004 Giuseppe Andronico 6
Computing Room oggi
Cagliari, 26/05/2004 Giuseppe Andronico 7
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Fabric
Sala per il GRID Computing a Catania
Cagliari, 26/05/2004 Giuseppe Andronico 9
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 10
Computer Room Estensione di 200 mq in previsione di LHC Parzialmente allestita (modulare) Condizionamento:
2 condizionatori Gruppo di continuitá
Potenza 40 kVA Autonomia 25 minuti (7 min a pieno carico)
Gruppo elettrogeno 400 kVA (start-up dopo 60 sec dal black-out)
Cagliari, 26/05/2004 Giuseppe Andronico 11
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 12
Armadi rack: InfraStruXure
1UPS Symmetra PX 10-40kW, 400Vo 1 Intelligence Moduleso 5 Power Modules da 10kVA/10kW,
N+1 type ridondanteo N Battery Unit hot swapo 2 Web Management Card
1PDU con Information Controller e bypass manuale ed automatico
10 Rack 42U 10 Masterswitch totale 80 prese
monitorate e gestite via IP 5 Environmental Monitoring Unit
Cagliari, 26/05/2004 Giuseppe Andronico 13
Armadi rack: caratteristiche La ventilazione delle porte supera gli 830 pollici
quadrati (5355 cm2) per una ventilazione adeguata
Profondità di montaggio regolabile Compatibilità garantita Porte ventilate con opzioni di raffreddamento
scalabili Canali posteriori di sistemazione cavi Canali posteriori di distribuzione
dell'alimentazione Accesso ai cavi
Cagliari, 26/05/2004 Giuseppe Andronico 14
Armadi rack: caratteristiche
Numerazione delle unità sui montanti Profondità ottimizzata Larghezza ottimizzata Trasportabile su rotelle attraverso una
porta alta 7 piedi Viene spedito completamente
assemblato Selezione semplice
Cagliari, 26/05/2004 Giuseppe Andronico 15
Armadi rack
Cagliari, 26/05/2004 Giuseppe Andronico 16
Armadi rack: management Manutenibilità
Porte ad apertura rapida Pannelli laterali ad apertura rapida Porte posteriori a due battenti
Adattabilità Porte invertibili Espansione Monitoraggio di tutti i componenti
Gestione remota UPS via web Gestione e monitoraggio del singolo ups
Controllo remoto 80 prese via IP Notifica via e-mail degli allarmi File di log degli allarmi con data ed ora Remote Monitoring Service (12 mesi)
Cagliari, 26/05/2004 Giuseppe Andronico 17
Armadi rack: management
Cagliari, 26/05/2004 Giuseppe Andronico 18
Armadi rack: management
Cagliari, 26/05/2004 Giuseppe Andronico 19
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 20
Networking: apparati 1 Master Switch 68 porte
Gigabit 8 Switch Ethernet
Numero porte:24 Tipo porte:GIGABIT Velocità di
trasferimento:10/100/1000 MBPS
Form factor:RACK 1U cavi UTP cat. 6E
Cagliari, 26/05/2004 Giuseppe Andronico 21
Networking: topologia attuale
MASTERSWITCH
Fiber
node
switch24
CABLE CAT.6E
CABLE CAT.6E
disk server
Front-end router
Cagliari, 26/05/2004 Giuseppe Andronico 22
Networking: futuri sviluppi
Configurazione di trunking e load-balancing dappertutto
Configurazione del Master Switch come edge-router
Connessione diretta al PoP di Garr-G
Cagliari, 26/05/2004 Giuseppe Andronico 23
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 24
I computerTipo Processore Frequenza
(GHz)RAM (MByte)
Storage
10 Dual
Xeon 2.8 2048 40GB
18 2
Dual
Xeon 2.4 2048 40GB2.2T
5 Dual
Pentium III 1.4 1024 40GB
8 8
Dual
Pentium III 1 1024 30GB2.2T
14 Dual
Pentium III 800 Hz 1024 30GB
Cagliari, 26/05/2004 Giuseppe Andronico 25
I computer: file system server
LVM + reiserfs
sda1 sdb1
diskvg
datalv
reiserfs
(LVs)
(filesystems)
(VG)
(PVs on partitions or whole disks)
---> single mount point /data
testlv
ext3
Cagliari, 26/05/2004 Giuseppe Andronico 26
KVM 6 AlterPath Console
Server Cyclades 1 da 16 porte seriali con
funzionalità master 5 da 32 porte seriali con
funzionalità slave
Cagliari, 26/05/2004 Giuseppe Andronico 27
KVM: funzionalitá Accesso tramite 3 metodi:
Console direttamente connessa al server AlterPath Console
Telnet/ssh Browser
Configurazione kvm: Vi Wizard Web Management
Interface (HTTP/HTTPS) Command Line Interface
(Linux Shell)
Cagliari, 26/05/2004 Giuseppe Andronico 28
KVM: configurazione ed uso
1. Unico indirizzo IP statico per il master2. Accesso “in cascata” dal KVM master
ai 5 KVM slave3. Gestione tramite porte seriali
(115200 bps, 8, N, 1)
Cagliari, 26/05/2004 Giuseppe Andronico 29
KVM: Collegamento terminale
Cagliari, 26/05/2004 Giuseppe Andronico 30
KVM: Collegamento terminale
Cagliari, 26/05/2004 Giuseppe Andronico 31
KVM: Collegamento terminale
Cagliari, 26/05/2004 Giuseppe Andronico 32
KVM: Browser
Cagliari, 26/05/2004 Giuseppe Andronico 33
KVM: Browser
Cagliari, 26/05/2004 Giuseppe Andronico 34
KVM: Security SSH v1 e v2 Local, RADIUS, TACACS+, LDAP, NIS, and Kerberos
Authentication Token-based strong authentication (SecurID) Local backup user authentication support PAP/CHAP authentication (for dial-up lines) Dial back support IP Packet and Security Filtering User Access Lists per port System Event Syslog IPSec support
Cagliari, 26/05/2004 Giuseppe Andronico 35
KVM: benefits Improved availability (dual power supply) Secure In-band and Out-of-band Network
Management Rock-solid stability (Linux Inside) Rack space savings (1U form factor) Improved network monitoring Flexibility to support existing and future
interface types (PCMCIA support)
Cagliari, 26/05/2004 Giuseppe Andronico 36
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
GRID Management
Configurazione e gestione dei testbed GRID a Catania
Cagliari, 26/05/2004 Giuseppe Andronico 38
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 39
LCFG Struttura centralizzata basata su LCFG:
1. Il server LCFGng crea i profili dei nodi processando i file di configurazione. Questi profili vengono pubblicati via web .
2. Il client legge il profilo dall'URL e si configura gli oggetti descritti.
TUTTO il sito di Catania e’ gestito da LCFG
Cagliari, 26/05/2004 Giuseppe Andronico 40
Parliamo di: Panoramica Fabric
Computer Room Rack Rete Computers e Controllo
Management LCFG OpenPBS
Cagliari, 26/05/2004 Giuseppe Andronico 41
OpenPBS
Testbed GRID Farm Alice Cluster teorici
Cagliari, 26/05/2004 Giuseppe Andronico 42
OpenPBS: testbed GRID
Server PBS in GRID Localizzato sul dal nodo CE definisce le 3 code short ,long ed infinite
pubblicate dal CE Queste code smistano i job ai 32 WN Sull’hardware di nuova concezione
hardware è abilitato l‘hyperthreading
Cagliari, 26/05/2004 Giuseppe Andronico 43
OpenPBS: ALICE farm Sullo stesso server PBS è definita una coda
workq non pubblicata Solo gli utenti ALICE (tra cui aliprod per
AliEn) possono accedere alla coda Devono prima accedere normalmente al CE
e poi sottomettere i job Il numero di CPU allocato alle varie code
può essere variato “al volo”, a seconda delle esigenze di calcolo del momento, massimizzando così l’utilizzo della farm
Cagliari, 26/05/2004 Giuseppe Andronico 44
OpenPBS: Alice farmAliEn jobs
Grid jobsLocal jobs
Grid queues
Local/AliEn queue
Cagliari, 26/05/2004 Giuseppe Andronico 45
OpenPBS: ALICE farm
Alice::Catania::PBS
Uso della farm: PDC04 di ALICE(in corso!)
Cagliari, 26/05/2004 Giuseppe Andronico 46
OpenPBS: cluster teorici
Tecnica simile verrà presto adottata per il cluster dei teorici
main
short medium long infinite
shortPIII
shortATHLON
shortXEON
mediumPIII
mediumATHLON
mediumXEON
longPIII
longATHLON
longXEON
infinitePIII
infiniteATHLON
infiniteXEON