GM, Bologna, 8 aprile 2003 1 INFN-GRID-WP4: Computing Fabric & Mass Storage Attivita 2003 (CNAF,...
-
Upload
robertina-giorgi -
Category
Documents
-
view
217 -
download
0
Transcript of GM, Bologna, 8 aprile 2003 1 INFN-GRID-WP4: Computing Fabric & Mass Storage Attivita 2003 (CNAF,...
GM, Bologna, 8 aprile 2003 1
INFN-GRID-WP4:Computing Fabric & Mass Storage
Attivita’ 2003
(CNAF, Genova, Lecce, LNL, Padova, Napoli, Roma1)
GM, Bologna, 8 aprile 2003 2
WP Breakdown
Fabric Design– l’attivita’ del 2003 e’ focalizzata sulle tecniche di storage di una farm con un
numero elevato di nodi. L’utilizzo di NFS in questi casi e’ di difficile realizzazione e fornisce prestazioni modeste. Ci sono vari approcci possibilie. Il piu interessante per noi e’ quello legato alla possibilita’ di SAN a basso costo associate ad un file system condiviso da tutta la farm. Quindi l’attivita’ del 2003 e’ cosi articolata
Commodity Storage Area Network (SAN) Cluster file systems
Fabric Management– L’attivita 2003 continua il programma concordato con wp4-edg.
Installation Tasko Transizione LCFG->LCFGng->EDG wp4 tools
GM, Bologna, 8 aprile 2003 3
Fabric Management: Installation Task
The INFN efforts in WP4 has been spent during the review period as follows: INFN Legnaro (E. Ferro and C. Aifitimiei):
– LCFGng deployment and support: maintenance of the existing documentation for Red Hat 6.2 server, add of the installation guide for Red Hat 7.3 (thanks to WP6 collaboration), support for deployment on the testbed (bug fixes and some improvements). 1 PM.
– [WP4I-16] Automated installation infrastructure: Design. Almost complete, announced to mailing lists, waiting for comments. 0.6 PM.
– [WP4I-17] Automated installation infrastructure: installation server. Started implementation only of basic functionalities (DHCP configuration). 0.2 PM
INFN CNAF (A. Chierici ):
– Generic support to CNAF-Tier1 staff for the installation problem with LCFG.– Feedback to WP4/WP6 on the deployment of the new LCFGng installation system.– Development, in conjunction with WP1 staff, of 2 new LCFGng objects: jssrbconfig
and uiconfig.
GM, Bologna, 8 aprile 2003 4
Fabric Design
L’attivita del 2003 e’ si compone di due argomenti strettamente correlati tra loro:
– commodity SAN (o presunte) gigaethernet (con migrazione a 10 Geth se possibile) Infiniband
– Cluster File Systems da poter utilizzare con una commodity SAN e dove quindi e’ immaginabile un file system condiviso tra tutti i nodi di calcolo e disk server
– Partecipanti: Genova LNL Napoli
GM, Bologna, 8 aprile 2003 5
Modello di storage con NFSApplication Servers
Data Servers
Disk Array
Disk Array
Disk Array
Server
Server
Server
SAN
gateway
NFS
- Attualmente l’accesso remoto ai Data Server e’ penalizzato da NFS- Dato l’elevato numero di Application Serverci sono scarsi vantaggi ad utilizzare SAN basate per esempio su FC (costoso)
GM, Bologna, 8 aprile 2003 6
Commodity SANApplication Servers
Data Servers
gateway
SAN enabled disk array
GEth/iSCSI
Infiniband
SAN low cost (commodity) permettonodi raggiungere direttamente tutti i nodi. Di interesse per noi sono:GigaEthernet con trasporto SCSI su IP (iSCSI)InfinibandL’integrazione completa sulla farm richiede cmnqun file system a livello di farm stessa.
GM, Bologna, 8 aprile 2003 7
iSCSI
Internet SCSI (iSCSI) is a standard protocol for encapsulating SCSI command into TCP/IP packets and enabling I/O block data transport over IP networks
iSCSI adapters combines NIC and HBA functions. 1. take the data in block form2. handle the segmentation
and processing with TCP/IP processing engine
3. send IP packets across the IP network
ApplicationLayer
DriverLayer
LinkLayer
Network Interface CardStorage HBAFC Storage
iSCSI Adapter
IP Server FC Server IP Server
IP Packets
File Block Block
BlockBlock
IP Packetson Ethernet on Ethernet
IP PacketsFC PacketsIntel GE 1000 TIP Storage Adapter
GM, Bologna, 8 aprile 2003 8
iSCSI products
GEth/iSCSI
Application Servers
Data Servers
Host adapter:- Intel GE 1000 T- Adaptec ASA-7211- LSI 5201- ecc.
2 x GE
LSI iMegaRAID
SATA
1
16
= ~ 5 Tbyte x controller
iSCSI ControllerRAID – SATA Controller
GM, Bologna, 8 aprile 2003 9
Infiniband Transport Protocols
IBA has been developed with Virtual Interface in mind. VIPL 2.0 includes IBA extensions and RDMA operations.
SCSI RDMA Protocol (SRP). It is a T10 standard.– SRP defines mapping to IBA architecture– it is the transport protocol over IBA– SRP is based on VI
Direct Access Files System (DAFS) Direct Access Socket (DAS)
– TCP/IP functionality over VI/IB
IBA Host Channel Adapter
Virtual Interface over IB
DAS DAFS SRP
fast, low latencyTCP/IP sockets File Access Block Access
fast, low latency network storage
GM, Bologna, 8 aprile 2003 10
LNL Infiniband Test Bed All the hardware has been provided by Infiniswitch (1 switch + 4 HCA)
All the hardware is up and running
First p2p measurements have been performed
Software– Virtual Interface Library (VIPL) as provided by Infiniswitch
Send/Receive over reliable connections RDMA over reliable connections
– Sourceforge has a infiniband project over Linux VIPL source is available. Compiled and works! Performance as the infiniswitch VIPL (probably they are the same code)
Results– Round trip time small buffers ~ 40 sec (latency 20 sec)– P2P ~ 80% link saturation
GM, Bologna, 8 aprile 2003 11
LNL Infiniband Test Bed II
Leaf Switch32 1x (2.5 Gbps) ports
in 1 U chassis
PCI-X (max ~ 380 Mbyte/s)
Supermicro P4DL6
IBA Host Channel Adapter
GM, Bologna, 8 aprile 2003 12
Infiniband: risultati ottenuti220 Link Saturation
GM, Bologna, 8 aprile 2003 13
Cluster File Systems
Application Servers
Data Servers
ClusterFile System
- GFS - GPFS- Lustre
- Storage Tank
GM, Bologna, 8 aprile 2003 14
Legnaro Test Bed Blade + 4 server + 200 GB*4
Test con GPFS Test in programmazione fino a giugno:
– valutazione lustre – storage tank (cluster file system) su FC o su DAS se possibile
– Test bed su iscsi con :– Host adapter LSI 5201– iMegaRAID solution
IBM Blade center
GPFS
Write 30 Mbyte/s Read 30 Mbyte/s
DAS Disk Servers
GM, Bologna, 8 aprile 2003 15
Napoli test bed
La proposta e’ di equipaggiare la farm di FIRB (16 macchine) con una rete Myrinet a 2 Gbps
Durante il setup di FIRB la farm viene utilizzata anche per fare I test sui cluster file system
A test finiti Myrinet rimane a FIRB abilitando la farm al calcolo parallelo (con MPI) ad alta velocita.
Myrinet, essendo l’unico link per cluster commerciale a 2 Gbps, permette il test dei cluster file system ad alta velocita’.
GM, Bologna, 8 aprile 2003 16
Genova test bed
Viene potenziata la loro Farm Gethernet aumentando il numero di nodi (+ 15 PC)
L’attivita’ continua su:– Protocollo Gamma
in produzione su applicativi paralleli, portato su MPI
– DRAID Progetto completato Test di scalabilita’