Riunione gruppo storage – Roma 05/05/2005Riunione gruppo storage – Roma 05/05/2005

Test di affidabilita’ e Test di affidabilita’ e performance a Genovaperformance a Genova

Alessandro BrunengoAlessandro Brunengo

Layout di testLayout di test

Layout di testLayout di test

Controller Infortrend Eonstore A16F-R1112

• doppio controller FC to SATA

• alimentazione e ventilazione ridondata

• 256 MB di cache

• 16 HD SATA da 250 GB

• tre volumi in RAID 5 da 1 TB

Layout di testLayout di test

Due switch Emulex 355 (ex Vixel InSpeed 355)

Layout di testLayout di testDisk server

• dual Xeon 2.8 e 3.0 GHz, 2 GB di RAM

• HBA Qlogic QLA3212 dual head

• SLC3

Layout di testLayout di test

Switch Extreme Networks 400-48 (48 porte GE)

Layout di testLayout di test

4 client dual Xeon 3.2 GHz, SLC3

Layout di testLayout di test

Ridondanza sul controllerRidondanza sul controller

Ciascun volume viene esportato come LUN Ciascun volume viene esportato come LUN da un solo controller, eventualmente su da un solo controller, eventualmente su entrambi i canalientrambi i canali

In caso di guasto ad un controller, il In caso di guasto ad un controller, il controller operativo si presenta sul loop controller operativo si presenta sul loop con entrambi gli indirizzi, simulando la con entrambi gli indirizzi, simulando la presenza dell’altro controller, ed esporta i presenza dell’altro controller, ed esporta i volumi originariamente associati al volumi originariamente associati al controller off-linecontroller off-line

Ridondanza sulle HBA dual headRidondanza sulle HBA dual head

Se un volume e’ visibile da entrambe le porte, l’HBA lo Se un volume e’ visibile da entrambe le porte, l’HBA lo riconosce:riconosce:• se non e’ operativo il failover, uno dei due cammini verso il se non e’ operativo il failover, uno dei due cammini verso il

volume viene automaticamente disattivato e puo’ essere volume viene automaticamente disattivato e puo’ essere attivato manualmente in caso di failure dell’altro camminoattivato manualmente in caso di failure dell’altro cammino

• se il failover e’ operativo, uno dei due cammini viene se il failover e’ operativo, uno dei due cammini viene disattivato ed attivato automaticamente in caso di failure del disattivato ed attivato automaticamente in caso di failure del primo camminoprimo cammino

• con il failover operativo e’ possibile configurare il cammino con il failover operativo e’ possibile configurare il cammino preferenziale a livello di singola LUN (load balancing)preferenziale a livello di singola LUN (load balancing)

Il driver inserito nel kernel della SLC3 contiene il codice per Il driver inserito nel kernel della SLC3 contiene il codice per la gestione del failover, ma deve essere esplicitamente la gestione del failover, ma deve essere esplicitamente attivatoattivato

La configurazione dell’HBA puo’ essere fatta editando un La configurazione dell’HBA puo’ essere fatta editando un file di testo, ma non e’ documentato; esiste un pacchetto file di testo, ma non e’ documentato; esiste un pacchetto software (SANsurfer) scaricabile gratuitamente che fornisce software (SANsurfer) scaricabile gratuitamente che fornisce una GUI per la configurazione una GUI per la configurazione

GPFSGPFS GPFS e’ stato configurato in modalita’ GPFS e’ stato configurato in modalita’

“tiebreaker disk”, con i due disk server “tiebreaker disk”, con i due disk server definiti come “quorum node”definiti come “quorum node”

I test sono stati fatti in diverse I test sono stati fatti in diverse configurazioni, utilizzando un file system configurazioni, utilizzando un file system costituito dacostituito da• un solo NSDun solo NSD• due NSD esportati da un solo disk serverdue NSD esportati da un solo disk server• due NSD esportati ciascuno da un diverso disk due NSD esportati ciascuno da un diverso disk

server; in questo caso ciascun server ha server; in questo caso ciascun server ha funzioni di backup per l’esportazione dell’NSD funzioni di backup per l’esportazione dell’NSD dell’altro serverdell’altro server

Test di failoverTest di failover E’ stata testata l’operativita’ del sistema in E’ stata testata l’operativita’ del sistema in

presenza dei diversi eventi:presenza dei diversi eventi:• failure di un HDfailure di un HD• failure del controller FC (primario e secondario)failure del controller FC (primario e secondario)• failure di uno switchfailure di uno switch• failure di un disk server (in configurazione con 2 NSD failure di un disk server (in configurazione con 2 NSD

esportate e server di backup configurato)esportate e server di backup configurato) In tutti i casi il test e’ stato fatto in condizioni di In tutti i casi il test e’ stato fatto in condizioni di

I/O sul disco, che non si e’ interrottoI/O sul disco, che non si e’ interrotto• le operazioni di I/O si arrestano per tempi diversi a le operazioni di I/O si arrestano per tempi diversi a

seconda del tipo di failure e quindi del meccanismo di seconda del tipo di failure e quindi del meccanismo di recovery coinvolto, comunque inferiore al minuto, e poi recovery coinvolto, comunque inferiore al minuto, e poi riprendonoriprendono

Layout test di affidabilita’Layout test di affidabilita’

Failure del controllerFailure del controller

Failure dello switchFailure dello switch

Failure del disk serverFailure del disk server

PrestazioniPrestazioni

Sono stati fatti test di prestazioni Sono stati fatti test di prestazioni utilizzando lmdd (un front-end per dd), per utilizzando lmdd (un front-end per dd), per scrivere e rileggere file di 4 GB, in diverse scrivere e rileggere file di 4 GB, in diverse configurazioniconfigurazioni• I/O operata direttamente dai server, per I/O operata direttamente dai server, per

mettere in relazione ext3 con GPFS (1 server e mettere in relazione ext3 con GPFS (1 server e due server)due server)

• I/O concomitanti operate da 1, 2 e 4 client, I/O concomitanti operate da 1, 2 e 4 client, anche con piu’ processi per client, per mettere anche con piu’ processi per client, per mettere in relazione NFS/ext3, NFS/GPFS e GPFS nativoin relazione NFS/ext3, NFS/GPFS e GPFS nativo

Server I/O

68.0078.0072.50

136.00125.00

197.00

137.00

260.00

0.00

50.00

100.00

150.00

200.00

250.00

300.00

write read

MB/s

ext3

GPFS (1 srv, 1 NSD)

GPFS (1 srv, 2 NSD)

GPFS (2 srv, 2 NSD)

Client I/O (write)

32.7038.00

42.8039.00

42.00

54.80

89.00 89.40 88.00

103.00

121.60 120.00

0.00

20.00

40.00

60.00

80.00

100.00

120.00

140.00

1 client 2 clients 4 clients

MB/s

NFS (ext3)

NFS (GPFS, 1 srv, 1 NSD)

GPFS (1 srv, 1 NSD)

GPFS (2 srv, 2 NSD)

Client I/O (read)

67.0060.20

46.00

114.00

50.0046.00

113.00 114.60108.00

116.50

209.00 210.00

0.00

50.00

100.00

150.00

200.00

250.00

1 client 2 clients 4 clients

MB/s

NFS (ext3)

NFS (GPFS, 1 srv, 1 NSD)

GPFS (1 srv, 1 NSD)

GPFS (2 srv, 2 NSD)

ProblemiProblemi Sono stati sostituiti i due banchi di RAM da 512 MB (partita Sono stati sostituiti i due banchi di RAM da 512 MB (partita

difettosa, problema noto ad Infortrend)difettosa, problema noto ad Infortrend) Fibra difettosa (identificazione difficile per via delle Fibra difettosa (identificazione difficile per via delle

ridondanze che si attivavano automaticamente)ridondanze che si attivavano automaticamente) Un HBA (su 3) ha rotto l’NVRAM: sostituitaUn HBA (su 3) ha rotto l’NVRAM: sostituita Un disco si e’ rotto: sostituitoUn disco si e’ rotto: sostituito In occasione di I/O intensivo e prolungato, i controller si In occasione di I/O intensivo e prolungato, i controller si

congelavano dopo uno/due giorni: dopo alcune prove congelavano dopo uno/due giorni: dopo alcune prove effettuate dalla manutenzione Infortrend ha sostituito i effettuate dalla manutenzione Infortrend ha sostituito i controllercontroller• Infortrend ha inviato uno dei due controller con Board Revision Infortrend ha inviato uno dei due controller con Board Revision

ID vecchia (1 anziche’ 2) e su questa non si possono utilizzare i ID vecchia (1 anziche’ 2) e su questa non si possono utilizzare i banchi da 512 MB di RAM, quindi i test conclusivi presentati banchi da 512 MB di RAM, quindi i test conclusivi presentati sono stati fatti con 256 MB di cache totali; invieranno un sono stati fatti con 256 MB di cache totali; invieranno un controller sostitutivocontroller sostitutivo

Problemi seriProblemi seri Il protocollo Fiber ChannelIl protocollo Fiber Channel

• formalmente il protocollo prevede che un oggetto possa formalmente il protocollo prevede che un oggetto possa essere attaccato alla SAN e tutto va bene, maessere attaccato alla SAN e tutto va bene, ma

i manuali dei vendor suggeriscono o esplicitamente i manuali dei vendor suggeriscono o esplicitamente supportano solo configurazioni dei parametri operazionali supportano solo configurazioni dei parametri operazionali della HBA ben definite, non necessariamente compatibilidella HBA ben definite, non necessariamente compatibili

il tentativo di connettere un controller Fiber Channel il tentativo di connettere un controller Fiber Channel diverso (StorageTeK) sugli stessi switch e’ fallito (problema diverso (StorageTeK) sugli stessi switch e’ fallito (problema non ancora indagato a fondo)non ancora indagato a fondo)

Il driver degli HBA per linux (qla2300.o)Il driver degli HBA per linux (qla2300.o)• in occasione di uno spegnimento brutale del disk server in occasione di uno spegnimento brutale del disk server

durante operazioni di I/O ha portato il sistema in durante operazioni di I/O ha portato il sistema in condizioni di instabilita’ (kernel panic piu’ che condizioni di instabilita’ (kernel panic piu’ che occasionale) al caricamento del driver; il problema deve occasionale) al caricamento del driver; il problema deve ancora essere indagatoancora essere indagato