Descrizione strutturale e funzionale della rete del TIER1

Workshop CCR (Otranto, Giugno 2006) Donato De Girolamo, Giuseppe Sansonetti, Riccardo Veraldi, Stefano Zani

INFN CNAF Rete del TIER1

La rete del TIER1 e’ stata concepita con lo scopo di garantire la connettività necessaria all’accesso ed alla movimentazione dei dati sperimentali sia a livello geografico sia a livello locale. La flessibilità della struttura consente di aumentare nel tempo la banda passante verso un particolare switch o un singolo server, in base alle esigenze imposte dal modello di calcolo adottato.Particolare attenzione si riserva alla connettività dei server che svolgono funzionalità di front-end verso la Storage Area Network.Struttura fisica generale della LAN

Core Switch e Router

Black Diamond 10808:(Extreme Networks)•2 Control Module + Crossbar•128 x 1Gb/s in fibra SX•64 x 1Gb/s in rame TX•12 x 10 Gb/s in fibra (Xempak SX)•3 slot liberi

ER16:(Enterasys)•2 Control Module•96 x 1Gb/s in fibra SX•2 x 10 Gb/s in fibra (Xempak SX)•FULL!

Cisco 7600:(Cisco Systems)•2 SUP 720 3b•4 x 1Gb/s in fibra TX (o SX)•4 x 10 Gb/s In fibra (Xempak SX)•3 slot liberi

Core Switch e Router

Black Diamond 10808:(Extreme Networks)•2 Control Module + Crossbar•128 x 1Gb/s in fibra SX•64 x 1Gb/s in rame TX•12 x 10 Gb/s in fibra (Xempak SX)•3 slot liberi

ER16:(Enterasys)•2 Control Module•96 x 1Gb/s in fibra SX•2 x 10 Gb/s in fibra (Xempak SX)•FULL!

Cisco 7600:(Cisco Systems)•2 SUP 720 3b•4 x 1Gb/s in fibra TX (o SX)•4 x 10 Gb/s In fibra (Xempak SX)•3 slot liberi

Switch di aggregazione:•28 Extreme Networks Summit 400 (160 Gb/s throughput aggregato)

•48 x 1Gb/s (fino a 4 in fibra ottica)•2 x 10Gb/s

•12 Enterasys Matrix E1•48 x Fast Ethernet+ 2 x 1Gb/s in fibra ottica

•3 Cisco 3550•48 x Fast Ethernet + 2 x 1Gb/s in fibra ottica

Switch di aggregazione:•28 Extreme Networks Summit 400 (160 Gb/s throughput aggregato)

•48 x 1Gb/s (fino a 4 in fibra ottica)•2 x 10Gb/s

•12 Enterasys Matrix E1•48 x Fast Ethernet+ 2 x 1Gb/s in fibra ottica

•3 Cisco 3550•48 x Fast Ethernet + 2 x 1Gb/s in fibra ottica

Collegamenti alla WAN:

Il CNAF ha un collegamento di produzione al GARR attualmente di 1 Gb/s ed un collegamento dedicato al traffico LHC con il CERN di 10Gb/s (via GARR e GEANT).

La banda del collegamento di produzione (general purpose) verrà presto modificata in vista dei trasferimenti T2-T1 e T1-T1.

Collegamenti alla WAN:

Il CNAF ha un collegamento di produzione al GARR attualmente di 1 Gb/s ed un collegamento dedicato al traffico LHC con il CERN di 10Gb/s (via GARR e GEANT).

La banda del collegamento di produzione (general purpose) verrà presto modificata in vista dei trasferimenti T2-T1 e T1-T1.

Gestione delle VLAN•Il modello di sviluppo del Tier1 prevede l’installazione di server e worker node in rack 19”. Si è scelto di equipaggiare ogni rack con uno switch di aggregazione collegato al centro stella con multipli di 2 fibre ottiche (1Gb/s o 10Gb/s in base alle esigenze di banda).•La rete e’ segmentata sia a L2 che a L3. •Si realizza il sezionamento a L2 utilizzando le VLAN (802.1Q). Si e’ scelto di propagare tutte le VLAN fino al singolo switch di aggregazione in modo da poter spostare da una VLAN all’altra ogni singolo nodo.

Gestione delle VLAN•Il modello di sviluppo del Tier1 prevede l’installazione di server e worker node in rack 19”. Si è scelto di equipaggiare ogni rack con uno switch di aggregazione collegato al centro stella con multipli di 2 fibre ottiche (1Gb/s o 10Gb/s in base alle esigenze di banda).•La rete e’ segmentata sia a L2 che a L3. •Si realizza il sezionamento a L2 utilizzando le VLAN (802.1Q). Si e’ scelto di propagare tutte le VLAN fino al singolo switch di aggregazione in modo da poter spostare da una VLAN all’altra ogni singolo nodo.

Sicurezza

•ACL sui link di accesso alla rete geografica (tutti gli switch e i router della struttura sono in grado di gestire ACL in ASIC).•Monitoring: MRTG, NAGIOS, NTOP•Logging: 3 log servers (Syslog-NG)•IDS: Argus (in fase di sviluppo)

Sicurezza

•ACL sui link di accesso alla rete geografica (tutti gli switch e i router della struttura sono in grado di gestire ACL in ASIC).•Monitoring: MRTG, NAGIOS, NTOP•Logging: 3 log servers (Syslog-NG)•IDS: Argus (in fase di sviluppo)

Monitoring, allarmistica e loggingMRTG: Raccoglie statistiche di utilizzo di banda per tutti gli apparati di reteNAGIOS: Controlla lo stato di tutti gli apparati di rete (connettività, stato dei trunk, carico di CPU,..) e dei servizi di base del TIER1, generando notifiche (via mail ed SMS) in seguito ad eventi critici o ritenuti anomaliSyslog-NG: Tutti i messaggi di log generati dagli apparati di rete e dai principali server del TIER1 sono raccolti da più Syslog-NG server e vengono analizzati con tool quali Logwatch ed alcuni script perl realizzati in base alle esigenze contingenti.NTOP: Viene utilizzato per controllare la tipologia del traffico del TIER1 ed analizzare i flussi “Netflow” ed “S-Flow” generati dai core switch

Monitoring, allarmistica e loggingMRTG: Raccoglie statistiche di utilizzo di banda per tutti gli apparati di reteNAGIOS: Controlla lo stato di tutti gli apparati di rete (connettività, stato dei trunk, carico di CPU,..) e dei servizi di base del TIER1, generando notifiche (via mail ed SMS) in seguito ad eventi critici o ritenuti anomaliSyslog-NG: Tutti i messaggi di log generati dagli apparati di rete e dai principali server del TIER1 sono raccolti da più Syslog-NG server e vengono analizzati con tool quali Logwatch ed alcuni script perl realizzati in base alle esigenze contingenti.NTOP: Viene utilizzato per controllare la tipologia del traffico del TIER1 ed analizzare i flussi “Netflow” ed “S-Flow” generati dai core switch

St.34(gi.3.1,gi.4.1)

EnterasysER16

SSR8600

sw-04-03

sw-04-01

sw-04-02

3(3-4)

5(5-6)

7(7-8)

LHCBSW1

9(9-10)

49(49-50)

49(49-50)

49(49-50)

29(29-32)

SW-04-06

SW-04-07

SW-04-08

SW-04-09

SW-04-10

SW-03-06

FarmSWF1St

.2(g

i.1.1

,gi.2

.1)

St.3

(gi.1

.2,g

i.2.2

)

St.4

(gi.1

.3,g

i.2.3

)

St.5

(gi.1

.4,g

i.2.4

)

St.

6(g

i.1.5

,gi.2

.5)

St.7(gi.1.6,gi.2.6)St.9

(gi.1.8,gi.2

.8)

St.15(gi.15,16.1,2)

Sezione di Bologna

SW-06-06

St.

12(g

i.5.4

,gi.6

.4)

SW-03-07

SW-05-01

SW-05-02

SW-05-03

SW-05-04

SW-05-05

SW-03-08

SW-03-09

St.17(g

i.15.4,gi.16.4)

St.18(g

i.15.5,gi.16.5)

St.19(g

i.15.6,gi.16.6)

St.20(g

i.15.7,gi.16.7)

St.21(g

i.15.8,gi.16.8)

St.22(gi.12.6,gi.13.6)

St.23(gi.12.7,gi.13.7)

SW-06-01

St.16(gi.15.3,gi.16.3)

St.25(gi.1

0.1,gi.11.1)

SW-02-07

St.1

3(g

i.5.5

,gi.5

.8,g

i.6.5)

SW-08-04

SW-03-10

SW-03-11

St.28(gi.10.5,gi.11.5)

St.29(gi.10.6,gi.11.6)

St.30(gi.5.2,gi.6.2)

SW-04-04

SW-04-05

St.31(

gi.10.

7,gi.1

1.7)

St.

32(g

i.5.6

,gi.6

.6)

SW-06-08

SW-08-05

Cisco 7600

Extreme NetworksBD10K

(5/2,6/1)

St.36(gi.3.3,gi.4.3)

SW-08-03

gi.12.4

gi.12.3

SW-ACSt.35(gi.3.2,gi.4.2)

St.37(gi.3.4,gi.4.4)

gi.12.2

SW-08-02 (sc)

1:1 2:1

SW-03-05

SW-03-04

SW-03-03

SW-03-02

gi.6.8

FarmSWG1

SW-08-08

SW-08-07

cat6500

St.

11(g

i.5.3

,gi.6

.3)

SW-06-05

St.33(xg.7.1,xg.14.1)

FarmSWF2

FarmSWG3

St.1(gi.3.1,gi.5.1)

(1:4,2:4)

(3/1,3/2)

1:2

(7:4,8:4)

(7:3,8:3)

(7:6,8:6)

(7:5,8:5)

1:5

(7:59,8:59)

GE 0/1/0

SW-F-01

(7:1

0,8:

10)

SW-E-01

gi.5.2

SW-06-02(7:58,8:58)

CERN

10Gb/s

1Gb

/s

GARRGiga POP

LHC OPN: 10 Gb/s dedicati al traffico CERN-TIER1 per produzione LHC

Accesso General Purpose del CNAF

Juniper M360

2x1Gb/s1x10Gb/s

5/1