1

Seminario corso Sistemi Operativi – Bologna, 6 marzo 2007

Consolidamento e virtualizzazione dei server:l’esperienza di UniBo

Simone BalboniCeSIA Università di Bologna

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 2 -

Agenda:

• il progetto di consolidamento dei server UniBo

• focus sulla virtualizzazione

• sicurezza e continuità dei servizi

• scenari di utilizzo

2

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 3 -

il progetto di consolidamento dei server UniBo

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 4 -

UniBo in cifre:

• 120.000 studenti• 23 facoltà / 235 C.d.L.• 5 province• 10.000 dipendenti• 70.000 postazioni in rete

3

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 5 -

Ce.S.I.A.

informatizzazioneAmm.Centrale

servizi per l’Ateneo:posta, dns, autenticazione,

contact center, supporto

database:personale, studenti

applicazioni:sviluppo e hosting

ALMAnet esicurezza informatica

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 6 -

Censimento dei server al 31/12/04:

199 server dedicati a singole applicazioni/servizi

4

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 7 -

Inizio dei lavori:(aggiornati al 31/12/04)

87%referente servizio è anche sistemista

35sistemisti

199server

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 8 -

Distribuzione sistemi operativi nei server

37%

8%

10%17%

28%

(84% campione, al 31/12/04)

2k3 2k

5

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 9 -

Servizi rilevati:(aggiornati al 31/12/04)

21%assistenze scadute

24%antivirus

manualipatch

7%monitoraggio

18%backup

RAID, redundant power, remotizzazione dati

business continuity/DR

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 10 -

Distribuzione server per applicativi

Application serverDomain controllerDatabaseFile serverPostaServizi di reteBackupPortaleServizi variTestWeb

(85% campione, al 31/12/04)

6

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 11 -

Uso RAM rilevatoUso CPU rilevato

<10%10%<x<30%30%<x<50%50%<x<80%

(78% campione, al 31/12/04)

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 12 -

esigenza di consolidamento applicativo e hardware

molte macchinemolto scarichemolte sovrapposizionimolti amministratorimolti costi

proliferazione

7

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 13 -

Consolidamento hardware

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 14 -

Elementi di una architettura consolidata:

HARDWARE

• calcolatori multiprocessore scalabili• sistemi disco scalabili Storage Array• tessuto connessione calcolatori-disco Fabric

SOFTWARE

• sistemi operativi per la virtualizzazione:VmwareMS Virtualserver2005 R2XEN

8

stato precedente nuova architettura

CeSIA DR

Storage Area Network

IP

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 16 -

focus sulla virtualizzazione

9

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 17 -

Strategie per simulare un ambiente:

• emulazione:eseguire S.O. e applicazioni compilate per una architettura su di un’altra;

• virtualizzazione:meccanismo per creare contesti multipli su di un singolo processore, partizionando le risorse;

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 18 -

Strategie per simulare un ambiente: • virtualizzazione:

trattandosi di istruzioni x86 su architetture x86 si possono eseguire le istruzioni non protette in modo diretto; vengono invece catturate le istruzioni privilegiate e solo di queste viene emulato il comportamento;

• virtualizzazione completa (VMware):ospitare S.O. non modificati offrendogli un hardware simulato, e fare ricorso a sistemi software per intercettare operazioni privilegiate e tradurle (binarytranslation/dynamic recompilation);

• paravirtualizzazione (Xen):non viene simulato l’hardware ma offerta una speciale API per accederlo. Richiede S.O. modificati in tale direzione;

10

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 19 -

Virtualizzazione e paravirtualizzazione(VMware vs Xen)

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 20 -

VMware perchè:

1. supporto sistemi guest Windows/Linux;2. console di gestione centralizzata (VirtualCenter);3. migrazione di processi in esecuzione (VMotion);4. gestione percorsi ridondati verso I/O;5. gestione dinamica della memoria;6. migliori performance;7. supporto professionale;

11

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 21 -

Sistema operativo virtuale: come funziona?

Server fisico Storage Array

Vmot

ion

rete

IP

FC

FC

Sistema Operativo

Applicazioni

Sistema Operativo

Applicazioni

VM1 VM2

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 22 -

Switch virtuale: come funziona?

• switch software 1024 porte;

• supporta lo stretto necessario:

VLAN 802.1q

link aggregation 802.3ad

sistemi elementari di loadbalancing e beaconing

12

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 23 -

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 24 -

Gestione server remoti su rete Lepidanecessità di gestire in

loco servizi centralizzati

3 nodi backbone cittadino

13

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 25 -

Bologna: Virtualcenter

• controllo VM• messa in produzione nuove VM• gestione unificata template VM

Sito remoto: VM gestite centralmente

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 26 -

Rapporto fisico/virtuale: 30 server in un ferro solo(8 core, 32GB RAM, 2xHBA, 4xNIC 1 Gbps)

30

abbiamo concentrato i

nostri 200 server su 7 calcolatori

14

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 27 -

Utilizzo delle risorse fisiche nella infrastruttura virtuale

Uso della CPU (30 VM)Uso della Memoria (30 VM)

un rapporto di 30/40 macchine virtuali per server fisico comporta un uso ottimale delle risorse condivise

La RAM richiesta è in generale molto superiore a quella effettivamente utilizzata

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 28 -

Banda aggregata switch virtuale

25 MBps in+outnelle ore di lavoro

15

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 29 -

sicurezza e continuità operativa

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 30 -

Aspetti fondamentali:

• strettissimo controllo della logistica della Sala Server;

• repliche remote sincrone e asincrone dei dati, attraverso le reti MAN e WAN;

16

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 31 -

Adeguamento logistica:

• nuova distribuzione elettrica ridondata;• sistema di monitoraggio ambientale;• sistema di controllo accessi;• monitoraggio via rete e SMS dell’infrastruttura

Da terminare:

• antincendio;• gruppo elettrogeno;

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 32 -

17

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 33 -

CeSIAsito secondario

d=600m

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 34 -

4-processore

UID

1 30 21 10 0SimplexDuplex12

hp ProLiant DL585

Rete FC

Rete FC

UID

1 30 21 10 0SimplexDuplex12

hp ProLiant DL585

EMC

EMC

EMC

EMC

Storage Array

UID

1 30 21 10 0SimplexDuplex12

hp ProLiant DL585

Storage Array

4-processore

Rete FC

Vmotion

(rete IP)

Replica dati

(rete FibreChannel)

Sito secondarioCeSIA

Disaster Recovery in rete metropolitana (MAN)

18

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 35 -

iSCSI

• permette a server remoti (initiator) di accedere disco esposto su IP (target) a livello di blocco;

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 36 -

iSCSI: cluster geografici basati su VM

UID

1 30 21 10 0SimplexDu plex12

hp ProL iant DL585

Sistema Operativo

Applicazioni

VM Node 1

hp ProLiant DL580UI D

1 30 21 10 0Du plex12 Simplex

Sistema Operativo

Applicazioni

VM Node 2

NetApp

FAS 3020

activity status power

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance Network Appliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

System

Shelf ID

DS

Module B

Fault

Module A

14MK2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance NetworkAppliance

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance Network Appliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

System

Shelf ID

DS

Module B

Fault

Module A

14MK2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance NetworkAppliance

NetApp

FAS 3020

activity status power

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance Network Appliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

System

Shelf ID

DS

Module B

Fault

Module A

14MK2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance NetworkAppliance

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance Network Appliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

System

Shelf ID

DS

Module B

Fault

Module A

14MK2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance Ne tworkAppliance NetworkAppliance

rete IP

rete FC

iSCSI targetiSCSI target

(failover)

(replica sincrona dati)

19

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 37 -

Abbiamo visto che:

• la virtualizzazione dei server cambia profondamentele dinamiche di gestione delle risorse hardware;

• la virtualizzazione aggiunge funzionalità;

• il datacenter è uscito dalla stanza;

• la virtualizzazione, in presenza di una rete potente, permette di centralizzare i sistemi di calcolo e disco di una grande organizzazione, semplificando;