Prof. Roberto Canonico - unina.itwpage.unina.it/rcanonic/didattica/cdn/lucidi/CDN-L01-v01... ·...

Cloud e Datacenter NetworkingUniversità degli Studi di Napoli Federico II

Dipartimento di Ingegneria Elettrica e delle Tecnologie dell’Informazione DIETI

Laurea Magistrale in Ingegneria Informatica

Prof. Roberto Canonico

Datacenter: architettura ed organizzazione

V1.0 – Febbraio 2016 – © Roberto Canonico

I° Quadrimestre

Lesson outline

Datacenter: functional organization

Datacenter: IT infrastructure and other plants

Server racks organization

The TIA-942 standard

Cabling

Datacenter cooling plant and CRAC units

UPS plant

Datacenter energy efficiency and PUE

Datacenter tiers

Modular datacenters

Some datacenter examples

2Corso di Cloud e Datacenter Networking – Prof. Roberto Canonico

Datacenter: finalità ed organizzazione

Un datacenter è una struttura realizzata allo scopo di ospitare un sistema

informatico di grandi dimensioni ed i componenti ausiliari ad essi associati,

quali i sistemi di telecomunicazione, alimentazione, condizionamento, ecc.

Un datacenter (DC) comprende:

Dispositivi IT: server, apparati di rete, dispositivi di memorizzazione dati (storage)

Un sistema di cablaggio

Sistemi di alimentazione di emergenza Sistemi di alimentazione di emergenza

Un sistema di condizionamento - Computer Room Air Conditioning (CRAC)

e talora sistemi di raffreddamento (cooling) specifici per i server

Un’infrastruttura per la gestione della sicurezza fisica:

controllo accessi, impianti anti-incendio, ecc.

Una sala per la gestione operativa (Network Operations Center, NOC)

Si stima che il 10% dei consumi mondiali di energia sia dovuto ai DC ed alle

strutture ad essi collegate


Datacenter: IT infrastructure and auxiliary plantsRack

(Server+Network+Storage)

Power system

(Emergency generator + UPS)


Cooling and

Conditioning

Datacenter: rack e cabinets

Il cabinet è l’armadio che ospita lo scaffale

(rack) nel quale sono installati i server e gli

altri dispositivi IT (switch, storage, ecc. …)

Le dimensioni di rack e cabinet sono

specificate dallo standard EIA 310D

Lo spazio verticale all’interno di un cabinet è

espresso in modular units (U), anche dette

rack units (RU)


rack units (RU)

Altezze tipiche: 24U/25U e 42U

1 rack unit = 1.75 inches = 4.45 cm

Datacenter: dimensioni di rack e cabinet

Il cabinet comprende la scaffalatura interna (rack)

e le pareti esterne

Rack: larghezze standard

19 pollici (48.26 cm) → più diffuso

23 pollici (58.42 cm)





Cabinet: profondità


per server di profondità fino a 28 pollici (71.12 cm)


per server di profondità fino a 33 pollici (83.82 cm)

Datacenter: rack

Rack da 25U: vista fronte-retro


Server da rack: motivazioni

L’uso di server da rack, rispetto al formato tower, porta in un DC ovvi vantaggi:

Gestibilità: i rack consentono di gestire più facilmente i server e le altre

apparecchiature IT grazie alla prossimità e modularità e gestione dei cavi fornite

dai rack

Consolidamento: i rack consentono di ridurre al minimo l'ingombro, aumentando

al tempo stesso la densità (problema per il condizionamento)

Sicurezza: l’organizzazione in rack consente livelli superiori di sicurezza fisica, ad

esempio porte con un sistema di chiusura e pannelli laterali di acciaio,esempio porte con un sistema di chiusura e pannelli laterali di acciaio,

consentono una maggiore protezione dei sistemi da manomissioni ed accessi

non autorizzati

Espandibilità: i rack consentono ai clienti una maggiore facilità di espansione

Modularità: i rack sono conformi a standard industriali che facilitano la

realizzazione del cablaggio e la possibilità di integrare apparati di fornitori diversi

Corso di Cloud e Datacenter Networking – Prof. Roberto Canonico 8

Esempi di configurazioni di server da rackCaratteristiche IBM System x3650 M4 7915 HP ProLiant DL380 Gen9

E5-2650v3

DELL PowerEdge R630

CPU Intel Xeon E5-2680

2,70GHz (64-bit)

Intel Xeon E5-2650 v3

2,30 GHz (64-bit)

Intel Xeon E5-2640 v3

2,60 GHz (64-bit)

Numero di core 8 10 8

Numero di CPU 1 / max 2 2 / max 2 1 / max 2

RAM slot 24 DDR3 SDRAM 24 DDR4 SDRAM 24 DDR4 SDRAM

RAM montata 8 GB 32 GB 16 GB

RAM massima 24*4=96 GB UDIMM o

24*32=768 GB LRDIMM

24*16=384 GB RDIMM o

24*32=768 GB LRDIMM

24*16=384 GB RDIMM o

24*32=768 GB LRDIMM

Storage controller Serial Attached SCSI (SAS) Serial Attached SCSI (SAS) Serial Attached SCSI (SAS)

Memorie di massa 6 slot da 3,5” SATA o

8/16 slot da 2,5” SAS

(no HDD nella config. base)

8 slot 2,5” (SFF) 8 slot 2,5” (SFF)

Schede di rete 4x1Gb Ethernet Intel I350AM4 4x1Gb HP Embedded +

2x10Gb-T Flexible LOM

4x1Gb Ethernet Broadcom 5720

Schede di controllo remoto Integrated Management IMM2 HP iLO Intelligent Platform Management

Interface (IPMI)

Dimensione 2U 2U 1U


Rack: switch KVM Per l’accesso diretto ai server, un rack può ospitare una console KVM

(keyboard, video, mouse) collegata agli ingressi di I/O dei server (VGA per il

video ed USB o PS2 per tastiera e mouse) attraverso uno switch KVM

Lo switch KVM consente di commutare il controllo su uno qualsiasi dei server

del rack

Nei datacenter moderni, al controllo da console si preferisce il controllo

remoto tramite interfaccia di gestione (iLO, IPMI, ecc.) che consente l’accesso

remoto alla console ed il controllo completo del sistema di alimentazioneremoto alla console ed il controllo completo del sistema di alimentazione


Datacenter: pavimentazione e canaline per il cablag gio

Overhead

Cable Tray

Overhead

Cable Tray


Floor Tile

Perforated

Floor Tile

Perforated

Floor Tile

Datacenter standard: TIA -942

Telecommunications Infrastructure Standard for Data Centers

Approvato ad aprile 2005 da ANSI ed EIA

Definisce i requisiti e le regole fondamentali per il progetto e la realizzazione di data

centers e server room

Fornisce delle linee guida per la organizzazione delle cosiddette work areas

Entrance Room (ER)

Operations Center (OC), Offices and Support RoomsOperations Center (OC), Offices and Support Rooms

Telecommunications Room (TR)

Computer Room (CR)

Main Distribution Area (MDA) → Main Cross-connect (MC)

Horizontal Distribution Area (HDA) → Horizontal Cross-connect (HC)

Zone Distribution Area (ZDA) → Zone Outlet (ZO) or Consolidation Point (CP)

Equipment Distribution Area (EDA) → Equipment cabinets and racks


TIA-942: basic datacenter organization


TIA-942: reduced datacenter organization In small scale datacenters:

Main Cross-connect and Horizontal Cross-connect can be consolidated in a single

Main Distribution Area, possibly as small as a single cabinet or rack

Telecommunications Room for cabling to the Support Areas and the Entrance Room

may also be consolidated into the Main Distribution Area


TIA-942: large datacenter organization

Multiple Entrance Rooms

All other parts are replicated for redundancy


TIA-942: tipologie di cavi previsti dallo standard

Cavo UTP da 100 Ω (ANSI/TIA/EIA-568-B.2)

UTP Categoria 6 (ANSI/TIA/EIA-568-B.2-1)

Fibra ottica multimodale (ANSI/TIA/EIA-568-B.3) da 62.5/125 µm o 50/125 µm

Fibra ottica multimodale da 50/125 µm ottimizzata per laser da 850 nm

(ANSI/TIA-568-B.3-1)

Fibra ottica monomodale (ANSI/TIA/EIA-568-B.3)

Cavo coassiale da 75-ohm Cavo coassiale da 75-ohm

Telcordia Technologies GR-139-CORE


TIA-942: Horizontal cabling

Horizontal cabling is the cabling from the Horizontal Crossconnect (HC)

in the Main Distribution Area (MDA) or Horizontal Distribution Area (HDA) to the

outlet in the Equipment Distribution Area (EDA) or Zone Distribution Area (ZDA)

Backbone cabling includes cabling from MDA to ER and HDA


Horizontal cabling: max length

The maximum horizontal distance is 90 m independent of media type

The maximum channel distance including equipment cords is 100 m

The maximum cabling distance in a data center not containing a horizontal

distribution area is:

300 m for an optical fiber channel including equipment cords

100 m for copper cabling including equipment cords


Datacenter: rack cabling


Cabling : patch panels I collegamenti tra le varie aree del datacenter sono attestati in maniera fissa su appositi

pannelli di permutazione (patch panel) sia nel caso di collegamenti in rame (UTP) che in fibra

ottica

Il collegamento tra i patch panel e le porte degli apparati attivi (e.g. switch) è effettuato

mediante cavi connettorizzati ad entrambi i lati (patch cords)

Le modalità di collegamento dei cavi ai patch cord dipendono dalla marca del patch panel

Nelle configurazioni con Top-of-Rack switch, i server sono spesso collegati allo switch ToR

direttamente, senza un patch panel


Patch panel per cavi UTP: vista anteriore Patch panel per cavi UTP: vista posteriore

Datacenter: raised floor A raised floor consists of a gridded metal framework or substructure

of adjustable-height supports (called "pedestals") that provide support

for removable (liftable) floor panels (tiles),

which are usually 2×2 feet or 60×60 cm in size

A void space is created below the floor for establishing pathways for

piping, wires, cable, as well as to uniformly distribute conditioned air

Many types of commercially available floors exist that offer a wide range

of structural strength and loading capabilities

Stringerless raised floors

Consists of an array of pedestals that provide the necessary height for routing cables

and also serve to support each corner of the floor panels"Under Floor Cable Runs Tee" by Robert.Harker

No mechanical attachments between the pedestal heads

Pros: Maximum accessibility to the space under the floor

Cons: significantly weaker than stringered raised floors

Stringered raised floors

Consists of a vertical array of steel pedestal assemblies uniformly spaced

on two-foot centers and mechanically fastened to the concrete floor

Structural platforms

Consists of members constructed of steel angles or channels that are welded

or bolted together to form an integrated platform for supporting equipment

Structural platforms may or may not contain panels or stringers

Pros: permits equipment to be fastened directly to the platform


"Under Floor Cable Runs Tee" by Robert.Harker

Datacenter: racks layout

• Racks form rows separated by aisles

• Typical hot-and-cold aisle layout:

• Servers in adjacent rows face-to-face

• Air conditioning systems, positioned

around the perimeter of the room

or at the end of hot-aisles, push

cold air under the raised floor

• Cold air flows from the raised floor


• Cold air flows from the raised floor

through perforated tiles

• Cold aisles are 2 floor tiles large

• Standard floor tile size: 60x60 cm

• Typical cold aisle width: 120 cm

• Typical hot aisle width: 90 cm

Datacenter: aisle pitch Per aisle pitch si intende la distanza dal centro di un’isola fredda al centro

dell’isola fredda adiacente

Typical cold aisle width: 4 feet (≈ 120 cm)

Typical hot aisle width: 3 feet (≈ 90 cm)

Space left for rack depth: 42 inches = 3.5 feet (≈ 105 cm)

Typical aisle pitch: 7 tiles → 14 feet (≈ 420 cm)


Seven-tile aisle pitch

Datacenter: condizionamento (1)Heating, ventilation, and air conditioning (HVAC) units push cold air under the raised floor


DC: condizionamento (2)

Obiettivo del sistema di condizionamento: mantenere condizioni operative ottimali per l’IT

linee guida fornite dall’American Society of Heating, Refrigeration and Air-Conditioning Engineers

(ASHRAE) Technical Committee 9.9

http://tc99.ashraetcs.org/documents/ASHRAE_Extended_Environmental_Envelope_Final_Aug_1_2008.pdf

Range di temperature: 18 – 27 °C (dove è misurata ?)

Il sistema di condizionamento smaltisce il calore prodotto dalle apparecchiature IT e lo

disperde nell’ambiente circostante il DC

I consumi energetici del sistema di condizionamento dipendono da:

la quantità di calore prodotta dalle apparecchiature IT la quantità di calore prodotta dalle apparecchiature IT

la differenza di temperatura tra il DC e l’ambiente esterno

Fino ad oggi si progettavano impianti a tutt'aria

impianti di climatizzazione per 1.500 / 2.000 W*m2

Tendenza recente: aumentare la densità degli apparati nella computer room

questo aumenta i requisiti richiesti all’impianto di condizionamento

Negli impianti più recenti il freddo è fornito in parte con aria ed in parte con acqua

maggiori difficoltà nel progetto e nella realizzazione

Per motivi di sicurezza cavi di potenza su canaline sospese e non a terra


DC: condizionamento (3) Il layout con isole calde e fredde ha come obiettivo quello di minimizzare il mix tra flussi di aria fredda e

calda e così aumentare il rendimento dell’impianto di condizionamento

Se una parte significativa del flusso caldo si mischiasse con il flusso freddo, il sistema di condizionamento

dovrebbe pompare aria a temperatura ancora più bassa per ottenere lo stesso effetto di raffreddamento

La parte bassa di un rack va riempita con gli apparati più pesanti (per motivi di stabilità)

e che producono più calore (più vicini al flusso di aria fredda che sale dal pavimento)

Se un rack non è completamente riempito, è opportuno riempire le posizioni vuote con blanking panel che

impediscono all’aria calda di fuoruscire dal lato anteriore del rack

GOODBAD


GOODBADBlanking panels

DC: condizionamento (4) Inefficienze del sistema di condizionamento

L’aria fredda che emerge dal pavimento rialzato attraverso le piastrelle perforate non entra nei rack ma viene indirizzata

direttamente nella unità di raffreddamento CRAC

Questo comporta una notevole perdita di efficienza dell’impianto di condizionamento

Soluzioni: “contenimento” attraverso barriere di separazione che impediscono il mix di flussi di aria calda e fredda


DC: conditioning (5) Cooling containment solutions

prevent hot and cold air flows to mix by means of physical barriers


Thermal analysis

Compare temperatures without and with cold-aisle containment


Datacenter: sistema UPS

Scopo primario di un UPS: fornire con continuità nel tempo (cioè

senza interruzioni) energia elettrica alternata agli apparati IT

Un UPS:

fornisce energia elettrica alternata in caso di mancanza di

fornitura dalla rete (black-out)

per i pochi minuti necessari ad avviare il generatore di emergenza

(gruppo elettrogeno)

elimina difetti presenti nella energia fornita dalla rete

sovratensioni, cadute, variazioni di frequenza, ecc.

Diverse tipologie di UPS:

Statici (con batterie)

Dinamici (a volano o flywheel)

Per garantire la continuità di funzionamento del DC in presenza

di black-out occorrono sistemi di generazione di emergenza

Gruppo elettrogeno a motore diesel


DC: Power Usage Effectiveness (PUE)

L’indice PUE di un DC indica quanta potenza esso richiede complessivamente

per funzionare rispetto alla sua sola componente IT

L’energia in eccesso è principalmente consumata dai sistemi di condizionamento

ed alimentazione di emergenza del datacenter

Idealmente il PUE dovrebbe essere 1, in realtà per DC non progettati con criteri di

efficienza energetica può valere anche 3 o più

Oggi si riescono a realizzare DC con PUE tra 1.8 ed 1.2


Datacenter e livelli di affidabilità: Tier 1, 2, 3 e 4

Definiti da Uptime Institute

Uptime Institute LLC is a consortium of companies

based in Santa Fe, New Mexico,

offering professional-services related to the

design and operation of datacenters since 1993

Tier 1

Basic level of data center reliability

Errors and failures in the systems and Errors and failures in the systems and

equipment lead to a malfunction

of the entire data center

Also, the data center is interrupted

for maintenance and repair works

No redundant power supplies and

no uninterruptible power supply (UPS)

Uptime: 99.671% → Downtime in 1 year: 28.8 hours



Tier 2

Small level of redundancy and

little excess capacity

Susceptible to outages due to planned

and unplanned failures

of the equipment in the data center

Technical repair work requires a stop

in data centerin data center

Redundant power supplies

Cabling with raised floor

Uptime: 99.749% → Downtime in 1 year: 22 hours



Tier 3

Allows for repair and maintenance work

without stopping the data center

All IT equipment must be dual-powered

Redundant power supplies,

cooling and

uninterruptible power supply (UPS)




Tier 4

Fault-tolerant data center

with redundancy of all systems

Allows scheduled and unscheduled work

without stopping the data center

Redundant power supplies and

redundant uninterruptible power supply (UPS)

All cooling equipments independently All cooling equipments independently

dual-powered, including chillers and heating,

ventilating and air-conditioning (HVAC)

systems



Datacenter cabling: redundancy Redundancy is required to obtain a

higher tolerance to faults

Tier 2, 3 and 4 datacenters have to

be designed by duplicating facilities

and connections


Datacenter modulari: Container-DC

Unità di composizione modulare: container

Un datacenter in container necessita solo di:

Alimentazione elettrica

Collegamento di rete esterno

Piccoli (4 rack, consumo < 1MW)

medi (10 rack, 1-4 MW), grandi (20 rack, > 4MW)

Il container è dotato di proprio impianto di

condizionamento termicocondizionamento termico

Elevato rendimento (PUE ≈ 1,1)

Utilizzabile per datacenter di grosse dimensioni

Modular Data Center (MDC)

Adatto anche per applicazioni di emergenza

Mobile Data Center


Datacenter: applicazioni ed infrastrutture L’architettura della infrastruttura di rete di un datacenter, così come altre sue componenti

(i server, lo storage, il raffreddamento, ecc.), sono influenzate dalle applicazioni

In base alle applicazioni, occorre distinguere tra:

Datacenter commerciali e per Cloud Computing

Es: Google, Facebook, Amazon, Microsoft Azure, ….

Datacenter per applicazioni scientifiche (HPC, Grid Computing)

OLCF: Oak Ridge Leadership Computing Facility

ALCF: Argonne Leadership Computing Facility

XSEDE: Extreme Science & Engineering Discovery EnvironmentXSEDE: Extreme Science & Engineering Discovery Environment

NWSC: National Center for Atmospheric Research Wyoming Super Computing Center

Per applicazioni di calcolo scientifico parallelo, la latenza è un fattore cruciale e pertanto si

adottano, a fianco della infrastruttura Ethernet general-purpose, tecnologie di rete che

consentono comunicazioni a bassa latenza → Es. Infiniband

I sistemi di raffreddamento dei datacenter per HPC devono essere in grado di far fronte ad

una maggiore densità di potenza → raffreddamento ad acqua

Datacenter commerciali: 1-6 kW/rack

Datacenter HPC: fino a 30 kW/rack


Esempio di organizzazione di un piccolo datacenter

Estensione di circa 180 m2

73 server racks to form the EDA

6 racks form the MDA

Arrangement of cabinets with

alternance of hot and cold aisles


MDA

Datacenter della Università di Napoli Federico II

Si trova nel campus di Monte S.Angelo

Finanziato dai progetti SCOPE, ReCAS

ed ATLAS

33 rack

304 server blade DELL M600

19 server DELL Power Edge 1950

10 server DELL Power Edge 2950

connessi in FC al sistema SANconnessi in FC al sistema SAN

SAN

EMC2 (100 TB)

Dell Equallogic PS5000XV (24 TB)


Alcuni esempi di datacenter nel mondo Google

http://webodysseum.com/technologyscience/visit-the-googles-data-centers/

Explore a Google data center with Street View

Google container data center tour

Inside a Google data center

Microsoft

Windows Azure Data Centers, the 'Long Tour‘

Facebook

Facebook Data Center

Datacenter Networking @ Facebook

How Facebook designed the data centre from scratch - Marco Magarelli

Softlayer

SoftLayer Datacenter Tour

Blender 3D animation on data center infrastructure building process


Open Compute Project

The Open Compute Project is an organization that shares designs of data center

products among companies, including:

Facebook, Apple, Microsoft, Rackspace

Cisco, Juniper Networks

Goldman Sachs, Fidelity, Bank of America

Components of the Open Compute Project include:

Open racks have the same outside width (600 mm) and depth as standard 19-inch

racks, but are designed to mount wider chassis with a 537 mm width (≅ 21″)racks, but are designed to mount wider chassis with a 537 mm width (≅ 21″)

This allows more equipment to fit in the same volume and improves air flow

Compute chassis sizes are defined in multiples of an OpenU, which is 48 mm,

slightly larger than the typical Rack Unit

Server compute nodes (based on Intel or AMD processors)

Open network switch

Open Vault storage building blocks offering high disk densities

277 VAC power distribution


Prof. Roberto Canonico - unina.itwpage.unina.it/rcanonic/didattica/cdn/lucidi/CDN-L01-v01... ·...

Documents

Transcript of Prof. Roberto Canonico - unina.itwpage.unina.it/rcanonic/didattica/cdn/lucidi/CDN-L01-v01... ·...