Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il...

24
Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 1 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato da quello utilizzato da Paolo Veronesi per il corso di Griglie Computazionali per la Laurea Specialistica in Informatica tenuto nell’anno accademico 2008/09 presso l’Università degli Studi di Ferrara. Paolo Veronesi [email protected], [email protected] http://www.cnaf.infn.it/~pveronesi/unife/ Università degli Studi di Bari – Corso di Laurea Specialistica in Informatic “Tecnologia dei Servizi “Grid e cloud computing” A.A. 2009/2010 Giorgio Pietro Maggi [email protected], http://www.ba.infn.it/~maggi

Transcript of Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il...

Page 1: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 1

Lezione 1b - 13 ottobre 2009

Il materiale didattico usato in questo corso è stato mutuato da quello utilizzato da Paolo Veronesi per il corso di Griglie Computazionali per la Laurea Specialistica in Informatica tenuto nell’anno accademico 2008/09 presso l’Università degli Studi di Ferrara.

Paolo [email protected], [email protected]://www.cnaf.infn.it/~pveronesi/unife/

Università degli Studi di Bari – Corso di Laurea Specialistica in Informatica

“Tecnologia dei Servizi “Grid e cloud computing” A.A. 2009/2010

Giorgio Pietro Maggi [email protected], http://www.ba.infn.it/~maggi

Page 2: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 2

The scientific “demand”

Page 3: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 3

The History of the Universe

Page 4: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 4

What is CERN?

• CERN is the European Organization for Nuclear Research

• The world's largest particle physics laboratory explores what matter is made of, and what

forces hold it together

• Founded in 1954 (50 years last year!) One of Europe's first truly international

joint ventures Now includes 20 Member States

• ... where the Web was born!

www.cern.ch

Page 5: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 5

Distribution of CERN users

Formal ties with governments of countries

such as Egypt, Iran, Jordan, Morocco, Pakistan, Saudi

Arabia and the United Arab Emirates.

Page 6: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 6

A collision @ LHC

Page 7: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 7

High Energy Physics Applications (CERN LHC Exps.)

ATLAS CMS

LHCb

Page 8: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 8

LHC: 4 experiments … ready (almost…)

Page 9: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 9

Orders of magnitude

15 PetaBytes of new data each year

1 Petabyte (1PB) = 1000TB = 10 times the text content of the World Wide Web**

** Urs Hölzle, VP Operations at Google

40,000,000 collisions/sec in each of the four detectors

150 times the total content of the Web each year

100,000 of today’s fastest processors

CMS

LHCb

ATLAS

ALICE

Page 10: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 10

Orders of magnitude

Concorde(15 Km)

Balloon(30 Km)

CD stack with1 year LHC data!(~ 20 Km)

Mt. Blanc(4.8 Km)

All interactions

Higgs??

1 needle in 10,000,000 haystacks !

Page 11: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 11

The Data Acquisition

Page 12: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 12

Data acquisition and storage for LHC @ CERN

Page 13: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 13

The Tiers ModTier-0 -1 -2

Page 14: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 14

HEP Grid Computing Model (since the end of 90’s)

Tier2 Centre ~1

TIPS

Online System

Offline Processor Farm

~20 TIPS

CERN Computer Centre

Asia Pacific Centre ~4 TIPS

France Regional Centre

US Regional Centre

Italy Regional Centre

Institute

Institute

Institute

Dept. of Phys

~1 GBytes/sec

~100-1000 MBytes/sec

1-2.5 Gbits/sec

~100 to 1000 Mbits/sec

There is a “bunch crossing” every 25 nsecs.

There are 100 “triggers” per second

Each triggered event is ~1 MByte in size

Physics data cache

~PBytes/sec

~10 Gbits/sec

Tier2 Centre ~1

TIPS

Tier2 Centre ~1

TIPS

Tier2 Centre ~1

TIPS

INFN

Catania~1 Gbit/sec

1 TIPS is approximately 25,000

SpecInt95 equivalents

Tier 4

Tier 0

Tier 1

Tier 2

Tier 3

Page 15: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 15

In silico drug discovery Diseases such as HIV/AIDS, SRAS, Bird Flu etc.

are a threat to public health due to world wide exchanges and circulation of persons

Grids open new perspectives to in silico drug discovery Reduced cost and adding an accelerating factor in the

search for new drugsInternational collaboration is required for: • Early detection• Epidemiological watch• Prevention• Search for new drugs• Search for vaccines

Page 16: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 16

Example: Pharmacokinetis A lesion is detected in an MRI study of a patient

– start with virtual biopsy The process requires obtaining

a sequence of MRI volumetric images. Different images are obtained in different

breath-holds. Before analyzing the variation of each voxel, images must be co-

registered to minimize deformation due to different breath holds.

The total computational cost of a clinical trial of 20 patients is around 100 CPU days.

Page 17: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 17

Example: Determining earthquake mechanisms

Seismic software application determines epicentre, magnitude, mechanism

Analysis of Indonesian earthquake (28 March 2005) Seismic data within 12 hours after the earthquake Analysis performed within 30 hours after earthquake occurred Results

Not an aftershock of December 2004 earthquake Different location (different part of fault line further south) Different mechanism

Rapid analysis of earthquakes important for relief efforts

Peru, June 23, 2001Mw=8.4

Sumatra, March 28, 2005Mw=8.5

Page 18: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 18

e-Scienza vs. e-Business

GÉANT .

INFRASTRUCTURE

GRID .

INFRASTRUCTURE

e-I

nfr

as

tru

ctu

re

GÉANT

EGEE

DEISA

+ e

-In

fras

tru

ctu

re p

roje

cts,

in

tern

atio

nal

, po

licie

s,u

ser

com

mu

nit

ies

Page 19: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 19

Un esempio concreto: il progetto BEinGRID

Coordinator: Atos Origin

Page 20: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 20

Le cose non sono tuttavia così semplici...

L’adozione di Grid da parte del mondo dell’Industria procede più lentamente di quanto potrebbe

Recenti indagini di mercato confermano che i “freni” più importanti risultano essere: La Sicurezza

Rigidi controlli di accesso a dati e applicazioni e “privacy” per dati sensibili;

Gli Standard La loro adozione incoraggerebbe investimenti a lungo termine

La Formazione Necessità di offerte formative specifiche per il mondo “business”

La Gestione delle License Software Controlli d’uso delle licenze software e protezione delle “revenues” di chi

produce software commerciale

Page 21: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 21

“Use case” di carattere/interesse industriale (1/4)

Studio del sistema di adduzione syngas per la verifica della fluido-dinamica del condotto di alimentazione combustibile delle turbine a gas Siemens V94.2K, topper dell’impianto IGCC ISAB Energy

Page 22: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 22

“Use case” di carattere/interesse industriale (2/4)

Studio della combustione con bruciatore ibrido finalizzato all’analisi fluidodinamica del bruciatore bifuel e della combustione nelle turbine a gas Siemens V94.2K, topper dell’impianto IGCC ISAB Energy durante la marcia a gasolio

Risalita d’aria calda dal condotto syngas Risalita d’aria calda dal condotto syngas

Page 23: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 23

“Use case” di carattere/interesse industriale (3/4) Analisi elettromagnetica di Tubi ad Onda Progressiva

Tempo di simulazione su 1 PC: 400 min.Tempo di simulazione su 1 PC: 400 min.Tempo di simulazione su GRID: 30 min.Tempo di simulazione su GRID: 30 min.

0.5 1 1.5 2 2.5 3 3.50

5

10

15

20

25

30

35

40

β ⋅ L

frequency (GHz)

1s t mode2nd mode3rd mode

Tempo di simulazione su 1 PC: 8 h.Tempo di simulazione su 1 PC: 8 h.Tempo di simulazione su GRID: 45 min.Tempo di simulazione su GRID: 45 min.

Page 24: Tecnologia dei Servizi Grid e cloud computing - Lezione 001b 0 Lezione 1b - 13 ottobre 2009 Il materiale didattico usato in questo corso è stato mutuato.

Tecnologia dei Servizi “Grid e cloud computing” - Lezione 001b 24

“Use case” di carattere/interesse industriale (4/4) Simulazione fluido-dinamica della cascata delle Marmore per la

determinazione dei punti critici dell'intero percorso della cascata in diverse condizioni di portata Numidia srl

3.1 milioni di volumi

0 1 2 3 4 5 6 7 8 9

0

10

20

30

40

50

60

Cores

Tempo

0 1 2 3 4 5 6 7 8 9

0

1

2

3

4

5

6

7

Cores

Sp

ee

du

p