Introduzione alle griglie computazionali - a.a. 2005-061 Introduzione alle griglie computazionali...

Introduzione alle griglie computazionali - a.a. 2005-06 1

Introduzione alle griglie computazionali

Università degli Studi di Napoli Federico IICorso di Laurea in Informatica – III Anno

• Calcolo distribuito su cluster locali e geografici• Esempi di sistemi distribuiti di sottomissione dei job:

Condor e Mosix• OpenMOSIX – Cluster Linux e preemptive process migration

LEZIONELEZIONE N. 4

• La rete accademica italiana: il GARR• Algoritmi di routing• Protocolli e servizi di rete• I modelli OSI e TCP/IP• File system locali e geografici (UFS, NFS, AFS)

• Trasmissione dati: ftp e GridFtp


Indice degli argomentiIndice degli argomenti

La rete italianaLa rete italiana

Problematiche di reteProblematiche di rete

La rete negli anni ‘80La rete negli anni ‘80La rete accademica italiana: il GARRLa rete accademica italiana: il GARR

Algoritmi di routingAlgoritmi di routingI sistemi autonomi (AS)I sistemi autonomi (AS)L’OSPFL’OSPFIl BGPIl BGPGli indirizzi IP e lo spazio dei nomiGli indirizzi IP e lo spazio dei nomiL’IPv4L’IPv4L’IPv6L’IPv6I modelli OSI e il TCP/IPI modelli OSI e il TCP/IPI progetti del GARRI progetti del GARR


Distribuzione delle risorseDistribuzione delle risorse

Un precursore della GridUn precursore della Grid

La reteLa retee il calcolo paralleloe il calcolo parallelo

Trasmissione datiTrasmissione datiad alte prestazioniad alte prestazioni

NFS: Network File SystemNFS: Network File SystemAFS: Andrew File SystemAFS: Andrew File System

Esigenza di risorse di calcoloEsigenza di risorse di calcoloCondor: utilizzo di risorse inattiveCondor: utilizzo di risorse inattiveI subpoolI subpoolSchema di funzionamentoSchema di funzionamento

Mosix Linux FarmMosix Linux FarmPreemptive process migrationPreemptive process migrationUn esempio teorico ed uno realeUn esempio teorico ed uno reale

Trasmissione serialeTrasmissione serialeI protocolli ftp, afs e http a confrontoI protocolli ftp, afs e http a confrontoTrasmissione parallelaTrasmissione parallelaI protocolli GridFtp, bbFtp, bbcpI protocolli GridFtp, bbFtp, bbcpConfronto prestazioni tra protocolli diConfronto prestazioni tra protocolli ditrasmissione seriali e parallelitrasmissione seriali e paralleli


La rete in Italia nel La rete in Italia nel 19781978

La prima connessione

Roma Frascati fu realizzata nel

1978 con un collegamento a

4800 bps

L’Istituto Nazionale di Fisica Nucleare e’

stato pioniere nelle reti informatiche in

Italia


• Nei primi anni ’80 e’ stata realizzata la rete INFNET, che collegava le Sezioni INFN usando il protocollo DECNet

• Napoli e’ stata connessa per la

prima volta nel 1985 (Ferrer, Lo Re, Merola) con linea INFN Napoli LNF a 9600 bps.

La rete in Italia: anni ‘80La rete in Italia: anni ‘80


Napoli e’ stata connessa

per la prima volta nel 1985

con Frascatiad una velocità di

9600 bps

La rete in Italia nel La rete in Italia nel 19841984


Reti Enti di Ricerca

INFNET (rete dei fisici dell’INFN)ASTRONET (rete degli Astrofisici)CNRNET (rete dei ricercatori del CNR)

Reti universitarie

CINECA (Bologna)CILEA (Milano)

Prima connessione internazionale

CNAF INFN BO CERN Ginevra, 1986


La rete GARRLa rete GARRNel 1988 su iniziativa del Nel 1988 su iniziativa del ministro Ruberti nasce la ministro Ruberti nasce la

rete rete GARRGARR

(Gruppo di Armonizzazione Reti della (Gruppo di Armonizzazione Reti della Ricerca)Ricerca)

Scopo del Scopo del GARRGARR era quello era quello di collegare organicamente di collegare organicamente le reti della ricerca che fino le reti della ricerca che fino ad allora si erano formate ad allora si erano formate indipendentemente l’una indipendentemente l’una

dall’altradall’altra

Nel 1991 nasce il Nel 1991 nasce il

Polo GARR di NapoliPolo GARR di Napoli


• Università ed Enti impegnati nella realizzazione del Università ed Enti impegnati nella realizzazione del progetto: CNR, ENEA, INFN, INAFprogetto: CNR, ENEA, INFN, INAF

• Organismi di ricerca: ASI, INFM, INGV, …Organismi di ricerca: ASI, INFM, INGV, …• Consorzi per il Calcolo: CASPUR, CILEA, Consorzi per il Calcolo: CASPUR, CILEA,

CINECA, … CINECA, …

La Comunità GARRLa Comunità GARR


Collegamenti Collegamenti

InternazionaliInternazionali

con il GARRcon il GARR

La rete GARRLa rete GARR


Il GARR Il GARR negli anninegli anni

2000 – GARR-B 2000 – GARR-B

ATM a 34 MbpsATM a 34 Mbps

ATM a 155 MbpsATM a 155 Mbps

2002 – GARR-G2002 – GARR-G

POS - DWDMPOS - DWDM


Algoritmi di routingAlgoritmi di routing

algoritmi staticialgoritmi statici (non (non adattivi)adattivi) non fanno riferimento al non fanno riferimento al traffico;traffico;scelgono i percorsi in scelgono i percorsi in anticipoanticipo

algoritmi dinamicialgoritmi dinamici (adattivi)(adattivi) tengono conto del trafficotengono conto del trafficoscelgono il percorso volta scelgono il percorso volta per voltaper volta


Un algoritmo di routing statico (Un algoritmo di routing statico (Dijkstra – Dijkstra – 1959)1959)

•ogni router scandaglia i ogni router scandaglia i vicini e i vicini dei suoi vicini e i vicini dei suoi vicinivicini

•genera un insieme di genera un insieme di itinerariitinerari

•ne estrae quelli con il ne estrae quelli con il cammino minimocammino minimo


AltroAltro esempio di algoritmo di routing esempio di algoritmo di routing statico, statico,

il flooding e il flooding selettivo:il flooding e il flooding selettivo: il router inonda i vicini di il router inonda i vicini di pacchetti con richieste di pacchetti con richieste di informazioniinformazioni ciascun vicino fa altrettantociascun vicino fa altrettanto ci si ferma quando si ci si ferma quando si rintraccia il router di rintraccia il router di destinazionedestinazione il flooding selettivo effettua il flooding selettivo effettua inondazioni mirateinondazioni mirate

NoteNote

non è molto usatonon è molto usato è totalmente affidabileè totalmente affidabile è usato in ambienti militariè usato in ambienti militari

viene usato per valutare altri viene usato per valutare altri sistemi di routingsistemi di routing


Un algoritmo di routing dinamico (distance vector Un algoritmo di routing dinamico (distance vector routing)routing)

Ciascun router prepara una tabella con le distanze di tutti i routerCiascun router prepara una tabella con le distanze di tutti i routerCiascun router scambia queste informazioni con quelli adiacentiCiascun router scambia queste informazioni con quelli adiacentiFu utilizzato da Arpanet negli anni 70 sotto il nome di Fu utilizzato da Arpanet negli anni 70 sotto il nome di RIPRIPFu usato nelle prime versioni di Fu usato nelle prime versioni di DECnetDECnetI router Cisco usano protocolli migliorati basati su vettori di distanzaI router Cisco usano protocolli migliorati basati su vettori di distanzaGestisce velocemente informazioni che indicano miglioramenti sulla Gestisce velocemente informazioni che indicano miglioramenti sulla raggiungibilità di altri routerraggiungibilità di altri routerL’improvvisa L’improvvisa irraggiungibilitàirraggiungibilità di un router viene di un router viene gestita malegestita maleNon distingue bene un router in ritardo da uno guastoNon distingue bene un router in ritardo da uno guastoNon gestivaNon gestiva collegamenti con collegamenti con prestazioni differenziateprestazioni differenziate

Arpanet lo abbandonò nel ’79 perché cominciò ad adottare linee con prestazioni Arpanet lo abbandonò nel ’79 perché cominciò ad adottare linee con prestazioni differenziatedifferenziate


Routing basato sullo stato dei canali Routing basato sullo stato dei canali (link state (link state routing)routing)

•ne esistono diverse variantine esistono diverse varianti•ogni router calcola il ritardo medio nello spedire ogni router calcola il ritardo medio nello spedire pacchetti ad altri routerpacchetti ad altri router•ogni router costruisce una tabella contenente per ogni router costruisce una tabella contenente per ciascun router il suo indirizzo, il ritardo relativo e il ttl ciascun router il suo indirizzo, il ritardo relativo e il ttl (time to live)(time to live)•per la diffusione delle informazioni si usa il floodingper la diffusione delle informazioni si usa il flooding•per il calcolo dei percorsi si usa l’algoritmo di Dijkstraper il calcolo dei percorsi si usa l’algoritmo di Dijkstra

•dati due percorsi equivalenti A e B, se si sceglie A per dati due percorsi equivalenti A e B, se si sceglie A per istradare i pacchetti, alla successiva spedizione istradare i pacchetti, alla successiva spedizione l’algoritmo decide che A è carico e che deve spedire l’algoritmo decide che A è carico e che deve spedire verso B, successivamente decide che B è carico e deve verso B, successivamente decide che B è carico e deve istradare verso A e così all’infinitoistradare verso A e così all’infinito•se si decide di non tenere conto del carico non si utilizza se si decide di non tenere conto del carico non si utilizza il cammino miglioreil cammino migliore•se la rete è grande i router potrebbero non avere se la rete è grande i router potrebbero non avere memoria sufficiente per calcolare tutte le rottememoria sufficiente per calcolare tutte le rotte•nelle situazioni reali il link state routing funziona benenelle situazioni reali il link state routing funziona bene


I sistemi autonomi: ASI sistemi autonomi: AS

•la Svezia ha severe leggi inerenti la privacyla Svezia ha severe leggi inerenti la privacy•il traffico interno al Canada non può transitare per il traffico interno al Canada non può transitare per l’esterol’estero•i sistemi di tariffazione sono sicuramente diversi da i sistemi di tariffazione sono sicuramente diversi da paese a paesepaese a paese•nascono i Sistemi Autonomi o Autonomous System o AS: nascono i Sistemi Autonomi o Autonomous System o AS: sono insiemi di router con relative lan ad essi sottesesono insiemi di router con relative lan ad essi sottese•ogni AS usa propri protocolli e si collega ad altri AS ogni AS usa propri protocolli e si collega ad altri AS mediante router di frontieramediante router di frontiera•eventuali malfunzionamenti coinvolgono solo le reti eventuali malfunzionamenti coinvolgono solo le reti all’interno dell’AS dove si è verificato il problemaall’interno dell’AS dove si è verificato il problema

•interior gateway protocolinterior gateway protocol = protocolli per collegamenti = protocolli per collegamenti interni ad un ASinterni ad un AS•esterior gateway protocolesterior gateway protocol = protocolli per collegamenti = protocolli per collegamenti esterni ad un ASesterni ad un AS


Un interior gateway protocol: Un interior gateway protocol: l’OSPFl’OSPF Open Shortest Path Open Shortest Path First)First)

•anni 70: protocolli di tipo distance vector (RIP)anni 70: protocolli di tipo distance vector (RIP)•anni 80: protocolli di tipo link stateanni 80: protocolli di tipo link state•1988: nasce OSPF1988: nasce OSPF OSPFOSPF •gestisce varie metriche: distanza fisica tra router, gestisce varie metriche: distanza fisica tra router, ritardi, ecc.ritardi, ecc.•discrimina tra i tipi di servizio: instrada traffici diversi discrimina tra i tipi di servizio: instrada traffici diversi in modi diversi (IP ha il campo Type of Service ma in modi diversi (IP ha il campo Type of Service ma nessuno lo utilizzava)nessuno lo utilizzava)•distribuisce il traffico su più vie anziché instradarlo distribuisce il traffico su più vie anziché instradarlo soltanto verso la direzione migliore (a volte questa soltanto verso la direzione migliore (a volte questa possibilità può presentare dei vantaggi)possibilità può presentare dei vantaggi)•riesce a gestire reti molto grandi senza doverne riesce a gestire reti molto grandi senza doverne conoscere l’intera topologiaconoscere l’intera topologia

è un protocollo abbastanza sicuro, in grado di è un protocollo abbastanza sicuro, in grado di difendersi da false informazioni di routing in giro per la difendersi da false informazioni di routing in giro per la reterete


Un esterior gateway protocol: il BGP (Border Gateway Un esterior gateway protocol: il BGP (Border Gateway Protocol)Protocol)

tipi di AStipi di AS - stub: hanno un solo router confinante con un - stub: hanno un solo router confinante con un altro AS;altro AS;- multiconnessi: cioè hanno più router che - multiconnessi: cioè hanno più router che confinano con più AS;confinano con più AS;- transito: fanno da backbone e sono disponibili a - transito: fanno da backbone e sono disponibili a trattare con terze parti.trattare con terze parti. il BGPil BGP - il BGP è un protocollo di tipo distance vector - il BGP è un protocollo di tipo distance vector molto diverso dal RIPmolto diverso dal RIP- il BGP crea una tabella di tutti i percorsi e la - il BGP crea una tabella di tutti i percorsi e la trasmette ai router adiacentitrasmette ai router adiacenti- ogni router, ricevuto l’insieme dei percorsi dagli - ogni router, ricevuto l’insieme dei percorsi dagli altri router, li rielabora e tira fuori una sua nuova altri router, li rielabora e tira fuori una sua nuova tabellatabella


BGP: esempio di calcolo di una BGP: esempio di calcolo di una rottarotta

B FC

E

D

G

da B: B-C-D-F-G da D: D-F-G; da E: E-F-G.

per andare da C a Gper andare da C a G

il BGP scarta i percorsi che lo attraversano, rimangonoil BGP scarta i percorsi che lo attraversano, rimangono da D:da D: D-F-GD-F-G da E:da E: E-F-GE-F-G aggiunge rispettivamente i costi C-D e C-Eaggiunge rispettivamente i costi C-D e C-E ricalcola i costi di tutti i percorsi effettua la ricerca del ricalcola i costi di tutti i percorsi effettua la ricerca del minimominimo


Gli indirizzi IP e

lo spazio dei nomi


Gli indirizzi IP

In una rete locale o geografica la In una rete locale o geografica la principale esigenza è quella di collegare principale esigenza è quella di collegare i calcolatori tra loroi calcolatori tra loro

Ogni calcolatore deve avere un indirizzo Ogni calcolatore deve avere un indirizzo unico al mondounico al mondo

La rete Internet consente il La rete Internet consente il collegamento tra i calcolatori mediante collegamento tra i calcolatori mediante una suite di protocolli denominata una suite di protocolli denominata TCP/IPTCP/IP ( (TTransfer ransfer CControl ontrol PProtocol/rotocol/IInternet nternet PProtocol). rotocol).


Gli indirizzi IPI protocolli I protocolli TCP/IPTCP/IP, inseriti negli anni settanta , inseriti negli anni settanta nello nello Unix di BerkleyUnix di Berkley, prevedono che ad ogni , prevedono che ad ogni calcolatore, al momento della sua calcolatore, al momento della sua configurazione, venga assegnato univocamente configurazione, venga assegnato univocamente un nome e un indirizzo numerico.un nome e un indirizzo numerico.

Un indirizzo Un indirizzo IPIP è composto di quattro byte. è composto di quattro byte.

Sono unità indirizzabili:Sono unità indirizzabili:

• calcolatoricalcolatori• terminal serverterminal server• switchswitch• routerrouter• stampanti ecc.stampanti ecc.


Gli indirizzi IPGl’indirizzi numerici vengono univocamente Gl’indirizzi numerici vengono univocamente assegnati dal assegnati dal NICNIC, Network Information Center, , Network Information Center, un’organizzazione che ha sede in un’organizzazione che ha sede in CaliforniaCalifornia e a cui e a cui sono collegate altre organizzazioni in tutto il sono collegate altre organizzazioni in tutto il mondo. mondo.

Un indirizzo della rete Internet, detto anche Un indirizzo della rete Internet, detto anche semplicemente indirizzo semplicemente indirizzo IPIP, è composto di quattro , è composto di quattro byte ed è diviso in due parti, la prima, byte ed è diviso in due parti, la prima, rispettivamente di uno, due o tre byte, che rispettivamente di uno, due o tre byte, che costituisce l’indirizzo fisso della sottorete e che costituisce l’indirizzo fisso della sottorete e che viene rilasciato dal NIC, e la seconda, ovviamente viene rilasciato dal NIC, e la seconda, ovviamente di tre, due o un byte che viene lasciata libera al di tre, due o un byte che viene lasciata libera al lan-manager per l’assegnazione dell’indirizzo fisico lan-manager per l’assegnazione dell’indirizzo fisico dei singoli nodi. dei singoli nodi.

Le sottoreti appena citate vengono (Le sottoreti appena citate vengono (venivanovenivano) ) dette rispettivamente di dette rispettivamente di Classe AClasse A, di , di Classe BClasse B e di e di Classe C.Classe C.


Gli indirizzi IP

Classe 1° byte 2° byte 3° byte 4° byte

riservata 0

A 1÷126 host host host

riservata 127

B 128 ÷ 191 1 ÷ 254 host host

C 192 ÷ 223 0 ÷ 255 1 ÷ 254 host

riservate 224 ÷ 255


Collegamento tra calcolatori: sessioni remote

Qualora ci si debba collegare ad un Qualora ci si debba collegare ad un calcolatore bisognerà dare il comando calcolatore bisognerà dare il comando telnettelnet ( (sshssh) seguito dal suo ) seguito dal suo indirizzo indirizzo numericonumerico, tuttavia, essendo possibile , tuttavia, essendo possibile associare un nome ad ogni calcolatoreassociare un nome ad ogni calcolatore, , sarà più comodo, al comando telnet, far sarà più comodo, al comando telnet, far seguire il suo nome anziché il suo seguire il suo nome anziché il suo indirizzoindirizzo

telnet 140.30.20.10telnet 140.30.20.10 oppureoppure

telnet nome_nodotelnet nome_nodo


Associazione nome-indirizzo IP

Per la conversione nome indirizzo in Per la conversione nome indirizzo in UnixUnix viene utilizzata una tabella statica viene utilizzata una tabella statica presente nel file presente nel file /etc/hosts/etc/hosts, essa è , essa è composta da un campo numerico e da composta da un campo numerico e da uno o più campi alfanumerici uno o più campi alfanumerici

100.100.100.1100.100.100.1 amministrazione amministrazione100.100.100.2100.100.100.2 direttore direttore100.100.100.3100.100.100.3 mail mailserver mail mailserver

telnet mailservertelnet mailservertelnet 100.100.100.3telnet 100.100.100.3


Esplodono le tabelle di routing: Esplodono le tabelle di routing: il CIDR il CIDR (Classless InterDomain (Classless InterDomain Routing)Routing)

classe C: 256 indirizziclasse C: 256 indirizzi classe B: 256 * 256 = 65.536 indirizziclasse B: 256 * 256 = 65.536 indirizzi classe A: 256 * 256 * 256 = 16.777.216 classe A: 256 * 256 * 256 = 16.777.216 indirizziindirizzi si va verso la saturazione degli indirizzi IPsi va verso la saturazione degli indirizzi IP nel 1987 alcuni dissero che Internet nel 1987 alcuni dissero che Internet avrebbe facilmente raggiunto le 100.000 avrebbe facilmente raggiunto le 100.000 reti, furono ignoratireti, furono ignorati i router disponevano di un firmware i router disponevano di un firmware tarato per gestire fino a 1.000 router tarato per gestire fino a 1.000 router allorquando 10.000 reti sembravano allorquando 10.000 reti sembravano assolutamente al di la da venireassolutamente al di la da venire nel 1996 si raggiunse quota 100.000 nel 1996 si raggiunse quota 100.000 reti!reti!


Esplodono le tabelle di routing: Esplodono le tabelle di routing: il CIDR il CIDR (Classless InterDomain (Classless InterDomain Routing)Routing)

rimedirimedi con il routing interdominio senza classi (CIDR) con il routing interdominio senza classi (CIDR) vengono assegnati blocchi contigui di indirizzi e vengono assegnati blocchi contigui di indirizzi e non singole networknon singole network

gli indirizzi vengono così suddivisi:gli indirizzi vengono così suddivisi: 192.0.0.0 192.0.0.0 192.255.255.255 Europa 192.255.255.255 Europa198.0.0.0 198.0.0.0 200.255.255.255 Nord America 200.255.255.255 Nord America200.0.0.0 200.0.0.0 201.255.255.255 Sud e Centro 201.255.255.255 Sud e Centro AmericaAmerica202.0.0.0 202.0.0.0 203.255.255.255 Asia e il Pacifico 203.255.255.255 Asia e il Pacifico


Dall’IPV4 all’IPV6Dall’IPV4 all’IPV6

-il CIDR ha solo rimandato lo scoppio delle -il CIDR ha solo rimandato lo scoppio delle tabelle di routingtabelle di routing

- sono in aumento i PC portatili il che sta - sono in aumento i PC portatili il che sta comportando un incremento delle richieste comportando un incremento delle richieste d’indirizzi IPd’indirizzi IP

- saranno i televisori nodi della rete Internet?- saranno i televisori nodi della rete Internet?


Nasce l’IPV6Nasce l’IPV6

nel 1990 l’nel 1990 l’IETFIETF si propose di elaborare una nuova si propose di elaborare una nuova versione di versione di IPIP con caratteristiche particolarmente con caratteristiche particolarmente innovativeinnovative coesistere con i vecchi protocollicoesistere con i vecchi protocollinon avere problemi di congestionenon avere problemi di congestionecapace di evolversi in futurocapace di evolversi in futurogestire miliardi di nodigestire miliardi di nodisnellire le tabelle di routingsnellire le tabelle di routingprivilegiare alcuni serviziprivilegiare alcuni serviziavere una maggiore sicurezza dei datiavere una maggiore sicurezza dei dati in IPv6 l’indirizzo sarà di 16 byte esadecimaliin IPv6 l’indirizzo sarà di 16 byte esadecimali 5000:0000:0000:0000:1234:5678:9ABC:DEF05000:0000:0000:0000:1234:5678:9ABC:DEF0 l’indirizzo IPv4 verrà riscritto così: ::100.100.100.1l’indirizzo IPv4 verrà riscritto così: ::100.100.100.1


Confronto IPV4 - IPV6Confronto IPV4 - IPV6

ipv4ipv4

ipv6ipv6·· 4*104*1099 indirizzi indirizzi·· pacchetto con 13 informazionipacchetto con 13 informazioni·· hop limit = 32 hop limit = 32 ·· pacchetto = 64 KB maxpacchetto = 64 KB max

·· il pacchetto può essere frammentato il pacchetto può essere frammentato dai vari routerdai vari router effettua il checksumeffettua il checksum

·· 3x103x103838 di indirizzi di indirizzi·· pacchetto con 7 informazionipacchetto con 7 informazioni·· hop limit = 255hop limit = 255·· pacchetto = 64 KB maxpacchetto = 64 KB max·· jumbogram per percorsi particolarijumbogram per percorsi particolari·· routing rigidorouting rigido·· il pacchetto può essere frammentato il pacchetto può essere frammentato solo dal mittente, se troppo grande il solo dal mittente, se troppo grande il router lo scarta (con un messaggio router lo scarta (con un messaggio ICMP)ICMP)·· non effettua il checksum (lo demanda non effettua il checksum (lo demanda al livello IV)al livello IV)


La sicurezza con IPV6La sicurezza con IPV6i problemii problemi · alcuni paesi preferiscono la crittografia domestica· alcuni paesi preferiscono la crittografia domestica· alcuni polizie NON gradiscono la crittografia · alcuni polizie NON gradiscono la crittografia domesticadomestica· la sicurezza a livello di rete ha subito la critica di chi · la sicurezza a livello di rete ha subito la critica di chi non voleva essere succube di scorrettezze da parte dei non voleva essere succube di scorrettezze da parte dei fornitorifornitori· il problema di scambiare pacchetti crittografati tra · il problema di scambiare pacchetti crittografati tra nazioni che la pensano differentemente ha creato nazioni che la pensano differentemente ha creato controversiecontroversie conclusioneconclusione · si è deciso di adottare un sistema in grado di capire · si è deciso di adottare un sistema in grado di capire che l’utente che si dichiara alla rete sia effettivamente che l’utente che si dichiara alla rete sia effettivamente luilui

per la segretezza dei dati si è preferito lasciare per la segretezza dei dati si è preferito lasciare l’incarico al livello di applicazione privilegiando la l’incarico al livello di applicazione privilegiando la velocità di trasmissione dei dativelocità di trasmissione dei dati


la migrazione da IPv4 a IPv6la migrazione da IPv4 a IPv6

Il passaggio da IPv4 a IPv6 sarà abbastanza Il passaggio da IPv4 a IPv6 sarà abbastanza indoloreindolore IPv6 è compatibile con tutti i protocolli di IPv6 è compatibile con tutti i protocolli di Internet quali TCP, UDP, ICMP, IGMP, OSPF, Internet quali TCP, UDP, ICMP, IGMP, OSPF, BGP e DNSBGP e DNS verranno create progressivamente delle aree verranno create progressivamente delle aree IPv6 che parleranno con il resto del mondo IPv6 che parleranno con il resto del mondo tramite anelli di congiunzione che gli addetti ai tramite anelli di congiunzione che gli addetti ai lavori chiamano tunnellavori chiamano tunnel sarà un passaggio lento la cui durata la si può sarà un passaggio lento la cui durata la si può stimare in un decenniostimare in un decennio


Lo Spazio dei NomiLo Spazio dei Nomi

DIT: Distributed Information TreeDIT: Distributed Information Tree

DNS: Domain Name SystemDNS: Domain Name System

BIND: Berkley Internet Name DistributionBIND: Berkley Internet Name Distribution


Ditributed Information Tree

Root ServerRoot Server

chch itit govgov

cerncern

comcom

decdec ibmibm infninfn

rmrm

fnalfnal

nana mimi bobo

cnrcnruninuninaa


Root ServerRoot Server

rootserver

rootserver root

server

IT: Pisa (CNR – CNUCE)IT: Pisa (CNR – CNUCE)INFN: Bologna (INFN – CNAF)INFN: Bologna (INFN – CNAF)


Protocolli di ReteProtocolli di Rete

I protocolli sono l’insieme delle regole in I protocolli sono l’insieme delle regole in base alle quali, due processi colloquiano base alle quali, due processi colloquiano fra loro.fra loro.


Protocolli di rete Protocolli di rete orientatiorientati alla connessione alla connessione

sistema di riconoscimento prima che la sistema di riconoscimento prima che la trasmissione dati abbia luogo trasmissione dati abbia luogo (handshake)(handshake)

controllo integrità dei dati, in caso controllo integrità dei dati, in caso negativo vengono rispeditinegativo vengono rispediti

per interrompere la trasmissione sarà per interrompere la trasmissione sarà necessario un preciso messaggio di necessario un preciso messaggio di conclusione della connessioneconclusione della connessione


Protocolli di rete Protocolli di rete non orientatinon orientati alla alla connessioneconnessione

il mittente non controlla se la stazione di il mittente non controlla se la stazione di destinazione è accessibile o menodestinazione è accessibile o meno di solito non vi sono algoritmi orientati di solito non vi sono algoritmi orientati alla verifica dell’integrità dei datialla verifica dell’integrità dei dati

un protocollo non orientato alla un protocollo non orientato alla connessione è più veloce ma meno connessione è più veloce ma meno affidabile di un protocollo orientato alla affidabile di un protocollo orientato alla connessioneconnessione


I MODELLI DI RIFERIMENTO OSI E TCP/IPI MODELLI DI RIFERIMENTO OSI E TCP/IP

ISO: International Standard OrganizationISO: International Standard OrganizationOSI: Open System InterconnectionOSI: Open System Interconnection


COMUNICAZIONE TRA I LIVELLICOMUNICAZIONE TRA I LIVELLI


I – Il livello fisicoI – Il livello fisico

Vengono definite le specifiche:Vengono definite le specifiche:

Elettriche (cavi)Elettriche (cavi)Meccaniche (connettori)Meccaniche (connettori)funzionali (interfacce)funzionali (interfacce)


II – Il livello coollegamento dati (data II – Il livello coollegamento dati (data link)link)

•si gestisce il colloquio tra nodi adiacentisi gestisce il colloquio tra nodi adiacenti•si spezzano i dati in pacchetti e si si spezzano i dati in pacchetti e si spedisconospediscono•si attende il messaggio di avvenuta si attende il messaggio di avvenuta ricezione (ack)ricezione (ack)•i messaggi vengono eventualmente i messaggi vengono eventualmente rispeditirispediti•si effettua il si effettua il controllo di flussocontrollo di flusso


III – Il livello di reteIII – Il livello di rete

•si gestisce il colloquio tra nodi non adiacentisi gestisce il colloquio tra nodi non adiacenti•si usano algoritmi di istradamento (routing)si usano algoritmi di istradamento (routing)•si effettua il controllo di flussosi effettua il controllo di flusso•vi sono protocolli sia orientati alla connessione vi sono protocolli sia orientati alla connessione che nonche non•modello TCP/IP: solo protocolli privi di modello TCP/IP: solo protocolli privi di connessioneconnessione•i pacchetti possono anche arrivare non in i pacchetti possono anche arrivare non in sequenzasequenza

–IP: IP: Internet ProtocolInternet Protocol–ICMP: ICMP: Internet Control Message ProtocolInternet Control Message Protocol–ARP: ARP: Address Resolution ProtocolAddress Resolution Protocol–RARP: RARP: Reverse Address Resolution Reverse Address Resolution ProtocolProtocol


IV – Il livello di trasportoIV – Il livello di trasporto

–nel modello nel modello OSI vi sono soloOSI vi sono solo protocolli protocolli orientati alla connessioneorientati alla connessione–riceve dati dal livello superiore, li spezzetta e li trasmette al livello inferiorericeve dati dal livello superiore, li spezzetta e li trasmette al livello inferiore–garantisce l’integrità end-to-end tra calcolatori fisicamente lontanigarantisce l’integrità end-to-end tra calcolatori fisicamente lontani–è l’analogo dell’integrità point-to-point del livello data-link (calcolatori è l’analogo dell’integrità point-to-point del livello data-link (calcolatori fisicamente vicini)fisicamente vicini)–gestisce il controllo di flussogestisce il controllo di flusso–in caso di pacchetti appartenenti a connessioni differenti, sarà il livello di in caso di pacchetti appartenenti a connessioni differenti, sarà il livello di trasporto ad etichettarli e distinguerli per poi consegnarli al livello superioretrasporto ad etichettarli e distinguerli per poi consegnarli al livello superiore

TCP (Trasmission Control Protocol - affidabile)TCP (Trasmission Control Protocol - affidabile)orientato alla connessioneorientato alla connessionecontrolla e gestisce l’errorecontrolla e gestisce l’erroreriordina i pacchetti fuori sequenzariordina i pacchetti fuori sequenzagestisce il controllo di flussogestisce il controllo di flusso

UDP (User Datagram Protocol - non affidabile)UDP (User Datagram Protocol - non affidabile)privo di connessioneprivo di connessionenon prevede controllo e gestione dell’errorenon prevede controllo e gestione dell’errorenon riordina i pacchettinon riordina i pacchettiusato per le comunicazioni veloci (trasmissione audiovisiva)usato per le comunicazioni veloci (trasmissione audiovisiva)


V – Il livello di sessioneV – Il livello di sessione

•è presente nel modello OSIè presente nel modello OSI•non è presente nel modello TCP/IPnon è presente nel modello TCP/IP•è prevista la possibilità di stabilire delle sessioni è prevista la possibilità di stabilire delle sessioni (es.: trasferimento di file da un nodo all’altro)(es.: trasferimento di file da un nodo all’altro)•controllo del dialogo (decide se due sessioni controllo del dialogo (decide se due sessioni possono trasmettere contemporaneamente e/o possono trasmettere contemporaneamente e/o quando devono farlo uno per volta)quando devono farlo uno per volta)•sincronizzazione (se un trasferimento di file viene sincronizzazione (se un trasferimento di file viene interrotto a metà, ad esempio da un guasto sulla interrotto a metà, ad esempio da un guasto sulla linea, è compito di questo livello farlo ripartire dal linea, è compito di questo livello farlo ripartire dal punto dove si era fermato e non daccapo)punto dove si era fermato e non daccapo)


VI – Il livello di presentazioneVI – Il livello di presentazione

•è presente nel modello OSIè presente nel modello OSI•non è presente nel modello TCP/IPnon è presente nel modello TCP/IP•presentazione dati (es.: ASCII o EBCIDIC, dati presentazione dati (es.: ASCII o EBCIDIC, dati numerici, crittografati, compressi, ecc.)numerici, crittografati, compressi, ecc.)•dato iniziale dato iniziale formato astratto standard della formato astratto standard della rete rete formato proprietarioformato proprietario


VII – Il livello di applicazioneVII – Il livello di applicazione

SASE (TCP/IP)SASE (TCP/IP)

- FTP (File Transfer Protocol)- FTP (File Transfer Protocol)

- TFTP (Trivial File Transfer Protocol)- TFTP (Trivial File Transfer Protocol)

- SNMP (Simple Network Management - SNMP (Simple Network Management

Protocol)Protocol)

- TELNET (protocollo di terminali virtuali)- TELNET (protocollo di terminali virtuali)

- DNS (Domain Name System)- DNS (Domain Name System)

- SMTP (Simple Mail Transfer Protocol)- SMTP (Simple Mail Transfer Protocol)

- - HTTP (HyperText Transfer Protocol)HTTP (HyperText Transfer Protocol)

SASE (OSI )SASE (OSI )

- FTAM (File Transfer Access and - FTAM (File Transfer Access and

Management)Management)

- X-400 (sistema di gestione dei - X-400 (sistema di gestione dei

messaggi)messaggi)

- CMIP (Common Management - CMIP (Common Management

Information Protocol)Information Protocol)

- VT (Virtual Terminal protocol)- VT (Virtual Terminal protocol)

CASECASE (Common Application Service Elements) (Common Application Service Elements)

- stabilire una connessione- stabilire una connessione

- antenere una trasmissione- antenere una trasmissione

- concludere una trasmissione- concludere una trasmissione

- assicurare l’integrità di transazioni distribuite- assicurare l’integrità di transazioni distribuite

SASESASE (Specific Application Service Elements) (Specific Application Service Elements)

- vengono soddisfatte esigenze di precisi applicativi- vengono soddisfatte esigenze di precisi applicativi


Confronto OSI – TCP/IPConfronto OSI – TCP/IPOSI

alla sua nascita (anni 80) il TCP/IP era già adottato nelle università fu definito pensando ai 7 livelli del protocollo SNA

dell’IBM

fa distinzione tra i livelli fisico e data link distingue i concetti di servizio, di interfaccia e di

protocollo tutti i protocolli furono studiati e progettati

molto attentamente viene utilizzato come modello di riferimento è un protocollo complessole implementazioni eranopesanti, lente e di difficile gestione fu adottato dalla DEC (DECnet OSI - anni 90)HA PERSO

TCP/IP

alla sua nascita (1974) non esistevano altri prodotti particolarmente diffusi fu realizzato da Cerf e Kahn sulla base di precise esigenze non fa distinzione tra i livelli fisico e data link non distingue i concetti di servizio, di interfaccia e di protocollo solo i protocolli TCP e IP furono studiati e progettati molto attentamente non viene utilizzato come modello di riferimento è un protocollo semplice le implementazioni sonosnelle, veloci e di facile gestione fu introdotto nello Unix di Berkley (anni 70)HA VINTO


Trasmissione dati in TCP/IPTrasmissione dati in TCP/IP

I dati che devono essere comunicati tra due I dati che devono essere comunicati tra due processi utente, vengono prima manipolati e poi processi utente, vengono prima manipolati e poi trasmessi al livello successivo. Questa tecnica di trasmessi al livello successivo. Questa tecnica di aggiungere delle informazioni prima di trasmettere aggiungere delle informazioni prima di trasmettere il dato al livello inferiore si chiama incapsulamento. il dato al livello inferiore si chiama incapsulamento.

intestazioneethernet

intestazioneIP

intestazioneUDP

intestazioneTFTP

dati chiusuraethernet

14 byte 20 byte 8 byte 4 byte 400 byte 4 byte


Trasmissione dati in TCP/IPTrasmissione dati in TCP/IP

Controllo di flussoControllo di flusso: tecnica che serve ad evitare che una : tecnica che serve ad evitare che una macchina lenta venga sommersa di dati da un’altra più velocemacchina lenta venga sommersa di dati da un’altra più veloce

BufferBuffer: memoria d’appoggio utilizzata nella trasmissione dati: memoria d’appoggio utilizzata nella trasmissione dati

Dati fuori banda (dati urgenti)Dati fuori banda (dati urgenti) Dati di controllo di flusso: CTRL-Q e CTRL-SDati di controllo di flusso: CTRL-Q e CTRL-S

TCPTCP: : prevede la spedizione di una quantità non limitata di prevede la spedizione di una quantità non limitata di dati fuori bandadati fuori bandaUDPUDP: : non è prevista la spedizione di dati fuori bandanon è prevista la spedizione di dati fuori bandaAltriAltri: 1 byte: 1 byte


Cosa devono fare i livelli III e IV (rete e trasporto) ?Cosa devono fare i livelli III e IV (rete e trasporto) ?

le società che forniscono collegamenti le società che forniscono collegamenti telematici devono garantire il funzionamento telematici devono garantire il funzionamento del livello IIIdel livello III

le società che forniscono materiale per lan e le società che forniscono materiale per lan e computer devono garantire il funzionamento computer devono garantire il funzionamento del livello IVdel livello IV


Cosa devono fare i livelli III e IV (rete e trasporto) ?Cosa devono fare i livelli III e IV (rete e trasporto) ?cosa ne pensano

le società telefonichecosa ne pensa

la comunità internet

sbandierano 100 anni di esperienza nel settore della trasmissione dati considerano affidabili le loro linee telematiche nel livello III va stabilito un circuito virtuale, vanno consegnati dati integri ed in sequenza, va gestito il controllo di flusso le linee devono essere affidabili anche se a scapito della semplicità ci sono forti interessi nella trasmissione audio e video ed il servizio deve essere ottimo il livello III deve essere orientato alla connessione

vanta 30 anni di esperienza nel settore delle reti telematiche considera le reti intrinsecamente inaffidabili nel livello III non va stabilito un circuito virtuale, l’integrità, la sequenza e il controllo di flusso va a carico del computer (liv. IV) le linee devono essere snelle e veloci anche se meno affidabili i computer sono sempre più economici e veloci e possono farsi carico di gestire controlli il livello III NON deve essere orientato alla connessione


Un esempio reale: TCP su Un esempio reale: TCP su ATMATM

TCP

IP

ATM

DATA LINK

FISICO


Un esempio reale: TCP su ATMUn esempio reale: TCP su ATM

sia TCP che ATM gestiscono:sia TCP che ATM gestiscono:

la sequenzialità dei pacchettila sequenzialità dei pacchettiil controllo di flussoil controllo di flusso

la gestione degli errorila gestione degli errori

risultato: il meccanismo è inefficienterisultato: il meccanismo è inefficiente


I progetti del GARRI progetti del GARR


Il problema dell’archiviazione

e della distribuzione dei dati


Floppy disk anni 80-90: Floppy disk anni 80-90: da 80 KB a 1,44 MBda 80 KB a 1,44 MBFloppy da 8”Floppy da 8”

Floppy da 3”Floppy da 3”½½

Floppy da 5”Floppy da 5”¼¼


Hard Disk Hard Disk dei anni 80-dei anni 80-

9090

da 30 a 60 da 30 a 60 MByteMByte

da 5 da 5 MByteMByte


Hard Disk odierniHard Disk odierni

Hard disk da 250 GByte


Memorie flashMemorie flashdi oggidi oggi

Memoria da 2 GByteMemoria da 2 GByte


Distribuzione delle Distribuzione delle risorserisorse

NFS (Network File NFS (Network File System)System)AFS (Andrew File System)AFS (Andrew File System)


Condivisione dischi: NFSCondivisione dischi: NFS

• anni 80: la Sun Microsystem propone anni 80: la Sun Microsystem propone NFSNFS (Network File System) (Network File System)

• soddisfa le esigenze solo su soddisfa le esigenze solo su lanlan • non gestisce molto bene la sicurezzanon gestisce molto bene la sicurezza • non ci sono grossi accorgimenti per non ci sono grossi accorgimenti per

limitare il traffico di retelimitare il traffico di rete


Con NFS i “file system” NON si Con NFS i “file system” NON si ereditanoereditano


Condivisione dischi: Condivisione dischi: AFSAFS

Verso la fine degli anni 80 nasce AFS, Verso la fine degli anni 80 nasce AFS, Andrew File System, distribuito dalla Andrew File System, distribuito dalla Transarc Corporation (verrà assorbita Transarc Corporation (verrà assorbita dall’IBM)dall’IBM)

Soddisfa le esigenze su Soddisfa le esigenze su wanwan

Gestisce abbastanza bene la sicurezzaGestisce abbastanza bene la sicurezza (kerberos)(kerberos)

Prevede alcuni accorgimenti per limitare Prevede alcuni accorgimenti per limitare il traffico di reteil traffico di rete


Con AFS i “file system” SI Con AFS i “file system” SI ereditanoereditano


““Albero” di AFSAlbero” di AFS


Caratteristiche di AFSCaratteristiche di AFS


Soluzioni troppo complesse!Soluzioni troppo complesse!

Ciò che abbiamo visto sono soluzioni tecnicamente complesse destinate ad

essere utilizzate solo dagli addetti ai lavori,

ma …


Al CERN di Ginevra(Centro Europeo Ricerche Nucleari),

nel 1989 …

… viene proposta una nuova e rivoluzionaria soluzione alla

distribuzione dei dati …


… … al Cern nasce il WWW (World Wide al Cern nasce il WWW (World Wide Web)Web)

19891989 - Il fisico - Il fisico Tim Berners LeeTim Berners Lee del CERN inventa del CERN inventa il WEBil WEB


Problemi di compatibilità Problemi di compatibilità risolti risolti

Il Web risolse in maniera brillante i problemi di comunicazione tra calcolatori completamente diversi tra loro sia come hardware sia come software

Il primo server Web al Cern di Il primo server Web al Cern di GinevraGinevra


Il WWW (World Wide Web)Il WWW (World Wide Web)• 1991 - si ha la prima dimostrazione al

pubblico del web alla conferenza Hypertext a S. Antonio nel Texas

• 1993 - fu creata la prima interfaccia grafica denominata Mosaic presso l’NCSA (National Center for Supercomputing Applications)


Il WWW a Napoli Il WWW a Napoli il 23 novembre il 23 novembre 19931993

Il primo server Il primo server WWW ufficiale WWW ufficiale

dell’Italia dell’Italia meridionale fu meridionale fu

realizzato presso realizzato presso la la

Sezione di Napoli Sezione di Napoli dell’Istituto dell’Istituto Nazionale di Nazionale di

Fisica Nucleare Fisica Nucleare (INFN) (INFN)

ed il ed il

Dipartimento di Dipartimento di Scienze Fisiche Scienze Fisiche

dell’ Università di dell’ Università di Napoli Federico IINapoli Federico II

ad opera di ad opera di

Luca ListaLuca ListaLeonardo Leonardo

MerolaMerola

Ecco come si presentava il primo server www ufficiale

dell’Italia meridionale


Esigenze dei fisiciEsigenze dei fisici

Archiviazione

di grandi quantità di dati

Elaborazione

di grandi quantità di dati


Un po’ di nomenclaturaUn po’ di nomenclatura

KiloByte = 103 Byte (mille)

MegaByte = 106 Byte (un milione)

GigaByte = 109 Byte (un miliardo)

TeraByte = 1012 Byte (mille miliardi)

PetaByte = 1015 Byte (un milione di miliardi)


Le onde gravitazionaliLe onde gravitazionali

Secondo Einstein masse

accelerate producono

perturbazioni dette onde

gravitazionali.

Questa teoria non è stata

ancora dimostrata

Rappresentazione artistica di onde gravitazionali prodotte da una stella

doppia


L’esperimento Virgo a Cascina L’esperimento Virgo a Cascina (Pisa)(Pisa)

Antenna gravitazionale basata su interferometro Michelson

3 Km

Le onde gravitazionali, se esistono, avranno

un’energia debolissima e

faranno muovere l’interferometro di

una quantità estremamente

piccola: 10-19 m.

A regime verranno acquisiti

500 GB al giorno pari a 200 TB

all’anno(200 milioni di miliardi di byte

all’anno)


Osservatorio astronomico di La Silla in Osservatorio astronomico di La Silla in CileCile


Immagini dallo spazioImmagini dallo spazio


GinevraGinevraCCentro entro EEuropeo uropeo RRicerche icerche NNucleariucleari


Il CernIl Cern


L’acceleratore sarà pronto nel 2007;vi lavorano 6000 persone;

produrrà circa 12 PetaBytes di dati all’anno cioè:

12.000.000.000.000.000 Byte pari a circa 20 milioni di CD !

L’analisi dei dati richiederà una potenza di calcolo

pari a 70.000 PC !!!

Da dove prenderemo tutte queste risorse di calcolo ?

L’acceleratore LHC al L’acceleratore LHC al CernCern

(Large Hadron Collider)


Condor High Throughput ComputingCondor High Throughput Computing


L’esigenza: grandi potenze di L’esigenza: grandi potenze di

calcolo per lunghi periodi di tempocalcolo per lunghi periodi di tempo


La soluzione CondorLa soluzione Condor

• Un sistema di calcolo distribuito Un sistema di calcolo distribuito sviluppato presso l’Università del sviluppato presso l’Università del WisconsinWisconsin

• l’INFN collabora allo sviluppo e alla l’INFN collabora allo sviluppo e alla configurazione di tool su wide area configurazione di tool su wide area network e all’adattabilità alle proprie network e all’adattabilità alle proprie esigenze di calcoloesigenze di calcolo


L’idea di CondorL’idea di Condor

• poter sfruttare macchine inattive poter sfruttare macchine inattive facendoci girare programmi che facendoci girare programmi che hanno bisogno di un elevato tempo di hanno bisogno di un elevato tempo di cpucpu

• poter restituire immediatamente la poter restituire immediatamente la macchina al proprietario e continuare macchina al proprietario e continuare con un sistema automatico i propri con un sistema automatico i propri job altrove senza perdere i calcoli già job altrove senza perdere i calcoli già effettuatieffettuati


Come funziona CondorCome funziona Condor

• S’individuano le macchine che S’individuano le macchine che adersicono all’iniziativa formando adersicono all’iniziativa formando quello che viene detto un Pool di quello che viene detto un Pool di CondorCondor

• tra le macchine del Pool s’individuano tra le macchine del Pool s’individuano quelle che faranno da Central quelle che faranno da Central Manager e da Checkpoint ServerManager e da Checkpoint Server


Cosa fa il Central Cosa fa il Central ManagerManager

individua nel pool una macchina idle individua nel pool una macchina idle che risponda ai requisiti richiesti dal che risponda ai requisiti richiesti dal job che deve essere lanciato (ram, job che deve essere lanciato (ram, clock, sistema operativo, distanza clock, sistema operativo, distanza ecc.) ecc.)


A cosa serve il Checkpoint A cosa serve il Checkpoint ServerServer

• Importa periodicamente dalle Importa periodicamente dalle macchine su cui girano i job le macchine su cui girano i job le immagini dei processiimmagini dei processi

• qualora la macchina su cui gira un qualora la macchina su cui gira un job dovesse andare in crash, verrà job dovesse andare in crash, verrà recuperata l’ultima immagine del recuperata l’ultima immagine del processo presente sul Checkpoint processo presente sul Checkpoint Server e verrà fatta girare sulla Server e verrà fatta girare sulla nuova macchina individuata dal nuova macchina individuata dal Central ManagerCentral Manager


Cosa fa il Checkpoint Server Cosa fa il Checkpoint Server (continua)(continua)

qualora la macchina su cui gira un job qualora la macchina su cui gira un job non sia più disponibile, vuoi perché non sia più disponibile, vuoi perché serve al suo proprietario vuoi perché serve al suo proprietario vuoi perché sia andata in crash, allora il sia andata in crash, allora il Checkpoint preleverà l’immagine del Checkpoint preleverà l’immagine del processo e la sposterà su un’altra processo e la sposterà su un’altra macchina indicata dal Central macchina indicata dal Central Manager; il job ripartirà dal punto Manager; il job ripartirà dal punto dove si era fermatodove si era fermato


• dipende dalla configurazione dipende dalla configurazione presceltaprescelta

• uno dei possibili modi per scacciare uno dei possibili modi per scacciare un job altrui è quello di toccare il un job altrui è quello di toccare il mouse, da quel momento in poi si mouse, da quel momento in poi si riprende il possesso pieno della riprende il possesso pieno della macchinamacchina

• dipende dal carico di cpu, dipende dal carico di cpu, configurabile e che al di sopra del configurabile e che al di sopra del quale la macchina può fare un vacate quale la macchina può fare un vacate del jobdel job

Come si fa a eliminare un job Come si fa a eliminare un job di Condor dalla propria di Condor dalla propria

macchina?macchina?


Cos’è un sub-pool?Cos’è un sub-pool?

• È un pool inserito nel pool nazionale È un pool inserito nel pool nazionale di Condor che dà la massima priorità di Condor che dà la massima priorità alle macchine localialle macchine locali

• la sua implementazione è trasparente la sua implementazione è trasparente all’utenteall’utente


Schema di Schema di funzionamefunzioname

nto di nto di CondorCondor


Un’applicazione pratica: Un’applicazione pratica: LinuXTerminalLinuXTerminalSala utenti: su ogni Sala utenti: su ogni

macchina viene macchina viene configurato il configurato il software (Xserver) software (Xserver) che emula gli X-che emula gli X-Terminal; le dieci Terminal; le dieci macchine vengono macchine vengono inserite nel pool di inserite nel pool di Condor.Condor.

Viene assolta la richiesta di poter effettuare Viene assolta la richiesta di poter effettuare sessioni X sui vari host della Sezione; sessioni X sui vari host della Sezione; l’inserimento nel pool di Condor delle macchine l’inserimento nel pool di Condor delle macchine della Sala Utenti ne consente l’utilizzo 24 ore su della Sala Utenti ne consente l’utilizzo 24 ore su 24.24.


Risultati del Pool di Condor nell’ Risultati del Pool di Condor nell’ INFNINFN


I vantaggi di CondorI vantaggi di Condor• Non è necessario avere un account Non è necessario avere un account sulle macchine del pool; sulle macchine del pool;

• non avvengono operazioni di I/O sulle non avvengono operazioni di I/O sulle macchine del pool; macchine del pool;

• le operazioni ammesse riguardano le operazioni ammesse riguardano sola la CPU e la RAM; sola la CPU e la RAM;

• la “sicurezza” delle macchine del pool la “sicurezza” delle macchine del pool non è in discussione; non è in discussione;

• la Mail è di gran lunga più rischiosa;la Mail è di gran lunga più rischiosa;

• si possono creare sub-poolsi possono creare sub-pool..


La rete e il Calcolo La rete e il Calcolo ParalleloParallelo

Con l’introduzione Con l’introduzione delle reti il calcolo delle reti il calcolo parallelo non si parallelo non si basa più soltanto basa più soltanto su macchine su macchine multiprocessore multiprocessore ma vengono ma vengono sempre più spesso sempre più spesso usate usate farm di farm di workstationworkstation..


Intel-Linux-FarmIntel-Linux-Farm- Offre agli utenti un ambiente di calcolo e Offre agli utenti un ambiente di calcolo e

sviluppo ad alte prestazioni; sviluppo ad alte prestazioni; - è allineata con gli attuali orientamenti in è allineata con gli attuali orientamenti in

materia di sistema operativo e materia di sistema operativo e piattaforma di sviluppo;piattaforma di sviluppo;

- ha un basso costo d’implementazione;ha un basso costo d’implementazione;- si può disporre di tool OpenSource si può disporre di tool OpenSource

all’avanguardia (all’avanguardia (MOSIXMOSIX, PVM, MPI);, PVM, MPI);- si possono creare nodi diskless che si possono creare nodi diskless che

richiedono manutenzione minima;richiedono manutenzione minima;


Farm su Switch Farm su Switch EthernetEthernet


Stato dell’arteStato dell’arte

Attualmente quasi tutti i tool Attualmente quasi tutti i tool utilizzati per il calcolo parallelo non utilizzati per il calcolo parallelo non prevedono la migrazione dei prevedono la migrazione dei processi verso le workstation più processi verso le workstation più scariche; l’allocazione processo-scariche; l’allocazione processo-CPU è di tipo staticoCPU è di tipo statico..


MosixMosix

MOSIX é un’estensione dei kernel Unix-MOSIX é un’estensione dei kernel Unix-like, come Linux, ed è formato da una like, come Linux, ed è formato da una serie di algoritmi per la condivisione serie di algoritmi per la condivisione adattiva delle risorse. Questi algoritmi adattiva delle risorse. Questi algoritmi sono progettati in modo da rispondere, sono progettati in modo da rispondere, in tempo breve, alle variazioni di in tempo breve, alle variazioni di utilizzo delle risorse all'interno di un utilizzo delle risorse all'interno di un cluster di workstation.cluster di workstation.


L’architettura di MosixL’architettura di Mosix

• un meccanismo per la migrazione un meccanismo per la migrazione automatica dei processi automatica dei processi (Preemptive (Preemptive Process Migration)Process Migration)

• un set di algoritmi per la un set di algoritmi per la condivisione adattiva delle risorse.condivisione adattiva delle risorse.


Preemptive Process Preemptive Process MigrationMigration

Il modulo PPM consente la migrazione Il modulo PPM consente la migrazione di qualsiasi processo verso uno dei di qualsiasi processo verso uno dei nodi disponibili. La migrazione viene nodi disponibili. La migrazione viene determinata in modo automatico dalle determinata in modo automatico dalle informazioni fornite dagli algoritmi informazioni fornite dagli algoritmi per la condivisione adattiva delle per la condivisione adattiva delle risorse, oppure manualmente degli risorse, oppure manualmente degli utenti. utenti.


Ottimizzazione della Ottimizzazione della memoria.memoria.

A seguito di un paging causato da A seguito di un paging causato da poca memoria disponibile da parte poca memoria disponibile da parte di un nodo, questo algoritmo fa di un nodo, questo algoritmo fa migrare il processo verso un nodo migrare il processo verso un nodo con memoria libera sufficiente. con memoria libera sufficiente. Questa ottimizzazione è prioritaria Questa ottimizzazione è prioritaria e viene effettuata anche a scapito e viene effettuata anche a scapito del corretto bilanciamento del del corretto bilanciamento del carico all’interno della farm.carico all’interno della farm.


Algoritmo di load-balancing Algoritmo di load-balancing dinamicodinamico

Questo algoritmo cerca continuamente di Questo algoritmo cerca continuamente di ridurre le differenze di carico tra coppie di ridurre le differenze di carico tra coppie di nodi, migrando i processi dal nodo più nodi, migrando i processi dal nodo più carico verso quello più scarico. L’esecuzione carico verso quello più scarico. L’esecuzione è totalmente decentralizzata: ciascun nodo è totalmente decentralizzata: ciascun nodo esegue lo stesso algoritmo e la riduzione di esegue lo stesso algoritmo e la riduzione di carico è effettuata in maniera indipendente carico è effettuata in maniera indipendente per coppie di workstation. Il numero di per coppie di workstation. Il numero di processori di ciascun nodo e la loro velocità processori di ciascun nodo e la loro velocità sono dei fattori presi in considerazione sono dei fattori presi in considerazione nelle scelte che vengono effettuate da nelle scelte che vengono effettuate da questo algoritmo.questo algoritmo.


14

P1

P2

P5

P4

P3

P6

P14

P13

P12

P11

P10

P9

P8

P7

P16

P15

CPU #

1

2

3

4

5

6

7

8

9

10

11

12

13

15

16

time (sec)150 300 450

P17

600

P18

P19

P20

P21

P22

P23

P24

P1

P17

P2

P18

P3

P19

P4

P20

P5

P21

P6

P22

P7

P23

P8

P24

14

P1

P2

P5

P4

P3

P6

P14

P13

P12

P11

P10

P9

P8

P7

P16

P15

CPU #

1

2

3

4

5

6

7

8

9

10

11

12

13

15

16

time (sec)150 300 450

P17

600

P18

P19

P20

P21

P22

P23

P24

P1 P17

P2 P18

P3 P19

P4 P20

P5 P21

P6 P22

P7 P23

P8 P24

Linux senza Mosix: scheduling

di 24 processi

Esempio teorico: ridistribuzione del caricoEsempio teorico: ridistribuzione del carico

Linux + Mosix:

scheduling di 24 processi

Fig. A – Sottomissione di 24 processi:

16 processi vengono assegnati alle prime 8 CPU;

8 processi vengono assegnate alle seconde 8 CPU.

L’elaborazione termina dopo 600 sec.

Fig. B - Vengono sottomessi 24 processi:

16 processi vengono assegnati alle prime 8 CPU;

8 processi vengono assegnate alle seconde 8 CPU.

Durante l’elaborazione i processi P17, …, P24

migrano verso i processori CPU17, … CPU24 che nel frattempo hanno terminato i loro job.

L’elaborazione termina dopo 450 sec.

CPU #CPU #


Esempio reale: test algoritmi Esperimento Esempio reale: test algoritmi Esperimento Virgo Virgo

CHEP2001CHEP2001

Guadagno minimo

con Mosix

Guadagno del 20% con

Mosix


Mosix: sintesi caratteristicheMosix: sintesi caratteristiche

Attualmente quasi tutti i tool utilizzati per il calcolo parallelo non prevedono la migrazione dei processi verso le workstation più scariche.

MOSIX é un’estensione dei kernel Unix-like ed è in grado di rispondere, in tempo breve, alle variazioni di utilizzo delle risorse all'interno di un cluster di workstation

Migrazione dei processi: Mosix consente la migrazione automatica dei processi da un nodo all’altro in funzione del carico delle CPU; il numero di processori di ciascun nodo e la loro velocità sono alcuni dei fattori presi in considerazione

Ottimizzazione della memoria: a seguito di un paging causato da poca memoria, i processi possono migrare automaticamente verso un nodo con memoria libera sufficiente

openMosix File System (MFS): l’algoritmo di bilanciamento del carico consente ai processi di migrare verso i nodi su cui si devono fare operazioni di I/O su disco

Tool di sviluppo: Mosix si presta perfettamente all’utilizzo di librerie per il calcolo parallelo e scientifico (PVM, MPI, NAG, CERNLIB, …)


Dal WEB …Dal WEB …Il WEB

ha trasformato i calcolatori di tutto il

mondo in un unico grande

archivio accessibile molto facilmente da

tutti


… … alla GRIDalla GRID

Il progetto GRIDvuole unire i calcolatori di tutto il

mondo in un’unica grande risorsa

per l’archiviazione e l’elaborazione da fruire in modo semplice e da fruire in modo semplice e immediatoimmediato

dei dei DATIDATI


L’ambizione:L’ambizione:

Creare una

WWG,

ovvero una

World Wide Grid


Macchine e Servizi Macchine e Servizi GRIDGRIDPer eseguire i nostri programmi

basterà collegarsi ad un solo calcolatore e…

… saranno poi altri calcolatori a scegliere, tra milioni di computer sparsi in tutto il mondo, quali e quanti

utilizzare


Stato della Grid Stato della Grid Clicca qui per mostrare animazione USA EUROPA (ESC per uscire dall’animazione)


Ftp: 1268”

Ftp: 2674”

Stoccolma

Napoli

Mosca

Trasmissione dati ad alte prestazioni: Trasmissione dati ad alte prestazioni: GridFtpGridFtp


400

900

1400

1900

2400

2900

Trasferimento file da 1GByte traTrasferimento file da 1GByte traNapoli, Mosca, Stoccolma e Trieste con Napoli, Mosca, Stoccolma e Trieste con FTPFTP

Stoccolma - Napoli: 21’8”

Stockholm-Trieste: 13’40”

Napoli-Trieste: 10’11”

sec

Mosca - Napoli: 44’34”

0

2

4

6

8

10

12

14

16

18

20

22

24

26

28

30

32

Napoli Mosca

Napoli Stoccolma

0

2

4

6

8

10

12

14

16

Trieste Stoccolma

Trieste Napoli

Mbps

Mbps

Tempi di trasferimentoTempi di trasferimento Velocità di trasferimentoVelocità di trasferimento


02468

101214161820222426283032

Trasferimento di file da 15 MB tra Bologna e Napoli:Trasferimento di file da 15 MB tra Bologna e Napoli:Protocolli Protocolli afsafs, , httphttp e e ftpftp a confronto a confronto

52,80

48,20

35,8036,00

27,0028,00 27,00

25,00

28,00

0,00

10,00

20,00

30,00

40,00

50,00

60,00

afs http ftp

Tempi di trasmissione in sec. Velocità di trasmissione in Mbps

Traffico Router di Napoli

Non si raggiunge lavelocità di 6 Mbpsnonostante i 32 Mbps disponibili!


Protocolli di trasmissioneProtocolli di trasmissioneNei protocolli di trasmissione

seriali (ftp, afs, http) un nuovo pacchetto viene spedito solo quando la consegna del precedente è stata completata

Durante la trasmissione le CPU dei nodi mittente e destinatario rimangono inattive

Nei protocolli di trasmissione “paralleli” (GridFtp, bbFtp, bbcp)

si effettua la spedizione “contemporanea” di più stringhe in quantità configurabile dall’utente.

Alcuni protocolli di trasmissione paralleli

GridFtpAutenticazione tramite Certificazione GLOBUS;trasferimento su flussi paralleli di grandezza arbitraria;trasferimento parziale di file; ripristino trasferimenti interrotti.

bbFtpAutenticazione basata su SSHintegrazione con autenticazione AFStrasferimento su flussi paralleli di grandezza arbitraria.compressione dati “on fly”

bbcpAutenticazione basata su SSHsintassi simile a scp


GridFtp: 307”(Ftp: 1268”)

GridFtp: 325”(Ftp: 2674”)

Stoccolma

Napoli

Nella figura sono messi a confronto i tempi occorsi per trasferire un file da un gigabyte da Stoccolma a Napoli e da Mosca a Napoli usando il tradizionale protocollo di trasmissione FTP e il protocollo GridFtp

Mosca

Introduzione alle griglie computazionali - a.a. 2005-06 122CHEP2003CHEP2003

Test finali trasferimento file da 1 Gbyte con Test finali trasferimento file da 1 Gbyte con GridFtpGridFtp

6,31

25,81

2,99

24,62

13,0915,41

9,76

15,15

0

2

4

6

8

10

12

14

16

18

20

22

24

26

28

30

32

NapoliStockholm

Napoli Mosca (e-Style)

Napoli Trieste StockholmTrieste

ftp

Grid-Ftp

Tempi di trasmissione Velocità di trasmissioneMbps

• 5’25” (contro 44’34” con Ftp) per 1 GByte da Mosca a Napoli

• 5’10” (contro 21’8” con Ftp) per 1 GByte da Stoccolma a Napoli

Introduzione alle griglie computazionali - a.a. 2005-061 Introduzione alle griglie computazionali...

Documents

Transcript of Introduzione alle griglie computazionali - a.a. 2005-061 Introduzione alle griglie computazionali...