Stato
Calcolo, Reti, etc.
IRA
Febbraio 2011
M.Nanni
F.Bedosti, F.Tinarelli, S.Tubertini, M.Tugnoli
Stato di Avanzamento:
Stato di Avanzamento:
Stato di Avanzamento:
PoP
Lepida e Garr X
CNR E_04
CNAF E_06
ENEA E_01
ENEA E_03
INGV E_08
SIF E_07
POP
Siti utente
di I livello
Siti utente
di II livello
IRSIG
E_13
CMCC E_09HOPKINS
AFAM E_12
CINECA
CasalecchioTransito: POP Acantho “Tolmino”
EMILYLINK
E_11
Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna
Ultimati i lavori sui 343 nodi Lepida - Attivo PoP “basic”
Collegamenti non ancora
consegnatiufficialmente
Previsto PoPGarr-X in Area da Marzo 2011
10 Gbit/s
Riposizionamento PoP di Area
Firewall di Area e di Lan
Semplificare la gestione della sicurezzascaricando lo switch di Area
PDPDMI2MI2
MI1MI1
TOTO
PIPI FIFI
NANA
GEGE
CTCT
PAPA
RCRC
CZCZCSCS
AN1AN1
TSTS
MI4MI4 COCO
BABA
SASA
PEPE
CACA
AQAQ
OlbiaOlbia
PZPZ MTMT
TN1TN1
G.652
G.654
FEFE
BRBR
LELE
UD1UD1
PGPG
PVPV
BO2BO2BO1BO1
Civitavec.Civitavec.
LameziaLamezia
RM1RM1
CA1CA1
ANAN
SS1SS1
AQ1AQ1
FE1FE1MI3MI3 MI5MI5
MazaraMazara
RM2RM2
FG1FG1
ME1ME1
TNTNUDUD
TermoliTermoli
CBCB
Rete per la radioastronomia
PDPDMI2MI2
MI1MI1
TOTO
PIPI FIFI
NANA
GEGE
CTCT
PAPA
RCRC
CZCZCSCS
AN1AN1
TSTS
MI4MI4 COCO
BABA
SASA
PEPE
CACA
AQAQ
OlbiaOlbia
PZPZ MTMT
TN1TN1
G.652
G.654
FEFE
BRBR
LELE
UD1UD1
PGPG
PVPV
BO2BO2BO1BO1
Civitavec.Civitavec.
LameziaLamezia
RM1RM1
CA1CA1
ANAN
SS1SS1
AQ1AQ1
FE1FE1MI3MI3 MI5MI5
MazaraMazara
RM2RM2
FG1FG1
ME1ME1
TNTNUDUD
TermoliTermoli
CBCBBO1
Oss.Medicina (BO)
Oss.Noto (SR)
Oss.S.Basilio (CA)
IRA-INAF BO
3x10G
10G
10G
10G
MI1MI1
2x10G
BO1
Oss.Medicina (BO)
Oss.Noto (SR)
Oss.S.Basilio (CA)
IRA-INAF BO
3x10G
10G
10G
10G
MI1MI1
2x10G
• Attivo collegamento diretto “dark” di 32 Km con il CNAF• Velocita’ attuale : 1 Gbit/sec
• Abbiamo acquistato gli apparati per andare a 10 Gbit/s– Da Mark-V a Router stazione attivi– Da Router stazione a Cnaf in attesa di porta 10G disponibile
Medicina … e-vlbi
•Stiamo attendendo (estate 2011)- Attivazione porta su PoP Garr Cnaf- Attivazione LightPath 10G Milano-Amsterdam
•Garr-X a regime: collegamento su PoP AREA (fine 2012)
MK5
Rs
JIVEPoP Garr
Rout. Med
10G
1G
1G
Lightpath
Collegamento dell’Antenna di NOTO
135 Km di fibra ottica dal PoPGARR di Catania all’antenna di
Noto
� In corso riparazione della rotaia
�Collegamento previsto al termine dei lavori(inizio 2012 ? )
� Lambda 1 Gbit/s Noto-Bologna
�Costo 100 KEuro X 6 anni
Collegamento dell’Antenna di NOTO
SARDINIA RADIO TELESCOPE
Sardinia Radio Telescope
�Delibera Regionale Marzo 2010 2.4 ML Euro per completare collegamento rete Cybersar ( SRT, Osservatorio Cagliari)
�Predisposto dal Garr (Aprile 2010) due collegamenti a 2.5 Gbit/s Cagliari-Roma (scarsi rapporti su Jana)
�Richiesto collegamento Garr a bassa velocita’ con la stazione (6 Mbit/s) . 2-3 mesi.
�Lavori di posa fibra regionale a pochi Km da SRT
�Necessario chiarire rapporto Cybersar-Garr
�Futuro riposizionamento linea bassa velocita’ a 2Km daSRT per analisi disturbi.
www.nexpres.euThe EC has awarded the new NEXPReS project 3.5 millioneuros toadvance data transfer, buffering, storage and distributed computing
technologies. The improvements are expected to significantlyenhance the "e-EVN Programme", a SKA Pathfinder Technology
�Incrementare il numero di stazioni che partecipano all’e-Vlbi
�Incrementare la banda osservativa da 512 Mbps a 4 Gbps (dBBC)
�Buffering/storage alla stazione ed al correlatore
�Larga banda e storage on demand
�Correlazione distribuita (DiFXe implementazione formato VDIF)
Buffer/storage
www.nexpres.eu
WP8: Provisioning High-Bandwidth. High-Capacity Network
�Bandwidth, capacity, and concurrency-aware allocation methods of storage elements (INAF, AALTO)
�Integration of storage element allocation methods with transparentmulti-Gbps access (JIVE, ASTRON, AALTO, INAF)
Partecipazione INAF - IRA
Buffering (caching) of hight speed data
At various point of the transport chain
Size: at 1 Gbit/sec 450 Gbyte/h = 10 Tera/day x ant.
( 4 Gbit/sec x 2 days x 4 ant. = 320 Tera )
Speed: commercial disks and systems:
For a “no real time correlator” and data reprocessing (multibeam)
2.2 Gbit/s
Raid0 SAS 15K0.5 Gbit/sAreca Raid5 Gpfs
1.5 Gbit/s
Areca Raid5 Sata0.3 Gbit/sDell Raid5 Gpfs
One of the goal:
Ibrido Storage – CorrelatoreCluster su rete Infiniband
Correlatore DiFX
• Sviluppato alla Swinburne University da A.Deller, S.Tingay, C.West, W.Brisken (NRAO) and W.Wilson
(ATNF)
• Basato su cluster MPI di sistemi Linux
Porting di DiFX all’IRA
Dalla tesi di dottorato di J.Morgan (2007-2010)
Storage : Alternative e scelte
• Nas con RAID interno o Jbod iSCSI ?
• File system “fisico” (Ext4, XFS, …) o di rete(GPFS, Lustre) ?
• Storage e correlatore separato o ibrido ?
• Uso del Grid per la multicorrelazione e la gestione geografica dati ?
• IPv6 puo’ aiutare nella distribuzione dei dati ?
Alma-ARC: Local Resources
1 Gbit/s
Alma-ARC: Local Resources
Avevamo:
12 CPU x 96 core
14 Tera spaziodisco
Rete 10 Gbit/s
13^ Lama ( specializzata ! )
1 CPU ( 30% piu’ veloce) 4 core
16 Gby Memoria
Alma-ARC: Local Resources
Nuovo NAS
40 TeraByte dispazio disco
Rete GPFS
10 Gbit/s
Costo 11 KEuro
F2f users: 10 TBy per il periodo + 1 mese
INAF – Staff : 2.5 TBy unlimited
Alma-ARC Local Resources
Hardware:12 Blade computers with 8 x 2.1 GHz cores and 8 GB of RAM each
1 Blade computer with 4 x 2.8 GHz cores and 16 GB of RAM54 TB of SATA storage on GPFS on a 10Gbit ethernet network.
Software:CASA (Common Astronomy Software Applications) a set of C++ tools bundled in an iPython interface.
+AIPS Classic (1977)
Miriad, IDL+Healpix, gildas, parseltongue, sexstractor…..
Ssh access with load balancing:ssh -Xt -l your_user arcserv.ira.inaf.it qsub -XI
• Occasione per ridiscutere valutare le esigenze dicalcolo degli Istituti nell’AREA di Ricerca diBologna (Grid / HPC / Cloud)
• Portato sul Grid 100 cores di calcolo di Area – Realta’ eterogenee CNR/INAF vs organizzazione
INFN/CERN
• Studio uso di parallelismo a grana grossa: – Valutazione interventi sui task critici– Parallelizzato “Clean” di CASA (64 bande frequenza)– Uso del grid nella aggregazione di dataset distribuiti
Distributed Unified Computing of Knowledge (DUCK)
WWW.COMPUT-ER.IT
What will be the tasks at INAF ARC computer cluster ?
Tasks that take advantage using many cores:
Data reduction of many (100-1000) images at a time
Run of the task on a data set with different parameters
Tasks that require strong CPU and BIG memory
Large images ( > 8000 x 8000)
Mosaic
Multidimensional images
Cosa ci aspettiamo di ottenere
• Non sappiamo cosa vorranno fare I ricercatori diquesti potenti strumenti domani– survey di 10.000 immagini ? – Simulazioni ? – Correlazioni di centinaia di campi ?
• Le risorse di calcolo e di rete non devono esserelimitanti nella ideazione e sviluppo dei progetti.
• Ne’ possiamo dimensionare le risorse allemassime esigenze oggi (!) prevedibili.
• Possiamo contribuire a realizzare uno“Strumento” che, alla bisogna, ci possa fornire100-100.000 unita’ di calcolo
Calcolo IRASpazio Disco pubblico (11.000 GByte)
(di cui 6.800 in GPFS)
Condiviso a tutte le macchine linux via NFS
Visibili dai sistemi Windows (anche server2003)
Disco home nel directory /homes ( max 3 GBy )
Visibile sotto la directory /iranet (aree pubbliche)
In gran parte con backup giornaliero o settimanale
Info specifiche sul sito web
Calcolo IRA
Server di Calcolo
Sono disponibili per calcolo sistemi come:
Gaia (3GHz e dischi SCSI) Accesso da rete
C1 (Dual Xeon 2GHz) calcolo
C2 ( Dual Opteron 2Ghz) calcolo
C3 ( Xeon 2 Ghz ) Memoria: 48 GByte
WN01-04 (Dual Xeon 3GHz) in riposizionamento
WN05-08 (Dual Opt. 2.5GHz) in riposizionamento
CalcoloCluster di Calcolo
Mack–16 (15 !!)15 Sistemi AMD 2.4 GHz
Rete a 1 Gbit/s ( reali 400 Mbit/s)
1 Server disco 1000 Gbyte
File System GPFS
Compilatore F90 –PGI (4-6X)
Singola CPU molto veloce
CLUSTER MPI
Ultimamente non molto impegnati
Sostituzione di Serv2003 con WINSERV
Da linux: rdesktop winserv.ira.inaf.it
Anche darete
pubblica
Windows AccessoRemoto
Accedere al Window manager di un server da altrosistema operativo (X11, NX)
Indirizzi di internet
Noi (IRA) stiamo usando:
192.167.165.x ( fino a 254 macchine su rete pubblica)
192.168.2.x ) (nodi GPFS rete chiusa)
192.168.10.x (sistemi MACH rete nascosta)
192.168.48.x ( sistemi DHCP rete nascosta)
192.168.49.x ( sistemi ARC rete nascosta)
192.168.165.x ( sistemi su rete nascosta)
Nel 2012 non vi saranno piu’ indirizzi da assegnare !
I nodi della rete sono identificati da numeri a 32 bit
Circa 4 miliardi di indirizzi diversi
Cosa vuol dire veramente ? L’organizzazione internazionale che assegnava gli indirizzi
alle “Telecom” non ha piu’ nulla da assegnare
Vi sono migliaia di reti nel portafoglio delle “Telecom”
Ne abbiamo una dozzina libere in Area CNR
Nuove Telecom non potranno avere reti
Il Garr ha dato indicazioni affinche’ almeno i computer dei servizi (Web, Mail, Database,
calcolo,etc ) siano in IPv6 prima del 2012
Istituzioni scientifiche asiatiche e americane ci stanno chiedendodi rendere disponibili servizi sientifici anche nei protocolli IPv6
Mercato nero degli indirizzi IPv4 ?
2001:760:2a14:fffe:204:23ff:fec1:6cb8
Indirizzi
A ogni struttura:
48 bit Identificativo assegnato
16 bit 64.000 reti assegnate
64 bit 4*10^19 ( ipv4*ipv4) nodi sulla singola rete
Uno spazio enorme da sfruttare al meglio
Ipv6 all’IRANella rete: 2001:760:2a14: 0000
4-5 sistemi con indirizzo fisso (web, mail, dns ..)
Nella rete: 2001:760:2a14: FFFE
Linux autoconfigurati
Vista/Windows 7 autoconfigurati
Windows XP / Mac possono essere configurati
Corso via videoconferenza su IPv6
Altri istituti CNR dell’Area stanno sperimentando
Strutture INAF ??
Va’ sperimentato IPv6 nel e-Vlbi
INAF nella federazione IDEM
Accedere a servizi condivisi con una unica chiave di accesso
Un servizio (Biblioteca, rete Wireless, Videoconferenza, Presenze, Cedolini del Cineca [??] ….. ) anziche’
assegnare a ogni utente una password riconosce le identita’ e le passwod assegnate dalle strutture che
afferiscono alla confederazione.
Seminario di Tinarelli del Maggio 2010
IRA e IASF hanno partecipato alla sperimentazione con la biblioteca di Area
IdP per INAF
Dipendenti TI e TD [1100] TTL = 2 anni
Collaboratori (Borsisti, Assegnisti, …) [300] TTL = 1 anno
Associati [300] TTL = 1 anno
Personale in formazione [250] TTL = 3 mesi
Gestore delle Identita’ dei “dipendenti” INAF
IdPLDAP
CSA AstroDip
crea/cancella dipendente
mail / tel / ruolo
Dipendente Password
Attivare l’utenza e cambiare la passwordhttp://www.ced.inaf.it/passwd
IDEM IdP
• Username cognome.nome con regole simili a quelle del cedolino stipendiale
• Si potra’ avere alias [email protected]
• Ci permettra’ di controllare meglio gli accessi e l’utilizzo delle risorse (certificati grid )
• Quando ?– Superati test tecnici di funzionamento
– In attesa di valutazione da parte del CDI
Sara’ l’ultima password “di lavoro” chedovro’ ricordare ? ☺☺☺☺ ���� ☺☺☺☺
Calcolo: Informazioni e Burocrazia
Difficile informare i nuovi arrivati
L’invenzione del modulo
… e vogliamoanche la foto !!
Difficile tenere informati delle novita’
Calcolo: Informazioni e Burocrazia
www.ira.inaf.it
www.alma.inaf.it
www.ced.inaf.it
Top Related