Stato

Calcolo, Reti, etc.

IRA

Febbraio 2011

M.Nanni

F.Bedosti, F.Tinarelli, S.Tubertini, M.Tugnoli

Stato di Avanzamento:

Stato di Avanzamento:

Stato di Avanzamento:

PoP

Lepida e Garr X

CNR E_04

CNAF E_06

ENEA E_01

ENEA E_03

INGV E_08

SIF E_07

POP

Siti utente

di I livello

Siti utente

di II livello

IRSIG

E_13

CMCC E_09HOPKINS

AFAM E_12

CINECA

CasalecchioTransito: POP Acantho “Tolmino”

EMILYLINK

E_11

Stato di avanzamento di Lepida: La Rete Metropolitana di Bologna

Ultimati i lavori sui 343 nodi Lepida - Attivo PoP “basic”

Collegamenti non ancora

consegnatiufficialmente

Previsto PoPGarr-X in Area da Marzo 2011

10 Gbit/s

Riposizionamento PoP di Area

Firewall di Area e di Lan

Semplificare la gestione della sicurezzascaricando lo switch di Area

PDPDMI2MI2

MI1MI1

TOTO

PIPI FIFI

NANA

GEGE

CTCT

PAPA

RCRC

CZCZCSCS

AN1AN1

TSTS

MI4MI4 COCO

BABA

SASA

PEPE

CACA

AQAQ

OlbiaOlbia

PZPZ MTMT

TN1TN1

G.652

G.654

FEFE

BRBR

LELE

UD1UD1

PGPG

PVPV

BO2BO2BO1BO1

Civitavec.Civitavec.

LameziaLamezia

RM1RM1

CA1CA1

ANAN

SS1SS1

AQ1AQ1

FE1FE1MI3MI3 MI5MI5

MazaraMazara

RM2RM2

FG1FG1

ME1ME1

TNTNUDUD

TermoliTermoli

CBCB

Rete per la radioastronomia

PDPDMI2MI2

MI1MI1

TOTO

PIPI FIFI

NANA

GEGE

CTCT

PAPA

RCRC

CZCZCSCS

AN1AN1

TSTS

MI4MI4 COCO

BABA

SASA

PEPE

CACA

AQAQ

OlbiaOlbia

PZPZ MTMT

TN1TN1

G.652

G.654

FEFE

BRBR

LELE

UD1UD1

PGPG

PVPV

BO2BO2BO1BO1

Civitavec.Civitavec.

LameziaLamezia

RM1RM1

CA1CA1

ANAN

SS1SS1

AQ1AQ1

FE1FE1MI3MI3 MI5MI5

MazaraMazara

RM2RM2

FG1FG1

ME1ME1

TNTNUDUD

TermoliTermoli

CBCBBO1

Oss.Medicina (BO)

Oss.Noto (SR)

Oss.S.Basilio (CA)

IRA-INAF BO

3x10G

10G

10G

10G

MI1MI1

2x10G

BO1

Oss.Medicina (BO)

Oss.Noto (SR)

Oss.S.Basilio (CA)

IRA-INAF BO

3x10G

10G

10G

10G

MI1MI1

2x10G

• Attivo collegamento diretto “dark” di 32 Km con il CNAF• Velocita’ attuale : 1 Gbit/sec

• Abbiamo acquistato gli apparati per andare a 10 Gbit/s– Da Mark-V a Router stazione attivi– Da Router stazione a Cnaf in attesa di porta 10G disponibile

Medicina … e-vlbi

•Stiamo attendendo (estate 2011)- Attivazione porta su PoP Garr Cnaf- Attivazione LightPath 10G Milano-Amsterdam

•Garr-X a regime: collegamento su PoP AREA (fine 2012)

MK5

Rs

JIVEPoP Garr

Rout. Med

10G

1G

1G

Lightpath

Collegamento dell’Antenna di NOTO

135 Km di fibra ottica dal PoPGARR di Catania all’antenna di

Noto

� In corso riparazione della rotaia

�Collegamento previsto al termine dei lavori(inizio 2012 ? )

� Lambda 1 Gbit/s Noto-Bologna

�Costo 100 KEuro X 6 anni

Collegamento dell’Antenna di NOTO

SARDINIA RADIO TELESCOPE

Sardinia Radio Telescope

�Delibera Regionale Marzo 2010 2.4 ML Euro per completare collegamento rete Cybersar ( SRT, Osservatorio Cagliari)

�Predisposto dal Garr (Aprile 2010) due collegamenti a 2.5 Gbit/s Cagliari-Roma (scarsi rapporti su Jana)

�Richiesto collegamento Garr a bassa velocita’ con la stazione (6 Mbit/s) . 2-3 mesi.

�Lavori di posa fibra regionale a pochi Km da SRT

�Necessario chiarire rapporto Cybersar-Garr

�Futuro riposizionamento linea bassa velocita’ a 2Km daSRT per analisi disturbi.

www.nexpres.euThe EC has awarded the new NEXPReS project 3.5 millioneuros toadvance data transfer, buffering, storage and distributed computing

technologies. The improvements are expected to significantlyenhance the "e-EVN Programme", a SKA Pathfinder Technology

�Incrementare il numero di stazioni che partecipano all’e-Vlbi

�Incrementare la banda osservativa da 512 Mbps a 4 Gbps (dBBC)

�Buffering/storage alla stazione ed al correlatore

�Larga banda e storage on demand

�Correlazione distribuita (DiFXe implementazione formato VDIF)

Buffer/storage

www.nexpres.eu

WP8: Provisioning High-Bandwidth. High-Capacity Network

�Bandwidth, capacity, and concurrency-aware allocation methods of storage elements (INAF, AALTO)

�Integration of storage element allocation methods with transparentmulti-Gbps access (JIVE, ASTRON, AALTO, INAF)

Partecipazione INAF - IRA

Buffering (caching) of hight speed data

At various point of the transport chain

Size: at 1 Gbit/sec 450 Gbyte/h = 10 Tera/day x ant.

( 4 Gbit/sec x 2 days x 4 ant. = 320 Tera )

Speed: commercial disks and systems:

For a “no real time correlator” and data reprocessing (multibeam)

2.2 Gbit/s

Raid0 SAS 15K0.5 Gbit/sAreca Raid5 Gpfs

1.5 Gbit/s

Areca Raid5 Sata0.3 Gbit/sDell Raid5 Gpfs

One of the goal:

Ibrido Storage – CorrelatoreCluster su rete Infiniband

Correlatore DiFX

• Sviluppato alla Swinburne University da A.Deller, S.Tingay, C.West, W.Brisken (NRAO) and W.Wilson

(ATNF)

• Basato su cluster MPI di sistemi Linux

Porting di DiFX all’IRA

Dalla tesi di dottorato di J.Morgan (2007-2010)

Storage : Alternative e scelte

• Nas con RAID interno o Jbod iSCSI ?

• File system “fisico” (Ext4, XFS, …) o di rete(GPFS, Lustre) ?

• Storage e correlatore separato o ibrido ?

• Uso del Grid per la multicorrelazione e la gestione geografica dati ?

• IPv6 puo’ aiutare nella distribuzione dei dati ?

Alma-ARC: Local Resources

1 Gbit/s

Alma-ARC: Local Resources

Avevamo:

12 CPU x 96 core

14 Tera spaziodisco

Rete 10 Gbit/s

13^ Lama ( specializzata ! )

1 CPU ( 30% piu’ veloce) 4 core

16 Gby Memoria

Alma-ARC: Local Resources

Nuovo NAS

40 TeraByte dispazio disco

Rete GPFS

10 Gbit/s

Costo 11 KEuro

F2f users: 10 TBy per il periodo + 1 mese

INAF – Staff : 2.5 TBy unlimited

Alma-ARC Local Resources

Hardware:12 Blade computers with 8 x 2.1 GHz cores and 8 GB of RAM each

1 Blade computer with 4 x 2.8 GHz cores and 16 GB of RAM54 TB of SATA storage on GPFS on a 10Gbit ethernet network.

Software:CASA (Common Astronomy Software Applications) a set of C++ tools bundled in an iPython interface.

+AIPS Classic (1977)

Miriad, IDL+Healpix, gildas, parseltongue, sexstractor…..

Ssh access with load balancing:ssh -Xt -l your_user arcserv.ira.inaf.it qsub -XI

• Occasione per ridiscutere valutare le esigenze dicalcolo degli Istituti nell’AREA di Ricerca diBologna (Grid / HPC / Cloud)

• Portato sul Grid 100 cores di calcolo di Area – Realta’ eterogenee CNR/INAF vs organizzazione

INFN/CERN

• Studio uso di parallelismo a grana grossa: – Valutazione interventi sui task critici– Parallelizzato “Clean” di CASA (64 bande frequenza)– Uso del grid nella aggregazione di dataset distribuiti

Distributed Unified Computing of Knowledge (DUCK)

WWW.COMPUT-ER.IT

What will be the tasks at INAF ARC computer cluster ?

Tasks that take advantage using many cores:

Data reduction of many (100-1000) images at a time

Run of the task on a data set with different parameters

Tasks that require strong CPU and BIG memory

Large images ( > 8000 x 8000)

Mosaic

Multidimensional images

Cosa ci aspettiamo di ottenere

• Non sappiamo cosa vorranno fare I ricercatori diquesti potenti strumenti domani– survey di 10.000 immagini ? – Simulazioni ? – Correlazioni di centinaia di campi ?

• Le risorse di calcolo e di rete non devono esserelimitanti nella ideazione e sviluppo dei progetti.

• Ne’ possiamo dimensionare le risorse allemassime esigenze oggi (!) prevedibili.

• Possiamo contribuire a realizzare uno“Strumento” che, alla bisogna, ci possa fornire100-100.000 unita’ di calcolo

Calcolo IRASpazio Disco pubblico (11.000 GByte)

(di cui 6.800 in GPFS)

Condiviso a tutte le macchine linux via NFS

Visibili dai sistemi Windows (anche server2003)

Disco home nel directory /homes ( max 3 GBy )

Visibile sotto la directory /iranet (aree pubbliche)

In gran parte con backup giornaliero o settimanale

Info specifiche sul sito web

Calcolo IRA

Server di Calcolo

Sono disponibili per calcolo sistemi come:

Gaia (3GHz e dischi SCSI) Accesso da rete

C1 (Dual Xeon 2GHz) calcolo

C2 ( Dual Opteron 2Ghz) calcolo

C3 ( Xeon 2 Ghz ) Memoria: 48 GByte

WN01-04 (Dual Xeon 3GHz) in riposizionamento

WN05-08 (Dual Opt. 2.5GHz) in riposizionamento

CalcoloCluster di Calcolo

Mack–16 (15 !!)15 Sistemi AMD 2.4 GHz

Rete a 1 Gbit/s ( reali 400 Mbit/s)

1 Server disco 1000 Gbyte

File System GPFS

Compilatore F90 –PGI (4-6X)

Singola CPU molto veloce

CLUSTER MPI

Ultimamente non molto impegnati

Sostituzione di Serv2003 con WINSERV

Da linux: rdesktop winserv.ira.inaf.it

Anche darete

pubblica

Windows AccessoRemoto

Accedere al Window manager di un server da altrosistema operativo (X11, NX)

Indirizzi di internet

Noi (IRA) stiamo usando:

192.167.165.x ( fino a 254 macchine su rete pubblica)

192.168.2.x ) (nodi GPFS rete chiusa)

192.168.10.x (sistemi MACH rete nascosta)

192.168.48.x ( sistemi DHCP rete nascosta)

192.168.49.x ( sistemi ARC rete nascosta)

192.168.165.x ( sistemi su rete nascosta)

Nel 2012 non vi saranno piu’ indirizzi da assegnare !

I nodi della rete sono identificati da numeri a 32 bit

Circa 4 miliardi di indirizzi diversi

Cosa vuol dire veramente ? L’organizzazione internazionale che assegnava gli indirizzi

alle “Telecom” non ha piu’ nulla da assegnare

Vi sono migliaia di reti nel portafoglio delle “Telecom”

Ne abbiamo una dozzina libere in Area CNR

Nuove Telecom non potranno avere reti

Il Garr ha dato indicazioni affinche’ almeno i computer dei servizi (Web, Mail, Database,

calcolo,etc ) siano in IPv6 prima del 2012

Istituzioni scientifiche asiatiche e americane ci stanno chiedendodi rendere disponibili servizi sientifici anche nei protocolli IPv6

Mercato nero degli indirizzi IPv4 ?

2001:760:2a14:fffe:204:23ff:fec1:6cb8

Indirizzi

A ogni struttura:

48 bit Identificativo assegnato

16 bit 64.000 reti assegnate

64 bit 4*10^19 ( ipv4*ipv4) nodi sulla singola rete

Uno spazio enorme da sfruttare al meglio

Ipv6 all’IRANella rete: 2001:760:2a14: 0000

4-5 sistemi con indirizzo fisso (web, mail, dns ..)

Nella rete: 2001:760:2a14: FFFE

Linux autoconfigurati

Vista/Windows 7 autoconfigurati

Windows XP / Mac possono essere configurati

Corso via videoconferenza su IPv6

Altri istituti CNR dell’Area stanno sperimentando

Strutture INAF ??

Va’ sperimentato IPv6 nel e-Vlbi

INAF nella federazione IDEM

Accedere a servizi condivisi con una unica chiave di accesso

Un servizio (Biblioteca, rete Wireless, Videoconferenza, Presenze, Cedolini del Cineca [??] ….. ) anziche’

assegnare a ogni utente una password riconosce le identita’ e le passwod assegnate dalle strutture che

afferiscono alla confederazione.

Seminario di Tinarelli del Maggio 2010

IRA e IASF hanno partecipato alla sperimentazione con la biblioteca di Area

IdP per INAF

Dipendenti TI e TD [1100] TTL = 2 anni

Collaboratori (Borsisti, Assegnisti, …) [300] TTL = 1 anno

Associati [300] TTL = 1 anno

Personale in formazione [250] TTL = 3 mesi

Gestore delle Identita’ dei “dipendenti” INAF

IdPLDAP

CSA AstroDip

crea/cancella dipendente

mail / tel / ruolo

Dipendente Password

Attivare l’utenza e cambiare la passwordhttp://www.ced.inaf.it/passwd

IDEM IdP

• Username cognome.nome con regole simili a quelle del cedolino stipendiale

• Si potra’ avere alias nome.cognome@inaf.it

• Ci permettra’ di controllare meglio gli accessi e l’utilizzo delle risorse (certificati grid )

• Quando ?– Superati test tecnici di funzionamento

– In attesa di valutazione da parte del CDI

Sara’ l’ultima password “di lavoro” chedovro’ ricordare ? ☺☺☺☺ ���� ☺☺☺☺

Calcolo: Informazioni e Burocrazia

Difficile informare i nuovi arrivati

L’invenzione del modulo

… e vogliamoanche la foto !!

Difficile tenere informati delle novita’

Calcolo: Informazioni e Burocrazia

www.ira.inaf.it

www.alma.inaf.it

www.ced.inaf.it