Grid a Perugia Modifiche ad INFN-GRID per permetterne il funzionamento con Worker Nodes su rete...

Grid a PerugiaGrid a Perugia

Modifiche ad INFN-GRID per Modifiche ad INFN-GRID per permetterne il funzionamento con permetterne il funzionamento con Worker Nodes su rete nascostaWorker Nodes su rete nascosta

Truncellito FrancescoTruncellito Francesco

Mariotti MirkoMariotti Mirko

Leonello ServoliLeonello Servoli

Installazione standard di INFN GRID 2.0.0Installazione standard di INFN GRID 2.0.0

F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004

L’installazione standard di INFN GRID 2.0.0, prevede che tutti gli L’installazione standard di INFN GRID 2.0.0, prevede che tutti gli elementi costituenti un sito abbiano una sola interfaccia di rete ed un elementi costituenti un sito abbiano una sola interfaccia di rete ed un IP pubblico.IP pubblico.

Vantaggi:Vantaggi:

facilità di installazione;facilità di installazione;

Svantaggi:Svantaggi:

sono necessari svariati IP pubblici;sono necessari svariati IP pubblici;

occorre maggior cura per la sicurezza;occorre maggior cura per la sicurezza;

Introduzione ed obiettivi (1/4)Introduzione ed obiettivi (1/4)


Installazione standard di INFN GRID 2.0.0Installazione standard di INFN GRID 2.0.0


NETWORKNETWORK

CONFIGURATIONCONFIGURATION

GRIDGRID

WN1WN1

INFN LANINFN LAN

WN2WN2

WN3WN3

CECE

SESE

UIUI

DNSDNS

LCFG - DHCPLCFG - DHCP

PRIVATE LANPRIVATE LAN INFN LANINFN LANPRIVATE LANPRIVATE LAN


Installazione custom di INFN GRID 2.0.0Installazione custom di INFN GRID 2.0.0


La nostra installazione prevede:

• WNs su rete privata;

• CE e SE su rete pubblica.

WN1WN1

WN2WN2

WN3WN3

SESE

UIUI

CECE


Possiamo suddividere gli interventi apportati per questo Possiamo suddividere gli interventi apportati per questo tipo di installazione in tre gruppi:tipo di installazione in tre gruppi:

1.1. Modifiche in pre-configurazione:Modifiche in pre-configurazione: riguardano i riguardano i servizi di rete (DNS, DHCP);servizi di rete (DNS, DHCP);

2.2. Modifiche in configurazione:Modifiche in configurazione: sono le modifiche sono le modifiche fatte attraverso LCFG;fatte attraverso LCFG;

3.3. Modifiche in post-configurazione:Modifiche in post-configurazione: riguardano riguardano principalmente il batch system ed i problemi principalmente il batch system ed i problemi sorti a causa della tipologia di installazione;sorti a causa della tipologia di installazione;

Introduzione ed obiettivi (4/4)Introduzione ed obiettivi (4/4)Modifiche fatte:Modifiche fatte:


Pre-Configurazione (1/10)Pre-Configurazione (1/10)

Gli interventi apportati in pre-configurazione sono stati:Gli interventi apportati in pre-configurazione sono stati:

1.1. Connessioni di rete del server LCFG;Connessioni di rete del server LCFG;

2.2. Aggiunta di un server DNS per la rete interna;Aggiunta di un server DNS per la rete interna;

3.3. Configurazione del DHCP per servire 2 reti;Configurazione del DHCP per servire 2 reti;

4.4. Networking dei Worker Nodes.Networking dei Worker Nodes.


Connessione di rete del server LCFGConnessione di rete del server LCFG


Il server LCFG deve poter servire due reti distinte:Il server LCFG deve poter servire due reti distinte:

1.1. La rete LAN INFN (come per l’installazione La rete LAN INFN (come per l’installazione standard);standard);

2.2. La rete privata dei nodi;La rete privata dei nodi;

Per questo motivo il server LCFG deve avere almeno Per questo motivo il server LCFG deve avere almeno due interfacce di rete.due interfacce di rete.

PRIVATE LANPRIVATE LAN Rete PubblicaRete Pubblica



Connessione di rete del server LCFGConnessione di rete del server LCFG

WN1WN1

WN2WN2

WN3WN3

INFN LANINFN LAN

SESE

UIUI

CECE

LCFGLCFG


Aggiunta di un server DNSAggiunta di un server DNS


Ad installazione ultimata i Worker Nodes non Ad installazione ultimata i Worker Nodes non saranno risolvibili dall’esterno;saranno risolvibili dall’esterno;

Affinchè lo siano internamente alla rete privata, Affinchè lo siano internamente alla rete privata, abbiamo inserito un DNS;abbiamo inserito un DNS;

ÉÉ stato creato il sottodominio “cmsgrid.pg.infn.it”; stato creato il sottodominio “cmsgrid.pg.infn.it”; La posizione del server LCFG lo rende il candidato La posizione del server LCFG lo rende il candidato

ideale per ospitare il server DNS;ideale per ospitare il server DNS; La configurazione del DNS è standard per una rete La configurazione del DNS è standard per una rete

privata;privata;


Aggiunta di un server DNSAggiunta di un server DNS


Rete PubblicaRete Pubblica

LCFGLCFG

DNSDNS

PRIVATE LANPRIVATE LANRete PrivataRete Privata

WN1WN1

WN2WN2

WN3WN3

INFN LANINFN LAN

SESE

UIUI

CECE



I profili pubblicati da LCFG devono essere notificati I profili pubblicati da LCFG devono essere notificati sia alla rete privata, sia alla LAN INFN;sia alla rete privata, sia alla LAN INFN;

I profili risulteranno appartenenti a due domini I profili risulteranno appartenenti a due domini diversi:diversi:

pg.infn.itpg.infn.it cmsgrid.pg.infn.itcmsgrid.pg.infn.it

Il server DHCP deve rispondere a due reti diverse;Il server DHCP deve rispondere a due reti diverse;

Configurazione del server DHCPConfigurazione del server DHCP


Pre-Configurazione (7/10)Pre-Configurazione (7/10)Configurazione del server DHCPConfigurazione del server DHCP

Rete PubblicaRete Pubblica

LCFGLCFG

DNS – DHCPDNS – DHCP

PRIVATE LANPRIVATE LANRete PrivataRete Privata

WN1WN1

WN2WN2

WN3WN3

INFN LANINFN LAN

SESE

UIUI

CECE

DHCPDHCP


Configurazione del server DHCPConfigurazione del server DHCP


03 deny unknown-clients;05 not authoritative;09 option dhcp-class-identifier "PXEClient";10 option vendor-encapsulated-options 01:04:00:00:00:00:ff;11 filename "pxelinux.0";12 subnet 193.205.222.0 netmask 255.255.255.0 {13 option routers 193.205.222.101;14 option domain-name-servers 193.205.222.2, 192.168.254.5;

31 host cmsgridgk {32 option user-class "http://cmslcfg.pg.infn.it/profiles";33 hardware ethernet 00:20:ED:xx:xx:xx;34 fixed-address 193.205.222.231;35 }

.....................15 } 16 subnet 192.168.254.0 netmask 255.255.255.0 {17 option routers 192.168.254.1;18 option domain-name-servers 192.168.254.5;19

20 host node17 {21 option user-class "http://cmslcfg.cmsgrid.pg.infn.it/profiles/";22 hardware ethernet 00:20:ED:xx:xx:xx;23 fixed-address 192.168.254.17;24 } .....................40 }



Occorre scegliere un gateway per i Worker Nodes che Occorre scegliere un gateway per i Worker Nodes che dovrà essere opportunamente configurato;dovrà essere opportunamente configurato;

La scelta è ricaduta sul server LCFG per i seguenti La scelta è ricaduta sul server LCFG per i seguenti motivi:motivi:

1.1. Gestisce già il networking del sito (DNS, DHCP);Gestisce già il networking del sito (DNS, DHCP);

2.2. Semplicità di configurazione;Semplicità di configurazione;

3.3. Non partecipa direttamente nell’esecuzione di job Non partecipa direttamente nell’esecuzione di job Grid;Grid;

Abbiamo mascherato la rete privata utilizzando NAT.Abbiamo mascherato la rete privata utilizzando NAT.

Networking dei nodiNetworking dei nodi


Pre-Configurazione (10/10)Pre-Configurazione (10/10)Struttura finale del sitoStruttura finale del sito

Rete PubblicaRete PubblicaPRIVATE LANPRIVATE LANRete PrivataRete Privata

WN1WN1

WN2WN2

WN3WN3

INFN LANINFN LAN

SESE

UIUI

CECE

LCFGLCFG

DNSDNS ·· DHCPDHCP ·· NATNAT NATNAT


Configurazione (1/7)Configurazione (1/7)

La nostra configurazione prevede due tipi di elementi:La nostra configurazione prevede due tipi di elementi:

1.1. I Worker Nodes:I Worker Nodes: hanno una sola interfaccia di hanno una sola interfaccia di rete;rete;

2.2. Computing Element, Storage Element ad User Computing Element, Storage Element ad User Interface:Interface: hanno due interfacce di rete; hanno due interfacce di rete;

I due tipi di elementi hanno configurazione diversa, sia I due tipi di elementi hanno configurazione diversa, sia per quanto riguarda i parametri di rete, sia per la per quanto riguarda i parametri di rete, sia per la presenza fisica delle due interfacce.presenza fisica delle due interfacce.

Modifiche ai file di configurazione dei nodi sul Modifiche ai file di configurazione dei nodi sul server LCFGserver LCFG



I Worker Nodes appartengono alla sola rete locale;I Worker Nodes appartengono alla sola rete locale;I parametri di rete sono definiti in un proprio “site-cfg.h”:I parametri di rete sono definiti in un proprio “site-cfg.h”:

Parametri di rete dei Worker NodesParametri di rete dei Worker Nodes

/* Computing Element & Storage Element hostname */#define CE_HOSTNAME cmsgridgk.pg.infn.it#define SE_HOSTNAME cmsgridse.pg.infn.it

#define SITE_LOCALDOMAIN cmsgrid.pg.infn.it#define SITE_MAILROOT [email protected]#define SITE_GATEWAYS 192.168.254.5#define SITE_ALLOWED_NETWORKS 127.0.0.1, 193.205.222, 192.168.254.#define SITE_NAMESERVERS 192.168.254.5#define SITE_NETMASK 255.255.255.0#define SITE_NETWORK 192.168.254.0#define SITE_BROADCAST 192.168.254.255

#define SITE_LCFG_SERVER cmslcfg.cmsgrid.pg.infn.it

#define SITE_CE_HOSTS CE_HOSTNAME#define SITE_SE_HOSTS SE_HOSTNAME#define SITE_WN_HOSTS node*.SITE_LOCALDOMAIN#define SITE_GIIS infn-pg#define SITE_GIIS_HOSTNAME CE_HOSTNAME

#define SITE_BDII_HOST ibm140.cnaf.infn.it #define SITE_BDII_PORT 2170#define CE_IP_RUNTIMEENV LCG2 PERUGIA MPICH



Nel Computing Element, nello Storage Element e nella Nel Computing Element, nello Storage Element e nella User Interface vanno attivate le interfacce di rete che sono User Interface vanno attivate le interfacce di rete che sono collegate alla rete privata.collegate alla rete privata.

Le modifiche (per quanto riguarda il CE), sono inserite in:Le modifiche (per quanto riguarda il CE), sono inserite in:

1.1. ComputingElement-local-cfg.h;ComputingElement-local-cfg.h;

2.2. cmsgridgk (file di configurazione principale);cmsgridgk (file di configurazione principale);

(Analoghe modifiche si hanno per SE ed UI)(Analoghe modifiche si hanno per SE ed UI)

Modifiche al CE, SE ed UI:Modifiche al CE, SE ed UI:

seconda interfaccia di reteseconda interfaccia di rete

/* ComputingElement-local-cfg.h ========================================================================= COMPUTING ELEMENT LOCAL RESOURCES DEFINITION*/

+hardware.modlist eth1 eth0+hardware.modlist eth1 eth0hardware.mod_eth1 alias eth1 e100hardware.mod_eth1 alias eth1 e100

+network.interfaces lo eth1 eth0+network.interfaces lo eth1 eth0+network.gatewaydev eth1+network.gatewaydev eth1+network.hostname_eth1 HOSTNAME+network.hostname_eth1 HOSTNAME+network.netmask_eth1 SITE_NETMASK+network.netmask_eth1 SITE_NETMASK+network.network_eth1 SITE_NETWORK+network.network_eth1 SITE_NETWORK+network.broadcast_eth1 SITE_BROADCAST+network.broadcast_eth1 SITE_BROADCAST

+network.ipaddr_eth0 INT_IP+network.ipaddr_eth0 INT_IP+network.netmask_eth0 INT_NETMASK+network.netmask_eth0 INT_NETMASK+network.network_eth0 INT_NETWORK+network.network_eth0 INT_NETWORK+network.broadcast_eth0 INT_BROADCAST+network.broadcast_eth0 INT_BROADCAST

/* COMPUTING ELEMENT *//* Host specific definitions */

#define HOSTNAME cmsgridgk#define INT_IP 192.168.254.3#define INT_NETMASK 255.255.255.0#define INT_NETWORK 192.168.254.0#define INT_BROADCAST 192.168.254.255


Configurazione (4/7)Configurazione (4/7)Modifiche al CE, SE ed UI: seconda interfaccia Modifiche al CE, SE ed UI: seconda interfaccia

di rete:di rete:ComputingElement-local-cfg.hComputingElement-local-cfg.hcmsgridgkcmsgridgk


Configurazione (5/7)Configurazione (5/7)site-cfg.hsite-cfg.h per Computing Element, Storage per Computing Element, Storage

Element ed User InterfaceElement ed User Interface

I parametri in site-cfg.hsite-cfg.h per Computing Element, Storage Element ed User Interface, sono gli stessi di una configurazione standard;

Le eccezioni sono:

1. Nella definizione dei Worker Node che risultano in un’altra rete;

2. Che il DNS è il server LCFG;

/* ComputingElement hostname */#define CE_HOSTNAME cmsgridgk.pg.infn.it/* StorageElement hostname */#define SE_HOSTNAME cmsgridse.pg.infn.it

#define SITE_LOCALDOMAIN pg.infn.it#define SITE_MAILROOT [email protected]

#define SITE_GATEWAYS 193.205.222.101#define SITE_ALLOWED_NETWORKS 127.0.0.1, 193.205.222, 192.168.254.

#define SITE_NAMESERVERS 193.205.222.49

#define SITE_NETMASK 255.255.255.0#define SITE_NETWORK 193.205.222.0#define SITE_BROADCAST 193.205.222.255

#define SITE_LCFG_SERVER cmslcfg.pg.infn.it#define SITE_CE_HOSTS CE_HOSTNAME#define SITE_SE_HOSTS SE_HOSTNAME#define SITE_WN_HOSTS node*.cmsgrid.SITE_LOCALDOMAIN#define SITE_GIIS infn-pg#define SITE_GIIS_HOSTNAME CE_HOSTNAME


Configurazione (6/7)Configurazione (6/7)site-cfg.hsite-cfg.h per Computing Element, Storage per Computing Element, Storage

Element ed User InterfaceElement ed User Interface


Configurazione (7/7)Configurazione (7/7)I due I due “site-cfg.h”“site-cfg.h” a confronto a confronto

VARIABILE NEI WORKER NODES IN CE, SE e UICE_HOSTNAMESE_HOSTNAMESITE_LOCALDOMAINSITE_MAILROOTSITE_GATEWAYSSITE_ALLOWED_NETWORKSSITE_NAMESERVERSSITE_NETMASKSITE_NETWORKSITE_BROADCAST

SITE_LCFG_SERVERSITE_CE_HOSTSSITE_SE_HOSTSSITE_WN_HOSTSSITE_GIISSITE_GIIS_HOSTNAMESITE_BDII_HOSTSITE_BDII_PORTCE_IP_RUNTIMEENV

cmsgridgk.pg.infn.itcmsgridse.pg.infn.itcmsgrid.pg.infn.itgrid-prod@pg.infn.it192.168.254.5127.0.0.1, 193.205.222,192.168.254.192.168.254.5255.255.255.0192.168.254.0192.168.254.255

cmslcfg.cmsgrid.pg.infn.itCE_HOSTNAMESE_HOSTNAMEnode*.SITE_LOCALDOMAINinfn-pgCE_HOSTNAMEibm140.cnaf.infn.it 2170LCG2 PERUGIA MPICH

cmsgridgk.pg.infn.itcmsgridse.pg.infn.itpg.infn.itgrid-prod@pg.infn.it193.205.222.101127.0.0.1, 193.205.222, 192.168.254.193.205.222.49255.255.255.0193.205.222.0193.205.222.255

cmslcfg.pg.infn.itCE_HOSTNAMESE_HOSTNAMEnode*.cmsgrid.SITE_LOCALDOMAINinfn-pgCE_HOSTNAMEibm140.cnaf.infn.it 2170LCG2 PERUGIA MPICH

route add –host cmsgridgk.pg.infn.it gw cmsgridgk.cmsgrid.pg.infn.it

Routing sui nodiRouting sui nodi

ROUTEROUTE

$clienthost localhost$clienthost cmsgridgk.pg.infn.it$clienthost cmsgridgk.cmsgrid.pg.infn.it$restricted cmsgridgk.pg.infn.it

/var/spool/pbs/mom_priv/config/var/spool/pbs/mom_priv/config

Reti riconosciuteReti riconosciute

PBSPBS


Post-Configurazione (1/2)Post-Configurazione (1/2)Gli interventi apportati in post-configurazione sono Gli interventi apportati in post-configurazione sono legati ad openPBS:legati ad openPBS:

1.1. Modifiche alla configurazione di openPBS;Modifiche alla configurazione di openPBS;

2.2. Routing statico verso il CE nei nodi;Routing statico verso il CE nei nodi;

Post-Configurazione (2/2)Post-Configurazione (2/2)

La fase di testing ha portato alla luce la presenza di La fase di testing ha portato alla luce la presenza di alcuni problemi minori che abbiamo risolto con piccoli alcuni problemi minori che abbiamo risolto con piccoli interventi manuali:interventi manuali:

1.1. Definizione errate Definizione errate delledelle variabili variabili LCG_GFAL_INFOSYS in LCG_GFAL_INFOSYS in etc/profile.d/lcgenv.sh – lcgenv.csh ;etc/profile.d/lcgenv.sh – lcgenv.csh ;

2.2. Package edg-lcfg-uicmnconfig-1.0.6-Package edg-lcfg-uicmnconfig-1.0.6-edg1.noarch.rpm danneggiato;edg1.noarch.rpm danneggiato;

Problemi minori risolti:Problemi minori risolti:


Conclusioni eConclusioni esviluppi futuri (1/2)sviluppi futuri (1/2)

Entrata nella griglia di Entrata nella griglia di produzione INFN:produzione INFN:

Site view Geo view Gris view

Grid-it

Il 22 marzo 2004, alle 00:15 il sito Grid di Perugia ha pubblicato i suoi servizi, entrando ufficialmente a far parte del progetto INFN-Grid, ed è stato certificato dal CMT;


Conclusioni eConclusioni esviluppi futuri (2/2)sviluppi futuri (2/2)

Il futuro di INFN GRID Perugia:Il futuro di INFN GRID Perugia:

Nel prossimo futuro è nostra intenzione aumentare il Nel prossimo futuro è nostra intenzione aumentare il numero di Worker Nodes, sia tramite l’acquisizione di numero di Worker Nodes, sia tramite l’acquisizione di nuove macchine, sia tramite la migrazione di farm locali nuove macchine, sia tramite la migrazione di farm locali verso il progetto GRID.verso il progetto GRID.

Per migliorare la gestibilità del sito creato, stiamo Per migliorare la gestibilità del sito creato, stiamo cercando di integrare le modifiche apportate cercando di integrare le modifiche apportate manualmente direttamente tramite LCFG.manualmente direttamente tramite LCFG.

Grid a Perugia Modifiche ad INFN-GRID per permetterne il funzionamento con Worker Nodes su rete...

Documents

Transcript of Grid a Perugia Modifiche ad INFN-GRID per permetterne il funzionamento con Worker Nodes su rete...