Rembo Toolkit v.2 come soluzione globale per PC e farm · • Una applicazione Windows GUI viene...

26 maggio 2004 Servizio di Calcolo dei LNF 1

Rembo 2: La vendetta

Rembo Toolkit v.2 come soluzione

globale per PC e farm

Servizio di Calcolo dei LNFN.Amanzi, S.Angius, D.Maselli, M.Pistoni, C.Soprano, A.Veloce

Cagliari 26 maggio 2004


Indice1. Rembo ToolKit

• Introduzione e principi di funzionamento• Funzionalita’ della Versione 1

2. Nuove funzionalita’ di Rembo ToolKit v. 2 3. Strategia di uso di Rembo ai LNF

• Aspetti infrastrutturali• Ridondanza e affidabilita’ del servizio• Metodologie implementative• Caratteristiche degli script site specific• Risultati, esempi e snapshot


Copyright

• Rembo Toolkit e’ un software commercialedella Ditta Svizzera Rembo Technology Sarl.

• E’ una evoluzione del software free BpBatchsviluppato all’Universita’ di Ginevra.

• Quest’ultimo presenta molte limitazioniimportanti e purtroppo non viene piu’ sviluppato.

• Tali limitazioni non sono presenti nella versionecommerciale.


Rem.bo. (Remote Boot) v. 1 e 2• Rembo Toolkit e’ una piattaforma per il pre-OS

management dei PC.• Puo’ essere usato per effettuare una grande

quantita’ di operazioni al momento del boot diqualsiasi PC (architettura Intel o compatibile).

• Rembo e’ di fatto un mini Sistema Operativo, differente da qualsiasi altro perche’ puramentenetwork-based. Il kernel di rembo toolkit e’ scaricato da un server tramite la rete ed eseguito localmente dalla bootrom del PXE al termine del processo del BIOS bootstrap.


Rembo Toolkit schemaDHCP Server Rembo Server

PXE boot:DHCP requestImage File request

DHCP answer

Rembo answerImage download

Clients (software-less)


Requisiti lato server

• Sistemi operativi:– Windows NT/2000/XP– Linux– Sparc Solaris

• E’ necessario un DHCP server per inviare i parametri di boot alla bootrom PXE del client (puo’ essere lo stesso Rembo server)

• Una applicazione Windows GUI viene fornita per configurare il server in modo semplice


Requisiti lato client

• Lato client:– processore Intel 386 (o superiore, anche compatibile) – Scheda di rete con supporto del protocollo PXE

(Preboot eXecution Environment) vers 1.1 o 2.1• Non ci sono limitazioni s/w sul client, dato che

rembo toolkit non usa informazioni residenti suldisco locale per partire (network boot).

• Per questo motivo Rembo funziona anche sucomputers diskless.


Introduzione

• Rembo Toolkit include:– Una Virtual Machine (VM) per eseguire programmi in

linguaggio Rembo-C compilati o testuali (script)– Una interfaccia grafica per l’interazione con

l’utilizzatore– Un accesso di basso livello all’hard disk (per il

cloning, restoring, updating e customizing dei sistemioperativi)

– Un’ interfaccia di rete tramite la bootrom del PXE


Client management

• Operazioni di management possono essereeffettuate:– Interattivamente tramite alcuni wizard GUI (Rembo

Wizard e Rembo Pro Interactive Tools)– Interattivamente tramite l’inserimento di istruzioni

Rembo-C al prompt interattivo– In modalita’ batch tramite script contenente

istruzioni e/o chiamate Rembo-C• Per ottimizzare le performance, e’ anche

disponibile un Kit di sviluppo s/w in grado dicompilare gli script Rembo-C ed ottenerecodice eseguibile nella Virtual Machine


Disk Cache• Rembo puo’ usare spazio non partizionato

sull’hard disk locale del client ed adibirlo a funzioni di disk cache per immagazzinare copielocali di file trasferiti dal server, in modo daaccelerare gli accessi successivi agli stessi files senza coinvolgere nuovamente il server e la rete.

• E’ consigliato lasciare un po’ di spazio non partizionato adibito a local cache, specialmentequando Rembo Toolkit e’ usato per ripristinarefrequentemente un sistema operativo.


Funzionalita’ centrali• Linguaggio di programmazione potente e facile

da usare (Rembo-C). E’ praticamente identico al C con qualche lievissima differenza

• Virtual Machine in grado di eseguire codiceRembo-C compilato: la Virtual Machine e’ multi-threaded, e supporta exception handlers strutturate

• Compilatore “on-the-fly” che interattivamentetraduce le istruzioni Rembo-C in codice VM

• Sistema di Hard-disk buffering.


Funzionalita’ grafiche• GUI basata su HTML, con gestione degli eventi

stile javascript (onmouseup, onchange, ...) per eseguire istruzioni Rembo-C quando unadeterminata azione e’ richiesta dall’utente.

• Tutte le modalita’ VESA standard sonosupportate a 8 e 16 bit di colore (fino a 1600x1200)

• Supporto per mouse seriale, PS/2 e USB.• Tutti gli oggetti grafici vengono mappati in

variabili Rembo-C, in modo da poter esseremodificati interattivamente o negli script.

• Supporto per le immagini in formato PCX a 256 colori


Funzionalita’ sui Filesystem• Supporto per l’accesso al singolo file per i

seguenti Filesystem FAT12, FAT16, BIGDOS, FAT32, EXT2FS, EXT3FS, LINUXSWAP, NTFS (NT4.0, Win2K e WinXP).

• Funzioni Rembo-C di partizionamento“al volo”.

• Funzioni Rembo-C per l’accesso ai file (read, write, copy, delete, rename, move file e directory).


Funzionalita’ di cloning• Creazione e ripristino di immagini di sistemi

operativi. Un’immagine corrisponde ad unacollezione di file, senza vincoli sul filesystem diorigine.

• Le immagini delle partizioni sono compresse e possono essere “sfogliate” direttamente dalRembo Toolkit client.

• Supporto per immagini fino a 100GB ( 2TB). • Supporto di immagini Virtuali. Un’immagine

virtuale e’ una copia esatta della struttura del filesystem, ma senza il contenuto dei file.

• Supporto di illimitate immagini differenziali.


Funzionalita’ di cloning (2)• Supporto di cloning basato sui file, per il

ripristino in funzione di un sistema operativo(self-healing).

• Il self-healing e’ effettuato comparando ilcontenuto dell’hard disk con il contenuto diun’immagine sul server (o sulla local cache partition), quindi tramite il recupero dei file persio corrotti (NT puo’ impiegare meno di 1 min).

• Supporto per una post-configurazione illimitata. La possibilita’ di accesso a basso livello al Filesystem (quindi al singolo file) consente unafacile implementazione di operazioni di post-installazione e di personalizzazione del singolo PC.


Funzionalita’ OS-specific• Accesso a basso livello ai file dei registri di

Windows NT/2000/XP. Il file dei registri e’ gestito come un filesystem, quindi e’ possibilecreare immagini di base e differenziali anche del file dei registri. Particolarmente utile per gliupdates di OS e del s/w applicativo.

• Funzione di rigenerazione del SID (NT's system identifier)

• Supporto per il Linux kernel boot module (come LILO o Grub).


Funzionalita’ di rete• Implementazione di protocollo IP proprietario,

disegnato per ottenere le migliori performance, basato su UDP:– NETfs, unicast file transfer protocol, usato per

trasferire file da e verso il Rembo server– MCAST, multicast file transfer protocol, usato per

trasferire le immagini dal server ai client (circa 5-10 volte piu’ veloce del protocollo standard MTFTP

• Il protocollo MCAST non richiede nessun tipo disincronizzazione tra i client. Percio’ nessunintervento manuale e’ richiesto per clonarecentinaia di PCs se MCAST e’ usato in combinazione con il Wake On LAN.


Funzionalita’ di rete (2)• La comunicazione tra il server e i client e’

criptata usando un algoritmo standard.• Tutti i protocolli sono a prova di failure: i client

si riconnettono al server, non appena si rendedisponibile, dopo una qualunque interruzione.

• Server di backup: i client sono in grado diristabilire verso un server di backup unaconnessione interrotta con il server primario, anche nel mezzo di un file transfer.

• Accesso dei client ai servizi TCP attraversomeccanismi di tunnel instaurati dal server

• Supporto dell’SMTP (e-mails con Rembo Toolkit) • Accesso Completo (RW) a database, in ODBC


Altre Funzionalita’• MS-DOS, Windows e Linux ramdisks: Rembo puo’

caricare l’immagine di un floppy disk su ramdisk e poi esegue il boot dal ramdisk

• Remote Console: il client display puo’ esserecontrollato e catturato da un nodo remoto su cui risiede la applicazione Rembo Remote Console. Anche la comunicazione di Remote Console e’ compressa e criptata

• Autenticazione: per autenticare un utentesupporta i seguenti protocolli di autenticazione:– Windows authentication– Unix (passwd), NIS/NIS+– RADIUS


Altre Funzionalita’ (2)• Hardware detection: e’ in grado di rivelare

l’hardware plug and play.

• CDRom and Floppy mode: Rembo puo’ partireanche da floppy o da CDRom qualora il network o il protocollo PXE non fosse disponibile. L’immaginesu CDRom puo’ essere personalizzata per contenere specifiche immagini di partizioni e/o Rembo-C script.


Efficiente e flessibile

• Rembo e’ stato costruito curando molto gliaspetti di performance, in modo da renderlopeculiare quando il numero dei PC da gestirediventa elevato (come nel caso di farm).

• Le sue capacita’ di disk-cloning sono moltoefficienti.

• Inoltre la gestione delle partizioni e’ molto piu’ flessibile in virtu’ delle sue capacita’ diaccedere al File System e quindi al singolo file.


Rembo v. 2

• Gestione di NTFS (di WinXP) e EXT3FS• Supporto di immagini fino a 2TB• E’ in grado di accedere ai filesystem compressi

NTFS e di decriptare files criptati con le chiavi di cifratura di Windows

• Implementazione del protocollo multicast dicomunicazione PCAST ottimizzato per iltrasferimento multiplo di files dalla shared repository del server verso piu’ client contemporaneamente

• La grande rivoluzione di Rembo v. 2 e’ rappresentata dalla Shared Repository


Shared Repository• Rembo v. 1 Immagini monolitiche contenenti

i files di ciascuna partizione in formatocompresso(valore medio: ~2 GB/partition)

• Rembo v. 2 vengono salvati in formatocompresso (a blocchi di 128MB) soltanto i files che non siano gia’ presenti nella shared repository, piu’ un catalogo dei files dellapartizione con i relativi MD5 (valore medio a regime: 100 MB/partizione)


Strategia di uso ai LNF• Rembo v. 2 ai LNF viene utilizzato per salvare

le partizioni di sistema di tutte le macchineIntel based della LAN:– Farm di calcolo (Linux RedHat)– Servizi essenziali su macchine di tipo Slot 1U/2U

(Linux o Windows)– PC delle sale utenti e delle aule didattiche (Master)– Server Windows del Sistema Informativo– Tutti i PC degli utenti desktop e portatili (Windows,

Linux e/o dual boot)


Garr

VC 34MbpsVerso il GARR

VLAN 1 – 193.206.80.0/21

VLAN 2 – 192.135.25.0/24

VLAN 160192.168.160.0/24

VLAN 129 – 192.84.129.0/24

VLAN 130 – 192.168.130.0/24

Swcalc1Cisco 6509

Swares1 – Cisco 4006

LnfgwCisco 7507

VLAN 131192.84.131.0/24

Secondary: 192.168.200.0/24

Secondary: 192.84.130.0/24, 192.168.132.0/24, 192.168.140.0/24, 172.16.0.0/16

VLAN 228193.205.228.0/24Sistema InformativoINFN

MulticastPIM e IGMP

LNF internal routing (OSPF)Swkloe1 e 2

2 x Cisco 6509HSRP

VLAN 2 – 192.135.26.0/24 secondary

SwlatCisco 6006

VLAN 192

192.168.192.0/24

VLAN 161192.168.161.0/24


LNF Rembo service schema

DHCP Servers

Rembo v. 2 Servers

LNF LAN L2/L3 SwitchingMulticast PIM e IGMP

LibreriaLibreriaMagstarMagstar

MySQLServers Rembo clients


Rembo servers• 2 HP Proliant DL 360 (Slot 1U) ciascuna con:

– CPU: Dual processor Xeon 2.8GHz– RAM: 1GB SDRAM ECC– HD SCSI: 1x18GB 15K rpm per OS– HD SCSI: 1x143GB 10K rpm per rembo files– NET: 2xGigabit Ethernet (1000 BaseTX)

• OS: Windows XP Professional• REMBO server: Windows Version 2.0.047.2

(.2 = specifica per i LNF)


Ridondanza• I rembo server sono definiti uno come “master”

e uno come “backup”. • Per l’allineamento, e’ stato realizzato un

opportuno script VisualBasic che ogni notte sulserver di backup effettua:– Il mirror di tutto il directory tree di Rembo dal

master (tramite Robocopy Windows Resource Kit)– L’aggiornamento dei registri relativi alla definizione

degli host e dei gruppi (tramite LNF regsync.exe)– Una volta a settimana il backup su libreria IBM

tramite Tivoli Storage Manager Client– Scrittura di event e LOG file di tutte le operazioni

effettuate


Configurazione di Rembo• Rembo prevede la definizione di gruppi di Host

(o di host singoli) a cui attribuire specifichepolitiche di management attraverso definizionedi variabili ed esecuzione di specifici script.

• Prevede inoltre la creazione di parametri e divariabili: – Globali (validi per tutti gli host)– Di gruppo (validi per un gruppo di host)– Di host (validi per un solo host)– Di user (validi per l’utente autenticato)


Configurazione• Rembo serve solo gli host definiti nel suo

database di configurazione.• In realta’ e’ in grado di servire qualunque host,

purche’ sia definito un gruppo default (anchevuoto).

• Quando un host esegue il PXE boot, carica ed esegue lo script definito nel proprio gruppo diappartenenza sul Rembo server.

• Inoltre carica le variabili di environment con la seguente priorita’: user, host, group, global


Politiche LNF• Sfruttando tali caratteristiche, ai LNF e’

stato realizzato un unico script dimanagement per gestire tutti i client della LAN.– LNF.shtml che a sua volta esegue:

• systeminfo.rbc• scriptlib.rbc

• Eventuali specializzazioni vengonoraramente effettuate attraverso la definizione di opportune variabili.


Funzionalita’ dello script dei lnf

• Raccoglie informazioni relative allaconfigurazione H/W del client:– Marca e modello, tipo e versione di BIOS,

Processore/i, RAM, dischi, device “on board”, tutte le periferiche P&P

• Scrive tutte queste informazioni in un database tramite SQL e ODBC. Nelnostro caso il DB e’ MySQL v. 3.23.53 suLINUX RedHat 7.3


Funzionalita’ dello script dei lnf (2)• Verifica l’esistenza di un disco e di un OS e

presenta un primo menu’ di boot.• In mancanza di una scelta, il boot avviene

automaticamente dopo un time-out di 30s.• Il menu’ permette di esportare il desktop su un

altro PC della LAN.• Oppure di autenticarsi per acquisire maggiori

privilegi (5 livelli totali):– Administrator, Creator, Clone, Owner, Null

• Presentazione di due Menu:– OS Image Creation– Restore


Script lnf: Image Creation Menu• Permette di salvare le immagini della prima

partizione NTFS/FAT e della prima partizioneEXT2/3 sul Rembo server, nella directory relativa all’host o al suo gruppo di appartenenza.

• L’immagine e’ un file di puntatori e checksum MD5.

• I file verranno salvati nella Shared Directory (se non gia’ presenti).

• E’ possibile escludere interattivamente alcunifile o directory tree dall’operazione disalvataggio (con una sorta di file manager “windows explorer” like)


Script lnf: Restore Menu• Permette di restorare sui dischi del client le

immagini delle partizioni Windows e/o Linux precedentemente salvate sul server– Gestione interattiva o batch delle partizioni– Quick format– Restore di MBR e/o Windows e/o Linux– Creazione non assistita e completa di un clone– Generazione di un nuovo sistema da un nodo identico

o similare– Aggiornamento eventuale dei Registri: Hostname,

DiskSignature, etc.


Script lnf: Clone from another node

• Viene interrogato il DB e vengono selezionati i nodi che hanno la stessa configurazionehardware oppure nodi con configurazionesimilare

• Una finestra presenta le varie opzioni in ordinedi peso (similitudine)

• La copia da nodi simili funziona quasi sempre a meno di alcuni veloci aggiustamenti(installazione di driver specifici)


Script lnf: Altre funzionalita’• Gestione delle versioni• Esecuzione di script subito dopo il restore:

– postinstall_win.rbc e postinstall_linux.rbc• Esecuzione di uno script subito prima di

effettuare il boot da disco:– preboot.rbc (aggiornamento di file)

• Aggiornamento dei registri di Windows– preboot.reg (formato Regedit4)

• Generazione di Log su console e su file• Aggiornamento del DB con info relative a image

“creation”, “restore” e partition table• Specializzazione tramite variabili speciali


Script lnf: Variabili speciali• URL: forza/vieta l’uso della cache disk• SavedVersions: gestione delle versioni• FileManager_Flag: gestione interattiva del

filesystem da salvare• RemoteConsole: IP address per l’export del

desktop• WindowsPartition: Tipo di FileSystem Win• Make_a_Clone_Flag: esegue un batch rebuild• EndBoot: boot dopo il rebuild


PC Support• Ai LNF il servizio di PC Support utilizza

costantemente Rembo• Di ciascun PC che viene installato e configurato,

viene creata l’immagine su Rembo– Per ripristinarlo in futuro– Per creare cloni da tale immagine su hardware

identico o similare• PC Support esegue il boot da rembo sfruttando

il gruppo default• Si autentica con privilegio di “creator”• Verifica se esistono immagini salvate di nodi

identici o similari da cui clonare


PC Support (2)• Se si:

– carica tali immagini ed eventualmente ricarica i driver delle periferiche differenti dal nodo originale

– eventuali aggiustamenti per richieste specifiche• Se no:

– installa e configura il PC secondo le richiestedell’utente:• Windows e/o Linux• Innumerevoli applicazioni, custom setup, etc

• In ogni caso effettua il salvataggio finale delleimmagini su Rembo server


Tempi misurati• Creazione di immagini per host dual boot (con

uso di disk cache):– Windows XP (4.5GB): 10 min – 20 min– Linux Fedora (5.5GB): 10 min – 25 min

• Restore di immagini per host dual boot (con usodi disk cache):– Windows XP (4.5GB): 15 min – 30 min– Linux Fedora (5.5GB): 15 min – 35 min

• Rembo puo’ permettere di ridurre di almeno un ordine di grandezza i tempi di installazione e setup dei PC sulla LAN.


Setup di una farm di calcolo• Installazione e setup di Linux RedHat 7.3 su un

nodo della farm (lxcalc1)• Definizione su Rembo server di:

– gruppo lxcalc– Ethernet Address di tutte le macchine nel gruppo

lxcalc• Boot di lxcalc1 via PXE e OS Image Creation

nella directory di gruppo• Definizione su Rembo server di:

– Variabile di gruppo Make_a_Clone_Flag = 1– Variabile di gruppo EndBoot = Y


Setup di una farm di calcolo (2)• Power on di tutte le macchine del gruppo lxcalc

tramite la funzione Wake on LAN di Rembo• Le macchine effettuano il boot via PXE e

caricano tutte la stessa immagine da Rembocon protocollo IP multicast (procedura non assistita)

• Rimozione automatica di Make_a_Clone_Flag• Boot automatico finale di tutte le macchine• Dopo circa 25 minuti una farm di x nodi e’ Up

and Running (con x a piacere; testato ai LNF con x=5 per uno spazio disco di 4.2GB)


Problemi riscontrati• La Shared Repository dei LNF e’ attualmente di

30GB e contiene circa 700.000 files• Il limite della versione ufficiale e’ di 390.000• Oltre tale limite Rembo diventa lentissimo a

creare immagini• Dopo un breve scambio di informazioni la Rembo

Sarl ha compilato una nuova release che risolveil problema dei LNF

• La disponibilita’ della Ditta e’ assoluta• Si interagisce direttamente con gli sviluppatori• I tempi di risposta si possono definire “svizzeri”• Peraltro non esiste nessun contratto sul s/w


LNF Rembo Script Flow Chart: Part 1

User Menu:•Boot•Remote Console•Set Priv

Y

User Menu:•Remote Console•Set Priv

OSs on HD?

Boot procedure

N

Boot (end)

Remote Console

Set Priv

Login OK?

Wait for a 30 s timeout

StartGet system Info:(Hardware Configuration)

Record Info:•Write into DB•Write into file•Write in Console

Remote Console

Execute prebootcustom script:

•Copy and patchWin and Linux files

•Patch Windows Registry

NLogin

Y

Part 2:

Priv Menu


LNF Rembo Script Flow Chart: Part 2

Y

N

Priv Menu 1a:

•Create host OS Image

Priv Menu 2b:

•Boot•Fdisk•Clean Partitions•Clean MBR•Clean Cache•Clone from another node

N

Group defined?

Part 2 start

N

Part 3:

Create OS ImageOSs on HD?

Y Priv Menu 1b:

•Create Group OS Image•Create host OS Image

Part 4:

Priv Menu 2b

host image on Rembo?

Y

Priv Menu 2a:

•Boot•FDisk•Restore Partitions•Clean Partitions•Clean MBR•Clean Cache•Restore MBR•Restore Windows•Restore Linux•Restore Windows & Linux•Rebuild Node•Clone from another Node

Part 5:

Priv Menu 2a


LNF Rembo Script Flow Chart: Part 3 Part 4

Save Partition Table(on host or group dir)

Part 3 start

Save MBR (on host or group dir)

ReadPartitionTables

from HD

Save FirsrtNTFS Partition(on host or group dir)

Save FirsrtLinux Partition(on host or group dir)

Priv Menu 2b:

•Boot•Fdisk•Clean Partitions•Clean MBR•Clean Cache•Clone from another node

Fdisk Utility

Format Partitions

Part 4 start

Boot procedure

Display HW and SW Configuration

Clone from chosen node

Y N

Choose aclone or

most similar

Close Priv Menu 1

Clone from another node:Search for similarinto the Database

Format MBR

Format CachePart 4a start

Part 5:

Priv Menu 2a


LNF Rembo Script Flow Chart: Part 5Part 5 start

ReadPartition

Tables (from Rembo)

Restore Partitions

Format Partitions

Format MBR

Format Cache

Restore MBR

Restore Images

Rebuild Node

Priv Menu 2a:

•Boot

•FDisk Utility

•Restore Partitions

•Clean Partitions

•Clean MBR

•Clean Cache

•Restore MBR

•Restore Windows

•Restore Linux

•Restore Windows & Linux

•Rebuild Node

•Clone From Another Node

Execute prebootcustom script:

•Copy and patchWin and Linux files

•Patch Windows Registry

Fdisk Utility

Boot procedure

Boot (end)

Part 4a:Search for SimilarClone From Another Node


Riferimenti Rembo

• Documentazione e software Rembo:http://www.rembo.com/

• Presentazione e file di configurazione LNF http://www.lnf.infn.it/computing/doc/rembo2/


Domande ?

Rembo Toolkit v.2 come soluzione globale per PC e farm · • Una applicazione Windows GUI viene...

Documents

Transcript of Rembo Toolkit v.2 come soluzione globale per PC e farm · • Una applicazione Windows GUI viene...