Implementazione DAOS Implementazione DAOS in ambienti Enterprisein ambienti Enterprise

Luca ArcaraSenior Consultant

it.linkedin.com/in/arcaraluca/

Obiettivi del progettoObiettivi del progettoAbilitare la de-duplica degli allegati a circa

4700 caselle di utenze TOP in ambiente Enterprise

◦ Livello ODS di partenza 43◦ Attività non schedulabile od eseguibile tramite batch o attività notturne (anche presidiate)

◦ Minima interruzione dei servizi

DescrizioneDescrizioneLe caselle delle utenze TOP sono ferme al

livello ODS43 ed occupano circa 5.7 TerByte di storage rendendo complesse sia le attività di manutenzione ordinaria (e straordinario) che le attività di backup

800 caselle hanno dimensioni superiore al GB, con 20 TopUser che hanno database da oltre 10Gb

DescrizioneDescrizioneIl tasso di crescita delle caselle è di circa

5Gb al giorno con 40.000 messaggi ricevuto al giorno.

L’accesso alle caselle è multiplo, con utenti collegati indistintamente (ed in contemporanea) tramite protocolli POP3, WebMail, Imap e da dispositivi mobili, con tempi di refresh variabili da 3 a 5 minuti.

Descrizione dell’environmentDescrizione dell’environmentLotus Domino 8.5.3 FP3 su SOLARIS 4700 Caselle5.7 Terabyte suddivisi su 22 mountTempi di conversione:

◦ Conversione ODS43 - ODS51 => 170 Mb/min◦ DAOS e compattazione => 360 Mb/min

Numero max di processi di compact/update contemporanei: 5

Descrizione dell’environmentDescrizione dell’environmentDurante la conversione delle caselle le

utenze non possono accedere◦ Casella da 150Mb => 3 min di downtime OK◦ Casella da 1Gb => 10 min di downtime !!!!◦ Casella da 10 Gb => 100 min di downtime !!!!

E’ necessario monitorare l'accesso alla casella in modo da poter identificare i momenti in cui poter lanciare da console i comandi di conversione

Attività e PianificazioneAttività e Pianificazione Procedure per produrre di caselle con evidenza di Utente,

ODS, Path, Dimensione per suddividere le utenze in gruppi di downtime:◦ < 3 minuti ( 150 / 200 Mb )◦ Tra 3 e 10 minuti ( fino a 1 Gb)◦ > 10 minuti

Utilizzo dei file “.ind” per poter eseguire le procedure di compact su elenchi definiti di utenze

Monitoring del console.out per l’identificazione in tempo reale dello stato delle compattazioni e di eventuali errori

Identificazione delle caselleIdentificazione delle caselle3 modalità:

◦ Copia / Incolla da Domino Administrator ◦ Show dir –xml + procedura di analisi del file xml◦ Procedura Lotus/Script ad hoc* (richiede comunque

l’esecuzione dello show dire con console remote perché al momento le informazioni sul DAOS non sono esposte tramite lotus script)

Non è possibile utilizzare i comandi unix perché non riportano né ODS né la dimensione logica del DAOS

Compattazione e indirect fileCompattazione e indirect fileGli indirect file “.ind” possono essere

utilizzati per eseguire i comandi su set definiti di caselle domino ex:.

da_convertire.ind:mail/mail_a/aaaaa1.nsfmail/mail_a/aaaaa4.nsfmail/mail_c/ccccc1.nsf

Viene rispettato l’ordine di inserimento nel file (a differenza dell’esecuzione sulla directory)

Compattazione e indirect fileCompattazione e indirect fileSi possono eseguire task di compact su

thread separati per ogni indirect file: load compact –c –v -n –ZU indirect1.ind load compact –c –v -n –ZU indirect2.ind load compact –c –v -n –ZU mail/mail_b/bruni.nsf

genereranno sul log [13800:00005-00003] 05/09/2013 09:44:29 Compacting /notesdata/mail/mail_r/rossi.nsf (Mario

Rossi), -c -v -n -ZU indirect1.ind[13856:00005-00003] 05/09/2013 09:48:15 Compacting /notesdata/mail/mail_b/bianchi.nsf

(Mario Bianchi), -c -v -n -ZU indirect2.ind[13843:00005-00003] 05/09/2013 09:40:36 Compacting mail/mail_b/bruni.nsf (Giorgio Bruni), -c

-v -n -ZU mail/mail_b/gruni.nsf

Verifica esecuzioneVerifica esecuzioneAnnotando il numero del thread è

possibile verificare facilmente lo stato della compattazione:

tail –f console.out | grep "^.NNNNNN:" Oppure, per verificare gli errori

grep -i compact c*.out | grep -i NNNNNN : | cut -c43-160

Compacting /notesdata/mail/aaaaa.nsf (USER), ….Compacted /notesdata/mail/aaaa.nsf, 52736K bytes recovered (20%)Compacting /notesdata/mail/bbbb.nsf (User), ….Compacted /notesdata/mail/bbbb.nsf, 46848K bytes recovered (18%)… Database compactor process shutdown

TIP - Analisi della console. outTIP - Analisi della console. outVerifica di un utente collegato IMAP / POP / NOTES grep -i logged c*.out | grep -i “USERNAME" | wc -lVerifica di un utente collegato WEB grep -i userfile.nsf weblog/access.log | wc –l

Verifica dello stato di un task compact grep -i compact c*.out | grep -i PID: | cut -c43-160

Verifica della dimensione delle sottocartelle DAOS du -hsL DAOS/*

Primi risultati della conversionePrimi risultati della conversione4792 database814 “DAOS Enabled”2.292.702 allegati elaborati800.426 all. unici (35%)494 GB di archivi DAOS

Oltre 1 TeraByte di spazio

risparmiato

Oltre 1,5 TeraByte di riduzione del

backup

Aggiornamento a giugno 2014Aggiornamento a giugno 2014Alcune criticità emerse nel corso dei mesi: Il prune del DAOS è fisso alle 2, in concomitanza con il restart del server.

Si sono utilizzati dei program per il prune e il resync.

Le sottocartelle del DAOS sono già create e montate su dischi separati. Uno script effettua il conteggio giornaliero dei file

#!/bin/bashfor file in $(ls -d ./DAOS/*/)do echo "$file $(ls -1 $file | wc -l)"done

A causa di un bug presente nella 8.5.3 l’encryption degli allegati (abilitata di default) casua dei rallentamenti in fase di recupero degli allegati via IMAP – per file di 5Mb anche di alcuni minuti

DAOS_Encrypt_NLO=0

Analisi dopo 12 MesiAnalisi dopo 12 Mesi

1.946.008 elementi unici gestiti

3 TeraByte di riduzione complessiva dello spazio utilizzato

ContattiContatti

Luca ArcaraSenior Consultat

it.linkedin.com/in/arcaraluca/