Risultati dei test di verifica delle prestazioni di Micro ... · Come parte dei test di verifica...

Risultati dei test di verifica delle prestazioni di Micro Focus Solutions Business Managerdi RT Tangri, 24 aprile 2015

White paperSolutions Business Manager

Sommario pagina

Chi dovrebbe leggere questo documento? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Metodologia dei test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Architettura dei test di runtime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Scenario dei test di carico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

I dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6Risultati dei test di verifica delle prestazioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Ulteriori informazioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1www.microfocus.com

Chi dovrebbe leggere questo documento?

Questo documento è destinato agli amministratori di sistema o ad altri soggetti interessati ai

risultati di verifica delle prestazioni per Micro Focus® Solutions Business Manager 10 .1 .5 .1 .

In questo white paper, vengono descritti i risultati dei test di verifica delle prestazioni

condotti su 200 utenti virtuali nella versione locale di Micro Focus Work Center con

Windows 2008 R2 e Oracle 11gR2 .

Metodologia dei test

I test sono stati condotti nel laboratorio per la verifica delle prestazioni di un’azienda

privata utilizzando LoadRunner 12.00 di HP. I test hanno misurato il tempo di risposta

dell’applicazione, il throughput e l’utilizzo delle risorse di sistema con un carico di 200

utenti virtuali a fronte di un dataset aziendale di grandi dimensioni con una pausa di 10

secondi tra una transazione e l’altra. Questo test prevedeva che LoadRunner generasse un

carico di lavoro mediante la creazione di utenti virtuali (un unico utente virtuale aggiunto

ogni cinque secondi fino a raggiungere il livello di carico desiderato) per costruire l’attività

dell’utente. Ogni utente virtuale quindi esegue le attività di script e invia le richieste HTTP

create. LoadRunner utilizza quindi un modello di esecuzione di threading per creare più

istanze di utenti virtuali univoci per creare il carico e la concorrenza sull’applicazione SBM.

Durante questo test, i 200 utenti virtuali hanno ripetuto 600 volte ciascun caso di utilizzo

(transazione) presente nella suite delle prestazioni. Gli script e i dataset utilizzati in questo

test possono essere forniti per riferimento su richiesta.

Architettura dei test di runtime

La verifica delle prestazioni è stata eseguita in un’installazione SBM distribuita utilizzando

cinque server separati a 64 bit. L’ambiente includeva un’installazione Micro Focus License

Manager dedicata con licenze per 80.000 postazioni:

Server 1 – SBM Application Engine Web Server (Win2008R2-IIS 7 o Win2012R2-IIS 8.5) con 8 GB di memoria

Server 2 – SBM JBoss1: SSO (Single Sign-On), SBM Mail Services, SBM Orchestration Engine con 8 GB totali e 4 GB di memoria allocata per JBoss

http://www.microfocus.com

2

White paperRisultati dei test di verifica delle prestazioni di Micro Focus Solutions Business Manager

Server 3 – SBM JBoss2: SBM Common Services (Smart Search, Resource Management, Relationship Service, SSF Services) con 8 GB di memoria totale e 4 GB di memoria allocata per JBoss

Server 4 – SBM Logging Services (Mongod64) con 8 GB di memoria totale

Server 5 – Oracle Database 11gR2 con 16 GB di memoria totale

_______________________________________________________________

Nota: nella versione 10.1.5.1, SBM Configurator consente di installare SBM Logging

Services (MongoDB) su un server separato. Come parte dei test di verifica delle prestazioni,

SBM Logging Services è stato installato su un server separato per misurare l’impatto totale

immediato con un carico di 200 utenti virtuali. Questa configurazione è generalmente

consigliata solo se si prevede di impostare il livello di registrazione su TRACE per scopi di

debug .

_______________________________________________________________

3www.microfocus.com

Scenario dei test di carico

I test di carico hanno simulato l’operazione di scalare il numero delle attività comuni

eseguite da 200 utenti virtuali. Usando un’applicazione standard per il monitoraggio degli

errori che consente a un team di tenere traccia dei difetti dei prodotti, i test hanno riprodotto

il ciclo di vita dei difetti dall’invio all’approvazione fino all’assegnazione. Note e allegati

vengono aggiunti a ciascun elemento man mano che si muove lungo il processo. Il server di

notifica ha inviato e-mail tramite SMTP a un archivio di server di posta SMTP di test. Sul

sistema, sono state eseguite viste condivise di attività, backlog, feed di calendario e viste

condivise di dashboard di rapporti multivista.

I test sono stati eseguiti da parte di un numero stabilito di 200 utenti virtuali univoci per

20 minuti. Il tempo interazione utente tra ciascun caso di utilizzo (“transazione”

LoadRunner) era di 10 secondi (ad eccezione per le transazioni provenienti da Micro

Focus Work Center: 60 secondi di tempo interazione utente prima delle transazioni di

indicizzazione; 90 secondi di tempo interazione utente prima delle transazioni di notifica).

Il flusso di lavoro delle prestazioni è costituito dalle seguenti operazioni:

Gli utenti virtuali LoadRunner utilizzano più thread di esecuzione

I 200 utenti virtuali univoci effettuano l’accesso tramite SSO al Work Center in vuser_init

Casi di utilizzo di Repeat Iterate (applicazione di monitoraggio degli errori)

I 200 utenti virtuali univoci si disconnettono tramite SSO dal Work Center in vuser_end

Casi di utilizzo del Work Center (SBM Application Engine)Casi di utilizzo del Work Center eseguiti durante l’inizializzazione utente virtuale su un

dataset di un’azienda di grandi dimensioni:

Login a SSO Web

Notifica di inizializzazione VUser – Rimuovi tutto

Impostazioni – Salva progetto preferito

Impostazioni – Salva elementi per pagina 40 e notifica intervallo di polling di 90 secondi

Pagina iniziale SWC – Widget Aggiungi rapporto (utilizzare il rapporto multivista n. 1)

Pagina iniziale SWC – Widget Aggiungi attività (usare La mia attività)

Casi di utilizzo del Work Center eseguiti durante l’uscita di un utente virtuale su un dataset

di un’azienda di grandi dimensioni:

Pagina iniziale SWC – Widget Elimina rapporto (utilizzare il rapporto multivista n. 1)

Pagina iniziale SWC – Widget Elimina attività (usare La mia attività)

Notifica di fine VUser – Rimuovi tutto

Logout da SSO Web


4


Casi di utilizzo del Work Center ripetuti da ciascun utente virtuale su un dataset di

un’azienda di grandi dimensioni:

Invio modulo

Invio modulo OK (inoltro elemento)

Transizione proprietario in entrata

Controllo difetti – Scheda Attività

Controllo difetti – La mia attività dopo proprietario in entrata

Controllo difetti – Vista feed attività condivisa dopo proprietario in entrata

Controllo difetti – Scheda Calendari

Controllo difetti – Il mio calendario

Controllo difetti – Vista feed calendario condiviso dopo proprietario in entrata

Transizione – Proprietario in uscita

Transizione – Proprietario in uscita OK

Transizione – Proprietario secondario in entrata

La mia attività dopo proprietario secondario in entrata

Attività condivisa – Visualizza tutti gli elementi in mio possesso (principali e secondari)

Transizione – Proprietario secondario in uscita

Transizione – Proprietario secondario in uscita OK

Transizione – Test di sincronizzazione (esegue chiamata Web Services AE sincrona)

AddNote

Aggiungi allegato nella nota (file JPEG da 27 KB allegato dal disco)

AddNote-Ok (il testo con tag HTML5 include JPG da 27 KB + nota da 2 KB)

AddAttachment

AddAttachment-OK (file .txt da 11 KB allegato dal disco)

Email_Link

Email_Link SearchUser

Email_Link-OK (messaggio con tag HTML5)

Transizione – Assegna a CCB

Transizione – Assegna a CCB OK

Transizione – Assegna al proprietario area

Transizione – Assegna al proprietario area OK

Vista social media di BUG

5www.microfocus.com

Ricerca nel testo Lucene BUGID

Ricerca nel testo Lucene BUGStar

Ricerca nel testo Lucene BUGIDStar

Ricerca nel testo Lucene dell’allegato

Ricerca nel testo Lucene TitleDescription

Ricerca nel testo Lucene TitleDescriptionStar

Ricerca nel testo Lucene del richiedente

Scheda profilo utente

Registrazione di Contact Card AD Client

Aggiungi, quindi elimina dai Preferiti

Controllo difetti PinUp (applicazione)

Seleziona PinUp controllo difetti

Controllo difetti – Gestione viste

Controllo difetti – La mia dashboard

Controllo difetti – Vista dashboard condivisa (utilizzare il rapporto multivista n. 1)

Controllo difetti – Scheda Arretrati

Controllo difetti – Vista feed arretrati condivisi

Centro di segnalazione

CTOSDS – Durata tempo trascorso

CTOSDS – Data e ora ultima modifica stato

CTOSDS – Durata tempo medio dello stato

CTOSDS – Trend aperto e completato

CTOSDS – Accesso trend di stato in corso

CTOSDS – Trend attività stato

Rapporto multivista 1

Elenco statico per prestazioni EG

Elenco statico per prestazioni multivista

Tutti i problemi per progetto e stato

Tutti i problemi per tipo di problema

Elenchi rapporti


6


Tutti i problemi aperti

I miei problemi aperti

Tutti i problemi per progetto e tipo di problema

Tutti i temi per stato

Tutti i temi per proprietario

Notifica interfaccia utente – Visualizza tutto

Notifica interfaccia utente – Contrassegna come letto e rimuovi N (per ciascun oggetto di notifica)

Ogni notifica iterazione – Rimuovi tutto

I dataset

I dataset di un’azienda di grandi dimensioni utilizzati per i test sono riassunti qui di seguito:

Nota: inoltre, il database include le seguenti impostazioni di configurazione:

Processi = 300 (le versioni più recenti di Application Engine richiedono più sessioni per utente per il funzionamento del Work Center)

READ_COMMITTED_SNAPSHOT = OFF

Entità SBM Numero

Flussi di lavoro (definire il processo che seguono gli elementi) 31

Progetti (memorizzare gli elementi del processo, come problemi e incidenti) 5.302

Utenti 21.100

Gruppi SBM 138

Cartelle (memorizzazione di preferiti personali e di gruppo) 147.570

Problemi (elementi di processo che seguono un flusso di lavoro) 1.130.000

Contatti (simili alle voci della rubrica) 20.053

Risorse 24.249

7www.microfocus.com

Risultati dei test di verifica delle prestazioni

I seguenti grafici riassumono i risultati dei test di verifica delle prestazioni.

Tempo medio di risposta delle transazioniIl tempo di risposta per le singole transazioni è riassunto qui di seguito:

Misurazione Tempo minimo Tempo medio Tempo massimo

ContactCard AD Client Logging 0,009 0,017 0,052

SWC Home Delete Activity Widget 0,035 0,04 0,046

BUGIDStar Lucene Text Search 0,031 0,041 0,052

SWC Home Delete Report Widget 0,037 0,042 0,052

Add Attachment 0,031 0,053 0,096

User Profile Card 0,036 0,058 0,086

User End Notification Remove All 0,043 0,059 0,079

Defect Tracking Backlogs Tab 0,057 0,07 0,092

Defect Tracking My Calendar 0,051 0,083 0,11

Defect Tracking Calendars Tab 0,083 0,096 0,114

Add Note 0,075 0,097 0,133

Email Link Search User 0,058 0,098 0,131

All Open Issues 0,067 0,101 0,146

Listing Report 0,065 0,103 0,173

Notification UI View All 0,09 0,103 0,122

Defect Tracking Activities Tab 0,09 0,105 0,143

TitleDescription Lucene Text Search 0,083 0,11 0,19

continua alla pagina seguente


8



My Open Issues 0,084 0,113 0,148

Notification UI MarkRead and Remove 10 0,092 0,117 0,144










Email Link 0,087 0,121 0,149

CTOSDS Time in State Duration 0,08 0,125 0,188

Add then Delete From Favorites 0,119 0,136 0,159

TitleDescriptionStar Lucene Text Search 0,112 0,152 0,214

CTOSDS Entering A State Trend 0,113 0,193 0,272

Settings Save Items Per Page 40 And Notification Poll Interval 90 Second

0,169 0,209 0,248

Defect Tracking Manage Views 0,191 0,217 0,257

BUGID Lucene Text Search 0,036 0,223 0,758

Static Listing For Multi-View Performance 0,152 0,244 0,321

Email Link OK 0,159 0,246 0,297

Defect Tracking My Activity After Owner IN 0,203 0,282 0,335

My Activity After Secondary Owner IN 0,184 0,282 0,356

Social View Of BUG 0,241 0,286 0,35

Submit Form 0,206 0,323 0,46

Transition Secondary Owner OUT 0,288 0,357 0,425

Add Attachment In Note 0,29 0,358 0,432

Transition Owner OUT 0,266 0,373 0,441

Add Note OK 0,295 0,378 0,47

Transition Assign To Area Owner 0,301 0,409 0,485

Defect Tracking Shared Calendar Feed View After Owner IN

0,323 0,415 0,469

Transition Assign To CCB 0,289 0,415 0,488

Issues by Issue Type 0,34 0,421 0,497

All Issues by Project and Issue Type 0,314 0,421 20.053

All Issues by Owner 0,338 0,426 20.053

All Issues by State 0,336 0,428 20.053

Transition Owner OUT OK 0,354 0,434 0,526

Transition Secondary Owner OUT OK 0,365 0,435 0,523

WebSSO Logout 0,377 0,448 0,551

All Issues By Project and State 0,354 0,449 0,534

PinUp Defect Tracking 0,425 0,469 0,513

Transition Owner IN 0,441 0,513 0,621

Transition Secondary Owner IN 0,419 0,55 0,662

continua alla pagina seguente

9www.microfocus.com

Un tempo medio di risposta più elevato è stato registrato per il rapporto Open and Completed Trend e SBM Search by Submitter con un database Oracle; per tutte le altre transazioni, il tempo medio di risposta è stato di 2,49 secondi o meno.

Nessun impatto significativo sulle prestazioni è stato osservato una volta abilitato Rich Text Editor per i campi di promemoria/note nei moduli di inoltro e transizione.


Transition Assign To CCB OK 0,44 0,555 0,65

Add Attachment OK 0,465 0,566 0,668

Report Center 0,496 0,583 0,688

Submit Form OK 0,484 0,642 1,411

Attachment Lucene Text Search 0,558 0,663 0,862

Transition Assign To Area Owner OK 0,519 0,686 0,769

Static Listing For Performance EG 0,463 0,72 0,94

Select Defect Tracking Pin Up 0,481 0,725 0,899

Defect Tracking My Dashboard 0,497 0,745 0,96

Transition Sync Test 0,611 0,784 0,943

Each Iteration Notification Remove All 0,58 0,797 1,056

Defect Tracking Shared Activity Feed View After Owner IN

0,668 0,83 0,957

Shared Activity View All Items I Own Primary and Secondary

0,848 0,979 1,208

BUGStar Lucene Text Search 0,942 1,019 1,43

CTOSDS Elapsed Time Duration 0,868 1,028 1,191

CTOSDS State Activity Trend 0,902 1,074 1,256

Multi-View Report 1 0,873 1,11 1,287

Defect Tracking Shared Dashboard View 0,886 1,128 1,378

Settings Save Preferred Project 0,985 1,236 2,019

WebSSO Login 1,084 1,262 2,183

VUser Init Notification RemoveAll 1,122 1,542 2,443

SWC Home Add Report Widget 1,516 1,735 2,08

Defect Tracking Shared Backlog Feed View 1,374 1,843 2,474

CTOSDS Average Time To State Duration 1,794 2,208 2,569

SWC Home Add Activity Widget 2,223 2,492 2,825

Submitter Lucene Text Search 3,192 3,289 3,478

CTOSDS Open And Completed Trend 3,641 4,395 5,047


10


Riscontri transazioni al secondoIl numero dei riscontri al secondo per le transazioni HTTP eseguite contemporaneamente in

SBM è riassunto qui di seguito:

Byte di transazioni al secondoIl numero dei byte al secondo per le transazioni HTTP eseguite contemporaneamente in

SBM è riassunto qui di seguito:

11www.microfocus.com

Numero di transazioni eseguite contemporaneamente da un carico di 200 utenti virtualiIl numero delle transazioni HTTP eseguite contemporaneamente in SBM è riassunto qui di

seguito:

Utilizzo della CPU del server WebL’utilizzo della CPU del server Web è riassunto qui di seguito:

Utilizzo della CPU del server Web


12


Utilizzo della memoria del server WebL’utilizzo della memoria del server Web è riassunto qui di seguito:

Numero di thread del server WebIl numero di thread del server Web è riassunto qui di seguito:


Numero di handle del server WebIl numero di handle del server Web è riassunto qui di seguito:

Byte virtuali del server WebI byte virtuali del server Web sono riassunti qui di seguito:


14


Utilizzo della CPU di Common ServicesL’utilizzo della CPU di Common Services è riassunto qui di seguito:

Utilizzo della memoria di Common ServicesL’utilizzo della memoria di Common Services è riassunto qui di seguito:


Utilizzo della CPU del server di notificaL’utilizzo della CPU del server di notifica è riassunto qui di seguito:

Utilizzo della memoria del server di notificaL’utilizzo della memoria del server di notifica è riassunto qui di seguito:


16


Utilizzo della CPU del server di databaseL’utilizzo della CPU del server di database è riassunto qui di seguito:

Utilizzo della memoria del server di databaseL’utilizzo della memoria del server di database è riassunto qui di seguito:


Utilizzo della CPU di SBM Logging ServicesL’utilizzo della CPU di SBM Logging Services (mongod64) è riassunto qui di seguito: notare

che il livello di registrazione di Active Diagnostics è impostato su INFO:

Utilizzo della memoria di SBM Logging ServicesL’utilizzo della memoria di SBM Logging Services è riassunto qui di seguito: notare che il

livello di registrazione di Active Diagnostics è impostato su INFO:


18


Prestazioni di Relationship ServiceI risultati per un’istanza di Neo4J (non gestita in cluster), JBoss 3GB Heap + Neo4J 1GB

Heap (impostazione predefinita: 10 thread di lavoro) sono riassunti qui di seguito:

Picco CPU% Neo4J Java pari al 25% durante il carico iniziale (periodo più intensivo CPU).

Il carico iniziale ammontava complessivamente a 1,2 milioni di record (ExportToCSV + ImportToGraphDB), che ha richiesto 108 minuti per il completamento.

La replica/sincronizzazione dei nuovi record nella tabella TS_CHANGEACTIONS è stata elaborata a una velocità di 2.400 record al minuto.

Per 1.137.446 record (e 14.118.424 relazioni), l’utilizzo del disco del database Neo4J è stato di 3,9 GB.

Prestazioni di Smart Search IndexerI risultati di Smart Search Indexer (Lucene), 4 GB Common Services Java Heap, sono

riassunti qui di seguito:

Le operazioni di indicizzazione iniziale o di reindicizzazione sono ora multi-thread. 6 thread di lavoro di esecuzione hanno elaborato rapidamente tutte le tabelle principali in sequenza.

Una volta completata l’indicizzazione iniziale o la reindicizzazione, l’indicizzatore ha eseguito periodicamente il polling del database ogni 30 secondi (per impostazione predefinita) per aggiornare l’indice con i nuovi record provenienti dalla tabella TS_CHANGEACTIONS, che è stata poi ricercabile tramite il Work Center.

L’indice iniziale di 1.102.276 voci nella tabella TTT_ISSUES ha richiesto 2 ore e 6 minuti per il completamento (le dimensioni della cartella indexdir erano pari a 230 MB).

Impatto dell’indice iniziale di 1.102.276 elementi nella tabella TTT_issues: la CPU Java di Common Services è aumentata raggiungendo il 18%, il set di lavoro Java di Common Services è aumentato raggiungendo i 720 MB.

L’indicizzatore ha terminato l’aggiornamento di 46.357 elementi modificati in 17 minuti e 45 secondi.

Impatto dell’indice di aggiornamento con i nuovi record provenienti dalla tabella TS_CHANGEACTIONS: la CPU Java di Common Services è aumentata raggiungendo il 2%, il set di lavoro Java di Common Services è aumentato raggiungendo i 457 MB.

Ulteriori informazioni

Notare le seguenti informazioni sui test di verifica delle prestazioni:

Note di configurazione Se la registrazione del livello TRACE in Active Diagnostics viene abilitata per eseguire il

debug dei componenti SBM su un sistema a 64 bit con 8 GB di RAM, il processo mongod 64 competerà per la memoria con SBM Common Services e impedirà a JBoss di utilizzare l’heap da 4 GB ad essa allocata.


Per i test di carico, vengono utilizzate le impostazioni predefinite delle prestazioni in SBM Configurator:

- Server di notifica ForceSend = OFF

- Limite delle orchestrazioni = OFF

Sul server che ospita SBM Common Services, le impostazioni dell’indicizzatore vengono modificate per i test di carico in SBM Configurator:

- Utilizzo di ricerca previsto = elevato

- Intervallo di polling del database = 30 secondi

Suggerimenti per la configurazione della connessione del client Oracle ODBC al server Oracle:

- Un’altra variabile per il numero di sessioni utilizzato dipende dal tipo di connessione ODBC utilizzata da Application Engine come client al server Oracle 11gR2. La connessione ODBC come Client10 (SSL) o tramite Oracle Advanced Security richiede un aumento dei processi/sessioni sul server Oracle 11gR2.

– Per evitare errori causati dal rifiuto della connessione da parte del server nelle eccezioni di connessione Application Engine Event Viewer e JBDC nel file JBoss server.log nel laboratorio per le prestazioni con un carico di 200 utenti virtuali sul Work Center, è sufficiente aumentare il numero dei processi a 300 e il numero delle sessioni a 400 in Oracle:

sqlplus system/testauto@hpq5 > alter system set processes=300 scope=spfile;

Controllare la modifica effettuata:

sqlplus system/testaut0@hpq5 > show parameters processes; > show parameters sessions;

Difetti segnalati in SBM 10.1.5.1I seguenti difetti sono stati segnalati nella build GA di SBM 10.1.5.1:

DEF261371- SWC PERF 200vu – Perdita numero handle processo W3WP predefinito

DEF267809- SWC PERF 200vu – Aggiungi widget Attività – Maggior tempo di risposta con Oracle 11gR2 rispetto a SQL Server 2008R2 (non si tratta di una regressione)

DEF267213- SWC PERF: rapporto elenchi griglia modificabile eseguito due volte. Questo problema provoca un maggior tempo di risposta e un utilizzo più elevato della CPU del database, anche se non si tratta di una regressione. Il rapporto viene eseguito due volte nelle seguenti aree:

– Quando viene utilizzato un rapporto della home page

– Quando si seleziona un’applicazione contrassegnata come preferita nel Work Center

– Quando il rapporto viene utilizzato sulla dashboard personale

– Quando il rapporto viene utilizzato nella vista di un backlog condiviso


20


Esclusioni dei test di verifica delle prestazioniI seguenti elementi sono stati esclusi dai test di verifica delle prestazioni:

Le transazioni del rapporto di sistema non sono incluse nei test di carico eseguiti da 200 utenti virtuali.

162-IT0092-002 | S | 05/17 | © 2017 Micro Focus. Tutti i diritti riservati. Micro Focus e il logo Micro Focus, tra gli altri, sono marchi di fabbrica o marchi registrati di Micro Focus o delle sue controllate o consociate nel Regno Unito, negli Stati Uniti e in altri Paesi. Tutti gli altri marchi appartengono ai rispettivi proprietari.

www.microfocus.com

Micro FocusItalia+39 02 366 349 00

Micro FocusSede centraleRegno Unito+44 (0) 1635 565200

www.microfocus.com



Risultati dei test di verifica delle prestazioni di Micro ... · Come parte dei test di verifica...

Documents

Transcript of Risultati dei test di verifica delle prestazioni di Micro ... · Come parte dei test di verifica...