A5 4 Controllo Qualità V23 - unibg.it ... · A5_4 V2.3 Controllo Qualità ... – Fan out: n. di...

A5_4 V2.3

Controllo QualitàMisure

Il contenuto del documento è liberamente utilizzabile dagli studenti, per studio personale e per supporto a lezioni universitarie.Ogni altro uso è riservato, e deve essere preventivamente autorizzato dall’ autore.

Sono graditi commenti o suggerimenti per il miglioramento del materiale

INGEGNERIA DEL SOFTWARE

Paolo Salvaneschi

Università di BergamoFacoltà di Ingegneria

A5 - Controllo Paolo Salvaneschi 2

• Misure di prodotto: concetti generali• Utilizzo delle misure• Esempi di misure• Misurare la qualità di prodotto• Misure di servizio, progetto, processo

INDICE


• La qualità di un prodotto (caratteristiche ISO 9126) può essere valutata non solo attraverso il testing o le ispezioni, ma anche raccogliendo misure

• relative a specifici aspetti del prodotto

• al fine di stimare il valore delle caratteristiche di qualità

Misure di prodotto: concetti generali


• Esempio – Misura della coesione ed accoppiamento tra

componenti software

– Dimensioni medie del componente software in linee di codice (LOC)

– Densità di commenti nel codice

– …….

Stima della manutenibilità



• Alcune caratteristiche di qualità non sono valutabili attraverso l’esecuzione di test

• Es. Manutenibilità– E’ importante stimare la manutenibilità del prodotto

durante lo sviluppo a partire dall’osservazione di caratteristiche del prodotto

– Altro modo: sviluppare lo stesso prodotto più volte con tecniche diverse. Eseguire un insieme di casi di test di manutenzione a parità di condizioni (persone, ambiente,…) su tutti i prodotti; misurare gli sforzi di manutenzione ed eseguire una valutazione comparata



• Durante la vita di un prodotto software si possono misurare indicatori utili per stimare, predire o tenere sotto controllo caratteristiche di qualità

• Es. affidabilità– Copertura del test

– N.difetti individuati/LOC nella fase di test

– N.difetti individuati/LOC in esercizio



• Misura– Definizione dell’entità che si misura e dell’attributo

da misurare

– Unità di misura

– Procedura per assegnare il valore dell’attributo

– Valore misurato



• Misure interne– Misura della coesione ed accoppiamento tra componenti software

– Dimensioni medie del componente software in linee di codice (LOC)

– Densità di commenti nel codice

• Valutate sui documenti che costituiscono il prodotto (al fine di stimare le misure esterne)

• Misure esterne• Valutate sul prodotto nell’ambiente di utilizzo

– Sforzo di modifica (gg/uomo) /n. linee di codice modificate




• Attenzione !Definire quale attributo misuriamo di qualeoggetto

Numero ciclomatico (Mc Cabe)V(G) = = n.archi – n.nodi + 2Misura il numero di decisioni binarie d in un programmaV(G) = d+1Misura un attributo della struttura di controllo di un programmaNon è una misura di manutenibilità(anche altri fattori contribuiscono alla manutenibilità)

1

2

3 4

5

6



• Attenzione !• Che operazioni aventi significato si possono

applicare alla misura? (teoria della misura)

L’operazione di media non ha significatosu una scala di misure che è solo un ordinamento(senza distanzaaltissima-alta = media-bassa ???)

30*1+60*2+8*3+2*4100

N totale eventi 100


• Assunzioni:– Una proprietà globale del prodotto (caratteristica di

qualità “manutenibilità”) può essere misurata in modo quantitativo attraverso uno o più indicatori

– Esiste una relazione tra gli indicatori (ciò che misuriamo) e la caratteristica di qualità (ciò che vogliamo stimare)

– La relazione è stata formalizzata e validata e la stima che otteniamo del valore della caratteristica di qualitàha una capacità predittiva




Misure di attributi interni

Valore di attributo esterno

N. di linee di codiceNumero ciclomaticoCoesione e accoppiamento…

Sforzo medio di correzionedi un errore

Predizione

In generaleEs. manutenibilità



Misure di attributi esterni

Valore di attributo esterno

Serie storicadei malfunzionamenti

Tempo medio tra due malfunzionamenti

Predizione

Affidabilità


• Definire e validare una relazione tra gli indicatori e la caratteristica di qualità e difficile e controverso– Es. Lo sforzo di manutenzione di un prodotto è legato

ad una complessa rete di cause (tipologia del personale, caratteristiche del prodotto, tempi,…)

• Utilità in contesti definiti anche se la capacitàpredittiva è un problema– Base di dati storica– Contesto stabile

• Utilizzo con attenzione




Test periodicodelle caratteristiche delmezzo

Tempo medio tra unincidentee il successivo

Predizione

Una valutazione di qualitànon necessariamentedeve produrreuna predizione quantitativaper essere considerata utile

Livello quantitativodi sicurezza

Valutazionequantitativa

Sicurezza


• Non sempre è necessario predire– Es. Gestire il rischio

Questa struttura di chiamate tra moduliè più rischiosadi una struttura più gerarchica



• Non sempre è necessario predire– Es. Monitorare


Conoscenzastorica


• Non sempre è richiesta una misura quantitativa

0

0,333333333

0,666666667

1

Efficiency:13 dom.

Functionality:69 dom.

Maintainability:79 dom.

Portability:3 dom.

Reliability:59 dom.

Usability:36 dom.

Valori misuratiProfilo richiesto

Livello 2:dati cumulativi


H

M

L


Utilizzo delle misure

• Perchè misurare? (classi di obiettivi)• Valutazione

– Accettazione– Monitoraggio e prevenzione– Confronto– Gestione del rischio– Monitoraggio del livello nel tempo– Spiegazione

• Predizione


• Utilizzo delle misure

• Misura della qualità ai fini dell'accettazione– Scopo: valutare caratteristiche di qualità del prodotto

(es. manutenibilità) i cui valori sono definiti nei requisiti non funzionali.



• Monitoraggio della qualità di prodotto durante il processo produttivo– Scopo: tenere sotto controllo il livello di qualità del

prodotto durante lo sviluppo, al fine di identificare in anticipo i problemi e intervenire

– Le misure possono essere svolte dal produttore o, in caso di rilasci intermedi ufficiali, dal committente del prodotto o da terza parte.



• Valutazione della qualità per diagnosi e reingegnerizzazione– Scopo: valutare la qualità di un prodotto esistente la cui

qualità deve essere migliorata

– Individuare la convenienza ed i costi della reingegnerizzazione e le modifiche da apportare.

– Al termine della valutazione è fornita la diagnosi dello stato del prodotto e la terapia indicante le modifiche da intraprendere per l'ottenimento della qualità richiesta.



• Esempi di misure

• LOC• N. di linee di codice

• Esclusi i commenti

• Usato storicamente come stimatore dello sforzo di programmazione

• Interpretazione dipendente dal linguaggio e dal tipo di applicazione

Esempi di misure


• Numero ciclomatico (Mc Cabe)

• Dato il grafo di controllo di un programma, misura il numero di cammini linearmente indipendenti che, a partire dal nodo iniziale, raggiungono il nodo terminale

• V(G) = = e - n + 2

• e numero degli archi (flusso di controllo)

• n numero dei nodi (comandi)

Esempi di misure


• Grafo di controllo

1 Read (x)2 Read (y)

If (x>y)3 then x=x+14 else x=x-15 Write (x)6 Write (y)

1

2

3 4

5

5

V(G) = e-n+2V(G) = 6-6+2=2

Due cammini linearmente indipendentidal nodo iniziale al nodo finale

Esempi di misure


• Interpretazione:– Un valore elevato di V(G) per un modulo indica una

struttura complessa di controllo che influenzerà (assieme ad altri fattori) la manutenibilità del modulo stesso

– Si dimostra che: V(G) = d + 1 (d: numero di decisioni binarie)

– Misura un attributo della struttura di controllo di un programma

– Non è una misura di complessità (cosa è la complessità?)

– Non è una misura di manutenibilità (anche altri fattori contribuiscono alla manutenibilità)

Esempi di misure


V(G) = 4-5+2=1

1

2

3 4

5

5

V(G) = 7-6+2=3

Esempi di misure


• Fan in, Fan out– Applicato ad un modulo

– Fan in: n. di moduli che chiamano il modulo misurato

– Fan out: n. di moduli che il modulo misurato chiama

– Un fan in elevato suggerisce un accoppiamento elevato con gli altri moduli dell’architettura

– Un fan out elevato suggerisce una complessità interna elevata del modulo

Esempi di misure


• Profondità dell’albero di ereditarietà• Numero di livelli nel grafo di specializzazione

delle classi

• Interpretazione: più il valore di profondità èelevato, più il progetto è complesso e difficile da capire

Esempi di misure


Misurare la qualità di prodotto

• Misurare la qualità di prodotto

Esempio: misura di manutenibilità



• Per ottenere stime di caratteristiche di qualità (es. manutenibilità) è necessario:– Pianificare un insieme di misure diverse

– Eseguire le misure

– Interpretare i singoli risultati

– Integrare l’insieme dei risultati al fine di ottenere un valore dell’attributo stimato


• Pianificare un insieme di misure diverseMatrice di qualità e piano di qualità


TestPrototipiIspezioniMisure quantitativeMisure qualitative


• Pianificare un insieme di misure diverseCosa misurare: la qualità nel contestoScenari(qualità di un componente nel contesto di uso)


Componente“Billing”

Manutenibilità

Modificacontratto

Componente“Billing”

ModificaNorme

legislative


• Pianificare un insieme di misure diverse– Dimensione media dei moduli in LOC

– Numero ciclomatico medio dei moduli

– Coesione ed accoppiamento

– Indicatori di qualità della documentazione dei moduli

– Indicatori di qualità della documentazione dell’architettura

– ……………….



• Interpretare i singoli risultati

Misura InterpretazioneV(G) fino a 20 1 – positivo

tra 20 e 40 0,5 – neutromaggiore di 40 0 – negativo



• Integrare l’insieme dei risultati al fine di ottenere un valore dell’attributo stimato

• Definire un criterio per identificare, a partire dalla singole interpretazioni, il valore stimato– Media, Media pesata, Mediana

– Regole di integrazione

– …..



Esempio diapparato dimisura

Esempio



• Misurare la qualità di prodotto

Esempio: misura di usabilità e interazione di usabilità / sicurezza con tecniche di ingegneria del software sperimentale


Esempio diValutazione sperimentale dell’usabilità di sistemi per la sicurezza

Esempio

The 3 form factors used in the usability tests.

1. Purpose and scope definition2. Context and roles definition3. User selection4. Task definition5. Measurement apparatus design6. Execution and data collection7. Processing for statistical significance8. Computation of the quality attributes

scores9. Results interpretation and explanation

U. Piazzalunga, P. Salvaneschi, P. Coffetti,The Usability of Security DevicesBook chapter in: L. Cranor and S.L. Garfinkel ed. “Designing Secure Systems That People Can Use”O’Reilly Media, Academic and Professional Series, 2004


The base type of USB tokens collapse in one single object both the smart card readerand the cryptographic smart card IC.The advanced USB token adds a mass storage to the base type; when connected tothe host system, this token will make available as separate resources both the smartcard (and its reader) and a removable hard drive for general purpose storage

Esempio


Usability Test MethodPurpose and scope definition.We define the aims of the test (e.g., the comparison of the usability of two types of devices) and sets thelimits of the test.Context and roles definition.The context for the experimental scenario is designed, including the real environment we want to simulate,the roles of the users, the type of tasks they need to achieve, etc. Each role has to be clearly specified,including the possible actions of a supervisor.User selection.The selection criteria of users are defined according with the selected context and aims of the test.The number of users has to be chosen to provide a wide-enough sample to support the statisticalanalysis of data.Task definition.The tasks to be executed by each user (sequence of steps, input data, output data) are defined.Measurement apparatus design.We choose a set of metrics and specify their relationships with the usability attributes. For each metric,we define name, description, scale, and procedure to collect the raw data and to compute the measurement.Execution and data collection.The test is executed and the data are collected.

Esempio


Processing for statistical significance.The data are processed to assure their statistical significance (e.g., a metric is the result of the computationof a mean value of raw data and it is required to compare two mean values coming from two differentsecurity devices).Computation of the quality attributes scoresThe ISO 9126 quality model is a tree where the usability is linked to a set of attributes and each attribute isevaluated through a set of metrics. To compare the quality profile of two products, for example, it is usefulto compute the score for each quality attribute by considering the contribution of a number of metrics.This may be done through a procedure that takes as input the sets of measures and computes the scoreof the quality attributes. Note that this procedure has to consider diverse types of measures, includingquantitative measures, as well as qualitative ones, coming, for example, from expert’s evaluations. Results interpretation and explanation.Finally, we need to interpret the whole set of results and suggest possible causal explanations useful forgenerating design recommendations.

Esempio


Esempio

Purpose and scope definitionThe scenario set up for this study compares the usability(and the usability – security interaction) of three alternative realizations of a simplebut widespread PKI-based system.These alternatives differ for the personal security devices used: the traditional plasticsmart card with a USB smart card reader and two types of USB tokens(labelled as “base” and “advanced” token).


Context and roles definition.The role assigned to the participant was to be responsible for the preparation and launch of an advertising campaign to promote a new product. Tasks for this job position included frequent travels among the different sites of her company and most of the material to be delivered for the campaign had to be sent to colleagues through emails. Given the high competition in the market targeted by the new product, a strong level of security protection was demanded on all email communications. To this end, a cryptographic device with her personal digital certificates was prepared. The company had a technical support team to assist her, should any trouble arise with the device. Her manager advised to keep to the minimum possible the calls to the support team, since it had limited staff.

The test involves both a number of participants (the users) and a supervisor. The supervisorhas the following roles:•Drive the initial phase of the test, giving the user all the required inputs.•Collect the measures during the test.•Act as the customer support service during the test execution.•Drive the final phase to collect the questionnaire.

Esempio


User selection.We selected ten participants for the user test. All of them were at their second or third year of undergraduate studies in an engineering college. While they were all skilled with the use of email and computers, they did not have any previous experience with securing email or cryptographic devices.

The number of users was chosen to provide a wide-enough sample (10 samples for each device type) to support the statistical analysis of data.

Esempio


Task definition.The participant had to move across three company's sites where her work was required. Three workstations in three different university labs simulated this set up.

At each site the user had to execute the following tasks and then proceed to the next “site”.• Install drivers and software for the device.• Send an encrypted and signed email to a colleague through the standard Outlook encryption and signing procedure, which requires her to provide the password to authorize the signature operations on the device. The text and the recipient for the email where contained in the documents handed out; the email client was configured to include beforehand the digital certificate of the recipient. The user’s digital certificate is automatically available right after the device is inserted.

At the end of the three sites, the supervisor gave to the user the hardware for the second form factor and the user repeated the step 1 and 2 for the three sites. The same process was executed for the third form factor.

Esempio


Esempio

Metrics and their relationships with the usability attributes.For example, the number of requests to the customer service and the time forsending email contribute to the “low cost to operate” attribute value.

Measurement apparatus


Esempio

Usability / security interactionThe ISO standard does not model this type of attributes, because it describes aninteraction between properties (usability and security).



Esempio

The following errors are classified as security errors: • Failure to encrypt an email. The secret supposed to be protected was sent inclear.

• Failure to sign an email. It prevents the recipient from verifying the author andthe integrity of the email.

• Failure to bring the cryptographic device in the new location.The device is left on the desk or plugged in the workstation; this situation mayallow attackers to get access to the user's private key. Access to private keys isprotected through password authentication—user need to log in and beauthenticated by the smart card IC. Even though most of the cryptographicdevices implement password-locking functionalities to prevent brute forceattacks, badly chosen passwords or social engineering attacks may result in aprivate key compromise.



Measurement results

Esempio

Test della significatività della differenza tra le duemedie con la distribuzione t di Student

Probabilità di rigettare a tortol’ipotesi che SC e BT siano eguali(l’ipotesi avrebbe dovuto essere accettata)


Measurement results

Esempio


Esempio

Measurement results


Esempio

Measurement results

The results of the questionnaire.(a) Mean score values of the users’ evaluation of mobility and usability.(b) Preference of purchase.


Summary of the usability attributes scores

Esempio


Causal explanationof the natureof the security errors

A node of the graph represents a typeof events, while an oriented arc definesan influence relation between a nodeand his parents. The couple of numbers n/t means that,out of a total of “t” events, “n” influencedthe linked event. The data were comingfrom the measurements and the supervisorannotated comments taken during theexperiment.

Esempio


Out of a total of 35 security errors, 21 occurred while using smartcards, 9 with the base tokens, and only 5 with the advanced ones(these 35 security errors represent the 15% of the total 230 email and mobility tasks).Most of the errors were due to:(i) improper connections of the devices or(ii) the failure to bring along the hardware when moving to a

different location.

Esempio


It can be stated that the smart card form factor is familiar to millions of people whilethe USB token is not. The experimental results reported here, however, indicates thatthis claim does not translate into good usability and security, at least when the smartcard is to be used actively for security purposes on present day computers. Indeed,current smart card deployment seems to often ignore a simple but hardly surprisingusability issue, the correct card insertion. For example, the graphics printed onAmex Blue or Target smart cards provides no clear visual clue to users about whichis the side and edge that would need to be inserted into the reader. Furthermore,many smart card readers do not offer a clear visual feedback to user when the smartcard is properly positioned. The introduction of these two designs—visual clues onthe graphics printed on the smart card and good visual feedback from readers—would likely limit the usability problems related to proper smart card insertion.The reason for a better usability of the USB tokens is rooted into the minor number ofcomponents involved and the well-designed usability of the USB connector (users canplug a USB device in one way only). The advanced tokens best results are further linkedto a side effect of a software usability issue in the email client: the token was alreadyplugged in due to its use in installation. Therefore it bypassed the failure of the softwareto remind users to insert the device for signing emails.

Esempio


Misure di servizio, progetto, processo

• Le misure relative ai prodotti possono essere utilizzate anche per valutare, controllare, gestire servizi, progetti, processi

• Valutazione di scarsa manutenibilità del prodotto:– Possibile indicatore di carente progettazione

– Possibile indicatore di carente professionalità dei programmatori

– Possibile indicatore di pianificazione carente o vincoli di tempo non compatibili con la qualità attesa

– ……

• Difettosità elevata del prodotto in esercizio:– Possibile indicatore di carenze del processo di testing

– ……


• Dal prodotto software al servizio– Software + piattaforma di delivery

– Servizio

• Misurare le risorse

• Introdurre la variabile tempo

• La misura come base per la definizione dei“Service Level Agreement”



• Misurare i progetti– Misurare le caratteristiche tecniche

– Misurare le risorse• Avanzamento delle attività

• Costi

• Sforzi

• …



• Misurare i processi• Un processo può essere gestito e migliorato

attivando la raccolta e la valutazione periodica di un insieme di misure al fine di

• Valutare la qualità del processo (maturità)

• Intraprendere azioni di miglioramento



• Esempi di misure


Processo di sviluppo–N. progetti fuori costo previsto a budget / n.totale progetti

–N. progetti fuori tempo previsto di consegna / n.totale progetti

–N.lamentele gravi dei clienti

–N. difetti sui prodotti rilasciati in esercizio /LOC

–…..

Processo di manutenzione–N.segnalazioni risolte / n.segnalazioni totali nel periodo

–Tempo medio di risoluzione

–…



• ISO/IEC 15939 Software Measurement Process

• PSM (Practical Software and SystemsMeasurement)– Practical Software and System Measurement (PSM) is sponsored by

the Department of Defense and the US Army. The goal of the project is to provide Project Managers with the objective information neededto successfully meet cost, schedule, and technical objectives on programs.

– PSM is based on actual measurement experience on DoD, Government and Industry programs.

– PSM served as the base document for the development of ISO/IEC 15939. PSM provides additional details on the activities and taskspresented in ISO/IEC 15939, and provides detailed steps tosuccessfully meet these tasks.

A5 4 Controllo Qualità V23 - unibg.it ... · A5_4 V2.3 Controllo Qualità ... – Fan out: n. di...

Documents

Transcript of A5 4 Controllo Qualità V23 - unibg.it ... · A5_4 V2.3 Controllo Qualità ... – Fan out: n. di...