Università degli studi di SalernoDipartimento di Studi e Ricerca Aziendale (Management & Information Technology)Corso di Laurea Magistrale in Tecnologie Informatiche e Management

Davide De Chiara, Gianmarco Del Pozzo, Alessandro Longo

Metodologie e Sperimentazione di Confronto tra Tool di Data

Integration

Obiettivi

ObiettiviLivello Pratico

Confronto tra CoDIT e OPEN II

ObiettiviLivello Teorico

Tool Aggiuntivi

ObiettiviLivello Teorico

Tool Aggiuntivi

Metodologie per il confronto tra diversi Tool

Data Integration

Data IntegrationCoDIT

Data IntegrationCoDIT

Le Finestre ai lati sono gli schemi da comparare

Data IntegrationCoDIT

Le Finestre ai lati sono gli schemi da comparare

La Finestra centrale riporta gli operatori iconici

Data IntegrationCoDIT - Operatori

Decomposizione Orizzontale(Aggregazione Orizzontale)

Data IntegrationCoDIT - Operatori

Decomposizione Verticale(Aggregazione Verticale)

Data IntegrationCoDIT - Esempio

Il bordo verde indica che per la riconciliazione è stata scelta quella soluzione

Tool

Similarity FloodingMatching in

4 Steps

Similarity FloodingMatching in

4 Steps

Costruzione del Grafo

Similarity FloodingMatching in

4 Steps

Costruzione del Grafo

String Match

Similarity FloodingMatching in

4 Steps

Costruzione del Grafo

String Match

Algoritmo Similarity Flooding

Similarity FloodingMatching in

4 Steps

Costruzione del Grafo

String Match

Algoritmo Similarity Flooding

Selezione

Prison Break

Web Similarity Matcher

NGD (Normalized Google Distance)

CrowdMatcher

Individuazione Matcher tramite domande

CCQ (Correspondance Correcteness Queries)

CrowdMatcher

Individuazione Matcher tramite domande

CCQ (Correspondance Correcteness Queries)

COMACombinazione di diversi approcci

Probabilità più alta di effettuare matching esatti

COMAMatching in4 Steps

Trasformazione schemi in grafi

Feedback utenti per matching e mismatching

Esecuzione dei vari match, risultato inserito in repository

Selezione del valore dal repository

Similarity FloodingMatching in

3 Steps

Costruzione del Grafo

Linguistic Matching

Structural Matching

OPEN II

Diversi Match per trovare corrispondenze

GUI che permette di accettare e rifiutare Matching

Possibilità di aggiungere altri algoritmi di Matching

ArgSM

Confronto tra diversi esperti

Il Tool genera decisioni per risolvere eventuali conflitti

CoDIT Vs OPEN II

CoDIT vs OPEN IIImpostazione della Sperimentazione

CoDIT vs OPEN IITool di supporto

CoDIT vs OPEN IITool di supporto

CoDIT vs OPEN II

CoDIT vs OPEN II

CoDIT vs OPEN IIEsecuzione della sperimentazione

CoDIT vs OPEN II

CoDIT

Consegna documenti (schema concettuale) e suggerimenti

Avvio cronometro

Esecuzione questionario finale

CoDIT vs OPEN II

OPEN II

Consegna documenti (schema logico)Consegna schemi da riconciliare

Avvio cronometro e conteggio click

Esecuzione questionario finale

CoDIT vs OPEN IIQuestionario

CoDIT

CoDIT vs OPEN IIQuestionario

OPEN II

CoDIT vs OPEN IIRisultati

CoDIT vs OPEN IIRisultati

CoDIT vs OPEN IIRisultati

CoDIT vs OPEN IIRisultati

OPEN IICoDIT

CoDIT vs OPEN IIRisultati

OPEN IICoDIT

CoDIT vs OPEN IIRisultati

CoDIT

Metodologie per il confronto tra tool

Metodologie per il confronto tra tool

Aspetto Quantitativo

Metodologie per il confronto tra tool

Aspetto Quantitativo

Aspetto Qualitativo

Aspetto Quantitativo

Aspetto Quantitativo

Suggerimenti

Aspetto Quantitativo

RisultatiSuggerimenti

Aspetto QuantitativoMetriche Quantitative per i suggerimenti

TP: Matching giusti proposti

FP: Matching proposti ma errati

FN: Matching corretti ma scartati

TN: Matching correttamente

scartati

Aspetto QuantitativoMetriche Quantitative per i suggerimenti

TP: Matching giusti proposti

FP: Matching proposti ma errati

FN: Matching corretti ma scartati

TN: Matching correttamente

scartati

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛=𝑇𝑃/𝑇𝑃+𝐹𝑃

Aspetto QuantitativoMetriche Quantitative per i suggerimenti

TP: Matching giusti proposti

FP: Matching proposti ma errati

FN: Matching corretti ma scartati

TN: Matching correttamente

scartati

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛=𝑇𝑃/𝑇𝑃+𝐹𝑃

𝑅𝑒𝑐𝑎𝑙𝑙=𝑇𝑃/𝑇𝑃+𝐹𝑁

Aspetto QuantitativoMetriche Quantitative per i suggerimenti

TP: Matching giusti proposti

FP: Matching proposti ma errati

FN: Matching corretti ma scartati

TN: Matching correttamente

scartati

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛=𝑇𝑃/𝑇𝑃+𝐹𝑃

𝑅𝑒𝑐𝑎𝑙𝑙=𝑇𝑃/𝑇𝑃+𝐹𝑁

𝐹𝑀𝑒𝑎𝑠𝑢𝑟𝑒(𝛼)=𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∗𝑅𝑒𝑐𝑎𝑙𝑙/  (1−𝛼)∗𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+  𝛼∗𝑅𝑒𝑐𝑎𝑙𝑙  0<𝛼<1

Aspetto QuantitativoMetriche Quantitative per i risultati

Aspetto QuantitativoMetriche Quantitative per i risultati

Correctness Rate= TP Matching Accepted/Total Matching AcceptedDeception Rate= FP Matching Accepted/FPGoodness Rate= TP Matching Accepted/TP

Aspetto QuantitativoMetriche Quantitative per i risultati

Correctness Rate= TP Matching Accepted/Total Matching AcceptedDeception Rate= FP Matching Accepted/FPGoodness Rate= TP Matching Accepted/TP

Schema Matching Accomplished Rate= TP Matching Accepted + Correct Matching Proposed/#MAT

User Error Committed Rate= Wrong Matching Proposed/Total Matching Proposed

*#MAT: Number of matching to accomplish the task

Valutazione Qualitativa dei Tool

Perchè?

“Usability is like oxygen. You don’t notice it until it’s missing”

“1 $ spent in usability results in a return of 30.25 $“

Usability and the bottom line [Donahue]

Usability is good business [Donahue et al.]

Aspetto QualitativoTesting di usabilità

Aspetto QualitativoTesting di usabilità

5 Componenti Da Considerare

Aspetto QualitativoTesting di usabilità

Learnability

5 Componenti Da Considerare

Aspetto QualitativoTesting di usabilità

EfficiencyLearnability

5 Componenti Da Considerare

Aspetto QualitativoTesting di usabilità

EfficiencyLearnability

Memorability

5 Componenti Da Considerare

Aspetto QualitativoTesting di usabilità

EfficiencyLearnability

Memorability Errors

5 Componenti Da Considerare

Aspetto QualitativoTesting di usabilità

EfficiencyLearnability

Memorability Errors

Satisfaction

5 Componenti Da Considerare

Aspetto QualitativoTesting di usabilità

Come Verificare L’usabilità?

Aspetto QualitativoTesting di usabilità

Come Verificare L’usabilità?

Nielsen’s Ten Usability Heuristics

Aspetto QualitativoTesting di usabilità

Come Verificare L’usabilità?

Nielsen’s Ten Usability Heuristics Task Analysis

Aspetto QualitativoTesting di usabilità

Come Verificare L’usabilità?

Empirical Evaluation choosing a tool

Task AnalysisNielsen’s Ten Usability Heuristics

Aspetto QualitativoTesting di usabilità

Come Verificare L’usabilità?

Nielsen’s Ten Usability Heuristics

Empirical Evaluation choosing a tool

Task Analysis

Aspetto QualitativoTesting di usabilità

Visibility of system status

User control and freedom

Match between system and the real world

Consistency and standards

Error preventionRecognition rather than recall

Flexibility and efficiency of use

Aesthetic and minimalist design

Help users recognize, diagnose, and recover from errors

Help and documentation

Come Verificare L’usabilità?

Empirical Evaluation choosing a tool

Task AnalysisNielsen’s Ten Usability Heuristics

Aspetto QualitativoTesting di usabilità

Come DefinireI Task?

Aspetto QualitativoTesting di usabilità

Come DefinireI Task?

Avviare il tool di Data Integration

Aspetto QualitativoTesting di usabilità

Come DefinireI Task?

Avviare il tool di Data Integration

Caricare gli Schemi delle due basi di dati

Aspetto QualitativoTesting di usabilità

Come DefinireI Task?

Avviare il tool di Data Integration

Caricare gli Schemi delle due basi di dati

Elaborare l’integrazione dei dati

Aspetto QualitativoTesting di usabilità

Come DefinireI Task?

Avviare il tool di Data Integration

Caricare gli Schemi delle due basi di dati

Elaborare l’integrazione dei dati

Scegliere quali componenti integrare

Aspetto QualitativoTesting di usabilità

Come DefinireI Task?

Avviare il tool di Data Integration

Caricare gli Schemi delle due basi di dati

Elaborare l’integrazione dei dati

Salvare la nuova Base di dati integrata

Scegliere quali componenti integrare

Aspetto QualitativoTesting di usabilità

Come MisurareL’Usabilità?

NOS Numero di secondi necessari

all’utente per completare il task

NOC Numero di click necessari all’utente

per completare il task

NOE Numero di errori compiuti dall’utente

nel compimento di un task

Aspetto QualitativoTesting di usabilità

Come scegliereGli Utenti?

Novice Users

Expert Users

Aspetto QualitativoTesting di usabilità

Come Verificare L’usabilità?

Empirical Evaluation choosing a tool

Task AnalysisNielsen’s Ten Usability Heuristics

Aspetto QualitativoTesting di usabilità

Come Verificare L’usabilità?

Empirical Evaluation choosing a tool

Task AnalysisNielsen’s Ten Usability Heuristics

Aspetto QualitativoTesting di usabilità

Per ridurre il fattore di condizionamento bisogna

optare per una tecnica: Within Group Design

Aspetto QualitativoTesting di usabilità

1) Consenso al trattamento dei dati2) Pre-execution Survey

3) Lista dei TaskWithin Group Design

NOSNOCNOE

4) Post-execution Survey

Pre-execution

Execution

Post-execution

Come OrganizzareI Task

Aspetto QualitativoTesting di usabilità

Come Verificare i Dati

Come VerificareI Risultati Ottenuti

One tail t-test

Aspetto QualitativoTesting di usabilità

Impostazione di una sperimentazione di confronto tra Tool di Data Integration

3 FasiSperimentazione di confronto

Prima Fase (Pre-Execution)

Seconda Fase (Execution)

Terza Fase (Post-Execution)

3 FasiSperimentazione di confronto

Prima Fase (Pre-Execution)

Seconda Fase (Execution)

Terza Fase (Post-Execution)

Sperimentazione di confrontoDefinire i Task

Sperimentazione di confrontoDefinire i questionari

3 FasiSperimentazione di confronto

Prima Fase (Pre-Execution)

Seconda Fase (Execution)

Terza Fase (Post-Execution)

Sperimentazione di confrontoEsecuzione

3 FasiSperimentazione di confronto

Prima Fase (Pre-Execution)

Seconda Fase (Execution)

Terza Fase (Post-Execution)

Sperimentazione di confrontoStudio Qualitativo e Quantitativo

Lavori Futuri

CoDIT vs OPEN II

CoDIT vs OPEN II

Questionario pre-sperimentazione

CoDIT vs OPEN II

Questionario pre-sperimentazione

Metriche quantitative di valutazione dei suggerimenti

CoDIT vs OPEN II

Questionario pre-sperimentazione

Metriche quantitative di valutazione dei suggerimenti

Metriche quantitative per i risultati

CoDIT vs OPEN II

Questionario pre-sperimentazione

Metriche quantitative di valutazione dei suggerimenti

Metriche quantitative per i risultati Validazione Statistica

In Conclusione…

In Conclusione…

In Conclusione…

In Conclusione…

In Conclusione…

In Conclusione…

In Conclusione…