Metodologie e sperimentazione di confronto tra tool di data integration

Università degli studi di SalernoDipartimento di Studi e Ricerca Aziendale (Management & Information Technology)Corso di Laurea Magistrale in Tecnologie Informatiche e Management

Davide De Chiara, Gianmarco Del Pozzo, Alessandro Longo

Metodologie e Sperimentazione di Confronto tra Tool di Data

Integration

Obiettivi

ObiettiviLivello Pratico

Confronto tra CoDIT e OPEN II

ObiettiviLivello Teorico

Tool Aggiuntivi

ObiettiviLivello Teorico

Tool Aggiuntivi

Metodologie per il confronto tra diversi Tool

Data Integration

Data IntegrationCoDIT


Le Finestre ai lati sono gli schemi da comparare


Le Finestre ai lati sono gli schemi da comparare

La Finestra centrale riporta gli operatori iconici

Data IntegrationCoDIT - Operatori

Decomposizione Orizzontale(Aggregazione Orizzontale)

Data IntegrationCoDIT - Operatori

Decomposizione Verticale(Aggregazione Verticale)

Data IntegrationCoDIT - Esempio

Il bordo verde indica che per la riconciliazione è stata scelta quella soluzione

Similarity FloodingMatching in

4 Steps


4 Steps

Costruzione del Grafo


4 Steps


String Match


4 Steps


String Match

Algoritmo Similarity Flooding


4 Steps


String Match

Algoritmo Similarity Flooding

Selezione

Prison Break

Web Similarity Matcher

NGD (Normalized Google Distance)

CrowdMatcher

Individuazione Matcher tramite domande

CCQ (Correspondance Correcteness Queries)

COMACombinazione di diversi approcci

Probabilità più alta di effettuare matching esatti

COMAMatching in4 Steps

Trasformazione schemi in grafi

Feedback utenti per matching e mismatching

Esecuzione dei vari match, risultato inserito in repository

Selezione del valore dal repository


3 Steps


Linguistic Matching

Structural Matching

OPEN II

Diversi Match per trovare corrispondenze

GUI che permette di accettare e rifiutare Matching

Possibilità di aggiungere altri algoritmi di Matching

ArgSM

Confronto tra diversi esperti

Il Tool genera decisioni per risolvere eventuali conflitti

CoDIT Vs OPEN II

CoDIT vs OPEN IIImpostazione della Sperimentazione

CoDIT vs OPEN IITool di supporto

CoDIT vs OPEN II

CoDIT vs OPEN IIEsecuzione della sperimentazione

CoDIT vs OPEN II

CoDIT

Consegna documenti (schema concettuale) e suggerimenti

Avvio cronometro

Esecuzione questionario finale

CoDIT vs OPEN II

OPEN II

Consegna documenti (schema logico)Consegna schemi da riconciliare

Avvio cronometro e conteggio click

Esecuzione questionario finale

CoDIT vs OPEN IIQuestionario

CoDIT

CoDIT vs OPEN IIQuestionario

OPEN II

CoDIT vs OPEN IIRisultati


OPEN IICoDIT


CoDIT

Metodologie per il confronto tra tool


Aspetto Quantitativo



Aspetto Qualitativo


Suggerimenti


RisultatiSuggerimenti

Aspetto QuantitativoMetriche Quantitative per i suggerimenti

TP: Matching giusti proposti

FP: Matching proposti ma errati

FN: Matching corretti ma scartati

TN: Matching correttamente

scartati






scartati

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛=𝑇𝑃/𝑇𝑃+𝐹𝑃






scartati


𝑅𝑒𝑐𝑎𝑙𝑙=𝑇𝑃/𝑇𝑃+𝐹𝑁






scartati


𝑅𝑒𝑐𝑎𝑙𝑙=𝑇𝑃/𝑇𝑃+𝐹𝑁

𝐹𝑀𝑒𝑎𝑠𝑢𝑟𝑒(𝛼)=𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∗𝑅𝑒𝑐𝑎𝑙𝑙/ (1−𝛼)∗𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+ 𝛼∗𝑅𝑒𝑐𝑎𝑙𝑙 0<𝛼<1

Aspetto QuantitativoMetriche Quantitative per i risultati


Correctness Rate= TP Matching Accepted/Total Matching AcceptedDeception Rate= FP Matching Accepted/FPGoodness Rate= TP Matching Accepted/TP


Correctness Rate= TP Matching Accepted/Total Matching AcceptedDeception Rate= FP Matching Accepted/FPGoodness Rate= TP Matching Accepted/TP

Schema Matching Accomplished Rate= TP Matching Accepted + Correct Matching Proposed/#MAT

User Error Committed Rate= Wrong Matching Proposed/Total Matching Proposed

*#MAT: Number of matching to accomplish the task

Valutazione Qualitativa dei Tool

Perchè?

“Usability is like oxygen. You don’t notice it until it’s missing”

“1 $ spent in usability results in a return of 30.25 $“

Usability and the bottom line [Donahue]

Usability is good business [Donahue et al.]

Aspetto QualitativoTesting di usabilità

5 Componenti Da Considerare


Learnability



EfficiencyLearnability




Memorability




Memorability Errors




Memorability Errors

Satisfaction



Come Verificare L’usabilità?



Nielsen’s Ten Usability Heuristics



Nielsen’s Ten Usability Heuristics Task Analysis



Empirical Evaluation choosing a tool

Task AnalysisNielsen’s Ten Usability Heuristics



Nielsen’s Ten Usability Heuristics


Task Analysis


Visibility of system status

User control and freedom

Match between system and the real world

Consistency and standards

Error preventionRecognition rather than recall

Flexibility and efficiency of use

Aesthetic and minimalist design

Help users recognize, diagnose, and recover from errors

Help and documentation

Come DefinireI Task?



Avviare il tool di Data Integration




Caricare gli Schemi delle due basi di dati





Elaborare l’integrazione dei dati






Scegliere quali componenti integrare






Salvare la nuova Base di dati integrata

Scegliere quali componenti integrare


Come MisurareL’Usabilità?

NOS Numero di secondi necessari

all’utente per completare il task

NOC Numero di click necessari all’utente

per completare il task

NOE Numero di errori compiuti dall’utente

nel compimento di un task


Come scegliereGli Utenti?

Novice Users

Expert Users


Per ridurre il fattore di condizionamento bisogna

optare per una tecnica: Within Group Design


1) Consenso al trattamento dei dati2) Pre-execution Survey

3) Lista dei TaskWithin Group Design

NOSNOCNOE

4) Post-execution Survey

Pre-execution

Execution

Post-execution

Come OrganizzareI Task


Come Verificare i Dati

Come VerificareI Risultati Ottenuti

One tail t-test


Impostazione di una sperimentazione di confronto tra Tool di Data Integration

3 FasiSperimentazione di confronto

Prima Fase (Pre-Execution)

Seconda Fase (Execution)

Terza Fase (Post-Execution)

Sperimentazione di confrontoDefinire i Task

Sperimentazione di confrontoDefinire i questionari

Sperimentazione di confrontoEsecuzione

Sperimentazione di confrontoStudio Qualitativo e Quantitativo

Lavori Futuri

CoDIT vs OPEN II

CoDIT vs OPEN II

Questionario pre-sperimentazione

CoDIT vs OPEN II


Metriche quantitative di valutazione dei suggerimenti

CoDIT vs OPEN II



Metriche quantitative per i risultati

CoDIT vs OPEN II



Metriche quantitative per i risultati Validazione Statistica

In Conclusione…

Metodologie e sperimentazione di confronto tra tool di data integration

Software

Transcript of Metodologie e sperimentazione di confronto tra tool di data integration