Filtraggio collaborativo personalizzato nelle folksonomie · Filtraggio collaborativo nelle...

Filtraggiocollaborativo

nellefolksonomie

Matteo Bertini

IntroduzioneInformazione nel web

Folksonomie

StrutturaformaleForma matriciale

Misure di similarità


Esperimento

Qualità dellaprevisione

RisultatiRisultati del filtraggiocollaborativo

Risultati delle misuretrasversali

Confronto miglioriPrevisioni

Conclusioni

Extra

Filtraggio collaborativo personalizzato nellefolksonomie

Tesi di Laurea in Ingegneria Informatica

Matteo Bertini

Corso di Laurea in Ingegneria InformaticaUniversità degli studi di Firenze

Settembre 2006


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Struttura

1 IntroduzioneInformazione nel webFolksonomie

2 Struttura formaleForma matriciale di una folksonomiaMisure di similaritàFiltraggio collaborativoEsperimentoQualità della previsione

3 RisultatiRisultati del filtraggio collaborativoRisultati delle misure trasversaliConfronto migliori Previsioni


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Il web è in continua evoluzione

Ogni giorno il web si rinnova.• Nell’agosto di quest’anno i blog attivi in internet erano

50 milioni.• Questo numero è cresciuto dal 2000 raddoppiando

ogni 6 mesi.• Ogni secondo vengono pubblicati circa 18 nuovi articoli.

Fonte: State of the Blogosphere, August 2006http://www.sifry.com/alerts/archives/000436.html


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Tassonomie e Folksonomie

In molti campi organizzare l’informazione è sinonimo di• Tassonomie

• Organizzazioni gerarchiche.• Devono essere definite prima di procedere con la

classificazione.

Oggi il web permette nuove soluzioni, ad esempio• Le Folksonomie

• Organizzazioni libere.• Prendono forma durante l’uso, permettendo

1 ad un utente2 di associare delle parole chiave o tag3 a delle risorse


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Esempio di folksonomia

Il sito di bookmarking collettivo del.icio.us è stato il primoesempio di folksonomia in internet.

• L’utente1 inserisce in archivio:• 12-Mag-2006 www.repubblica.it (news, italia,

giornale, politica)• 15-Mag-2006 www.nytimes.com (news, usa,

giornale)

• Ogni utente archivia le risorse secondo le propriepreferenze (linguistiche, culturali, caratteriali, ...)


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Altri esempi di folksonomie

Le folksonomie sono strutture molto flessibili e si stannodiffondendo rapidamente in internet.

• Ci sono molti siti per la gestione dei bookmark online.• del.icio.us (Yahoo!)• simpy.com• rawsugar.com• myweb2.yahoo.com (Yahoo!)• ma.gnolia.com• . . .

• Ma esistono anche siti specializzati per altri contenuti.• flickr.com per le immagini (Yahoo!).• youtube.com per i video.• technorati.com per i blog (molti usano i tag)• . . .


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Forma matriciale di unafolksonomia

Una folksonomia può essere interpretata come unarelazione tra tre entità: utenti, risorse e tag.

• È possibile rappresentare larelazione come un cubo di valoribooleani:

• Il punto in corrispondenza della tripla(user, href, tag) è 1 se la tripla esistee 0 atrimenti.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Proiezioni

Definito il cubo è possibile definire tre proiezioni:1 La proiezione che conteggia il numero di href.

news politica musica politicsutente1 4 3 6 0utente2 6 0 0 7

2 La proiezione che conteggia il numero di tag.3 La proiezione che conteggia il numero di utenti.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Misure di similarità primarie

Definita una proiezione è possibile ad esempio:• interpretare due utenti come vettori nello spazio dei

tag:• utente1 = (news: 4, politica: 5, musica: 6)• utente2 = (news: 5, politica: 7, economia: 3)

• e definire delle misure di similarità come ad esempio ilprodotto scalare:K (utente1, utente2) = dot(utente1, utente2) = 55

• oppure il prodotto scalare normalizzato:K (utente1, utente2) =

dot(utente1,utente2)√dot(utente1,utente1)·dot(utente2,utente2)

= 55√77·83

= 0,69


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Misure di similarità trasversali

Oltre al confronto tra elementi dello stesso tipo:• È anche possibile confrontare elementi diversi nello

stesso spazio, ed esempio:• utente1 = (news: 4, politica: 5, musica: 6)• www.repubblica.it = (news: 12, politica: 8,

giornale: 3)• possono essere confrontati con la stessa misura di

similarità:• K (utente1,www.repubblica.it) = 88• K (utente1,www.repubblica.it) = 0,68

Questa misura può essere direttamente usata per suggerirehref adatti ad un utente.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Filtraggio collaborativo

• Il filtraggio collaborativo è un sistema progettato perpredire le preferenze di un utente usando in modocollettivo le informazioni acquisite da tutti gli utenti delsistema.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Selezione dei dati perl’esperimento

• I dati sono stati raccolti in modo automatico per circaun mese fino al raggiungimento di circa:

utenti tag hrefs2500 200.000 1.000.000

• L’esperimento consiste nel suggerire in modopersonalizzato siti web agli utenti di un sito dibookmarking collettivo.

• Per simulare un esperimento dal vivo, i dati in archiviosono stati divisi in due parti usando una data limite.

• il passato: l’insieme di addestramento.• il futuro: l’insieme di test.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Efficacia della previsione nellefolksonomie

• Precisione e Recupero non colgono due importantiaspetti della qualità della previsione.

• Similarità: l’utente può essere comunque interessato adun suggerimento, anche se questo non vieneconfermato dall’archivio di verifica.

• RevCall: L’utente è potenzialmente più interessato aricevere suggerimenti particolari.

• F1 è la classica media armonica delle due misure.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Definizione di RevCall

Sia PopRank l’insieme di tutti gli elementi in ordine dipopolarità decrescente.

• Sia MaxPopSum la somma degli indici in PopRankdegli elementi prevedibili.

• Sia TruePopSum la somma degli indici in PopRankdegli elementi suggeriti correttamente.

Si definisce RevCall il rapporto:

RevCall =log(TruePopSum)

log(MaxPopSum)

La RevCall estende il Recupero inserendo un criterio dipreferenza tra gli elementi suggeribili.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Precisione e Recupero

• Le previsioni basate sul filtraggio collaborativo hannoqualità superiore.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Similarità e RevCall

• La valutazione dell’efficacia è coerente con la misuradella qualità.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra


• Le misure trasversali hanno qualità molto diverse.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra


• La valutazione dell’efficacia rivaluta la misuranormalizzata.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra


• La previsione normalizzata ha la qualità più bassa.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra


• L’efficacia premia tutte le misure personalizzate.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Conclusioni

• Le folksonomie sono strutture molto diffuse in interneted attualmente la diffusione è in rapida crescita.

• È possibile definire delle misure di similarità chepossono essere usate per migliorare la qualità disuggerimento rispetto alla previsione impersonalebasata sulla popolarità.

• In modo particolare se cerchiamo di cogliere aspetticome l’efficacia del suggerimento, le folksonomie sonoun’ottima base di dati per creare suggerimentipersonalizzati.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Possibili Sviluppi

• L’efficacia del suggerimento è stata valutata in modoempirico. Sarebbero necessari esperimenti dal vivo perconfermarne la qualità.

• Le folksonomie creano relazioni tra utenti, parole erisorse. Lo studio presentato per le risorse potrebbeessere applicato ai termini in campo linguistico o ancheagli utenti in campo sociologico.

• L’aspetto temporale che è stato trascurato in questostudio potrebbe trovare interessanti applicazioni nellostudio delle tendenze nel web.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Fine


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Raccolta dei dati perl’esperimento

• I dati sono stati raccolti in modo autonomo. L’interoprocesso è completamente replicabile.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Similarità tra tag

La similarità K (tag, ·) tra tag evidenzia spetti moltoparticolari.

• Cercando una parola molto popolare come blogabbiamo:

• blog, blogs, Blogs, blogging, weblog, weblogs, daily,links, Blog, blogtool

• Invece cercando i tag simili ad una parola molto menopopolare come environmentalism abbiamo:

• future, green, blog, blogs, politics, environment,technology, change, community, world, news, culture,environmentalism


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Espansione semantica

Tag simili a programming:• programming, development, dev, code, cs, coding,

Programming, reference, webdev, javascriptTag simili a programming nel contesto indotto da due utentidiversi:

• programming, web, javascript, design, css, ajax, php,xml, reference, software

• programming, news, linux, php, tech, mysql,development, apache, web, javascript


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra

Caratteristiche dei dati

I dati sono caratterizzati da due distribuzioni principali.

• Tutti i dati effetto dell’operato diun singolo utente hanno unadistribuzione lognormale.

• Tutti i dati effetto dell’operatocumulato di più utenti hannouna distribuzione zipfiana.


nellefolksonomie

Matteo Bertini


Folksonomie




Esperimento





Conclusioni

Extra


• Qualità delle previsioni basate sulla similaritàtrasversale tra utenti ed href.

Filtraggio collaborativo personalizzato nelle folksonomie · Filtraggio collaborativo nelle...

Documents

Transcript of Filtraggio collaborativo personalizzato nelle folksonomie · Filtraggio collaborativo nelle...