Web mining & Social Media data for contextual environmental analisys

Alfonso Crisci

IBIMET-CNR

Backgrounds

“Un social network è una struttura sociale fatta di individui (o organizzazioni) chiamato "nodi", che sono legati (connessi) da uno o più tipi specifici di interdipendenza, come l'amicizia, parentela, interessi comuni specifici, scambi finanziari, antipatie, rapporti affettivi, o rapporti di credenze, conoscenze o di prestigio ”.

[http://en.wikipedia.org/wiki/Social_network].

Presentazione video Mediagrouphttp://www.youtube.com/v/XLgM1UAiRXU

Basi dell’ analisi delle relazioni in un Social Network

• “I Sei gradi di separazione" sono una teoria creata da un autore ungherese Frigyes Karinthy nel 20esimo secolo. E’ un'ipotesi secondo cui qualunque persona può essere collegata a qualunque altra persona attraverso una catena di conoscenze con non più di 5 intermediari (it.wikipedia.org/wiki/Sei_gradi_di_separazione).

• Negli 1960, negli Stati Uniti psicologo sociale Stanley Milgram ha fatto una serie di esperimenti seminali “Small-World experiments " cioè su piccole comunità per stimare la distanza media tra gli individui all'interno di una rete sociale che confermarono la teoria.

Basi dell’ analisi delle relazioni in un Social Network

• Duncan Watts [2] riprese per conto suo l'esperimento di Milgram su Internet su un campione di 48.000 differenti persone residenti in 157 stati diversi, nei confronti di 19 "bersagli", Watts trovò che il numero medio di intermediari era effettivamente sei. I social media seguono questa teoria e in Twittersphere ci sono conferme importanti:

[3] FCheng, Sysomos Inc.

Definizione di WEB Informative Spaces

• Sono i luoghi di circolazione dell’informazione ovvero le relazione di comunicazione interne delle WEB community ( istituzionali, di servizio, dedicati e informali) in cui circolano contenuti di significato legati dalla semantica connessa da un insieme di vocaboli o da determinati simboli visuali o audio.

• Il termine completo in lingua inglese è SSIS Social Semantic Information Spaces [3] (Breslin & Decker, 2006)

• I web social network sono sensibili alla dimensione geo e temporale dei partecipanti . In ambienti di prossimità esiste compressione ( chat in una stanza) cioè hanno una dimensione geo e time. Sono soggetti a stagionalità e a shift-breaking non stazionari ( diurnal cycle, work cycle, calendar effect, event effect).

Visualizzazione degli WEB Informative Spaces

• Essi tendono ad essere visualizzati come grafi dinamici. Il suffisso –”sphere” molto comune tenderebbe a indicarne una morfologia isotropa ma in realtà è perché le relazione si istanzia come struttura grazie all’attività dei nodi che alla chiralità dei flussi fra essi. La stabilità dello spazio informativo dato una WEB tecnologia, ( ￫ piattaforma) dipende dalla sua usabilità e dal suo ranking di preferenza fra gli utenti WEB.

• Dai SSIS abbiamo innazitutto dei cosidetti "social awareness streams" direttamente da piattorme come Twitter e Facebook (Fulda et al,2011)[4] su cui lavorare per fornire la densità spaziali di impatto emotivo rispetto a un campo semantico.

• Esistono diverse categorie di social network : di social-networking (Facebook) collaborative authoring (Wikipedia), social bargain-hunting (Groupon) e soprattutto i Location based social network facilitari di socializzazione fisica e potenziali collettori di informazione geo.

• La creazione di un social network è la crescita di un livello di una grandezza scalare di sistema chiamata FIDUCIA che tende a crescere nel tempo durante la fase di crescita del SSIS. Due stadi in evidenza : visitors ( relazione occasionale a volte randomica) e friend (relazione stabile).

• Non sono note le relazioni fra fiducia e gli stadi dei vari processi di formazione della rete e lo sviluppo di nodi leader.

Dinamiche di contaminazione e crescita del livello di TRUST

[5] Shekhar & Oliver

QUATTRO STONES dal paradigma strategico dell’Intelligent

business (Sysomos LTD [3])

AscoltoCercare Web Mining

Raccogliere News/Media info

Misurare GeolocalizzareRappresentare

Comprendere Verificare Inferire

CoinvolgerePrevedereAgire

Social Networt sono sociologia: due eventi recenti

Matrimonio reale inglese Tweets

Bin laden Tweets

Ascolto News/Media

[3] Blog, Sysomos Inc.

Ascolto Blog

Eta distribuzione

Strumenti e esperienze

Senza la pretesa di esser esaustivo vorrei indicare solo alcune esperienze di riferimento utili e/o significative su questo tema. Sono tutte esperienze con un nuova classe di dati

SOCIAL MEDIA DATA

Strumenti: Google Trends no profit

Solo API non ufficiali in Python http://pypi.python.org/pypi/pyGTrends/0.81

•E’ un servizio Google che dai volumi di traffico news e di matches su stringhe di ricerca.•Sono dati derivati da flussi internet assimilabili alla categoria di Web Analitics Data.•In evidenza: Google Insigth, Google trend for website e Google fusion per mashup di dati geo.

Strumenti: Google Social API free

Utile per studiare la social connettività di un sito. Social Graph API - Site Connectivity

Possiamo stare tranquilli il sitoIBIMET CNR è assolutamente non connesso.

Strumenti: R code for twitter retrieval free

http://www.michaelbommarito.com/blog/2011/02/21/tracking-the-frequency-of-twitter-hashtags-with-r/

Strumenti: R geomapping risk free

http://lisaschweitzer.com/2011/03/03/disease-risk-surfaces-using-sparr-in-r/

Strumenti: R network analisys free

La collaborazione sceintifica visualizzata nel mondo e in europa

http://www.viralheat.com/home

Strumenti: Viralheat social analitics commercial

http://www.sysomos.com/products/overview/sysomos-map/

Strumenti: Sysomos MAP commercial

Strumenti: Infochimps Twitter commercial

http://www.infochimps.com/datasets/twpeoplesearch

http://www.infochimps.com/tags/social-network

Strumenti: Mood realtime monitoring no profit

Il processo viene ripetuto automaticamente ogni dieci minuti su blog USA, in genere l'identificazione di 15.000 e 20.000 sentimenti al giorno.

Giorno 14-05-2011

Jonathan Harris :The Art and Science of Storytelling

Strumenti: Weather mood realtime no profit

http://www.wefeelfine.org/common/movements/mobs-weathers-full.jpg

Giorno 14-05-2011

Strumenti: Pachube share measure & info

http://www.pachube.com

Connette feed di device e permetteil monitoraggio di variabile o di informazione via Geo-RSS feed. Permette il traking geo.Fornisce API per un Internet of Things.

• [1] http://www.slideshare.net/Cloud/semantic-web-20-creating-social-semantic-information-spaces-378981• [2] Duncan Watts. (EN) An Experimental Study of Search in Global Social Networks. Science, 8-8-2003• [3] http://www.sysomos.com/insidetwitter/sixdegrees/• [ 4 ]Funda Kivran-Swaine and Mor Naaman. 2011. Network properties and social sharing of emotions in social awareness streams. In Proceedings of the ACM 2011

conference on Computer supported cooperative work (CSCW '11). ACM, New York, NY, USA, 379-382. DOI=10.1145/1958824.1958882 http://doi.acm.org/10.1145/1958824.1958882

• [5] Shekhar & Oliver: Computational Modeling of Spatio-temporal Social Networks: A Time-Aggregated Graph Approach 2010 Specialist Meeting—Spatio-Temporal Constraints on http://www.spatial.cs.umn.edu/Social Networks

• [6] Yan Qu, Chen Huang, Pengyi Zhang, and Jun Zhang. 2011. Microblogging after a major disaster in China: a case study of the 2010 Yushu earthquake. In Proceedings of the ACM 2011 conference on Computer supported cooperative work (CSCW '11). ACM, New York, NY, USA, 25-34. DOI=10.1145/1958824.1958830 http://doi.acm.org/10.1145/1958824.1958830

References

Resources• [1] http://www.spatial.cs.umn.edu/ Spatial Database and Spatial Data Mining Research Group• [2] http://www.drewconway.com• [3] Python social tools http://www.drewconway.com/zia/?p=204• [4] http://www.stat.cmu.edu/~cshalizi/