PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ......

13

Transcript of PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ......

Page 1: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social
Page 2: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

Il Laboratorio di ricerca Linkalab, fondato nel gennaio del 2008 dall'iniziativa di varie componenti dell'Università di Cagliari e di Sassari, basa le proprie attività nell'ambito della Teoria dei Sistemi e delle Reti Complesse che, negli ultimi 10 anni, hanno completamente rivoluzionato il modo di vedere e analizzare i più disparati fenomeni scientifici, sociali e tecnologici, fornendo le basi per delle nuove metodologie applicative, utili in diversi ambiti di ricerca e di business, e diventando un punto di riferimento per la nuova ondata dei Big Data.

Linkalab si pone al centro di questa rivoluzione, avendo sviluppato al proprio interno gli strumenti teorici e computazionali, con standard qualitativi di livello internazionale, e aspirando a essere il punto di riferimento per i più diversi ambiti disciplinari. In questo senso Linkalab si configura come un vero e proprio service di ricerca e sviluppo al quale possono accedere sia realtà istituzionali che aziendali, con l'idea di affidare le proprie problematiche di Complex Systems Analysis a un laboratorio che è in grado di avere sia gli strumenti teorici di avanguardia che l'expertise informatico/scientifico utile per portare a termine il progetto proposto.

Come ricaduta delle proprie attività Linkalab ha sviluppato dei servizi basati su tecnologie Web e Big Data che sono anche di supporto alle attività di ricerca del laboratorio. In particolare è stata sviluppata una completa piattaforma di data lake che supporta l’approvvigionamento e storage dei dati in real time dai principali Social Network, e una piattaforma editoriale di Data Journalism.

CH

I SIA

MO

Page 3: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

PE

OP

LE

Alessandro ChessaCEO, Chief Executive Officer

[email protected]

Luca SecchiCTO, Chief Technology Officer

[email protected]

Michelangelo PuligaCDS, Chief Data [email protected]

Dunia Basciu

Data Engineer & Machine [email protected]

Vincenzo De Leo

Data Scientist & IT [email protected]

Mauro Mascia

Full-Stack Web [email protected]

Maria Grazia Milazzo

[email protected]

Page 4: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

Rel

ator

iLuca SecchiCTO - Chief Technology [email protected] di studio: Laurea in Ingegneria Elettronica presso Università di Cagliari.

Competenze: IT Architect, project manager e semantic engineer, progettazione delle architetture e di ingegnerizzazione delle piattaforme applicative e di analisi dati del laboratorio, realizzate su piattaforme cloud Amazon AWS e Digital Ocean, anche mediante l’utilizzo di servizi serverless, di tecnologie linux container (Docker e LXC) e Big Data ready (Elasticsearch, Hadoop, Spark).

Vincenzo De LeostaffData Scientist & IT [email protected]

Titolo di studio: PhD in Fisica delle Particelle Elementari e Master in Tecnologie Bioinformatiche Applicate alla Medicina Personalizzata presso l’Università di Cagliari.

Competenze: Big Data, Cloud Computing, Hadoop, Spark, Hive, Presto. Complex Networks analysis, Community Detection algorithms development, Map/Reduce , CUDA and GPU computing, Functional programming with python, OOP, Template programming, Wrapping of C/C++ classes for python, SQL (Postgresql) and NoSQL (mongoDB) DB management and development, GIS-Based Visualization of georeferenced data (Qgis), Differenzial Gene Co-Expression Networks Analysis.

Page 5: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

SE

RV

ICE

S Data Lake Infrastructure and Data EngineeringLinkalab può mettere a disposizione della tua attività una completa infrastruttura di data lake, basata su un approccio agile e scalabile al trattamento dei dati interni ed esterni all’azienda. Il data lake è vasta gamma di strumenti di visualizzazione, per rendere vivi i tuoi dati mostrandoli in modo interattivo e godibile all'utente finale. A nostro parere i dati "valgono più di mille parole" se possono essere esplorati e visualizzati in modo da divenire comprensibili per tutti. Per riuscire ad esplorare i dati, ti aiuteremo a costruire infrastrutture virtuali in grado di contenere i tuoi dati e software in grado di processare ed estrarre i dati per le esigenze della tua organizzazione.

Big Data AnalyticsLinkalab ti aiuterà a gestire, analizzare ed interpretare i tuoi dati, sia che provengano dai social network, da dispositivi intelligenti, esperimenti scientifici o altre sorgenti. Grazie alla nostra piattaforma di analisi Big Data possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social network e dai dispositivi intelligenti, verrà creato un sistema di reportistica interna all’organizzazione anche con il supporto di piattaforme create ad hoc e widget ideati sulla base dei risultati attesi.

Machine Learning and Complex NetworksGli esperti Linkalab ti supporteranno per estendere la portata dei tuoi progetti commerciali e scientifici, utilizzando i tuoi stessi dati in modi nuovi. Possiamo aiutarti a utilizzare le tecnologie semantiche basate su RDF per modellare i tuoi dati e far leva sui Linked Open Data e sulle sue vaste risorse informative. Il nostro team può guidarti nel disegno e sviluppo di Application Programming Interface (API) perfette per pubblicare i tuoi dati su dispositivi mobile e su browser, rimanendo sempre standard, veloce e scalabile. Gli esperti Linkalab ti aiuteranno a costruire modelli di predizione delle attività sulla base della estrazione di set di dati e creazione di algoritmi. Utilizzando una collezione di "predictors", e dati reperiti sulla tua attività, Linkalab costruirà un algoritmo che sarà in grado di anticipare i risultati della tua azienda focalizzandosi sulla performance e robustezza del processo.

Page 6: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

PR

OJE

CTS

2009-2010Hamatole

2011LinkedPA

2011-2012TETRis

2013MySmartCity

2013Insider

2014DataJournalism

per RaiNews

2012-2013FocProject

2013TychoBigData

2014Inmoto

2015BigPress per

La Stampa

2016-2017Sofia - Data lake

per SIAE

2017DataLab per

ENI

Tim

elin

e

Page 7: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

RE

SE

AR

CH

Lo studio delle Reti Complesse rappresenta uno degli sviluppi più recenti della Scienza della Complessità, tema che negli ultimi anni sta assumendo un'importanza trasversale per numerose discipline. Il concetto di rete, infatti, interessa i fenomeni economici e sociali come quelli scientifici e tecnologici: le strutture di rete forniscono una base sulla quale possono svilupparsi i più diversi comportamenti dinamici. Le proprietà complesse mostrate da molte strutture di rete possono notevolmente influenzare la dinamica di certi processi: dalla diffusione delle epidemie alla crescita di Internet e ai processi di comunicazione. Di recente, la Teoria delle reti ha fatto un salto in avanti aprendo nuove direzioni di ricerca scientifica e di sviluppo di business: ad esempio nel campo dei Social network o delle Reti wireless ad hoc.

Linkalab si occupa principalmente degli aspetti applicativi della Teoria delle Reti Complesse, con un particolare accento agli aspetti computazionali, all’ottimizzazione dei sistemi di calcolo e alla creazione di librerie standard. Attualmente lo staff di Linkalab è impegnato su più linee di ricerca, e la loro varietà dimostra la capacità del Centro di essere di supporto ai più diversi ambiti disciplinari.

LINEE DI RICERCA:

Life Science and ComplexityComplex Networks ToolsGeographical Complex networksVirtual complex networks

Page 8: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Big Data & SQL

Questionario pre-requisiti online: https://tinyurl.com/sql-bigdata

Page 9: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

Teor

iaIntroduzione Big DataFramework Hadoop

● map reduce● hdfs

Hive● sql per Big Data

Spark● oltre il map reduce + SQL

PrestoDB● Query Engine for Big Data

Big data su cloud AWS● Introduzione ad AWS

○ Infrastructure As a Service○ Serverless Service

● Big Data con S3 + EMR● Serverless Big Data SQL con Athena

Page 10: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

Wor

ksho

pPrimo Workshop:

● Setup ambiente di sviluppo locale● Introduzione a spark (focalizzata su SparkSQL e Dataframes)

Secondo Workshop

● analisi dati mediante spark

Page 11: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

Big

Dat

a ?

Volume

● Si stima che ogni giorno nel mondo vengano creati 2,5 quintilioni di byte (pari a 2,3 trilioni di gigabyte) che sono sufficienti per riempire 10 milioni di dischi Blu-Ray.

● Il 90 per cento dei dati disponibili ad oggi è stato prodotto nel corso degli ultimi due anni.● Facebook conta 1,71 miliardi di utenti attivi. Ogni giorno nella piattaforma vengono

visualizzati 8 miliardi di video.● Twitter ha 320 milioni di utenti attivi. Si contano in media 500 milioni di tweet al giorno.

Velocity

● Si stima che nel 2018 il traffico internet globale raggiunga i 50 mila GB al secondo.● Ogni 60 secondi, si spediscono 204 milioni di email e si caricano 72 ore di video su YouTube e

216 mila post su Instagram.

Variety

● Dati strutturati● Dati semi-strutturati● Dati non strutturati

Page 12: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

Pro

fess

ioni

e

pros

petti

veData scientist: è un professionista con un background accademico molto forte (master o dottorato di ricerca) in discipline quali Statistica, Matematica, Fisica o Economia e profonde conoscenze di Data Mining e Machine Learning. Un bravo data scientist è in grado di identificare e risolvere problemi altamente complessi legati al business, utilizzando tool di analisi avanzati tra cui programmi di statistica come Python, R o Spark.

Data architect/engineer: possiede le competenze per raccogliere, archiviare e lavorare i dati di un’azienda per facilitarne l’analisi da parte dei data scientist. Si tratta di ingegneri che progettano, costruiscono e integrano i flussi dati da varie fonti e gestiscono le architetture big data. La figura del big data engineer è chiamata a realizzare e amministrare strutture in grado di gestire quantità di dati ampie e complesse attraverso database NoSQL come MongoDB, framework quali Hadoop insieme a strumenti avanzati come Hive e Spark.

Page 13: PEOPLE · l’approvvigionamento e storage dei dati in real time dai principali Social Network, ... possiamo stare al passo con i tuoi bisogni. Analizzati i dati derivanti dai social

Linkalab s.r.l. www.linkalab.it - [email protected]

CO

NTA

CTS

Sede Legale:

Piazza Repubblica, 4

09129 Cagliari - ITALY

Sede Operativa Cagliari:

Viale Elmas,142

09122 Cagliari - ITALY

Sede Operativa Milano:

Via Arcivescovo Calabiana, 6

20139 Milano - ITALY

Linkalab srl

P. IVA: 03148020922

[email protected]

ph: +39 070 7966021

fax: +39 070 7962000