Splunking big data

Post on 08-Jun-2015

616 views 2 download

Transcript of Splunking big data

Copyright © 2013 Splunk, Inc.

Splunking Big Data

Michele Guglielmo – Territory Manager Italy

Rendere i Dati Macchina accessibili, utilizzabili e valorizzabili da chiunque

2

Missione

3

Data Diversity

Data Volume

Traditional Tools

Desired Time to Answer

“ “

Tra il 2009 and 2020 i dati digitali cresceranno ad un CAGR del 45%

I dati non strutturati pesano più del 90% nell’universo digitale

“ “

IDC 2010 Storage Market View

IDC 2011 Digital Universe Study: Extracting Value from Chaos

I Digital Data cresceranno in maniera esponenziale

La situazione

Definizione di Big Data

4

“Big Data is Data that exceeds the processing capacity of conventional

Database Systems”

O’Reilly Radar, “What Is Big Data?”, January 2012

Definizione di Big Data

5

VolumeVelocitàVarietà

Variabilità

6

“ “

Tra il 2009 and 2020 i dati digitali cresceranno ad un CAGR del 45%

I dati non strutturati pesano più del 90% nell’universo digitale

“ “

IDC 2010 Storage Market View

IDC 2011 Digital Universe Study: Extracting Value from Chaos

I Digital Data cresceranno in maniera esponenziale = Big Data

Volumi e tipi di fonti dei dati stanno esplodendo

80-95% dei dati di un organizzazione non sono strutturati

Se conservati, lo sono secondo l’approccio silos

Non esiste uno standard per i log

Log di applicazioni custom sono variabili e non prevedibili

Nuove tecnologie aggiungono nuovi dati (SmartPhones, sensori, Scada, Gps, virtualizzazione, cloud)

I trend di Mercato rendono questi dati interessanti per il business

Ognuno contiene una categorizzazione di attività e comportamento

La situazione

I Big Data arrivano dalle MacchineVolume | Velocità | Varietà | Variabilità

GPS,RFID,

Hypervisor,Web Servers,

Email, MessagingClickstreams, Mobile,

Telephony, IVR, Databases,Sensors, Telematics, Storage,

Servers, Security Devices, Desktops

Quello dei dati generati dalle Macchine (Machine Data) è uno dei segmenti del BigData a crescita più veloce, tra i più

complessi e a maggior valore.

7

Come si presentano i Machine Data?

8

Fonti

Twitter

Supporto IVR

Errori del Middleware

Processamento ordini

I Machine Data contengono informazioni critiche

9

Order IDOrder ID

Tweet del cliente Tweet del cliente

Tempo di attesaTempo di attesa

Product IDProduct ID

Twitter ID AziendaTwitter ID Azienda

Fonti

Twitter

Supporto IVR

Errori del Middleware

Processamento Ordini

Order IDOrder ID

Customer ID

Twitter ID

Customer ID

Customer ID

LOB Owners/Executives

SystemAdministrator

OperationsTeams

SecurityAnalysts

IT ExecutivesApplication

DevelopersAuditors

Website/BusinessAnalysts

10

CustomerSupport

IT Operations Management Web Intelligence

Business AnalyticsApplication Management

Security and Compliance

Ampio Utilizzo per l’IT ed il Business

Il mondo oltre l’Information Technology

11

Personal Activity Tracking

Flood monitoring warning

Health and Safety

Cars as telemetry sensors

Supporting the next gen airliner

Commercial Transport

Home Energy Management

Building Power Consumption

Power and Energy

Water Alert! by TCS

12

Real Time Flights information

13

Flight Info + Social Media

14

SCADA For Energy Management

15

SCADA For Energy Management

16

SCADA For Energy Management

17

Splunk>4Good: Social + Big Data

18

Demonstrating the positive Social Impact of Data

• Create social value data projects• Enable nonprofits to create

projects through the Splunk Nonprofit Licensing Program

• Advocate more access to data that can be used for public good

• Create social value data projects• Enable nonprofits to create

projects through the Splunk Nonprofit Licensing Program

• Advocate more access to data that can be used for public good

Splunk4Good presented at the White House as part of the FEMA think Tank on Innovations in Emergency Management.

Splunk helps us bridge the gap between building intelligence and operational intelligence to power the intelligent enterprise.

Reducing Your Power Bills with Splunk

19

Gaining insight into building/ facility energy use and expense

Correlates data generated by building control systems, enterprise applications, asset management systems and other associated facility management applications

Monitoring temperature, humidity, power quality for environmental monitoring, modeling and real-time alerting

Optimizing facility and asset spend across campuses or globally distributed chains

“ “

Brian GilmoreProgram Manager,

Enterprise Intelligence and Automation Control Solutions

Source: Gartner, IT Metrics: IT Spending and Staffing Report, 2010

20

Chi è Splunk?

The World's Top 10 Most Innovative Companies in Big Data1 Splunk For deploying its data crunchers to improve operations for its 5,000 clients, from Zynga to Rutgers University to Comcast to the FBI. http://www.fastcompany.com/most-innovative-companies/2013/industry/big-data

The World's Top Most Innovative Companies 4 Splunk For bringing Big Data to the Masseshttp://www.fastcompany.com/most-innovative-companies/2013/splunk

BEST SECURITY INFORMATION/EVENT MANAGEMENT (SIEM) APPLIANCE GOLD WINNERhttp://awards.scmagazine.com/best-security-informationevent-management-siem-appliance-0

Ventana Research names Splunk Best IT Performance Technology

Gartner Names Splunk an APM (Application Performance Management) innovator

21

Chi è Splunk

• Sede: San Francisco, CA

• Sedi Regionali in oltre 40 Paesi

• Fondata nel 2004, rilascio del primo software nel 2006

• Circa 700 dipendenti

• Quotata Nasdaq “SPLK” circa $3BN market value

• Fatturato: $198,9M FY2013

• Crescita 64% anno su anno

• 5000+ Clienti

• Clienti in 78 Paesi // oltre 400 nuovi clienti in Q4 FY013

• Più della metà tra i Fortune 100

Education

Healthcare

Technology

Energy and Utilities

Manufacturing

Telecommunications

Cloud and Online Services

Government

Retail

Financial Services and Insurance

Media

Travel and Leisure

Oltre 5.000 Clienti in più di 85 Paesi

22

… più di 90 in ItaliaBanche e Assicurazioni: Aletti Gestielle, Banca d’Italia, Banca Mediolanum, Banca Popolare Sondrio, Banca Svizzera Italiana, Deutsche Bank, Finpiemonte, Generali Business Solutions, Intesa Sanpaolo, Istituto Centrale Banche Popolari Italiane (CartaSi), Monte dei Paschi di Siena, Reale Mutua Assicurazioni, SGSS, SinSys, UBISS, Unicredit (UBIS).

PAC/PAL: AO Crema, ARPA Piemonte, ASL Imola, CIC Ivrea, Comune Cento, CSI Piemonte, Fondazione Poliambulanza, Gruppo Torinese Trasporti, ISTAT, Lombardia Informatica, Ministero Ambiente, Ministero Beni Culturali, Ospedale Maggiore Bologna, Postecom, Publiacqua, Roma Metropolitane, SAT, ULSS5 Vicenza, UNIRE, Università Bologna, Poste Italiane

Industria: AVIO Group, Eltek Group, Giesse Group, Lamberti, Northrop Grumman, Panini, Pilkington (NSG Group), Pirelli & C, Radici Group, SAIPEM, Sanofi-Aventis, Siderurgica Gabrielli, Tecnimont.

Software e Servizi: Almaviva, AscoTLC, Athesia, A-Tono, B-Source, Cadit, Compass, Coopservice, Corofar, Costa Crociere, CSE, Engineering, Equens, Eisys, Fastweb, IFINET, Inarcassa, IRST, LIUC, MC-link, Meta System, Microgame, Octo Telematics, SEAT-PG, Selex-Elsag, SGM Distribuzione, SimphonyIRI, Siweb, Società Dolce, SKY.

23

Investiamo per il Futuro

24

Enterprise

DeveloperContent

Cloud

Grazie

Michele GuglielmoTerritory Manager Italy