Splunking big data
Transcript of Splunking big data
Copyright © 2013 Splunk, Inc.
Splunking Big Data
Michele Guglielmo – Territory Manager Italy
Rendere i Dati Macchina accessibili, utilizzabili e valorizzabili da chiunque
2
Missione
3
Data Diversity
Data Volume
Traditional Tools
Desired Time to Answer
“ “
Tra il 2009 and 2020 i dati digitali cresceranno ad un CAGR del 45%
I dati non strutturati pesano più del 90% nell’universo digitale
“ “
IDC 2010 Storage Market View
IDC 2011 Digital Universe Study: Extracting Value from Chaos
I Digital Data cresceranno in maniera esponenziale
La situazione
Definizione di Big Data
4
“Big Data is Data that exceeds the processing capacity of conventional
Database Systems”
O’Reilly Radar, “What Is Big Data?”, January 2012
Definizione di Big Data
5
VolumeVelocitàVarietà
Variabilità
6
“ “
Tra il 2009 and 2020 i dati digitali cresceranno ad un CAGR del 45%
I dati non strutturati pesano più del 90% nell’universo digitale
“ “
IDC 2010 Storage Market View
IDC 2011 Digital Universe Study: Extracting Value from Chaos
I Digital Data cresceranno in maniera esponenziale = Big Data
Volumi e tipi di fonti dei dati stanno esplodendo
80-95% dei dati di un organizzazione non sono strutturati
Se conservati, lo sono secondo l’approccio silos
Non esiste uno standard per i log
Log di applicazioni custom sono variabili e non prevedibili
Nuove tecnologie aggiungono nuovi dati (SmartPhones, sensori, Scada, Gps, virtualizzazione, cloud)
I trend di Mercato rendono questi dati interessanti per il business
Ognuno contiene una categorizzazione di attività e comportamento
La situazione
I Big Data arrivano dalle MacchineVolume | Velocità | Varietà | Variabilità
GPS,RFID,
Hypervisor,Web Servers,
Email, MessagingClickstreams, Mobile,
Telephony, IVR, Databases,Sensors, Telematics, Storage,
Servers, Security Devices, Desktops
Quello dei dati generati dalle Macchine (Machine Data) è uno dei segmenti del BigData a crescita più veloce, tra i più
complessi e a maggior valore.
7
Come si presentano i Machine Data?
8
Fonti
Supporto IVR
Errori del Middleware
Processamento ordini
I Machine Data contengono informazioni critiche
9
Order IDOrder ID
Tweet del cliente Tweet del cliente
Tempo di attesaTempo di attesa
Product IDProduct ID
Twitter ID AziendaTwitter ID Azienda
Fonti
Supporto IVR
Errori del Middleware
Processamento Ordini
Order IDOrder ID
Customer ID
Twitter ID
Customer ID
Customer ID
LOB Owners/Executives
SystemAdministrator
OperationsTeams
SecurityAnalysts
IT ExecutivesApplication
DevelopersAuditors
Website/BusinessAnalysts
10
CustomerSupport
IT Operations Management Web Intelligence
Business AnalyticsApplication Management
Security and Compliance
Ampio Utilizzo per l’IT ed il Business
Il mondo oltre l’Information Technology
11
Personal Activity Tracking
Flood monitoring warning
Health and Safety
Cars as telemetry sensors
Supporting the next gen airliner
Commercial Transport
Home Energy Management
Building Power Consumption
Power and Energy
Water Alert! by TCS
12
Real Time Flights information
13
Flight Info + Social Media
14
SCADA For Energy Management
15
SCADA For Energy Management
16
SCADA For Energy Management
17
Splunk>4Good: Social + Big Data
18
Demonstrating the positive Social Impact of Data
• Create social value data projects• Enable nonprofits to create
projects through the Splunk Nonprofit Licensing Program
• Advocate more access to data that can be used for public good
• Create social value data projects• Enable nonprofits to create
projects through the Splunk Nonprofit Licensing Program
• Advocate more access to data that can be used for public good
Splunk4Good presented at the White House as part of the FEMA think Tank on Innovations in Emergency Management.
Splunk helps us bridge the gap between building intelligence and operational intelligence to power the intelligent enterprise.
Reducing Your Power Bills with Splunk
19
Gaining insight into building/ facility energy use and expense
Correlates data generated by building control systems, enterprise applications, asset management systems and other associated facility management applications
Monitoring temperature, humidity, power quality for environmental monitoring, modeling and real-time alerting
Optimizing facility and asset spend across campuses or globally distributed chains
“ “
Brian GilmoreProgram Manager,
Enterprise Intelligence and Automation Control Solutions
Source: Gartner, IT Metrics: IT Spending and Staffing Report, 2010
20
Chi è Splunk?
The World's Top 10 Most Innovative Companies in Big Data1 Splunk For deploying its data crunchers to improve operations for its 5,000 clients, from Zynga to Rutgers University to Comcast to the FBI. http://www.fastcompany.com/most-innovative-companies/2013/industry/big-data
The World's Top Most Innovative Companies 4 Splunk For bringing Big Data to the Masseshttp://www.fastcompany.com/most-innovative-companies/2013/splunk
BEST SECURITY INFORMATION/EVENT MANAGEMENT (SIEM) APPLIANCE GOLD WINNERhttp://awards.scmagazine.com/best-security-informationevent-management-siem-appliance-0
Ventana Research names Splunk Best IT Performance Technology
Gartner Names Splunk an APM (Application Performance Management) innovator
21
Chi è Splunk
• Sede: San Francisco, CA
• Sedi Regionali in oltre 40 Paesi
• Fondata nel 2004, rilascio del primo software nel 2006
• Circa 700 dipendenti
• Quotata Nasdaq “SPLK” circa $3BN market value
• Fatturato: $198,9M FY2013
• Crescita 64% anno su anno
• 5000+ Clienti
• Clienti in 78 Paesi // oltre 400 nuovi clienti in Q4 FY013
• Più della metà tra i Fortune 100
Education
Healthcare
Technology
Energy and Utilities
Manufacturing
Telecommunications
Cloud and Online Services
Government
Retail
Financial Services and Insurance
Media
Travel and Leisure
Oltre 5.000 Clienti in più di 85 Paesi
22
… più di 90 in ItaliaBanche e Assicurazioni: Aletti Gestielle, Banca d’Italia, Banca Mediolanum, Banca Popolare Sondrio, Banca Svizzera Italiana, Deutsche Bank, Finpiemonte, Generali Business Solutions, Intesa Sanpaolo, Istituto Centrale Banche Popolari Italiane (CartaSi), Monte dei Paschi di Siena, Reale Mutua Assicurazioni, SGSS, SinSys, UBISS, Unicredit (UBIS).
PAC/PAL: AO Crema, ARPA Piemonte, ASL Imola, CIC Ivrea, Comune Cento, CSI Piemonte, Fondazione Poliambulanza, Gruppo Torinese Trasporti, ISTAT, Lombardia Informatica, Ministero Ambiente, Ministero Beni Culturali, Ospedale Maggiore Bologna, Postecom, Publiacqua, Roma Metropolitane, SAT, ULSS5 Vicenza, UNIRE, Università Bologna, Poste Italiane
Industria: AVIO Group, Eltek Group, Giesse Group, Lamberti, Northrop Grumman, Panini, Pilkington (NSG Group), Pirelli & C, Radici Group, SAIPEM, Sanofi-Aventis, Siderurgica Gabrielli, Tecnimont.
Software e Servizi: Almaviva, AscoTLC, Athesia, A-Tono, B-Source, Cadit, Compass, Coopservice, Corofar, Costa Crociere, CSE, Engineering, Equens, Eisys, Fastweb, IFINET, Inarcassa, IRST, LIUC, MC-link, Meta System, Microgame, Octo Telematics, SEAT-PG, Selex-Elsag, SGM Distribuzione, SimphonyIRI, Siweb, Società Dolce, SKY.
23
Investiamo per il Futuro
24
Enterprise
DeveloperContent
Cloud
Grazie
Michele GuglielmoTerritory Manager Italy