SAS BIG DATA ANALYTICS - FPA

Copyright © 2012, SAS Institute Inc. All rights reserved.

SAS BIG DATA ANALYTICS FORUM PA 28 MAGGIO 2013


FORUM PAFORUM PA

Cosa sono I big data ?

• Differenti ProspettiveDB Appliance

Data Management

Analytics


COSA SONO I BIG DATA ?

IMPATTO SI FARÀ SENTIRE IN TUTTA L'ORGANIZZAZIONE, OVUNQUE LE DECISIONI SONO PRESE SULLA BASE DEI DATI !

I dati di un’organizzazione che superano l’archiviazione tradizionale di un database o la capacità di elaborarli

Dati che impediscono la capacità di un'organizzazione di fare azioni di alta qualità prendendo decisioni in modo tempestivo


BIG DATABIG DATA

Definizione

Big Data è un fenomeno definito attraverso la rapida accelerazione nell’espansione del Volume, Velocità e della Varietà dei tipi di dati.In aggiunta, nei Big Data secondo SAS, i flussi di dati possono essere altamente inconsistenti con la presenza di picchi periodici (Variability) ed dove inoltre, è necessario collegare e correlare le relazioni, le gerarchie, tra i diversi dati con la possibilità e la necessità di eseguire collegamenti multipli tra di loro sfuggendo rapidamente al vostro controllo (Complexity). Questo fenomeno è sia una sfida per dare un senso ai dati disponibili, per raggiungere risultati, e la possibilità di sfruttarli per aumentare il Business delle organizzazioni.


BIG DATABIG DATA

Quali tipi di dati?


BIG DATABIG DATA

Quali tipi di dati?

• I dati aperti, comunemente chiamati con il termine inglese open data (OD), sono alcune tipologie di dati liberamente accessibili a tutti, privi di brevetti o altre forme di controllo che ne limitino la riproduzione e le cui restrizioni di copyright eventualmente si limitano ad obbligare di citare la fonte o al rilascio delle modifiche allo stesso modo.

• I Linked Open Data (LOD) si basano su formalismi per la rappresentazione standardizzata dei dati e dei meccanismi condivisi per l’accesso e l’interrogazione di tali dati attraverso l’utilizzo di metadati, strutturati in modo tale da richiamare il concetto di reti ontologiche.

• I LOD come gli Open Data hanno l’obiettivo di abbattere le barriere sociali, culturali, legali ed economiche che ostacolano la libera condivisione dei dati tra persone e agenti software.


OPEN DATA GLI OPEN DATA IN ITALIA

Fonte: http://www.dati.gov.itDati aggiornati al 26/03/2013

Chi rilascia più dataset

Ripartizione del numero di dataset rilasciati rispetto al livello amministrativo degli enti

1987

5634

611


OPEN DATA LOD

I LOD vengono, per definizione, espressi tramite il formato RDF (Resource Description Framework), un data model che definisce un “formalismo” per rappresentare i dati nel web semantico.

Grazie al concetto di “tripla” in cui è possibile descrivere una informazione nella forma “soggetto-predicato-oggetto”, si viene a creare un grafo, i cui nodi (o risorse) sono identificate in cui i collegamenti-link tra i nodi indicano le relazioni.

I significati delle risorse e dei link sono descritti in ontologie, che definiscono la conoscenza che abbiamo di un dominio particolare tramite classi, relazioni tra classi e individui appartenenti alle classi.


OPEN DATA LOD DATASETL’interconnessione tra dataset diversi, nate da iniziative di carattere governativo ma anche indipendente, porterà nel giro di pochissimo tempo alla creazione di una grande “nuvola” di

collegamenti tra sorgenti dati differenti.


BIG DATABIG DATA

PSICOSTORIA

• La psicostoria (o psicostoriografia) è una scienza inventata da Hari Seldon. Il concetto si basa su una presunta ciclicità della storia, che può essere predetta, appunto, attraverso equazioni matematiche se applicate ad un numero abbastanza elevato di persone: «Le leggi della storia sono assolute come quelle della fisica, e se in essa le probabilità di errore sono maggiori, è solo perché la storia ha a che fare con gli esseri umani che sono assai meno numerosi degli atomi, ed è per questa ragione che le variazioni individuali hanno un maggior valore.».


BIG DATABIG DATA

PSICOSTORIA

• Le predizioni psicostoriografiche, sia pure a livello probabilistico, sono in grado di prevedere l’evoluzione futura di una determinata società,a condizione che:

1. essa comprenda un numero particolarmente elevato di intelligenze umane;2. almeno il 99% di questa collettività non deve essere al corrente della psicostoria;3. non esistano all’interno di tale raggruppamento significative intelligenze non umane (non solo in senso quantitativo, ma anche qualitativo), come alieni, robot o individui mutanti.4. non avvenga, fra il momento in cui la previsione viene stipulata e il momento in cui dovrebbe avverarsi, una sostanziale e

imprevedibile modifica nella società umana (grandi progressi tecnologici non prevedibili o previsti, ma considerati poco probabili)


BIG DATABIG DATA

PSICOSTORIA


BIG DATA BIG DATA ANALYTICSANALYTICS

Definizione del Valore

Sbloccare il valore economico degli Open Data attraverso l'adozione di Big Data Analytics.

Il valore nei Big Data Analytics è nell’estrazione di trends, intuizioni, e conoscenze utilizzabili per analizzare enormi quantità di diversi tipi di dati (gran parte di essa non strutturati) spesso quasi "near-real time", per abilitare ad un migliore processo decisionale.

Business Value

Guidare al miglior margine di profitto

Nuove strategie e modelli di business

Efficienza Operazionale


BIG DATA SAS APPROACH


BIG DATA BIG DATA ANALYTICSANALYTICS PATH TO ADVANTAGE

DATA SIZE

RE

AC

TIV

EP

RO

AC

TIV

EA

NA

LYTI

C C

APA

BIL

ITY

BIG DATALARGE

REACTIVEAlertsOLAPAd Hoc ReportsStandard Reports

REACTIVEAlertsOLAPAd Hoc ReportsStandard Reports

PROACTIVEOptimizationPredictive ModelingForecastingStatistical Analysis

PROACTIVEOptimizationPredictive ModelingForecastingStatistical Analysis

ANALYTICSANALYTICS

Path to Advantage

Path to Advantage


BIG DATA ANALYTICS DATA WAREHOUSE ARCHITECTURE

Obiettivi DWH :Obiettivi DWH :••Visione integrata dei dati Visione integrata dei dati operativi (qualitoperativi (qualitàà e correttezza)e correttezza)••Dati organizzati per il reporting e Dati organizzati per il reporting e analisi (non operativo) di analisi (non operativo) di business finalizzate a prendere business finalizzate a prendere decisionidecisioni

Problemi DWH:Problemi DWH:••Tempi Tempi lunghi di attuazione per i lunghi di attuazione per i requisiti di businessrequisiti di business••Livelli di qualitLivelli di qualitàà dei dati bassadei dati bassa••Crescente numero di variabili e Crescente numero di variabili e informazioni da analizzareinformazioni da analizzare••Cattive prestazioni per l'analisi Cattive prestazioni per l'analisi dei datidei dati


BIG DATA ANALYTICS

BUILDING BLOCKS BIG DATA ARCHITECTURE

Obiettivi Big Data Architecture:Obiettivi Big Data Architecture:••Apportare miglioramenti nella Apportare miglioramenti nella tecnologia tecnologia e nel processo di analisi e nel processo di analisi diminuendo diminuendo il il Time Time to to ValueValue

••Avere un'infrastruttura Avere un'infrastruttura integrata per la integrata per la gestione e l'analisi di un numero gestione e l'analisi di un numero crescente crescente ed eterogeneo di ed eterogeneo di fonti di fonti di datidati..

Caratteristiche Big Caratteristiche Big Data Data Architecture:Architecture:••Memorizzare ed analizzare elevate Memorizzare ed analizzare elevate moli di dati utilizzando hardware di moli di dati utilizzando hardware di commodity commodity

••Sfruttare le caratteristiche di Sfruttare le caratteristiche di scalabilitscalabilitàà degli degli AAppliance RDBMS per ppliance RDBMS per la storicizzazione dei dati di valorela storicizzazione dei dati di valore

••Avere a disposizione sistemi di analisi Avere a disposizione sistemi di analisi flessibili, veloci e integrati flessibili, veloci e integrati nellnell’’architettura architettura

••Analizzare e processare i cosiddetti Analizzare e processare i cosiddetti Dati in Motion laddove vengono Dati in Motion laddove vengono generati.generati.


SAS APPROACH


BIG DATA ANALYTICS FLOW BUILDING BLOCKS OF A BIG DATA ANALYTICS PROCESS

BIG VALUEBIG DATA

Collection Integration Storage Exploitation


BIG DATA ANALYTICS APPROACH

COLLECT

Data acquisition from any sources (Strutturati, Semi‐strutturati e No‐Strutturati)Accesso ai dati in modo “Nativo”, trasferimento dei file Transfer e federazione di dati strutturati

Message & Queuing per acqusizione dati in modalità Sync/Asynch. Per dati semi‐strutturati

Acquisizione dati no‐strutturati mediante Web Crawling e Web clickstream

Data Governance ed esecuzione di task in pre‐processing

Processi di ETL & EL‐T secondo metodologie e tecniche tradizionali

Replication/SynchronizationReal-time AcquisitionEvent Stream ProcessingIntegrazione con Enterprise Service Bus, Web Service & Architetture SOATechnical Metadata definitionCreazione di metadati per tabelle, colonne, sorgenti dati, flussi dati e processi.

Control and Management Processi distribuiti e in esecuzione (Grid Computing)

Collection


BIG DATA ANALYTICS APPROACH INTEGRATE

Enterprise Metadata ManagementDefinizione di metadati di business e integrazione con i relativi metadati tecnici

Creazione di metadati per gli indicatori di business

Security Hub su metadati tecnici e di business

Data lineage per eseguire un impact analysis dei dati

Enterprise Data Quality Processo di qualità sull’intero ciclo dei dati.

Messaggi e avvisi di eventuali anomalie sui flussi di dati così come su ben definiti indicatori atomici di business

Enterprise Data PreparationGestione ed esecuzione di processi di trasformazione ETL, EL‐T su dati per definire «Viste Soggetto di

Analisi»

Processi di deployment per caricare le «Viste Soggetto di Analisi» su layer “Storage” e/o “In‐Memory”.

Enterprise Enrichment and Deployment ServicesApplicazione di regole di business "condivise" sui soggetti di analisi (ad esempio, modelli di classificazione)

Deployment di modelli analitici descrittivi, predittivi and prescrttivi

Apprendimento automatico di modelli aziendali sensibili e di modelli in real time

Control and Management execution processesMonitorare e controllare i processi distribuiti in esecuzione (Grid Computing)

Integration


BIG DATA ANALYTICS APPROACH STORE

DWH AppliancePiattaforma DWH e SQL RDBMS per i dati strutturati (Teradata, Netezza, Greenplum, Exadata)Dati no-strutturati memorizzati su file system Hadoop Distributed (HDFS)Dati eventualmente memorizzati in formato nativo (datasets SAS)Data modeling flessibile a seconda della fonte, dall’uso e dell'analisi che deve essere eseguitaIn Database Analytics accelerator per distribuire ad eseguire modelli di scoring su Appliance DWH

Data VirtualizationUnificazione di fonti eterogenee di dati per fornire un singolo strato di federato (Federated View)Supporto per eseguire join su tutti i dati federatiGestione centralizzata, configurazione e monitoraggio di tutte le Virtual Views.Sicurezza dei dati e controllo centralizzatoPrestazioni elevate con accesso ai dati con view Caching

In-Memory Analytics StorageAmbiente multi-utente In-Memory per accesso concorrente ai dati (big or small) in memoria per analizzare una o più viste soggetto di analisi, attraverso strumenti di Visual Data Discovery (SAS LASR Analytics Server™)In-Memory Analytics distributed storage per sviluppare e deployare modelli analitici mediante High Performance Business Solutions

Storage


BIG DATA ANALYTICS APPROACH EXPLOIT

Application Enrichment & InsightsVisual Data Exploration integrata con modelli analiticiReporting on-line e mobile

Operationalizing AnalyticsAnalytics incorporati per prendere decisioni in near real time e di individuare comportamentiProliferazione di Modelli che migliorano i processi come il tipo di campionamento, la selezione dei migliori variabili, la scelta dei modelli ...Modelli di previsione per intervalli temporali più brevi (ossia 15 minuti trascorsi)Exploit dei processi di business con più dati (es. social media, social network)Analisi più complesse, più frequenti e con una maggiore comprensione su come ottenere un «full-picture»Necessità di continua evoluzione dei processi decisionali data-driven

ACTIONS to change business outcomesHuman (e.g. reports e analisi sui quali le persone eseguono azioni)Machine (più comune con i Big Data)Business Process Management (real-time decisioning).

Exploitation


MULTI POINT DATA HUB BUILDING BLOCKS OF A BIG DATA ANALYTICS PROCESS


SAS BIG DATA FRAMEWORK


Business & Technical MetadataBusiness & Technical Metadata

Enterprise Data Enterprise Data EnrichmentEnrichment

Data ManagementData Management

Data AnalysisData Analysis

Analytics Analytics -- ForecastForecast

Analytics Analytics -- MiningMining

Visual AnalyticsVisual Analytics

BIG DATA ARCHITECTURE - E2E VIEWSAS BIG DATA FRAMEWORK












Business & Technical MetadataBusiness & Technical Metadata






BIG DATA ARCHITECTURE - E2E VIEWSAS BIG DATA FRAMEWORK











Enterprise Data Enterprise Data EnrichmentEnrichment


SAS BIG DATA FRAMEWORK BIG DATA CAPABILITIES

QUALITY SERVICESQUALITY SERVICES

Col

labo

ratio

n &

Gov

erna

nce

Col

labo

ratio

n &

Gov

erna

nce


SAS VISUAL ANALYTICS


SAS® VISUAL ANALYTICS IN UN’UNICA SOLUZIONE

EXPLORE

DISCOVER

REPORT

DELIVER

REPORT

WHAT?

DISCOVER

WHY?VISUAL

ANALYTICS


SAS® VISUAL ANALYTICS CARATTERISTICHE PRINCIPALI

Massime prestazioni su tutti i dati aziendali Esplorazione visuale del dato e visualizzazione di insight di Business

Accesso ai dati, grezzi o aggregati, utilizzabiliper l’analisi esplorativa ed il reporting

Ridotti i tempi di realizzazione delle analisi e dei report grazie alla nuova tecnologia dell’ In-Memory

Auto Charting & differenti tipologie di analitiche

Funzionalità di reporting e dashboarding disponibilivia web o su dispositivi mobile

Filtri visuali & highlighting

Drill-down / Drill-across e gerarchie dinamiche

Analitiche complesse disponibili tramite semplici funzionalitàdi Drag-n-Drop

Analytics alla portata di tutti Presentazione dei risultati

Analytics potenti fruibili in forma chiara e semplice Distribuzione ed analisi dei risultati via web e mobile

Funzionalità di reporting disponibili direttamente su dispositivi iPad & Android


SAS® VISUAL ANALYTICS UNICA SOLUZIONE PER DECISIONI VELOCI ED INTELLIGENTI

Central Entry Point Integration Role-based Views

MOBILE BIDATA BUILDER EXPLORER DESIGNER• Distribuzione dei

report interattivi su canali tradizionali come il Web o su dispositivi mobile come Android e iPad

• Incroci tra dati provenienti da diverse sorgenti

• Creazione di colonne calcolate

• Caricamento dei dati

• Esplorazione libera e visuale dei dati provenienti da diverse sorgenti

• Applicazione di analitiche complesse

• Creazione della rappresentazione piùintuitiva per distribuire gli insight scoperti nell’Explorer, come dashboard di sintesi

SASSAS®® LASRLASR™™ ANALYTIC SERVERANALYTIC SERVER

ADMINISTRATOR• Monitoraggio SAS®

LASR™™ Analytic server

• Carico/Scarico dati• Gestione della

sicurezza


BUSINESS USER ESPLORAZIONE DIRETTA VISUALE DEL DATO ED ANALYTICS PRONTI ALL’USO

BUSINESSUSER

DATA BUILDERDATA BUILDER

ADMINISTRATORADMINISTRATOR

EXPLOREREXPLORER

DESIGNERDESIGNER

HUBHUB REPORTSREPORTS

MOBILE MOBILE VIEWERVIEWER

WEBWEBVIEWERVIEWER


ANALYST TRASFORMAZIONE VELOCE DEL DATO IN INSIGHT SIGNIFICATIVI

ANALYST



EXPLOREREXPLORER

DESIGNERDESIGNER



WEBWEBVIEWERVIEWER


DATA MANAGER VELOCE ACCESSO AL DATO, TRASFORMAZIONI INTUITIVE, COSTRUZIONE IMMEDIATA DI VARIABILI CALCOLATE

DATAMANAGER


EXPLOREREXPLORER

DESIGNERDESIGNER



WEBWEBVIEWERVIEWER



IT MANAGER GESTIONE E GOVERNO DELL’INTERO AMBIENTE

IT MANAGER



EXPLOREREXPLORER

DESIGNERDESIGNER



WEBWEBVIEWERVIEWER


DEMO

SAS® VISUAL ANALYTICS


Perchè SAS®

Visual Analytics?

• Il primo end-to-end che influenza radicalmente il modo di lavorare con tutti i vostri dati

• Unico motore analitico in-memory che supera le limitazioni dei tradizionali database relazionali

• Il modo più conveniente per scalare l'infrastruttura IT utilizzando commodity hardware


SAS DATA QUALITY


GARTNER: MAGIC QUADRANT FOR DATA QUALITY TOOLS

Source: Magic Quadrant for Data Quality Tools, 8 August 2012, Ted FriedmanThis graphic was published by Gartner, Inc. as part of a larger research document and should be evaluated in the context of the document.

Gartner does not endorse any vendor, product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this research, including any warranties of merchantability or fitness for a particular purpose.


SAS DATA QUALITY PRINCIPALI CARATTERISTICHE

• Bonifica di Database/Data Warehouse/Data Mart mediante una varietà di tecniche e metodologie, fra cui la standardizzazione, la trasformazione e la razionalizzazione dei dati.

• Profilazione dei dati per identificare dati incompleti, inaccurati o ambigui.

• Accrescimento della qualità ed arricchimento dei dati.

• Creazione di regole di business per la bonifica e qualità dei dati riutilizzabili invocabili da programmi già esistenti, code dei messaggi e Web Services.

• Pulizia in tempo reale dei dati transazionali utilizzando regole di business di tipo standard.

• Approccio basato su una metodologia specifica (Data Management Lifecycle Methodology)


DATA MANAGEMENT LIFECYCLE

METHODOLOGY



Profiling

• Analisi dei dati (valori) per ottenere statistiche (metadati) che forniscono una valutazione della qualità dei dati nei sistemi ed aiutano a identificare cricità

• Struttura e qualità dei dati

• Miglior conoscenza dell’asset dei dati aziendali

PLAN



Explore

• Relazioni all’interno e tra differenti sistemi • Identifica il contenuto dei campi

Dai risultati di profiling ed explore è possibile definire azioni di correzione, fasi progettuali e identificazione delle regole di controllo da implementare.

PLAN



• Definizione delle business rules per misurare la consistenza, l’accuratezza e l’affidabilità di nuovi dati in ingresso ai sistemi

• Attivazione delle business rules nella infrastruttura IT

• Utilizzo del miglior metodo di integrazione(real-time o batch)

• Riutilizzo e ridistribuzione delle stesse business rules in differenti applicazioni, migliorando il governo dei dati a livello enterprise

ACT



• Creazione di report e dashboard con le metriche e le soglie per misurare la criticità dei dati di business e IT

• Utilizzare informazioni dai dati di monitoring per ridefinire e disegnare nuove regole di business e determinare piani di azione

MONITOR


TO REALIZE BIG AMBITIONS YOU NEED TO BELIEVE YOU CAN DO IT AND HAVE THE RIGHT TECHNOLOGY...

SAS BIG DATA ANALYTICS - FPA

Documents

Transcript of SAS BIG DATA ANALYTICS - FPA