FANTIN BIG DATA (2)

Corso di programmazione su HadoopScaricare l’ultima release stabile di Hadoop:

http://hadoop.apache.org/common/releases.htmlConfigurazione:

File conf/hadoop-env.shSpecificare le variabili d’ambiente:LINUX: export JAVA_HOME=/usr/local/lib/...

MAC OS: export JAVA_HOME=/Library/Java/Home

Nota: devono sempre essere controllate le impostazioni locali della vostra macchina.

Corso di programmazione su HadoopConfigurazione:

File conf/hadoop-env.shOpzionale: Specificare la massima quantità di

memoria assegnabile a Java heap:# The maximum amount of heap to use, in MB.

Default is 1000. export HADOOP_HEAPSIZE=2000

Corso di programmazione su Hadoop

Configurazione:File core-site.xmlOpzionale: specificare la directory in cui Hadoop andrà a scrivere l'output temporaneo<property> <name>hadoop.tmp.dir</name>% Sostituire questo valore con la directory specificata <value>/tmp/hadoop-tmp-${user.name}</value> <description>A base for other temporary directories.<description></property>

Mapper

Esempio word count

Corso di programmazione su HadoopEsempio word count

package mapred; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.FileInputFormat; import org.apache.hadoop.mapred.FileOutputFormat; import org.apache.hadoop.mapred.JobClient; import org.apache.hadoop.mapred.JobConf; import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.Mapper;

import org.apache.hadoop.mapred.OutputCollector; import org.apache.hadoop.mapred.Reducer; import org.apache.hadoop.mapred.Reporter; import org.apache.hadoop.mapred.TextInputFormat; import org.apache.hadoop.mapred.TextOutputFormat;

Corso di programmazione su Hadooppublic class WordCount { public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { private Text word = new Text(); private IntWritable one = new IntWritable(1); public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { String line = value.toString(); String [] words = line.split(" "); for(String term: words){ word.set(term); output.collect(word,one); } } }

Corso di programmazione su Hadooppublic static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { int sum = 0; while (values.hasNext()) { double value = values.next().get(); sum += value; }

Corso di programmazione su HadoopIntWritable sumValue = new IntWritable(sum); output.collect(key, sumValue); } } public static void main(String arg[]) throws IOException, ClassNotFoundException, InterruptedException { if (arg.length != 2) { System.out.println("Usage:"); System.out.println("inputPath outputPath"); System.exit(1); } String inputPath = arg[0]; String outputPath = arg[1]; JobConf conf = new JobConf(WordCount.class);

Corso di programmazione su Hadoopconf.setJobName("WordCount");conf.setMapOutputValueClass(IntWritable.class); conf.setMapOutputKeyClass(Text.class); conf.setOutputKeyClass(Text.class); conf.setOutputValueClass(IntWritable.class); conf.setMapperClass(Map.class); conf.setCombinerClass(Reduce.class); conf.setReducerClass(Reduce.class); conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class);

Corso di programmazione su HadoopFileInputFormat.setInputPaths(conf, new Path(inputPath)); FileOutputFormat.setOutputPath(conf, new Path(outputPath)); JobClient.runJob(conf); } }

the 26to 15of 14in 9and 9a 9that 7on 7is 7he 6has 6

had 6for 6at 6are 6who 5players 5have 5club 5been 5The 5not 4

Risultato sort: Ashley 4was 3sale 3said 3new 3his 3be3as3….

Esempio utilizzando il software GATE

Corso di programmazione su HadoopEsempio deviazione standard

Continua su:http://svn.apache.org/viewvc/hadoop/common/trunk/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/

FANTIN BIG DATA (2)

Documents

Transcript of FANTIN BIG DATA (2)

Social media e (big) Data

Big data-simonetta

Informatica Big Data

Big Data 21.06.2012 - Luciano Bruno

BIG-DF: I “Big data“ del Dipartimento delle Finanze...“Open data” e Big data “ del Dipartimento delle Finanze BIG-DF -Il Processo di Integrazione dei Dati- • BIG-DF è

Big Data nel settore bancario Risultati del sondaggio€¢ I Big Data sono chiaramente un aspetto preso in considerazione da quasi tutti gli istituti bancari odierni Big Data nel settore

Le radici artistiche della visualizzazione dei big data. Big data visualization and their artistic roots

Big-data e Turismo: Analisi delle recensioni utente sulla ..._Anali.pdf · 1.1 Introduzione ai Big Data I big data sono dati che superano i limiti degli strumenti di database tradizionali.

Big data e business intelligence

Big Data e Open Data per monitorare la città

Big data e open data in ambito sanitario · • Interoperabilità SPCoop • Open data • Big data • Internet of everything • Cup2000 • Fascicolo sanitario elettronico •

BIG DATA - BIG_DATA... · BIG DATA FACTORY BIG DATA Contributo di ciascun membro del team sugli obiettivi condivisi, anche attraverso strumenti di visual management Sviluppo di soluzioni

Big data e pubblica amministrazione

Big data stack tecnologico

SAS BIG DATA ANALYTICS - FPA

DOTTORATO DI RICERCA - veprints.unica.itveprints.unica.it/1380/1/PhD_Thesis_Falcone.pdf · Capitolo 4 – Il Big data government: governare i Big data, governare con i Big data. 4.1.

Mobile Analytics. Big Data al servizio della pubblica amministrazione e cittadini Piattaforme per Smart Data, Urban dashboard, Big Data Analytics - Sergio Gambacorta

Big Data e analisi economica

Big data: opportunità o minaccia?

Le tecnologie dei Big Data