Sensore virtuale di stati ambientali per Android

CandidatoAngelo Santarella

RelatoreProf. Vittorio Scarano

2

Sensori

• I sensori sono tra le innovazioni più interessanti introdotte nel mondo consumer di massa.

• Creano macchine che sanno “sentire”, quindi recepire nuovi input.

• Nuovi input possono essere rappresentati dall’utilizzo dell’accelerometro, dalla voce o degli altri sensori.

3

Sensore Virtuale di Stati Ambientali per Android

• Il sensore virtuale di stati ambientali per Android è una libreria che permette il riconoscimento degli scenari ambientali in cui il dispositivo Android può trovarsi.

• La libreria utilizza l’accelerometro, il microfono e il sensore di prossimità per rendere possibile il riconoscimento automatico di:– stati di movimento (fermo, auto, cammino, corsa)– livelli di rumore (NOISY, NOISELESS)– copertura fisica del device (BOXED, UNBOXED)– ringer mode (MOD_SILENCED, MOD_NORMAL)

4

Analisi dati accelerometro

Obiettivo: riconoscimento automatico del maggior numero possibile di scenari di movimento, rilevabili con l’accelerometro tramite analisi dei dati.

Operazioni effettuate per il riconoscimento degli stati di movimento:

• Rilevazioni possibili stati di movimento• Analisi della varianza• Catalogazione stati di movimento• Inserimento stati di incertezza ed errore

5

Rilevazioni AccelerometroFermo Auto

Cammino Corsa

1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86

-25

-20

-15

-10

-5

0

5

10

15

20

25

Asse x Asse y Asse z 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86

-25

-20

-15

-10

-5

0

5

10

15

20

25

Asse x Asse y Asse z

1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86

-25

-20

-15

-10

-5

0

5

10

15

20

25

Asse x Asse y Asse z

1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86

-25

-20

-15

-10

-5

0

5

10

15

20

25

Asse x Asse y Asse z

6

Grafici delle analisiFermo Auto

Cammino Corsa

1 8 15 22 29 36 43 50 57 64 71 78 85 92 990

5

10

15

20

25

30

35

40

45

50

VarianzaX VarianzaY VarianzaZ

1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 970

5

10

15

20

25

30

35

40

45

50

VarianzaX VarianzaY VarianzaZ

1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 970

5

10

15

20

25

30

35

40

45

50

VarianzaX VarianzaY VarianzaZ

1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 970

5

10

15

20

25

30

35

40

45

50

VarianzaX VarianzaY VarianzaZ

7

Soglie accelerometro

ML UN_M_C CAR UN_C_W WALK UN_W_R RUN0

5

10

15

20

25

30

35

40

45

Stati di movimento

Vari

anza

(m/s

^2) …

120100

80 …

ERROR

8

Analisi Audio

• L’obiettivo è dare un approccio multisensoriale per aumentare l’affidabilità delle rivelazioni e il numero di scenari del sensore virtuale.

• Analisi audio effettuate usando librerie open source, che forniscono il valore dei decibel del rumore presente nell’ambiente.

• Gli scenari analizzati riguardano:– Ambienti silenziosi– Ambiente rumorosi

9

Rilevazioni Audio

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129

-80

-70

-60

-50

-40

-30

-20

-10

0

Silenzioso dB

Auto dB

Cammino dB

10

Soglie Audio

NOISY UN_NOISY NOISELESS

-100-90-80-70-60-50-40-30-20-10

0

Stati di rumore

Dec

ibel

(dB)

11

Progettazione Libreria

• La libreria è stata progettata con obiettivo di avere scalabilità e facilità di utilizzo da parte dello sviluppatore.

• La libreria restituisce gli stati tramite un vettore dove ogni posizione rappresenta lo stato di un sensore tramite costanti intere:

int[0] int[1] int[2] int[3]

Motion State: MOTIONLESS, CAR, WALK, RUN, UN_ML_CAR, UN_CAR_WALK, UN_WALK_RUN

Proximity State: BOXED or UNBOXED

Audio State: NOISY, NOISELESS, UN_NOISY

Ringermode state: MODE_NORMAL, MODE_SILENCED

12

Testing

• La libreria è stata convalidata da un gruppo di utenti, con l’obiettivo di verificare la validità delle analisi effettuate sulla eterogeneità dei dispositivi Android.

• I test funzionali hanno previsto il confronto di tutti gli stati ambientali (forniti dalla libreria) con ambienti reali o simulati dall’utente.

• I dispositivi finora utilizzati hanno superato tutti i test.

13

CaloriesCO2 Counter

• CaloriesCO2 Counter è un’applicazione conta calorie e conta CO2 emessa, sviluppata usando gli stati di movimento forniti dalla libreria.

• Le calorie consumate e l’anidride carbonica emessa vengono calcolate ogni 2 secondi in base agli stati di movimento.

14

TelephonyManager

L’applicazione di esempio TelephonyManager ha lo scopo di modificare le caratteristiche di telefonia del device in modo da adattarle allo stato ambientale fornito dal sensore virtuale di stati ambientali per Android.

15

Features

Le impostazioni di telefonia vengono modificate dopo un controllo degli stati ambientali.Chiamate:

– MOTIONLESS:• Ambiente silenzioso: diminuisce volume suoneria (2/3 di maxstream)• BOXED: imposta max ringtone volume, e attiva vibrazione• Modalità silenziosa: attiva vibrazione

– CAR:• Ambiente rumoroso e Unboxed: annuncia chiamata con TTS pronunciando nome chiamante, attiva vivavoce alla

risposta, imposta max volume ringtone, TTS, e vivavoce.• BOXED: attiva vibrazione• Modalità silenziosa : attiva vibrazione

– WALK&RUN:• Modalità silenziosa: attiva vibrazione• Altrimenti: imposta max ringtone volume, e attiva vibrazione

SMS:– CAR:

• Se non è in modalità silenziosa e non è Boxed: aumenta volumi, annuncia SMS con TTS pronunciando il nome del mittente, e lancia schermata per la lettura con un tocco dell’ SMS tramite TTS

16

Conclusioni

• Il sensore virtuale di stati ambientali è una libreria open source capace di riconoscere 10 tipi di scenari ambientali.

• Possibili sviluppi futuri:– Inserimento del sensore di luminosità ed altri possibili

sensori– Sviluppi delle applicazioni gratuite TelephonyManager e

CaloriesCO2 Counter– Sviluppo di nuove applicazioni

17

Grazie per l’attenzione