Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti...

UNIVERSITÀ DEGLI STUDI DI NAPOLI “FEDERICO II”

Componentistica hardware e software coordinata da smartphone e destinata alla domotica

per utenti con disabilità

RelatoreProf. Piero Andrea Bonatti

CorrelatoreIng. Saverio De Vito

CandidatoMario Lombardi

Matr. N86000637

Corso di Laurea in Informatica

Anno Accademico 2016/2017

Mario Lombardi - N86000637 2/15

MOTIVAZIONI E FINALITÀ:

SOGGETTI COINVOLTI:

• ENEA - Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo eco-sostenibile;

• ISF - Informatici Senza Frontiere ONLUS.

• Estendere lo sviluppo del progetto «Spoken House» di ISF, conferendo al sistema una

nuova e precisa direzione al fine di favorire l’interazione con l’ambiente domestico da

parte di utenti con disabilità;

• Realizzare un caso d’uso concreto.

INTRODUZIONE• Committenti• Sistema da ampliare

SVILUPPO• Oggetto citofono• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia

IL PROGETTO• Nuova idea• Fasi di sviluppo

CONCLUSIONI• Test di funzionamento• Sviluppi futuri• Fine

Mario Lombardi - N86000637

IL PROGETTO SPOKEN HOUSE:

• Applicazione mobile cross-platform in grado di interfacciarsi con un sistema domotico e

agevolare utenti con disabilità visive e/o uditive nel controllo dei dispositivi presenti

nell’ambiente domestico.

• Applicazione Spoken House;

• Framework Freedomotic, per la virtualizzazione dell’ambiente domestico;

• Edificio antropizzato.

LE COMPONENTI:

3/15






LA NUOVA IDEA DI SPOKEN HOUSE:

• Interfaccia unificata per mezzo dell’applicazione “Spoken House” che, attraverso

l’integrazione di micro-controllori, permette l’interazione di utenti diversamente abili

(disabili visivi e/o uditivi) con un qualsiasi dispositivo domestico già presente in

un’abitazione, non necessariamente <<domotizzata>>.

IL CASO D’USO:

• Utente con disabilità uditiva (parziale o totale) a cui risulta problematico interagire con

persone che suonano al citofono della propria abitazione.

4/15






FASI DI SVILUPPO:• Creazione oggetto <<Citofono>> su

Freedomotic;

• Nuovo plugin Freedomotic per:

o WebSocket;

o Speech-to-Text e Text-to-Speech;

• Integrazioni sull’ applicazione Spoken

House;

• Schema hardware prototipale.

5/15






CITOFONO COME AUTOMA A STATI FINITI:

• Astrazione del funzionamento dell’oggetto reale;

• Possibili stati:

o Attesa;

o Squillo;

o Comunicazione;

o Apertura.

6/15


SVILUPPO• Oggetto citofono (1)• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia




OGGETTO CITOFONO SU FREEDOMOTIC:

• File XML, per la definizione di caratteristiche e proprietà;

• Classi Java, per la gestione del suo funzionamento oltre che per la definizione di vincoli.

7/15


SVILUPPO• Oggetto citofono (2)• Plugin e WebSocket• Speech-to-Text e TTS• Schema hardware• Interfaccia




PLUGIN PER FREEDOMOTIC:

• Modulo per lo sviluppo e la gestione dei processi di funzionamento del caso d’uso.

PERCHÈ WEBSOCKET?

• Comunicazione bidirezionale e «full duplex»; • Sicurezza «origin-based»;• Trasmissione dati mascherata;• Semplificano le architetture applicative real-time;• E’ possibile implementarla in diversi linguaggi.

8/15


SVILUPPO• Oggetto citofono• Plugin e WebSocket (1)• Speech-to-Text e TTS• Schema hardware• Interfaccia




COMUNICAZIONE PER MEZZO DI WEBSOCKET:• Le classi:

o FDWebSocket;

o FDWebSocketHandler.

• API Jetty;

• Creazione e ricezione messaggi:

o Il metodo OnMessage;

o Formato JSON.

9/15


SVILUPPO• Oggetto citofono• Plugin e WebSocket (2)• Speech-to-Text e TTS• Schema hardware• Interfaccia




CONVERSAZIONE CITOFONICA:

• Operazioni di Speech Recognition, da parlato a testo:• Google Cloud Speech API;• Possibilità per l’utente con disabilità uditiva di leggere ciò che dall’esterno viene detto.

• Sintetizzazione vocale, da testo a parlato:• Integrazione del plugin MaryTTS;• Trasformazione in voce artificiale del testo che l’utilizzatore ha composto.

• Si serve dei meccanismi di comunicazione implementati attraverso la WebSocket creata.

Speech-To-Text Text-To-Speech

10/15





SCHEMA HARDWARE PROTOTIPALE:







INTERFACCIA APPLICAZIONE SPOKEN HOUSE:

• Interfaccia a quattro angoli;• Scambio di messaggi JSON con

Freedomotic per mezzo di WebSocket;• Applicazione cross-platform, realizzata

con Apache Cordova, utilizzando:o HTML5;o CSS3;o Javascript;o XML.

• Gestione eventi legati al funzionamentodel citofono.

12/15






TEST DI FUNZIONAMENTO:

• Utente:• Audioleso Postverbale;• Apparecchio retroauricolare.

• Componentistica utilizzata:• Raspberry Pi 3;• Freedmotic installato sul

Raspberry;• Breadboard collegata al Raspberry,

avente pulsante e led;

13/15





CONSIDERAZIONI:

SVILUPPI FUTURI:

• Sistema:

o Passaggio da uno stato prototipale ad una messa in opera definitiva;

o Rendere (semi)automatico il processo di rilevamento dei dispositivi domestici da

parte di Spoken House (ZigBee/Z-Wave).

• Conversazione citofonica:

o Estensione del caso d’uso anche ad utenti non vedenti;

o Perfezionamento del caso d’uso per i non udenti (pre-linguistici).

• Maggior livello di concretezza raggiunto per il progetto «Spoken House» con

realizzazione di uno scenario reale di utilizzo;

• Il progetto realizzato sarà presentato ad ottobre al festival «Informatica e Tecnologie per

un uso responsabile e ridurre le disuguaglianze».






GRAZIE A TUTTI PER L’ATTENZIONE!






Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti...

Technology

Transcript of Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti...