Architettura hardware/software coordinata da smartphone e destinata alla domotica per utenti con...

UNIVERSITÀ DEGLI STUDI DI NAPOLI “FEDERICO II”

Architettura hardware/software coordinata da smartphone e destinata alla domotica

per utenti con disabilità

RelatoreCh.mo Prof. Luigi Sauro

CorrelatoreDott.ssa Grazia Fattoruso

CandidatoStefano Emanuele Viscomi

Matr. N86000796

Corso di Laurea in Informatica

Anno Accademico 2016/2017

Stefano Emanuele Viscomi 2/14

MOTIVAZIONI E FINALITÀ:

SOGGETTI COINVOLTI:

• ENEA (Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo eco-sostenibile);

• ISF (Informatici senza frontiere).

INTRODUZIONE- Motivazioni- Spoken House

• Estendere e rinnovare lo sviluppo del progetto «Spoken House» di ISF che mira ad

agevolare l’interazione con l’ambiente domestico da parte di utenti con disabilità;

• Realizzare un caso d’uso concreto.

IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware

CASO D’USO- Panoramica- Prima fase- Seconda fase

CONCLUSIONI- Considerazioni- Fine





SPOKEN HOUSE:

• Applicazione cross-platform che fornisce un’interfaccia facilitata per il controllo (virtuale)

dei dispositivi elettronici all’interno di un’ambiente antropizzato.

SISTEMA:

• Spoken House;

• Freedomotic, middleware che agisce da collante tra l’utente (GUI) e l’ambiente

circostante;

• Edificio antropizzato.CONCLUSIONI- Considerazioni - Fine





CASO D’USO:

MODULI PRODOTTI:

• Utente con disabilità uditiva (parziale o totale) e/o motoria a cui può risultare

problematico interagire con interlocutori esterni attraverso il citofono dell’abitazione.

• Oggetto «Citofono»;

• Plugin Freedomotic

▪ WebSocket;

▪ Conversazione citofonica;

• Integrazioni su Spoken H.;

• Hardware prototipale.

CONCLUSIONI- Considerazioni - Fine





OGGETTO «CITOFONO»:

WEBSOCKET:

• File XML;

• Classi Java.

• Modulo per l’inizializzazione e la gestione del funzionamento del WebSocket;

• Handler che si occupa dello scambio di messaggi tra Freedomotic e Spoken House.






CONVERSAZIONE:

• Modulo per il riconoscimento vocale del parlato proveniente dall’esterno;

• Modulo che effettua la sintesi vocale di quanto digitato dall’utente audioleso;

• Estensione del WebSocket.

INTEGRAZIONI GUI (SPOKEN HOUSE):

• HTML;

• CSS;

• JavaScript.






RICONOSCIMENTO VOCALE:

• Procedura mediante la quale il linguaggio orale umano viene riconosciuto ed elaborato

attraverso un computer o più specificatamente mediante un apposito sistema.






SPEECH-TO-TEXT:

• Per implementare il processo di conversione dal parlato al testo si è ricorso alle Google

Cloud Speech API.






SINTESI VOCALE:

• Tecnica adoperata per riprodurre artificialmente la voce umana.






TEXT-TO-SPEECH:

• Per la conversione da testo a voce artificiale, invece, è stato adottato e configurato un

componente di Freedomotic: MaryTTS.






SPOKEN HOUSE GUI:

• div element;

• css properties;

• DOM.

▪ Per l’utente audioleso la conversazione

si risolve in una chat testuale;

▪ Per l’interlocutore esterno, invece, le

modalità di comunicazione rimangono

invariate.







SCHEMA HARDWARE:






CONSIDERAZIONI FINALI:

SVILUPPI FUTURI:

• Sistema

▪ Passaggio da uno stato prototipale ad una messa in opera definitiva;

▪ Rendere (semi)automatico il processo di rilevamento dei dispositivi domestici da

parte di Spoken House (ZigBee/Z-Wave).

• Conversazione citofonica

▪ Estensione del caso d’uso anche ad utenti non vedenti;

▪ Perfezionamento del caso d’uso per i non udenti (pre-linguistici).

• Maggior livello di concretezza raggiunto per il progetto «Spoken House» con

realizzazione di uno scenario reale di utilizzo;

• Presentazione al festival di Informatici senza Frontiere (Rovereto 13-15 ottobre).

GRAZIE PER L’ATTENZIONE!






Architettura hardware/software coordinata da smartphone e destinata alla domotica per utenti con...

Technology

Transcript of Architettura hardware/software coordinata da smartphone e destinata alla domotica per utenti con...