Valutazione sperimentale della qualità percepita dall’esecutore al pianoforte digitale aumentato...

DIPARTIMENTO DI NUOVE TECNOLOGIE E LINGUAGGI MUSICALI

DIPLOMA ACCADEMICO DI 1 LIVELLO IN MUSICA ELETTRONICA

INDIRIZZO TECNICO DI SALA DI REGISTRAZIONE

Valutazione sperimentale della qualita` percepitadallesecutore al pianoforte digitale aumentato

con sistemi di feedback aptico

Studente: Lorenzo MalavoltaMatricola: 11439

Relatore: Prof. Giorgio KlauerCorrelatore: Prof. Federico Avanzini

Anno Accademico 2013-2014

Prefazione

Negli ultimi anni, grazie alle continue ricerche in ambito tecnologico, sono stati realizzatipianoforti digitali con una meccanica sempre piu` simile a quella dei pianoforti acustici;tuttavia una caratteristica assente in questi strumenti e` il feedback aptico.Uno dei recenti progetti promossi dallUniversita` di Padova ha dimostrato limportanzadella percezione multi-sensoriale nella performance musicale e in particolare il ruolo delfeedback aptico (propriocettivo e vibrotattile) nel determinare la qualita` percepita di unostrumento musicale.

Questo elaborato illustra la realizzazione di questo progetto in cui, attraverso lutilizzodi una tastiera prototipo che preveda limplementazione della sensazione tattile, sono statirealizzati una serie di esperimenti qualitativi per individuare in che modo la componentevibratoria possa influenzare la qualita` percepita dello strumento musicale e la rilevanza delcontenuto spettrale dei segnali vibratori per la trasmissione di una risposta aptica simile aquella di un pianoforte acustico.

Ringraziamenti

Giunto alla conclusione di questo lavoro, volevo ringraziare innanzitutto il mio relatore,prof. Giorgio Klauer, il mio correlatore, prof. Federico Avanzini e i docenti prof. StefanoPapetti e prof. Federico Fontana per avermi dato la possibilita` di lavorare a questo pro-getto di ricerca presso il Centro di Sonologia Computazionale dellUniversita` di Padova.Cio` per cui li ringrazio maggiormente, pero`, e` avermi permesso di lavorare in un climaamichevole ed informale e di essersi sempre dimostrati disponibili a fornirmi consigli uti-li e spiegazioni per superare i problemi che man mano ho incontrato nello sviluppo delpresente lavoro.

Un sentito ringraziamento anche a tutti i pianisti che hanno preso parte ai test previstidal progetto, senza la vostra preziosa disponibilita`, tutto cio` non sarebbe stato possibile.

Non posso poi fare a meno di ringraziare i miei genitori che, nonostante le inevita-bili incomprensioni, mi hanno sempre sostenuto, non mi hanno mai fatto mancare nulla,nemmeno le cose piu` superflue, e mi hanno permesso di arrivare dove sono.

Un grazie a mio fratello Federico e mia cognata Daria per il loro supporto e laiutofornito durante la stesura della tesi, nonostante la lontananza e i due baby nipotini.

Poi ci sono tutti gli amici. Mio nonno diceva che gli amici si contano sulle dita diuna mano, ma io ho sempre amato contraddirlo e lo faccio tuttora. E vero gli amici cherestano sono pochi, ma le persone fantastiche che transitano nella tua vita lasciandoti illoro sorriso solo molte.

Grazie a RadioBue, la web radio dellateneo di Padova, ma soprattutto, un gruppo diamici che nutrono la stessa passione: la radio. Qui ho incontrato e conosciuto tantissimepersone che mi hanno trasmesso grandi competenze unite a bellissime esperienze, forseindimenticabili.

Grazie ad Irene, senza di lei non avrei mai intrapreso questo percorso di studi e nonavrei mai affrontato un passo importante come quello di trasferirmi a Padova.

Un grazie speciale ad Elisa, unica persona al mondo che sa capirmi, ascoltarmi e chespesso in questo ultimo anno ha saputo smorzare i miei picchi di nervosismo e le mieansie: una sorella.

Non posso non ringraziare anche i miei colleghi stagisti SaMPL, nonche compagni dicorso, Matteo, Simone, Devid: un gruppo operativo come il nostro non so se lo trovero`nuovamente nel corso della carriera.

Tra i compagni di corso ci tengo particolarmente a ringraziare anche Massimo, la miadolce meta` musicale, e Valerio, per i numerosi progetti intrapresi e portati a termine congrande passione.

i

Infine ci tengo a ringraziare tutti coloro che mi sono stati vicini in questi tre annipatavini, che hanno condiviso con me momenti di divertimento, momenti bizzarri, e chemi hanno spesso caricato per affrontare con spirito positivo tutte le difficolta` incontratedurante questo percorso.

Dulcis in fundo, ringrazio la musica: sempre presente e fondamentale nella mia vita.La musica e` un fluido in divenire, un linguaggio evanescente; ascoltandola entriamo inunaltra vita e in un altro tempo.Siamo altrove.

ii

Indice

Prefazione

Ringraziamenti i

1 Introduzione 11.1 Il pianoforte digitale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Il feedback aptico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Pianoforti digitali aumentati con feedback aptico . . . . . . . . . . . . . 41.4 Sintesi del suono per modelli fisici . . . . . . . . . . . . . . . . . . . . . 6

2 Generazione ed elaborazione campioni 82.1 File audio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82.2 Struttura dello script di generazione . . . . . . . . . . . . . . . . . . . . 10

2.2.1 Dichiarazione delle variabili . . . . . . . . . . . . . . . . . . . . 102.2.2 Caricamento e analisi campioni originali . . . . . . . . . . . . . 112.2.3 Prima fase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2.4 Seconda fase . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2.5 Fase finale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3 Il setup sperimentale 173.1 Schema generale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.2 Campionatore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193.3 Trasduttore . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203.4 Tastiera prototipo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213.5 Software per la gestione sperimentale . . . . . . . . . . . . . . . . . . . 23

4 Esperimenti qualitativi 244.1 Esperimento A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

iii

4.1.1 Procedura sperimentale . . . . . . . . . . . . . . . . . . . . . . . 244.1.2 Interfaccia sperimentale . . . . . . . . . . . . . . . . . . . . . . 25

4.2 Esperimento B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274.2.1 Procedura sperimentale . . . . . . . . . . . . . . . . . . . . . . . 274.2.2 Interfaccia sperimentale . . . . . . . . . . . . . . . . . . . . . . 28

4.3 Risultati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

5 Conclusioni e sviluppi futuri 33

Appendici 36

A Codice 36A.1 Script Utilizzati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

iv

Elenco delle figure

1.1 Setup dellesperimento condotto da Zanini (Figura tratta da [20]) . . . . 31.2 MIKEY keyboard (Figura tratta da [14]) . . . . . . . . . . . . . . . . . . 51.3 Yamaha AvantGrand . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.4 Physics Piano H1 prodotto dalla Viscount International Spa . . . . . . . 7

2.1 Inviluppo di un campione audio di vibrazione, nota A1 velocity 100 . . . 92.2 Schema del filtro passa-banda . . . . . . . . . . . . . . . . . . . . . . . 132.3 Grafico delle due forme donda sovrapposte . . . . . . . . . . . . . . . . 15

3.1 Schema del setup sperimentale . . . . . . . . . . . . . . . . . . . . . . . 183.2 Mapping editor del banco di campioni noise in ambiente Kontakt . . . . . 203.3 Modello di trasduttore scelto per la realizzazione della tastiera prototipo . 203.4 Risposta in frequenza dellattuatore (Figura tratta da [3]) . . . . . . . . . 213.5 Uno dei due trasduttori posizionato al di sotto della tastiera (Figura tratta

da [9]) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223.6 Allestimento setup esperimento . . . . . . . . . . . . . . . . . . . . . . . 22

4.1 Patch di Pure Data usata per lesperimento A . . . . . . . . . . . . . . . 264.2 Patch di Pure Data usata per lesperimento B . . . . . . . . . . . . . . . 284.3 Esempio di playlist del soggetto 1 . . . . . . . . . . . . . . . . . . . . . 294.4 Risultati esperimento A . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.5 Risultati esperimento A - gruppo positivo . . . . . . . . . . . . . . . . . 314.6 Risultati esperimento A - gruppo negativo . . . . . . . . . . . . . . . . . 324.7 Risultati esperimento B . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

v

Capitolo 1

Introduzione

In questo primo capitolo viene presentato il pianoforte digitale (Sezione 1.1) spiegandoneaspetti tecnici e differenze con il pianoforte acustico. Nella Sezione 1.2 viene spiegatocose` il feedback aptico, la sua importanza nella performance musicale e nella percezionequalitativa dello strumento.Nella Sezione 1.3 si proseguira` con un approfondimento riguardo il feedback aptico e lasua implementazione nelle tastiere digitali.La Sezione 1.4 illustra la sintesi per modelli fisici e la sua applicazione.

1.1 Il pianoforte digitale

Il pianoforte digitale e` uno strumento elettronico che tenta di simulare in modo piu` reali-stico possibile le sonorita` di un pianoforte acustico.

Le dimensioni di questi strumenti sono molto ridotte rispetto a quelli tradizionali perfacilitarne il trasporto. Hanno a disposizione una memoria interna dove sono contenuti,nella maggior parte dei casi, pochi suoni campionati per ciascuna nota.

I pianoforti digitali, in genere, hanno diversi output sia MIDI che audio e dispongonodi altrettanti input dove si possono collegare accessori (come ad esempio il pedale su-stain), che li rende simili a pianoforti acustici. Questi strumenti sono muniti inoltre diuna tastiera pesata il cui funzionamento imita quello della meccanica di un pianoforteacustico.

I modelli piu` economici utilizzano tasti di plastica assieme ad un sistema di molle checerca di approssimare la risposta dinamica di un tasto a quella dei martelletti, con risultatiscadenti. I modelli piu` costosi, invece, servendosi di tasti in legno e di una meccanica amartelletti in miniatura, simulano il peso e linerzia naturale del tasto.

1

Capitolo 1. Introduzione 2

La differenza sostanziale, tuttavia, sta nella posizione in cui i martelletti sono montatie ovviamente i materiali di costruzione. Nel pianoforte acustico sono di legno, ricopertidi feltro e si trovano immediatamente al di sotto della cordiera. Nel pianoforte digitale,invece, sono di metallo e contenuti nella cavita` di ciascun tasto.

Nonostante i modelli piu` costosi ed avanzati ottengano ottimi risultati, la maggiorparte dei musicisti considera la sensazione data da una tastiera tradizionale di gran lungapiu` soddisfacente e coinvolgente.

1.2 Il feedback aptico

La ricerca scientifica sta progressivamente riconoscendo limportanza della percezionemultisensoriale nella performance musicale. Il corpo umano e` formato da molteplici re-cettori e sensori (tatto, vista, udito, ecc.); combinando e unendo le loro informazioni,otteniamo cio` che viene definita appunto percezione multimodale (o multisensoriale).

Sulla base del sistema neuronale, la percezione sensoriale umana puo` essere suddivi-sa in 3 sistemi distinti: cinestetico, cutaneo, aptico. Il sistema cinestetico riunisce tutti irecettori presenti nei muscoli, nei tendini e nelle varie articolazioni. Il sistema cutaneoraggruppa tutti i recettori presenti nella pelle. Il sistema aptico, invece, si serve degli sti-moli di entrambi i precedenti sistemi [12]. Particolare importanza nellindagare la qualita`percepita di uno strumento musicale ha la percezione aptica, ovvero cio` che risulta dalcontatto tra il corpo dellesecutore e il corpo vibrante dello strumento musicale [21].

Recenti ricerche hanno preso in esame le vibrazioni trasmesse allo strumentista dauno strumento ad arco, dove le corde hanno un contatto diretto con le dita dellesecutore,rispetto a quelle trasmesse da uno strumento a corde percosse (pianoforte), dove la per-cezione tattile e` data dallaccoppiamento tra materiali e risposta dinamica dei tasti piu` lavibrazione meccanica delle corde

Nel pianoforte la dove le corde hanno un contatto diretto con le dita dellesecutore,sia per strumenti a corde percosse (pianoforte), dove la percezione tattile e` data dallac-coppiamento tra materiali e risposta dinamica dei tasti piu` la vibrazione meccanica dellecorde [19, 1].

In particolare, da uno studio piu` specifico fatto da R.T. Verrillo [17], si evince chele dita percepiscono vibrazioni in una regione compresa tra i 40 Hz e i 1000 Hz conpunta massima di sensibilita` ai 250 Hz. Mentre in letteratura la qualita` di uno strumentomusicale e` data dal suo timbro e dai suoi parametri acustici, per i musicisti la qualita` diuno strumento dipende da fattori relativi allinterazione che loro hanno con questultimo(raggruppati sotto il nome di playability).


Galembo e Askenfelt, in un esperimento condotto alla fine degli anni 70, hannomostrato che un pianista esperto sa tipicamente distinguere pianoforti diversi suonan-doli da bendato, mentre questa abilita` si perde se il task di riconoscimento e` basato solosullascolto del suono, senza il tatto [8].

Ulteriori studi presentati alla conferenza SMC del 2011 [7] mettono in evidenza comei pianisti preferiscano un suono arricchito da feedback vibrotattile quando viene chiestoloro di suonare una sequenza precisa di tasti, e prediligano lo strumento originale (inquesto esperimento, un Clavinova YDP-113) nel momento in cui viene loro concessa lapossibilita` di suonare liberamente.

I risultati ottenuti dagli esperimenti mostrano dunque che il feedback vibrotattilemodifica e migliora lesperienza del pianista.

Esperimenti sempre legati a questo progetto di ricerca condotti precedentemente, han-no evidenziato limportanza di come le vibrazioni vengono percepite dal pianista e comequeste possono aggiungere qualita` allo strumento [20].

Lesperimento ha fatto uso di setup simili (Figura 1.1), partendo da due pianofortiDisklavier1: rispettivamente DC3 M4 a tre quarti di coda e DU1A verticale.

Figura 1.1: Setup dellesperimento condotto da Zanini (Figura tratta da [20])

1Il Disklavier e` un particolare modello di pianoforte prodotto dalla Yamaha dotato di una modalita` silent,funzione particolare in cui ai martelletti non viene permesso di raggiungere le corde, lasciando comunqueinalterata la meccanica della tastiera e permettendo un suo utilizzo come tastiera master MIDI


I dati MIDI provenienti dal pianoforte venivano inviati ad una scheda audio RMEFireface 800 collegata al computer dove veniva eseguito il plugin Pianoteq per la sintesiper modelli fisici del pianoforte. Prima dellinizio dellesperimento il soggetto indossavacuffie isolanti; in questo modo, poteva sentire solo il suono prodotto dal sintetizzatorementre il suono del Disklavier veniva completamente mascherato.

Gli esiti di questi esperimenti supportano lipotesi che considerevoli informazioni vi-bratorie vengano trasmesse dal pianoforte allo strumentista attraverso il contatto dita-tastiera, specialmente ai tasti del registro grave [6].

1.3 Pianoforti digitali aumentati con feedback aptico

Levoluzione delle tecnologie ed il progresso in campo audio hanno portato alla costruzio-ne di pianoforti digitali o tastiere con una meccanica ed una pesatura dei tasti molto similea quella di veri e propri pianoforti acustici; nonostante cio`, una caratteristica che mancain questi strumenti e` il feedback aptico2 percepito in un pianoforte acustico, caratteristicadi certo non secondaria.

Nel 1978 presso lACROE (Association pour la Creation et la Recherche sur les Ou-tils dExpression)3 e` stato sviluppato il primo prototipo di tastiera in grado di produrre unarisposta meccanica, introducendo dunque un feedback vibrotattile. Grazie ad un motoredalle dimensioni simili ad un tasto del pianoforte, veniva trasmessa una forza paragonabilea quella responsabile della percezione tattile da parte dellesecutore [5].

In seguito sono stati realizzati altri prototipi di tastiere digitali con laggiunta di feed-back aptico. Il fine era quello di dimostrare la consistenza delle informazioni ricevutedallesecutore come vibrazioni.

Nel 1996 Brent Gillespie per la sua tesi di dottorato presso luniversita` di Stanford harealizzato una tastiera digitale ridotta definita Touchback Keyboard e composta da solo 7tasti; presentava una risposta dinamica molto simile a quella di un pianoforte acustico.Effettuati numerosi esperimenti, e` stata riscontrata una migliore esperienza performativada parte dellesecutore [10].

Al NIME (New Interfaces for Musical Expression)4 del 2002 De Poli ed Oboe hannopresentato il MIKEY project (Figura 1.2). Qui il tasto e` guidato da un motore a trazionediretta che trasmette una quantita` di forza calcolata in tempo reale da simulatori dinami-ci. Sebbene nella realizzazione del prototipo siano stati utilizzati componenti elettronicieconomici, il risultato ottenuto e` molto simile ad un feedback reale di un pianoforte.

2Aptico, dal greco ha`ptoentrare in contatto con3http://acroe.imag.fr/sommaire_en.html/4NIME: una delle principali conferenze per la progettazione di nuove interfacce musicali


Figura 1.2: MIKEY keyboard (Figura tratta da [14])

Successivamente, nello studio di Marshall e Wanderley [13], presentato al NIME del2006, viene descritto uno strumento capace di riprodurre sia la componente audio chequella vibratoria.

Il Viblotar ha una struttura che ricorda quella di un monocordo. Il suono e` prodottotramite la pressione della mano sulla superficie dello strumento; successivamente vienediffuso tramite due piccoli altoparlanti che, facendo risuonare il corpo dello strumento,restituiscono anche la sensazione tattile. I riscontri avuti dai soggetti che hanno avuto lapossibilita` di suonare questi strumenti sono stati molto positivi.

Tuttavia cio` non rimane limitato solo allambito della ricerca; anche sul fronte com-merciale, numerose aziende stanno investendo nella ricerca e sviluppo di questo impor-tante aspetto con lo scopo di ottenere una tastiera simile a quella di un pianoforte acusticoe rendere lesperienza del pianista ancora piu` coinvolgente. Lultima serie delle tastiereCASIO ha tasti costruiti con appositi materiali che simulano linvecchiamento della su-perficie dei tasti, come accade per quelli in avorio. Inoltre, sta brevettando un sistemadi Hammer Response con lintento di restituire allesecutore la sensazione provata nelsuonare un pianoforte grancoda. Tuttavia, lunico modello attualmente in commercio incui sia integrato un sistema che renda vivi i tasti di un pianoforte e` l AvantGrand del-la Yamaha (Figura 1.3). Questo e` dotato di un sistema chiamato TRS (Tactile ResponseSystem) composto da due trasduttori posizionati nella tavola armonica sotto la tastiera.


Figura 1.3: Yamaha AvantGrand

1.4 Sintesi del suono per modelli fisici

La maggior parte dei pianoforti digitali si basa sulla riproduzione di campioni estrattidalle registrazioni di pianoforti acustici, detta anche modalita` di multicampionamento. Inquesto modo il suono viene ottenuto in funzione della MIDI velocity5 del tasto premutocon un mixing realizzato tramite filtraggio lineare o dissolvenza incrociata tra i campioniregistrati a diversi livelli dampiezza. Un sistema di questo tipo ha dei limiti in particolaresuonando un accordo (accoppiamento di piu` note) o in specifiche tecniche esecutive, comead esempio il ribattuto.

Nella sintesi del suono basata sui modelli fisici, invece, la forma donda viene generatada un modello matematico, costituito da un insieme di equazioni e algoritmi che simula-no una sorgente sonora rappresentandola in termini di sistema massa-molla-smorzatori.Lutente ha percio` un maggior controllo, avendo a disposizione molti tools per produrree gestire sia suoni reali che sintetici. Lapproccio basato su modello fisico, a differen-za dei metodi costruiti su campioni pre-registrati, come detto in precedenza, permette dimodificare e calibrare un ristretto insieme di parametri per ottenere un suono che modelliuno specifico timbro. In questo modo, data la struttura generale, si possono ricostruire glieffetti dei particolari strumenti dai dati fisici che li caratterizzano.

5MIDI velocity: forza applicata sullo strumento nellatto di suonare; rappresenta volume della notaMIDI suonata con valori compresi tra 0 e 127.


Il primo esempio di sintesi per modelli fisici risale al 1971, presentato da Hiller e Ruiz[11]. Tuttavia, solo nel 1987 fu presentato da Garnett il primo modello di pianofortebasato su questo tipo di sintesi, utilizzando la tecnica della guida donda (waveguide6).

Uno svantaggio delle tecniche basate su modelli fisici e` lalto costo computazionale,ragione per cui, a parte sporadici prodotti quali ad esempio il sintetizzatore Yamaha VL-1o il noto VG-8 Guitar Synth della Roland, non hanno ancora avuto una grande fortunacommerciale rispetto a strumenti con sintesi basata su campioni preregistrati. La potenzacomputazionale offerta dai DSP di ultima generazione ha favorito lo sviluppo di algoritmisempre piu` complessi. Tuttavia, anche dopo diversi anni di sviluppo e ricerca a livellocommerciale, gli strumenti che sfruttano questo tipo di sintesi applicata al pianoforte sonoancora pochi.

Un software presente al momento sul mercato e` Pianoteq7 presentato da Moddart nel2006. La ricchezza espressiva e il realismo dei suoi modelli fisici lo rendono migliore dimolte librerie di pianoforte.

Il primo pianoforte digitale basato sulla sintesi a modelli fisici, invece, e` il V-Pianodella Roland, presentato al Namm del 2009. Un altro piano digitale dalle considerevoliperformance, sempre basato sulla tecnologia a modelli fisici, e` il Physis Piano (Figura1.4) prodotto dalla Viscount International in collaborazione con lUniversita` di Verona.6 processori DSP Dual Core in parallelo garantiscono una potenza di calcolo capace digestire 5 algoritmi di physical modelling sviluppati per generare la piu` fedele espressivita`sonora possibile [4].

Figura 1.4: Physics Piano H1 prodotto dalla Viscount International Spa

6Sintesi basata su modelli matematici che formalizzano comportamenti di un particolare sistema digenerazione sonora e le modalita` con cui le onde generate si propagano attraverso di esso.

7Pianoteq True Modelling - Modartt S.A.S, http://www.pianoteq.com/

Capitolo 2

Generazione ed elaborazione campioni

In questo capitolo vengono descritti i campioni a disposizione per i test, la loro elabora-zione e lutilizzo fatto. Nella Sezione 2.1 verranno presentati i campioni originali e de-scritta brevemente la fase di acquisizione. Nella Sezione 2.2, invece, verra` approfonditoe discusso il processo di generazione ed elaborazione dei campioni audio.

2.1 File audio

I file audio a disposizione per lo svolgimento degli esperimenti provengono dai progettidi tesi di F. Zanini e V. Zanini svolti presso i laboratori del CSC di Padova [20, 21]. Icampioni sono ottenuti dalla registrazione della componente vibratoria misurata sui tastidel pianoforte Disklavier tramite lutilizzo di un accelerometro.

La catena di acquisizione prevedeva la riproduzione sul sequencer di un file MIDIche, grazie al collegamento tra la scheda audio e il modulo MIDI del pianoforte, veni-va trasferito al Disklavier; questo, attraverso opportuni dispositivi di conversione, chetraducono il segnale MIDI in variazione di tensione, controllava lazionamento dei tastimediante un servomotore pilotato da solenoidi, senza nessun tipo di intervento umano.Questa operazione e` stata effettuata per tutti i tasti del pianoforte con diversi valori diMIDI velocity.I valori di velocity sono stati scelti con lintento di coprire lintera dinamica MIDI, conuna differenza costante di 11 tra un valore e laltro.

Il file MIDI responsabile dellesecuzione della nota aveva una durata complessiva dicirca due minuti e cinquanta secondi ed era cos` organizzato: ciascun valore di velocityMIDI aveva una lunghezza di sedici secondi (tempo stimato oltre il quale la vibrazionecessa), intervallate da pause di un secondo [21].

8

Capitolo 2. Generazione ed elaborazione campioni 9

La registrazione dei valori di accelerazione e` stata realizzata per tutti i tasti del pia-noforte (tasti neri compresi),nonostante gli esperimenti precedentemente realizzati da F.Zanini [20] dimostrino che la componente vibrotattile venga percepita nel registro bassoe medio della tastiera, confermato da precedenti studi di Verrillo [17]. Lobiettivo eraquello di avere a disposizione un banco completo di campioni, utile sia in fase di analisi evalutazione dei dati raccolti attraverso gli esperimenti, sia per studiare le variazioni dellevibrazioni al variare della dinamica e della frequenza.

I file sono stati registrati seguendo due modalita`: la prima in cui le corde erano lasciatevibrare liberamente, la seconda, invece, in cui venivano stoppate: mentre il pianoforteriproduceva il file MIDI, si arrestava con un panno morbido la vibrazione delle cordepercosse dal martelletto.

La successiva analisi dei campioni ha evidenziato come si potessero dividere tempo-ralmente in due parti differenti, quella legata alla meccanica del tasto e quella che rap-presentava il segnale di vibrazione vero e proprio. Con un metodo in grado di isolare elimitare la componente meccanica del movimento del tasto, si e` giunti a campionare lavibrazione vera e propria, quindi il valore di accelerazione in corrispondenza di ciascuntasto.

Figura 2.1: Inviluppo di un campione audio di vibrazione, nota A1 velocity 100


2.2 Struttura dello script di generazione

Un approfondimento di questo progetto di tesi e` stato quello di valutare limportanza delcontenuto spettrale dei campioni utilizzati per la trasmissione delle vibrazioni.

Procedendo in maniera empirica, si e` pensato di generare dei nuovi campioni conuna forma donda piuttosto simile ai campioni di partenza, ma con un contenuto spettralecomposto da rumore bianco gaussiano, ovvero un rumore bianco con densita` spettralecostante e distribuzione guassiana delle ampiezze.

Per fare questo, e` stato creato uno script in Matlab che in maniera automatica leggessee analizzasse tutti i campioni a disposizione registrati in precedenza e, successivamente,per ciascun campione generasse un nuovo file audio con la forma donda simile a quelladel campione pre-esistente, ma con contenuto completamente diverso.

2.2.1 Dichiarazione delle variabili

La parte iniziale dello script e` composta dalla dichiarazione di tutte le specifiche variabilinecessario per lesecuzione dellalgoritmo.

clear all;

close all;

load BP 20-500.mat %carica filtro passa-banda

note = {C, C#, D, D#, E, F, F#, G, G#,A, A#, B};

% array notes

velocities = {45,56,67,78,89,100,111};

% array velocities

PITCH_FACTOR = nthroot(2,12); % rapporto semitoni scala equabile

initial_pitch = 27.500; % pitch A0 in Hz

pitch = initial_pitch/PITCH_FACTOR; % calcolo progressivo frequenze

cutoff_ottave = 4;

cutoff_pitch = 146.83;

global_count = 0;

Nello specifico:

note: indica un array che contiene i nomi di tutte le note

velocities: indica un array che contiene i valori di velocity presi in considerazioneper lo sviluppo dellalgoritmo


PITCH FACTOR: indica il rapporto in frequenza che identifica il semitono nellascala temperata

initial pitch: frequenza di partenza espressa in Hz, che rappresenta la nota A0(primo tasto del pianoforte digitale)

pitch: indica il calcolo progressivo delle frequenze di ogni nota, secondo il rapportodella scala equabile, in Hertz

cutoff ottave: numero di ottava oltre la quale non sono stati considerati, quindielaborati, i campioni originali allinterno dellalgoritmo

cutoff pitch: variabile utilizzata per formare un fattore di smooth dei campioni

global count: indica un semplice contatore globale che verra` utilizzato per unagestione ottimale del ciclo for.

Va specificato che per la generazione dei nuovi campioni, non sono stati utilizzati i cam-pioni originali di tutte le ottave. E risultata evidente la poca intensita`, e quindi rilevanza,dei campioni per ottave superiori alla quinta (daccordo con gli studi riguardo la bandaantica gia` citati nel Capitolo 1). Inoltre, e` emersa anche una discrepanza via via sempremaggiore tra la forma donda dei campioni di partenza e quella dei campioni generati.

2.2.2 Caricamento e analisi campioni originali

Dopo la dichiarazione di tutte le variabili necessarie per la realizzazione dello script, siprocede con la lettura ed il caricamento in maniera iterativa di tutti i campioni vibratoridisponibili allinterno di un buffer.

Questo processo viene realizzato attraverso una serie di cicli for annidati:

for ottave = 0:5 % totale 7

global_count= global_count + 1;

if (ottave == 0)

init_note = 10;

else init_note = 1;

end

for i=init_note:length(note)

nota=note(i);

pitch= pitch * PITCH_FACTOR;

for j = 1:length(velocities)

velocity = velocities(j);

if ( ottave >= cutoff_ottave )


reference_file = char(strcat(D,num2str(cutoff_ottave),_,velocity,.wav));

else

reference_file = char(strcat(nota,num2str(ottave),_,velocity,.wav));

end

%carica buffer

[reference, Fs] = audioread(reference_file);

Lindice i e` utilizzato per scorrere larray delle note, mentre lindice j serve per scor-rere i valori di MIDI velocity presi in considerazione per la generazione dei campioninoise.

2.2.3 Prima fase

Di seguito viene presentata la prima parte del codice che si occupa dellelaborazione edanalisi dei campioni di partenza.

Inizialmente viene calcolata la curva di decadimento del campione di vibrazione realecaricato attraverso la funzione revtime.m [2], la quale restituisce il valore edc in scalalogaritmica (dB).

Si esegue unopportuna conversione dalla scala logaritmica alla scala lineare per cal-colare la lunghezza in campioni del file audio, affinche venga generato un nuovo file audiodella stessa lunghezza.

[Tr,edc]=revtime(reference,Fs,0.01,15); % calcolo curva decadimento

edc = exp(edc); % conversione scala log-lineare

lung = length(edc); % calcolo lunghezza campioni

noise = (2*rand([1,lung]) - 1); % genera rumore bianco gaussiano

2.2.4 Seconda fase

La seconda parte dellalgoritmo e` dedicata allelaborazione dei nuovi campioni audio.Viene generato un filtro IIR bipolare passa-banda di 2 ordine [16], qui utilizzato comerisonatore elementare con w0 centrato sulla frequenza fondamentale della nota.

Dopodiche si applica un inviluppo dampiezza al campione audio di rumore biancomoltiplicando il segnale per il valore edc precedentemente calcolato. Infine, si filtranoentrambi i campioni, sia quelli generati nella prima fase che quelli originali di partenza,


utilizzando un filtro progettato allinterno dello strumento fdatool di Matlab (Figura 2.2):il filtro in questione e` un IIR del 2 ordine con banda passante centrata tra i 20 Hz ei 500 Hz, realizzato in accordo agli studi di Verrillo sulla sensibilita` e percezione dellevibrazioni [17, 18].

Figura 2.2: Schema del filtro passa-banda

% filtro frequenza fondamentale campioni

w0 = 2 * pi * pitch / Fs;

r = 0.995;

G = (1-r) * sqrt(1-2*r*cos(2*w0) + r2);

% rumore filtrato con un filtro risonante centrato su frequenza fondamentale

noise_res = filter(G, [1 -2*r*cos(w0) r2], noise);

% filtro risonante con inviluppo in ampiezza

noise_res_am = noise_res .* sqrt(edc);

% filtro passa-banda 20-500 Hz (banda aptica)

noise_res_am_bp = noise_res_am;

reference_bp = reference;

for i = 1:5


noise_res_am_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),noise_res_am_bp);

reference_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),reference_bp);

end

2.2.5 Fase finale

In questa parte lo script si occupa del calcolo del fattore di normalizzazione energetica,necessario per poter abbinare i campioni di vibrazione reali con quelli generati nella primaparte dellalgoritmo.

E importante sottolineare come sia stato necessario calcolare il fattore di normaliz-zazione per ciascun campione, poiche e` risultata evidente, in fase di scrittura del codice,uneccessiva variazione di livello tra i campioni.

Successivamente, sapendo che le vibrazioni non vengono piu` percepite dallesecuto-re a partire dalla quarta ottava e che i campioni a disposizione diventavano sempre piu`rumorosi, si e` deciso di lasciare muti tutti i tasti dalla quarta ottava in su (cutoff octave).E importante sottolineare come, prima di arrivare al valore soglia oltre il quale inizia ilsilenzio, le ampiezze dei campioni vengono attenuate progressivamente attraverso luti-lizzo del fattore correction. Una piccola sezione, inoltre, e` dedicata alla rappresentazionegrafica delle due forme donda.

Il grafico e` costituito dalle due forme donda, ciascuna con una propria colorazio-ne per il confronto visivo. In Figura 2.3 abbiamo un esempio di plot, in cui la formadonda di riferimento del campione audio di partenza (A0 111.wav) ha una colorazionerossa, mentre la forma donda del campione audio generato partendo dal rumore bianco(A0 101 127 noise.wav) e` di colore blu.

La parte finale del codice e` dedicata alla costruzione della nomenclatura da utilizzareper il salvataggio su file dei campioni generati. Il nome dei file e` composto da: nomedella nota, due numeri separati dal simbolo e la stringa noise. Dei due numeri, ilprimo indica la MIDI velocity minima mentre il secondo si riferisce a quella massima (adesempio A1 57 67 noise.wav). Una corretta nomenclatura e formattazione dei nomi hasemplificato la costruzione del banco di campioni allinterno del campionatore Kontakt.


Figura 2.3: Grafico delle due forme donda sovrapposte

% normalizzazione

norm = sqrt(reference_bp(10000:end)*reference_bp(10000:end))/sqrt(noise_res_am_bp...

...(10000:end)*noise_res_am_bp(10000:end));

% smoothing

if (ottave >=cutoff_ottave)

pitch

correction = exp(cutoff_pitch/pitch)/exp(1)

norm = norm * correction;

end

noise_final = noise_res_am * norm;

%grafico

figure(1)

clf

hold off

title(reference_file)

plot(reference, r)

hold on

plot(noise_final)

hold off


%sintassi nome file

if str2double(velocity) == str2double(velocities(1))

velocity_min = 1;

velocity_max = 45;

elseif str2double(velocity) == str2double(velocities(length(velocities))

velocity_min = 101;

velocity_max = 127; %velocity max

else

velocity_min = str2double(velocity) -10;

velocity_max = str2double(velocity);

end

% salva campioni audio su files

noise_file = char(strcat(nota,num2str(ottave),_,num2str(velocity_min), _,...

...num2str(velocity_max),_noise,.wav));

audiowrite(noise_file,noise_final,Fs);

end

end

end

Capitolo 3

Il setup sperimentale

In questo capitolo ci saranno focus sul campionatore Kontakt (Sezione 3.2), sul trasdut-tore utilizzato per la trasmissione delle vibrazioni (Sezione 3.3) e sulla tastiera prototipo(Sezione 3.4) pensata contestualmente a sessioni sperimentali scientifiche. Infine, nellaSezione 3.5, ci sara` una breve presentazione dei software utilizzati per la gestione di tuttigli esperimenti.

3.1 Schema generale

Lapparecchiatura utilizzata per gli esperimenti puo` essere raggruppata nelle categoriehardware e software.

Hardware:

pianoforte digitale Viscount Galileo VP-91;

MacBook Pro 15 2.3 GHz Core i7-4850HQ, 8GB RAM;

scheda audio RME Fireface 800, convertitori ADI-8;

amplificatore Yamaha P2700;

cuffie In-Ear Sennheiser CX 300-II;

cuffie anti-rumore 3M Peltor X-Series X5;

17

Capitolo 3. Il setup sperimentale 18

Software:

OS X 10.10.2;

REAPER v4.75/64bit;

Pure Data Extended 0.42.5;

Modartt Pianoteq 4.5.4;

MeldaProduction EQ MEqualizer;

Figura 3.1: Schema del setup sperimentale


La catena di simulazione funziona in questo modo: quando viene premuto un tasto delpiano digitale, un messaggio MIDI viene inviato alla scheda audio RME, questo messag-gio MIDI viene a sua volta catturato dal sequencer Reaper che lo fa passare per i plugindi equalizzazione MeldaProduction MEqualizer e per il plugin sampler Kontakt. Il cam-pionatore, quando riceve il segnale MIDI, produce in uscita il campione corrispondentealla nota premuta per quella specifica MIDI velocity. Il segnale, tramite una connessionebilanciata, esce dalla scheda audio allamplificatore dove viene amplificata e inviata aidue attuatori disposti sotto la tastiera.

Mentre agli shaker viene inviato il segnale di vibrazione, a unaltra uscita della schedaaudio viene invece inviato il segnale prodotto dal plugin di sintesi sonora per modelli fisiciPianoteq, il quale riceve nello stesso modo il segnale MIDI proveniente dalla tastiera.

Il segnale audio generato dal plugin Pianoteq simula il suono del pianoforte e vie-ne ascoltato dal soggetto tramite le cuffie in-ear che indossa per lintera durata dei test.Il setup prevede un paio di cuffie isolanti per evitare interferenze eccessive nei canalisensoriali dei soggetti, visto lambiente non anecoico.

3.2 Campionatore

Il campionatore e` uno strumento elettronico in grado di acquisire campioni audio e ri-produrli in uscita a diverse altezze. Il software e` interfacciabile mediante vari protocolli(tipicamente MIDI) ad hardware esterni per la configurazione di uno strumento musicalevirtuale.Il campionatore utilizzato per la realizzazione dei due banchi di vibrazioni e` il Kontakt 5(versione 5.4.1.211) della Native Instruments.In questo studio, il campionamento delle vibrazioni e` stato fatto su ogni tasto del pianofor-te con 10 livelli di dinamica. Come spiegato si sara` sicuramente notato nel capitolo pre-cedente dedicato allo script, particolare attenzione e` stata posta alla sintassi di salvataggiodei file audio. Questo perche il campionatore Kontakt ha un interessante funzione di automap, che permette la costruzione automatica del banco avendo una corretta formattazionedei nomi dei campioni (Figura 3.2).


Figura 3.2: Mapping editor del banco di campioni noise in ambiente Kontakt

3.3 Trasduttore

Il trasduttore e` un apparecchio, solitamente impiegato in sedili per videogiochi e in alcunisitemi home theater, capace di convertire lenergia da una forma ad un altra. Nello spe-cifico, un trasduttore come quello scelto per i test crea vibrazioni con elevata impedenzameccanica ed escursione quasi nulla. Il modello di trasduttore scelto per la costruzionedella tastiera prototipo e` un Clark Synthesis TST239 Silver Transducer (Figura 3.3).

Figura 3.3: Modello di trasduttore scelto per la realizzazione della tastiera prototipo


Lattuatore ha una risposta in frequenza tra i 15Hz e i 17000 Hz.A seguito di precedenti misurazioni svolte da Avanzini e Fontana per valutare la risposta infrequenza effettiva dellapparecchio [3], e` risultato un comportamento abbastanza linearedel dispositivo, tranne attorno ai 300 Hz dove e` stato registrato un picco negativo. In(Figura 3.4) e` rappresentato il grafico risultante.

Figura 3.4: Risposta in frequenza dellattuatore (Figura tratta da [3])

Per il corretto funzionamento di questo trasduttore la casa produttrice raccomandalutilizzo di un amplificatore a 4 che sia in grado di erogare una potenza di 75-100Watts. Quello utilizzato in questo progetto, uno Yamaha P2700, e` capace di erogare unapotenza di 500 W + 500 W nella configurazione stereo con unimpedenza pari a 4 ,soddisfacendo dunque le indicazioni fornite.

3.4 Tastiera prototipo

Una volta realizzato e correttamente settato il campionatore Kontakt sia nella versionecon i campioni originali sia nella versione con i campioni elaborati, lo scopo prefisso e`stato quello di riuscire a trasmettere ai tasti del pianoforte digitale queste vibrazioni. Perraggiungere questo obiettivo si e` passati allo sviluppo di una tastiera prototipo. Partendoda una tastiera digitale originale (Viscount Galileo VP-91), si e` innanzitutto rimosso ilcase originale di metallo, dopodiche la restante struttura metallica dove poggiano tutti i


tasti e` stata fissata ad un pannello di compensato dalle dimensioni di 103,1 cm x 29,9cm x 2,5 cm. Successivamente, sono stati implementati due attuatori avvitandoli al disotto della tavola di legno, posizionandoli uno centralmente e laltro in corrispondenzadel registro grave della tastiera (Figura 3.5).

Figura 3.5: Uno dei due trasduttori posizionato al di sotto della tastiera (Figura trattada [9])

Figura 3.6: Allestimento setup esperimento


3.5 Software per la gestione sperimentale

La gestione degli esperimenti e` stata affidata principalmente a due software:

Pure Data: utilizzato per coordinare i vari task degli esperimenti e raccogliere edarchiviare i dati;

Reaper: usato per organizzare e gestire tutto il flusso audio e di dati MIDI presentenei vari test.

Andando nello specifico, Pure Data e` un ambiente di programmazione grafica open sour-ce in tempo reale per elaborazione la generazione audio e video. Linterfaccia con cuilutente comunica e` grafica, quindi non ce` la necessita` di scrivere del codice in un edi-tor di testo, ma si creano delle patch combinando tra loro diversi tipi di oggetti grafici;funziona in tempo reale, quindi gli algoritmi sono interattivi ed e` possibile cambiare lastruttura stessa mentre sono attivi.Pd e` stato scritto nel 1996 da Miller Puckette, lo stesso che a meta` degli anni 80 avevasviluppato anche Max/MSP, in seguito diventato software commerciale.Le principali distribuzioni diffuse e reperibili online sul sito http://puredata.info/downloads sono: Vanilla e Extended. La prima e` una versione base del software, li-mitata al processing dei segnali audio e MIDI. La versione Extended, invece, e` unaversione piu` completa di Pure Data che include molte librerie esterne scritte dalla stessacomunita` di sviluppatori che aggiunge molte funzionalita` al software [15].

Reaper, invece, e` una digital audio workstation (DAW) sviluppata da Cockos, di-sponibile sia per Windows che Mac, scaricabile dal sito http://www.reaper.fm/download.php. Integra un ambiente di missaggio ed effettistica di elevata qualita`, uni-te ad avanzate funzionalita` di routing. Unaltra possibilita` offerta dal programma e` quelladi mappare qualsiasi controller MIDI per ogni tipo di azione, attraverso il menu` actionlist, si potra` controllare lo switch tra le modalita` silent, vibration, boost vibration enoise vibration (spiegate nel dettaglio al Capitolo 4).

Capitolo 4

Esperimenti qualitativi

In questo capitolo verranno descritti i due esperimenti qualitativi svolti durante il progettodi tesi (indicati rispettivamente con le lettere A e B). Verranno descritti ambiente e proce-dura sperimentale dellesperimento A (Sezione 4.1) e dellesperimento B (Sezione 4.2).La Sezione 4.3, invece, e` dedicata allanalisi e discussione dei risultati ottenuti.

4.1 Esperimento A

Lo scopo principale dellesperimento A e` stato quello di indagare la qualita` dello stru-mento percepita dai soggetti in presenza di vibrazioni o meno.

4.1.1 Procedura sperimentale

Nellesperimento A il soggetto ha come task quello di esplorare, suonando liberamentee consentendo lutilizzo del pedale, lintera tastiera. Al termine, attraverso linterfacciagrafica, il soggetto esprime le preferenze verso il setup A o il setup B limitatamente aquelle che sono gli aspetti richiesti.Il setup A non prevede nessun tipo di vibrazioni, mentre il setup B implementa diversitipi di feedback vibratori. A nessuno dei soggetti vengono spiegati nel dettaglio gli scopidellesperimento in modo tale da evitare ogni eventuale influenza.

Al pianista, una volta presa posizione, vengono spiegati sia il funzionamento del-linterfaccia grafica, sia il significato delle cinque attribuzioni in base alle quali dovra`confrontare tra A e B:

1. Naturaless: quale setup risulta piu` naturale;

2. Brightness: in quale dei due setup ce` una maggiore brillantezza, intesa comericchezza timbrica;

24

Capitolo 4. Esperimenti qualitativi 25

3. Engagement: quale dei due setup e` piu` coinvolgente durante il test;

4. Dynamic Control: quale dei due setup riesce ad esprimere in modo migliore unam-pia dinamica (da pianissimo a fortissimo).

5. General Preference: preferenza generale tra i due setup.

Le prime quattro sono aree piuttosto specifiche e caratterizzanti di uno strumento mu-sicale, mentre lultima area (General preference) e` di carattere piuttosto generale e sog-gettivo. Ciascun soggetto puo` passare liberamente ed in maniera del tutto autonoma daun setup allaltro attraverso un click del mouse.

Lesperimento e` composto da tre parti della durata di 10 minuti ciascuna, per un totaledi 30 minuti. Le tre fasi corrispondono alle tre coppie da confrontare:

1. quality AB.pd;

2. quality AC.pd;

3. quality AD.pd.

Nello specifico, in quality AB.pd il confronto e` tra il setup senza vibrazioni e ilsetup di vibrazioni campionate. In quality AC il confronto e` sempre tra setup senza vi-brazioni e vibrazioni campionate, ma questultime stavolta hanno un boost di +9db. Nellapatch quality AD.pd, invece, il confronto e` tra il setup senza vibrazioni e il setup divibrazioni ottenute partendo dal rumore bianco.

Al termine il computer resta a disposizione del soggetto, affinche possa riportare ipropri giudizi relativi ai test. Ai fini della riuscita dellesperimento e` stato chiesto aisoggetti di non togliere le cuffie isolanti fino alla conclusione delle valutazioni.

4.1.2 Interfaccia sperimentale

Linterfaccia sperimentale utilizzata per i test e` stata sviluppata in ambiente Pure Data.Attraverso unattenta organizzazione dellinterfaccia grafica delle patch, si sono resi piu`comprensibili i vari task degli esperimenti.

Sebbene abbiano una struttura grafica pressoche uguale, sono tre le patch che gestisco-no lesperimento A (necessarie per riuscire a confrontare ciascuna coppia singolarmente):quality AB.pd, quality AC.pd, quality AD.pd.

I setup vibratori sono caricati allinterno del sequencer Reaper (come gia` spiegato nelcapitolo 3). La comunicazione tra i due software avviene tramite il protocollo MIDI, per


Figura 4.1: Patch di Pure Data usata per lesperimento A

mezzo della funzione IAC Driver1.Le tre patch di Pd inviano un messaggio MIDI CC (rispettivamente MIDI CC 120, 121,122), che assume valori di 0 o 127. Questo permette di fare il mute-unmute sul sequencerdella traccia che si sta utilizzando per la sessione sperimentale. Il messaggio di mutecorrispondera` alla lettera A dello switch presente nella patch, mentre il messaggio diunmute corrispondera` alla lettera B (dunque al setup vibratorio da confrontare). Infine,compongono la patch 5 pannelli distinti di diversa colorazione, che sono:

Naturalness;

Richness of tone;

Engagement;

Dynamic control;

General preference.1IAC e` lacronimo di Inter Application Communication e indica di fatto la possibilita` di creare tante

porte MIDI software virtuali, visibili a livello di sistema operativo, con le quali far comunicare le nostreapplicazioni musicali.


Questi rappresentano i cinque aspetti ai quali il soggetto deve porre attenzione durantela sessione sperimentale.

Ciascun pannello contiene uno slider che puo` assumere un valore che va da un minimodi -3 ad un massimo di +3. I valori positivi indicano che il setup B e` per quel particolareparametro migliore rispetto al setup A. Viceversa, valori negativi indicano il setup A comemigliore in quel particolare aspetto. Un valore pari a 0 invece, corrisponde ad una totaleuguaglianza dei due setup, o comunque nessuna preferenza specifica.

4.2 Esperimento B

Lobiettivo di questo secondo esperimento e` di comprendere se, con laggiunta di feed-back vibrotattile, il modo di suonare dei soggetti cambi.

4.2.1 Procedura sperimentale

E importante sottolineare come in questo esperimento B per le situazioni con aggiunta difeedback vibrotattile, vengano utilizzate solamente le vibrazioni reali campionate, quin-di senza boost e neppure vibrazioni artificiali. Questa scelta e` stata fatta appositamenteper notare eventuali condizionamenti o cambiamenti nelleseguire la scala da parte delsoggetto passando dalla condizione di vibrazioni reali a quella senza vibrazioni. Il taskrichiesto al soggetto nellesperimento B e` di eseguire sulla tastiera una scala di Re mag-giore2 (ascendente/discendente), partendo dal Re2(midipitch 38) lungo tre ottave (fino aRe5).

La scala deve essere suonata ad una sola mano (preferibilmente destra), senza lutiliz-zo del pedale e ponendo attenzione a due aspetti:

dinamica: pp/mf/ff

tempo: il soggetto sara` vincolato al metronomo impostato a 120 bpm. Eseguira` unanota al secondo.

E stata scelta volutamente unindicazione temporale piuttosto lenta, in modo tale dapermettere una maggiore accuratezza da parte del soggetto al rispetto dellindicazionedinamica.

Il numero delle scale registrate da ciascun soggetto saranno 18, risultato della combi-nazione di 3 variabili:

2La scelta della scala e` stata fatta in maniera da poter svolgere lindagine anche sui tasti neri delpianoforte


1. vibrazione realistica on/off (2x)

2. dinamica pp, mf, ff (3x)

3. ripetizioni (3x)

Mentre il soggetto effettua la sua performance, note on-off e velocity sono registratida un sequencer MIDI.

4.2.2 Interfaccia sperimentale

Per quanto riguarda lesperimento B, e` la patch MIDI recording exp.pd (Figura 4.2) agestire lintera sessione di test e registrazioni.

Figura 4.2: Patch di Pure Data usata per lesperimento B

Linterfaccia grafica della patch e` suddivisa principalmente in due parti. La parte piu`in basso rappresenta il metronomo, composto da:

tasto on-off,

slider che regola il volume del click in cuffia;


slider che regola la velocita` del metronomo (settato a 120 bpm);

grande rettangolo grigio che rappresenta una sorta di led che si illumina di rosso adogni beat;

La parte superiore, invece, si occupa della lettura delle playlist. Per ciascun soggetto,infatti, e` stata creata una specifica playlist in formato .txt che per ogni riga riporta trevalori in diversi range [1 3], [0 1], [1 3]. Il primo valore corrisponde allindicazionedinamica che di volta in volta viene richiesta al soggetto (1 = pp, 2 = mf, 3 = ff) permezzo dellinterfaccia. Il secondo parametro indica se la vibrazione realistica, ovveroquella campionata, e` presente o no (1 = ON, 0 = OFF). Il terzo ed ultimo valore indica ilnumero delle ripetizioni (ne sono previste 3 per questo esperimento).

Figura 4.3: Esempio di playlist del soggetto 1

Le restanti due piccole aree della patch sono destinate alla gestione della registrazionee del salvataggio delle scale allinterno del computer nel formato .mid e con una sintassispecifica (per esempio: scaleD 2 ff 0 1.mid).


4.3 Risultati

Al primo esperimento qualitativo (A) hanno partecipato 11 soggetti (6 uomini e 5 donne)con eta` media di 27 anni circa. Tutti i soggetti hanno dimostrato unelevata padronanzadello strumento ed hanno indicato un utilizzo piu` frequente di pianoforti acustici, sola-mente 3 soggetti pianoforti digitali. Diversi sono stati i metodi di esplorazione scelti daciascun pianista per ricercare le differenze qualitative tra i vari setup: alcuni hanno pre-ferito confrontare i setup attraverso esercizi tecnici, piccole improvvisazioni e sempliciaccordi; altri, invece, hanno suonato parti di brani a memoria o con laiuto della partitura.Il tempo utilizzato dai soggetti per lindagine non si e` discostato troppo da quello previsto.Inoltre, nessuno dei soggetti ha avuto dubbi o incertezze nellesprimere i giudizi riguardoi precisi parametri richiesti.

In Figura 4.4 sono mostrati i giudizi di qualita` espressi da tutti gli 11 soggetti durantelesperimento A.

0.5

0

0.5

dynamic.controlengagement richness naturalness preferenceRating scale

Quali

ty ra

tings vibes

B

C

D

Digital piano

Figura 4.4: Risultati esperimento A

Ad una prima analisi, e` evidente una generale preferenza per i due setup con imple-mentazione di vibrazioni (C e D). Andando piu` nello specifico, lanalisi statistica rendedifficile estrapolare la ragione per cui si preferisca un certo tipo di vibrazioni piuttostoche un altro.

non emerge una differenza statisticamente significativa tra i diversi tipi di vibrazioni:questo suggerisce che in una tastiera digitale e` sufficiente la presenza di vibrazioni, manon importa quanto queste siano realistiche.


Relativamente alle 4 aree specifiche, e` interessante osservare inoltre come le vibrazio-ni influiscano soprattutto sul controllo della dinamica (dynamic.control).

Successivamente, a causa delle grandi differenze nelle valutazioni, i soggetti sono statidivisi in due gruppi in base al loro giudizio riguardo il parametro preference utilizzandoun semplice k-means3 classificatore. Il risultato e` che circa due terzi dei soggetti (7) sononel gruppo positivo e solo un terzo nel gruppo negativo (4). Analizzando nel dettaglioi dati del gruppo positivo (Figura 4.5) si nota che, generalmente, il setup D (campionielaborati) e` quello meno preferito rispetto agli altri. E il setup C (vibrazioni reali conaumento di +9 dB), invece, ad essere preferito al setup B (vibrazioni reali).

0

0.5


Quali

ty ra

tings vibration

B

C

D

Digital piano, positive group

Figura 4.5: Risultati esperimento A - gruppo positivo

Al secondo esperimento qualitativo (B), invece, hanno preso parte 8 soggetti (5 uominie 3 donne), con eta` media di 24 anni. Lipotesi era che, in presenza di vibrazioni, ilmodo di suonare dei soggetti fosse variato. Le medie dei valori di velocity dei tasti,per ciascuna delle tre indicazioni dinamiche, sono rappresentate in Figura 4.7 In questocaso, analizzando i risultati ottenuti, non si notano differenze significative tra i due setup.I soggetti sono stati molto precisi nella velocity in tutte le dinamiche. E importantesottolineare come nel mezzo-forte (mf) e nel pianissimo (pp) i valori di velocity MIDIregistrati con feedback vibratorio attivo sono piu` bassi rispetto a quelli registrati senza:probabilmente la presenza di vibrazioni da` unimpressione complessiva di dinamica piu`elevata e quindi i pianisti sono portati a suonare con dinamiche ridotte.

3algoritmo di clustering partizionale che permette di suddividere un insieme di oggetti in K gruppi sullabase dei loro attributi.


2

1.5

1

0.5

0

0.5


Quali

ty ra

tings vibration

B

C

D

Digital piano, negative group

Figura 4.6: Risultati esperimento A - gruppo negativo

Piu` in generale, i risultati di entrambi gli esperimenti dimostrano che la riproduzioneartificiale di vibrazioni su di una tastiera digitale e` apprezzata dai pianisti, poiche abituatia percepirle in pianoforti acustici.

Laggiunta della sensazione tattile sembrerebbe quindi influenzare sia la performancequanto la percezione di qualita` dello strumento stesso.

0

25

50

75

100

125

ff mf ppdynamic

Velo

city vibes

0

1

Subjects 18, whole scale

Figura 4.7: Risultati esperimento B

Capitolo 5

Conclusioni e sviluppi futuri

Lo scopo principale di questo progetto di tesi, era quello di individuare in che manieralinformazione vibrotattile influisca sulla percezione qualitativa di una tastiera digitalee se laggiunta di feedback aptico condizioni o modifichi la performance del pianista;inoltre, valutare limportanza del contenuto spettrale dei campioni utilizzati per renderepiu` efficace la trasmissione delle vibrazioni.

Lattivita` svolta ha portato in un primo momento allanalisi dei campioni vibratoriacquisiti. In seguito, e` stato elaborato uno script in Matlab con lobiettivo di automa-tizzare la procedura per lelaborazione dei campioni originali e la generazione di nuovifile audio con contenuto spettrale costituito da rumore bianco. Opportunamente elaborati,i file audio generati, sono stati inseriti allinterno di un campionatore e si e` passati allacalibrazione e messa a punto del sistema. Una volta configurati i banchi allinterno delcampionatore, sia nella versione con i campioni originali sia nella versione con i campio-ni elaborati, si e` giunti a prototipale una tastiera aumentata con feedback aptico. E statorimosso linvolucro della tastiera e la struttura metallica dove la tastiera del pianoforte di-gitale era appoggiata, e` stata fissata su una tavola di legno; al di sotto di questa sono statiavvitati gli attuatori in grado di trasmettere alla tavola i diversi tipi di segnali vibratoriprovenienti dal campionatore.

Nonostante i risultati non possano essere statisticamente significativi, a causa delloscarso numero di soggetti (gli esperimenti sono tuttora in corso), la preferenza espressadalla maggior parte dei soggetti tende verso i setup con la presenza di vibrazioni, con-fermando dunque come la percezione della componente vibratorie sia gradita da parte delpianista, poiche abituato a percepirla nella versione acustica dello strumento (esperimentoA); tuttavia, la presenza di feedback aptico non sembrerebbe influenzare particolarmentela performance dellesecutore (esperimento B).

Ad unanalisi piu` dettagliata dei dati sperimentali, non e` emersa una differenza signifi-

33

Capitolo 5. Conclusioni e sviluppi futuri 34

cativa tra i diversi tipi di vibrazioni: questo potrebbe suggerire che in una tastiera digitalee` sufficiente la presenza di una componente vibratoria, ma non importa quanto questa siarealistica.

Sviluppi futuri potrebbero riguardare la realizzazione di esperimenti qualitativi piu`approfonditi: invece che scale, richiedere lesecuzione di accordi lunghi, situazione in cuila vibrazione e` maggiormente percepibile da parte del pianista. Dal punto di vista dellacatena di simulazione, sarebbe opportuno indagare in maniera piu` approfondita laspettodella trasmissione meccanica della vibrazione.

Piu` a lungo termine, invece, lidea di realizzare un modello fisico capace di sintetiz-zare in tempo reale sia il suono del pianoforte che la componente vibrotattile.

Laggiunta della sensazione vibrotattile in un tastiera digitale, simile a quella di unpianoforte acustico, potrebbe sicuramente essere un fattore molto importante per la rea-lizzazione di soluzioni digitali che, accompagnate da una fedele riproduzione del suono,potrebbero avere diversi vantaggi economici e pratici rispetto ad un pianoforte acustico.In conclusione, e` evidente che la presenza e la percezione delle vibrazioni viene tradot-ta dai pianisti come un fattore che va a migliorare la qualita` generale dello strumentomusicale.

Appendici

35

Appendice A

Codice

A.1 Script Utilizzati

Codice usato per lelaborazione dei segnali audio: vibration noise

clear all;

close all;

load BP 20-500.mat %carica band-pass filter

note = {C, C#, D, D#, E, F, F#, G, G#,A, A#, B};

velocities = {45,56,67,78,89,100,111};

PITCH_FACTOR = nthroot(2,12);

initial_pitch = 27.500;

pitch = initial_pitch/PITCH_FACTOR;

cutoff_ottave = 4;

cutoff_pitch = 146.83;

global_count = 0;

for ottave = 0:5 % totale 7

global_count= global_count + 1;

if (ottave == 0)

init_note = 10;

else init_note = 1;

end

for i=init_note:length(note)

nota=note(i);

pitch= pitch * PITCH_FACTOR;

for j = 1:length(velocities)

velocity = velocities(j);

if ( ottave >= cutoff_ottave )

reference_file = char(strcat(D,num2str(cutoff_ottave),_,velocity,.wav));

36

Capitolo A. Codice 37

else

reference_file = char(strcat(nota,num2str(ottave),_,velocity,.wav));

end

%carica buffer

[reference, Fs] = audioread(reference_file);

%% PRIMA PARTE

[Tr,edc]=revtime(reference,Fs,0.01,15); % calcolo curva decadimento

edc = exp(edc); % conversione scala log-lineare

lung = length(edc); % calcolo lunghezza campioni

noise = (2*rand([1,lung]) - 1); % genera rumore bianco gaussiano

%% SECONDA PARTE

% filtro frequenza fondamentale campioni

w0 = 2 * pi * pitch / Fs;

r = 0.995;

G = (1-r) * sqrt(1-2*r*cos(2*w0) + r2);

% rumore filtrato con un filtro risonante centrato su frequenza fondamentale

noise_res = filter(G, [1 -2*r*cos(w0) r2], noise);

% filtro risonante con inviluppo in ampiezza

noise_res_am = noise_res .* sqrt(edc);

% filtro passa-banda 20-500 Hz (banda aptica)

noise_res_am_bp = noise_res_am;

reference_bp = reference;

for i = 1:5

noise_res_am_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),noise_res_am_bp);

reference_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),reference_bp);

end

%% PARTE FINALE


% normalizzazione

norm = sqrt(reference_bp(10000:end)*reference_bp(10000:end))/sqrt...

...(noise_res_am_bp(10000:end)*noise_res_am_bp(10000:end));

% smoothing

if (ottave >=cutoff_ottave)

pitch

correction = exp(cutoff_pitch/pitch)/exp(1)

norm = norm * correction;

end

noise_final = noise_res_am * norm;

%grafico

figure(1)

clf

hold off

title(reference_file)

plot(reference, r)

hold on

plot(noise_final)

hold off

%sintassi nome file

if str2double(velocity) == str2double(velocities(1))

velocity_min = 1;

velocity_max = 45;

elseif str2double(velocity) == str2double(velocities(length(velocities))

velocity_min = 101;

velocity_max = 127; %velocity max

else

velocity_min = str2double(velocity) -10;

velocity_max = str2double(velocity);

end

% salva campioni audio su files

noise_file = char(strcat(nota,num2str(ottave),_,num2str(velocity_min),...

..._,num2str(velocity_max),_noise,.wav));

audiowrite(noise_file,noise_final,Fs);


end

end

end

Funzione revtime

function [Tr,edc] = revtime(rir,Fs,ti,tf)

rir = rir(round(ti*Fs):round(tf*Fs));

edc = 10*log10(fliplr(cumsum(fliplr(rir.2)))); % calcola curva decadimento

edc = edc-max(edc); % normalizza a 0 dB

c = polyfit(1:round(length(edc)/2),edc(1:round(length(edc)/2)),1);

Tr = (-60-c(2))/(c(1)*Fs);

Bibliografia

[1] Anders Askenfelt and Erik V Jansson. On vibration sensation and finger touch instringed instrument playing. Music Perception, 9(3):311350, 1992.

[2] Federico Avanzini. Algorithms for sound and music computing, December 2009.

[3] Balazs Bank. Analysis of the measurements made by Federico Avanzini and Fe-derico Fontana. Viscount keyboard on a wooden panel, Clark Synthesis shakers.Technical report, Centro di Sonologia Computazionale, Padova, July 2013.

[4] Bala`zs Bank, Stefano Zambon, and Federico Fontana. A modal-based real-timepiano synthesizer. IEEE Transactions on Audio, Speech and Language Processing,18(04):809821, May 2010.

[5] C. Cadoz, L. Lisowski, and J.-L. Florens. A modular feedback keyboard design.Comput. Music J., 14(2):4751, 1990.

[6] Federico Fontana, Federico Avanzini, Stefano Papetti, Hanna Jarvelainen, FrancescoZanini, and Valerio Zanini. Perception of interactive vibrotactile cues on the acousticgrand and upright piano. In Proc. Int. Conf. Sound and Music Computing (SMC),pages 16. Padova, Italy, 2014.

[7] Federico Fontana, Marco Civolani, Stefano Papetti, Valentina del Bello, and Bala`zsBank. An exploration on the influence of vibrotactile cues during digital pianoplaying. In Proc. Int. Conf. Sound and Music Computing (SMC), pages 16. Padova,Italy, 2011.

[8] Alexander Galembo and Anders Askenfelt. Quality assessment of musical instru-ments - effects of multimodality. In Proc. 5th Triennial Conf. of the EuropeanSociety for the Cognitive Sciences of Music (ESCOM5), pages 441444. HanoverUniversity of Music and Drama, Germany, 8-13 September 2003.

[9] Andrea Ghirotto. Elaborazione numerica di segnali per la realizzazione di feedbackvibrotattile su un pianoforte digitale. Tesi di laurea triennale, September 2014.

40

BIBLIOGRAFIA 41

[10] R. B. Gillespie. Haptic Display of Systems with Changing Kinematic Constraints:The Virtual Piano Action. PhD thesis, Stanford University, January 1996.

[11] L. Hiller and P. Ruiz. Synthesizing musical sounds by solving the wave equation forvibrating objects: Part 1,. J. Audio Eng. Soc., 19(6):462470, 1971.

[12] R.L. Klatzky and S.J. Lederman. Touch (Pre-pubblication). 2002.

[13] Mark T. Marshall and Marcelo M. Wanderley. Vibrotactile feedback in digital mu-sical instruments. In Proc. Int. Conf. on New Interfaces for Musical Expression(NIME), pages 226229. Paris, France, 2006.

[14] Roberto Oboe and Giovanni De Poli. Multi-instrument virtual keyboard the mikeyproject. In Proc. Int. Conf. New Interfaces for Musical Expression (NIME). Dublin,Ireland, 24-26 May 2002.

[15] Miller Puckette. Max at seventeen. In Computer Music Journal, volume 24, page 4,2002.

[16] Davide Rocchesso. Introduction to sound processing.

[17] R. T. Verillo. Vibration sensing in humans. Music Perception, 9(3):281302, 1991.

[18] Ronal T. Verrillo. Vibrotactile thresholds measured at the finger. Perception &Psychophysics, 9(4):329330, July 1971.

[19] I. Wollman, C. Fritz, and J. Frelat. Vibrotactile feedback in the left hand of violinists.In In Proc. Acoustics 2012 Nantes Conf., S. F. dAcoustique, Ed., Nantes, France,pages 3605 3610, April 2012.

[20] Francesco Zanini. Percezione vibrotattile nel pianoforte: analisi e valutazioniqualitative. Tesi di laurea triennale, April 2014.

[21] Valerio Zanini. La tastiera attuata: analisi e simulazione dellinformazionevibrotattile nel pianoforte. Tesi di laurea triennale, April 2014.

PrefazioneRingraziamenti1 Introduzione1.1 Il pianoforte digitale1.2 Il feedback aptico1.3 Pianoforti digitali aumentati con feedback aptico1.4 Sintesi del suono per modelli fisici

2 Generazione ed elaborazione campioni2.1 File audio2.2 Struttura dello script di generazione2.2.1 Dichiarazione delle variabili2.2.2 Caricamento e analisi campioni originali2.2.3 Prima fase2.2.4 Seconda fase2.2.5 Fase finale

3 Il setup sperimentale3.1 Schema generale3.2 Campionatore3.3 Trasduttore3.4 Tastiera prototipo3.5 Software per la gestione sperimentale

4 Esperimenti qualitativi4.1 Esperimento A4.1.1 Procedura sperimentale4.1.2 Interfaccia sperimentale

4.2 Esperimento B4.2.1 Procedura sperimentale4.2.2 Interfaccia sperimentale

4.3 Risultati

5 Conclusioni e sviluppi futuriAppendiciA CodiceA.1 Script Utilizzati

Valutazione sperimentale della qualità percepita dall’esecutore al pianoforte digitale aumentato...

Documents

Transcript of Valutazione sperimentale della qualità percepita dall’esecutore al pianoforte digitale aumentato...