Download - Tracking di prodotto di colata basato su immagini

Transcript
Page 1: Tracking di prodotto di colata basato su immagini

Università degli Studi di Trieste

Dipartimento di Ingegneria e Architettura

Corso di laurea triennale in Ingegneria dell’Informazione

Tesi di Laurea

Tracking di prodotto di colatabasato su immagini

Laureando:Denis RONCHESE

Relatore:Prof. Felice Andrea PELLEGRINO

Co-Relatore:Prof. Gianfranco FENU

ANNO ACCADEMICO 2014-2015

Page 2: Tracking di prodotto di colata basato su immagini
Page 3: Tracking di prodotto di colata basato su immagini

Indice

1 Introduzione 31.1 Principi della colata continua . . . . . . . . . . . . . . . . . . . 31.2 Le marche di oscillazione . . . . . . . . . . . . . . . . . . . . . . 51.3 Tracking dei semilavorati . . . . . . . . . . . . . . . . . . . . . . 71.4 Problema ed obiettivo . . . . . . . . . . . . . . . . . . . . . . . 9

2 Digital Image Processing 112.1 Cenni introduttivi . . . . . . . . . . . . . . . . . . . . . . . . . . 112.2 Filtraggio lineare . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.2.1 Correlazione e convoluzione . . . . . . . . . . . . . . . . 122.3 Filtraggio non lineare . . . . . . . . . . . . . . . . . . . . . . . . 13

2.3.1 Filtro mediano . . . . . . . . . . . . . . . . . . . . . . . 132.3.2 Filtro bilaterale . . . . . . . . . . . . . . . . . . . . . . . 142.3.3 Operatori morfologici . . . . . . . . . . . . . . . . . . . . 15

2.4 Edge detection . . . . . . . . . . . . . . . . . . . . . . . . . . . 162.4.1 Filtro di Sobel . . . . . . . . . . . . . . . . . . . . . . . . 182.4.2 Algoritmo di Canny . . . . . . . . . . . . . . . . . . . . . 18

2.5 Analisi nel dominio della frequenza . . . . . . . . . . . . . . . . 19

3 Strategie di Feature Extraction 213.1 Inquadramento del problema . . . . . . . . . . . . . . . . . . . . 213.2 Descrizione delle strategie . . . . . . . . . . . . . . . . . . . . . 23

3.2.1 Estrazione della frequenza . . . . . . . . . . . . . . . . . 233.2.2 Ricostruzione sintetica da interpolazione . . . . . . . . . 243.2.3 Ridge detection con kernel anisotropico . . . . . . . . . . 25

3.3 Analisi delle strategie . . . . . . . . . . . . . . . . . . . . . . . . 28

iii

Page 4: Tracking di prodotto di colata basato su immagini

INDICE

3.3.1 Estrazione della frequenza . . . . . . . . . . . . . . . . . 283.3.2 Ricostruzione sintetica da interpolazione . . . . . . . . . 343.3.3 Ridge detection con kernel anisotropico . . . . . . . . . . 39

4 Conclusioni 454.1 Risultati ottenuti . . . . . . . . . . . . . . . . . . . . . . . . . . 454.2 Sviluppi futuri . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

Bibliografia 49

iv

Page 5: Tracking di prodotto di colata basato su immagini

Abstract

La presente tesi propone un’analisi e uno studio di fattibilità di un problemadi tracking di prodotti di colata industriale, basato su particolari caratteristichesomatiche degli stessi, dette marche di oscillazione; l’analisi è condotta attraversola formulazione di alcune strategie originali di feature extraction da immaginidigitali rappresentative del problema.

L’elaborato offre, preventivamente alla presentazione delle strategie, una con-cisa descrizione dell’ambito industriale direttamente interessato e degli strumentiutilizzati per l’elaborazione immagini.

Da uno studio dei risultati ottenuti, si evidenzia la concreta possibilità che deifuturi miglioramenti alle strategie esposte, in combinazione ad ulteriori metodidi analisi del problema, possano permettere la realizzazione di un sistema ditracking in grado di sostituire l’attuale tecnologia in uso.

Page 6: Tracking di prodotto di colata basato su immagini
Page 7: Tracking di prodotto di colata basato su immagini

1 | Introduzione

1.1 Principi della colata continua

La colata continua è un processo di produzione industriale grazie al qualevengono fabbricati semilavorati siderurgici tramite la solidificazione di metallofuso.

Sir Henri Bessemer introdusse il primo modello nel 1856, nelle intenzioni dimigliorare la capacità produttiva dei processi a fusione, fino ad allora circoscrittialla sola colata in lingottiera, senza compromettere la qualità dell’output. Ilmodello in questione prevedeva il passaggio del metallo fuso attraverso due rullicontrorotanti raffreddati ad acqua; in successivi sviluppi, il materiale venivafatto colare preventivamente all’interno di una lingottiera verticale senza fondo,che permetteva di ottenere un prodotto di maggiore qualità, in termini diforma ed omogeneità di raffreddamento. Nella prima metà del XIX secolo,Siegfried Junghans propose di applicare alla lingottiera un movimento oscillatorioverticale, nel tentativo di arginare il problema di aderenza del metallo in fase diraffreddamento, alle pareti della stessa.

Ad oggi il processo di colata continua ha quasi completamente soppiantatogli altri metodi di produzione siderurgica, poiché permette una produzionealtamente controllata tramite processi di automazione, ad una qualità superioreed a costi ridotti. I metalli maggiormente interessati a questo tipo di lavorazionesono l’acciaio, l’alluminio e il rame.

In Fig. 1.1 viene illustrato il funzionamento di una macchina di colatamoderna: da una prima siviera, il metallo fuso in uscita dalle fornaci vieneportato nella siviera di colata, all’interno della quale il materiale si omogeneizzain temperatura e composizione, prima di uscire dall’ugello e cominciare il veroproprio processo di forma e raffreddamento. Il metallo liquido viene quindi fatto

3

Page 8: Tracking di prodotto di colata basato su immagini

CAPITOLO 1. INTRODUZIONE

Figura 1.1: Struttura di una linea di colata.

scorrere all’interno della lingottiera, di solito in rame raffreddata esternamentead acqua, percorrendo di fatto il primo stadio di raffreddamento: la lingottieraoscilla verticalmente per prevenire che il metallo, in fase di solidificazione,aderisca alle pareti. Dentro alla lingottiera, quindi, il materiale forma un primostrato solido a contatto con le pareti, mentre più internamente le temperaturesono ancora elevate a sufficienza da preservare un nucleo di metallo fuso. Ilflusso in uscita dalla lingottiera entra in un secondo stadio di raffreddamento:una camera composta da rulli di supporto e movimento (anch’essi raffreddatiad acqua), intervallati da sistemi a spray di acqua per continuare il processodi abbassamento di temperatura e solidificazione. La disposizione dei rulli disupporto può variare da una guida totalmente verticale, ad un’altra caratterizzatada una curva, permettendo l’uscita in direzione orizzontale dell’output. L’ultima

4

Page 9: Tracking di prodotto di colata basato su immagini

1.2. LE MARCHE DI OSCILLAZIONE

fase del processo consiste in un tratto rettilineo di rulli di supporto per raffreddareulteriormente il materiale e rettificarlo prima che altri rulli di estrazione lo portinoal punto di taglio, presidiato solitamente da una sega circolare o da un cannelloossiacetilenico, producendo infine i semilavorati caratterizzati dalle lunghezzepredefinite. A questo punto ciascun prodotto viene marcato per l’identificazione eportato in un deposito di raffreddamento o direttamente in ingresso al successivostadio produttivo (e.g. laminazione).

1.2 Le marche di oscillazione

Una caratteristica comune a tutti i semilavorati prodotti per colata continuaè la presenza sulla loro superficie delle cosiddette marche di colata o marche dioscillazione, che, come suggerisce il nome stesso, sono causate dal movimentooscillatorio della lingottiera. Come si vede da Fig. 1.2, esse si manifestano comedelle depressioni sulla crosta del semilavorato, poste, per tutta la sua lunghezza,trasversalmente alla direzione di colata, di distanza reciproca, forma e profonditàvariabili: marche d’oscillazione ideali sono perpendicolari alla direzione di colata,

Figura 1.2: Le marche di colata in una billetta a sezione circolare.

5

Page 10: Tracking di prodotto di colata basato su immagini

CAPITOLO 1. INTRODUZIONE

di profondità costante e presenti periodicamente su tutta la superficie del pezzo,distanziate l’una dall’altra di una lunghezza costante data dal rapporto trala velocità di colata e la frequenza di oscillazione della lingottiera. Esse sonoconsiderate come dei difetti di poco conto in termini di qualità superficialedel semilavorato, nonostante possano degenerare in problemi strutturali piùimportanti, come crepe interne, che ne comprometterebbero il valore industriale;sono stati effettuati con successo, infatti, diversi studi sul profilo oscillatorio daapplicare alla lingottiera per limitarne le conseguenze sul materiale colato, mala loro descrizione esula dal problema del seguente elaborato.

A partire dal comportamento del menisco, l’estremità della conca superfi-ciale del metallo fuso formatasi per tensione superficiale (essendo un liquido)e solidificatosi per contatto alla parete della lingottiera, si possono osservaretre differenti modi di generazione delle marche di oscillazione: per overflow, peroverflow con rifusione e per ripiegamento del menisco.

Figura 1.3: Formazione delle marche di oscillazione: A) overflow, B) overflowcon rifusione e C) ripiegamento del menisco.

Come si è già detto, la lingottiera viene fatta oscillare verticalmente perprevenire che il materiale in raffreddamento si attacchi alle pareti della stessa:durante il negative strip time di ogni periodo di oscillazione, ovvero il momentoin cui la lingottiera ha una velocità di spostamento verso il basso superiore allavelocità di colata, il nuovo metallo fuso immesso dalla siviera di colata è spinto ariempire lo spazio di aria fra la superficie solida e la parete, andatosi a creare per

6

Page 11: Tracking di prodotto di colata basato su immagini

1.3. TRACKING DEI SEMILAVORATI

contrazione termica del metallo raffreddato e per la forma rientrante caratteristicadel menisco solido. Le marche quindi si generano perché il metallo fuso appenacolato strabocca (overflow), superando il menisco appena solidificatosi, nonriuscendo però a colmare completamente il gap d’aria descritto precedentemente,solidificandosi prima (Fig. 1.3A).

Talvolta può capitare che il menisco, precedentemente raffreddato, raggiungadi nuovo la temperatura di fusione per mezzo del metallo liquido con il quale èa contatto: si ha quindi la formazione di una marca di colata per overflow conrifusione (Fig. 1.3B), dove si va a perdere l’uncino del menisco più all’interno.In particolari situazioni, la spinta metallostatica del metallo fuso può ripiegareil menisco all’esterno, verso la parete della lingottiera, formando in questo modouna depressione (Fig. 1.3C).

1.3 Tracking dei semilavorati

Nel contesto produttivo industriale, il termine tracking assume un dupli-ce significato: si parla infatti di tracking di controllo, che avviene durante ilprocesso di lavorazione ed è utile affinché questo venga portato a termine corret-tamente, e di tracking di identificazione, che permette l’immagazzinamento e laclassificazione dell’output di ciascun processo.

Il tracking di controllo è di solito basato sull’impiego di hot metal detector ofotocellule a barriera, sia che si stia lavorando con materiale incandescente che atemperatura ambiente; le funzionalità possono essere le più disparate: in fase dicolata è di norma impiegato un velocimetro, che analizza la velocità di colata delmateriale tra i rulli di controllo, permettendo al sistema automatico di regolarel’immissione del metallo fuso, la frequenza di oscillazione della lingottiera e altriparametri. In un laminatore, invece, le fotocellule a barriera vengono posizionateopportunamente per effettuare un tracking di posizione, ovvero per sapere dovesi trova il materiale all’interno della macchina e per conoscere determinatecaratteristiche fisiche dello stesso (e.g. la lunghezza raggiunta dal semilavoratodopo diverse laminazioni), informazioni indispensabili per evitare inconvenientidurante il processo. Durante questa fase produttiva, le fotocellule, che qui fannoparte del sistema di tracking di controllo, assumono anche la funzionalità ditracking di identificazione: il materiale in ingresso ad un laminatore, inizialmente

7

Page 12: Tracking di prodotto di colata basato su immagini

CAPITOLO 1. INTRODUZIONE

provvisto di etichetta identificativa andata poi persa durante il pre-riscaldamentoo nelle prime fasi di lavorazione fisica del semilavorato, verrà tracciato durantel’intera durata della laminazione dalle fotocellule e, grazie alla sequenzialitàcaratteristica di questo processo, sarà possibile associare a ciascun prodotto inuscita, il corrispettivo input dal quale esso deriva.

Il tracking di identificazione invece si occupa di fornire un metodo di rico-noscimento ed individuazione dei semilavorati tra i vari stadi di produzione,per la costruzione di un inventario utile alla vendita o allo stoccaggio in magaz-zino. L’attuale tecnologia impiegata in questo ambito coinvolge un sistema di

Figura 1.4: Esempio di label metallica con etichetta cartacea.

marcatura fisica: targhette metalliche incise, etichette cartacee adesive o unacombinazione di queste due, vengono applicate a ciascun elemento immagazzina-to. La prima marcatura avviene successivamente alla colata, una volta estratto

8

Page 13: Tracking di prodotto di colata basato su immagini

1.4. PROBLEMA ED OBIETTIVO

il prodotto dalla camera di raffreddamento, solitamente attraverso un operatore.A questo proposito, l’unico tentativo effettuato di automatizzazione della fase dimarcatura del prodotto di colata consisteva in una spray machine, che scrivevale informazioni, tramite della vernice, direttamente sulla superficie del semila-vorato. In ogni caso, le operazioni di lavaggio o più semplicemente le azioni diimmagazzinaggio, interessano negativamente i materiali di marcatura, andandoa compromettere l’efficacia e l’integrità dell’intero sistema; inoltre il passaggioattraverso nuovi stadi di elaborazione del materiale, come il riscaldamento pre-ventivo alla laminazione e la laminazione stessa, comportano inevitabilmente laperdita di questi mezzi di tracking. Alcuni tipi di semilavorati, inoltre, presentanouna superficie irregolare a tal punto da impedire l’applicazione delle etichetteadesive, rendendo questi prodotti difficili da marcare. Invece, nei casi in cui laqualità e la purezza del materiale richiesta sia elevata, l’adesivo applicato inquesta fase potrebbe risultare dannoso e quindi si avrebbe la necessità di unintervento di pulizia, con conseguenze stressanti per il semilavorato, o addiritturauno scarto del segmento marcato.

Su ciascuna targhetta vengono riportate le informazioni essenziali che descri-vono le caratteristiche del semilavorato a cui è riferito: troviamo, ovviamente,lunghezza e peso del prodotto, il numero di colata (strand) e il numero del tagliorelativo ad essa (cut), un codice a barre e il grade relativo alla colata, ovveroun’indicazione sulle proprietà meccaniche e chimiche del metallo colato.

1.4 Problema ed obiettivo

Le marche di oscillazione si manifestano sull’output di colata come conse-guenze indesiderate del movimento oscillatorio della lingottiera. Il fenomeno èconsiderato un problema qualitativo da eliminare, ma da numerosi studi effet-tuati si è vista solo la possibilità di una minimizzazione della sua intensità permezzo di configurazioni particolari dei parametri di colata (velocità di estrazio-ne, frequenza e forma di oscillazione). La natura variabile delle caratteristichefisiche di ciascuna marca di oscillazione le rende ipoteticamente dei vettori diinformazione: l’idea è quella di sfruttare queste depressioni per implementareun metodo di tracking identificativo, che possa potenzialmente sostituire letecnologie attualmente in uso e descritte in precedenza. Si tratta quindi di un

9

Page 14: Tracking di prodotto di colata basato su immagini

CAPITOLO 1. INTRODUZIONE

problema di tracciamento virtuale basato su un’elaborazione di immagini, che siavvale delle caratteristiche somatiche dei soggetti per formulare un sistema diclassificazione e distinzione.

In un ambito di tesi triennale, si è voluto porre come obiettivo uno studio difattibilità, con particolare riguardo alla feature extraction, che consenta di gettarele basi per un progetto di complessità e profondità elevata, e che sicuramenteavrà sviluppi futuri. A questo proposito, verranno esposte in seguito le diversestrategie ipotizzate per la soluzione di questo problema, descrivendo nel dettaglioil loro procedimento ed analizzandone i risultati.

10

Page 15: Tracking di prodotto di colata basato su immagini

2 | Digital Image Processing

2.1 Cenni introduttivi

Si definisce image processing una particolare branca dell’elaborazione disegnali, nella quale gli input sono delle immagini; gli output possono essere a lorovolta delle immagini, così come dei parametri relativi all’input. In particolare,i segnali di maggior interesse, in questo caso, sono le immagini digitali raster :una matrice di valori numerici, detti pixel, rappresentanti il livello di luminositàdei colori in ciascun punto. Le immagini raster possono essere distinte in base aicolori riproducibili:

• Bianco e nero: matrici bidimensionali dove ogni pixel è rappresentato daun singolo bit, 1 indica luminosità massima (bianco) e 0 minima (nero);

• Scala di grigi: matrici bidimensionali dove ogni pixel è un byte, e rappresentala luminosità del grigio, variabile dal nero (minimo) al bianco (massimo);

• A colori: matrici bidimensionali a più livelli, ciascuno rappresentante uncolore, nei quali ogni pixel assume il significato di luminosità di quel colorenel punto. Il colore finale è dato dalla combinazione dei valori di ciascunpixel in livelli diversi; solitamente si ha a che fare con immagini dette RGB,a 3 livelli rappresentanti i colori rosso, verde e blu;

Il singolo pixel, di per sé, ha un contenuto informativo ristretto, infatti l’analisidi immagini coinvolge spesso l’intorno di un punto: in questi casi si parla dineighborhood operations.

11

Page 16: Tracking di prodotto di colata basato su immagini

CAPITOLO 2. DIGITAL IMAGE PROCESSING

2.2 Filtraggio lineare

Un tipo di analisi che coinvolge l’intorno di un pixel è il filtraggio spaziale,ovvero l’insieme di tecniche utili ad enfatizzare o modificare determinate carat-teristiche di un’immagine. Tra queste troviamo il filtraggio lineare, che consistein combinazioni lineari dei valori dei pixel in un intorno.

2.2.1 Correlazione e convoluzione

I due operatori lineari più comuni sono la correlazione e la convoluzione: inentrambe il valore finale di un determinato pixel è dato dalla somma pesata deivalori dei pixel in un suo intorno. La correlazione è definita come

g(i, j) = f ⊗ h =∑k,l

f(i+ k, j + l)h(k, l),

dove h(k, l) è detto kernel o matrice di convoluzione, ed è il vettore bidimensionalecontenente i pesi da applicare all’intorno di ciascun pixel. La convoluzione, invece,è una variante di questa formula, infatti

g(i, j) = f ∗ h =∑k,l

f(i− k, j − l)h(k, l) =∑k,l

f(k, l)h(i− k, j − l),

che è preferibile poiché ha diverse proprietà utili nell’elaborazione di segnali(e.g. associatività, commutatività, molte altre che coinvolgono il dominio dellefrequenze). Il valore assunto dai pesi nel kernel permette di applicare all’immaginediversi tipi di filtri, tra i quali la sfocatura (blurring) e l’aumento della nitidezza(sharpening).

Nell’applicare questo tipo di filtri bisogna considerare l’effetto dei bordi(padding); a questo proposito si hanno diverse alternative:

• Zero: assegnare ai pixel all’esterno dei bordi dell’immagine un valore nullo;

• Wrap: collegare virtualmente tra loro i bordi dell’immagine (in una confi-gurazione toroidale);

• Costante: assegnare ai pixel all’esterno dei bordi dell’immagine dei valoricostanti (solitamente relativi al bordo stesso);

12

Page 17: Tracking di prodotto di colata basato su immagini

2.3. FILTRAGGIO NON LINEARE

• Taglio: ignorare dall’elaborazione i pixel dell’immagine che coinvolgerebberopunti esterni alla stessa: come risultato si ha un output di dimensioniridotte;

Solitamente i kernel che vengono impiegati nell’ambito del filtraggio lineare,sono normalizzati, ovvero la somma di tutti i loro pesi dà 1; questo impedi-sce all’operazione di convoluzione di alterare la luminosità media complessivadell’immagine in uscita al filtro.

L’operazione più facilmente implementabile, tra i filtri lineari che sfruttanola convoluzione, è il filtro a media mobile: esso esegue una media dei valori deipixel, sfruttando una matrice composta da pesi unitari scalati del numero dielementi nella matrice stessa; come risultato si ottiene una sfocatura di intensitàcrescente all’aumentare delle dimensioni del kernel.

(a) Originale (b) Kernel 5 × 5 (c) Kernel 9 × 9

Figura 2.1: Filtro a media mobile ad effetto sfocatura.

2.3 Filtraggio non lineare

Altre tecniche di elaborazione spaziale di immagini coinvolgono il filtrag-gio non lineare: trattasi sempre di neighborhood operations ma che sfruttanocombinazioni, questa volta, non lineari dei valori nell’intorno di un pixel.

2.3.1 Filtro mediano

Tra questi vi è il filtro mediano, utilizzato spesso come denoiser, ovvero utilea ridurre il rumore casuale presente nelle immagini. Sfrutta il principio per cui i

13

Page 18: Tracking di prodotto di colata basato su immagini

CAPITOLO 2. DIGITAL IMAGE PROCESSING

valori dei pixel in un intorno di piccole dimensioni dovrebbero statisticamenteessere vicini, permettendo quindi di andare a compensare l’eventuale rumore(e.g. sale e pepe, gaussiano): esso sostituisce semplicemente al singolo pixel, ilvalore mediano dei pixel nel suo intorno. Un grosso vantaggio di questo tipo difiltraggio è la capacità di preservare l’intensità dei bordi.

2.3.2 Filtro bilaterale

Un altro tipo di filtro non lineare contro il rumore e, come il precedente, ingrado di preservare i contorni nell’immagine, è il filtro bilaterale. Similmenteagli altri tipi di filtri, esso si basa su un kernel di pesi: la differenza sostanzialerisiede nei valori presenti in questa matrice di convoluzione, che dipenderannonon più solo dalla loro vicinanza posizionale rispetto al centro della matrice, ma

(a) Disturbo gaussiano (b) Filtro mediano (c) Filtro bilaterale

(d) Disturbo "sale e pepe" (e) Filtro mediano (f) Filtro bilaterale

Figura 2.2: Noise reduction dei filtri mediano e bilaterale: si noti come il filtrobilaterale fallisca a rimuovere il rumore sale e pepe perché i pixel rumorosi sonotroppo differenti dal loro intorno.

14

Page 19: Tracking di prodotto di colata basato su immagini

2.3. FILTRAGGIO NON LINEARE

anche dalla somiglianza in intensità dei pixel nell’intorno del centrale, rispetto aquest’ultimo. La funzione che genera il kernel per il filtro bilaterale è infatti

w(i, j, k, l) = d(i, j, k, l) · r(i, j, k, l),

dove d è detto domain kernel e i suoi pesi rappresentano la vicinanza posizionale,dato da

d(i, j, k, l) = e− (i−k)2+(j−l)2

2σd2 ,

mentre r è il range kernel, dipendente dai valori d’intensità dei pixel

r(i, j, k, l) = e− ‖f(i,j)−f(k,l)‖2

2σr2 .

L’output di un filtro bilaterale dipende quindi dalla matrice di convoluzione wsecondo questa relazione

g(i, j) =∑k,l f(k, l)w(i, j, k, l)∑

k,l w(i, j, k, l) .

2.3.3 Operatori morfologici

Gli operatori morfologici sono una collezione di operazioni non lineari appli-cabili ad immagini binarie. Tutte queste operazioni si basano su uno scorrimentodi un elemento strutturante sull’immagine, attraverso il quale viene valutataciascuna zona dell’immagine ed assegnato un valore binario al pixel nell’origine(che può non essere quello centrale) di quest’ultima, in base al criterio sceltotra intersezione e contenimento. Quando l’elemento strutturante scorre sopral’immagine binaria, in ogni posizione ogni suo pixel è associato al pixel dell’im-magine sopra al quale si trova: si parla di contenimento, se per ogni pixel divalore 1 dell’elemento strutturante corrisponde un pixel di valore 1 nell’imma-gine binaria; similmente si parla di intersezione, quando almeno un pixel divalore 1 dell’immagine binaria ha una corrispondenza nell’elemento strutturante.L’elemento strutturante è una matrice binaria le cui dimensioni ne specificanola grandezza e la cui disposizione dei valori binari al suo interno ne specificanola forma.

15

Page 20: Tracking di prodotto di colata basato su immagini

CAPITOLO 2. DIGITAL IMAGE PROCESSING

Figura 2.3: Funzionamento dell’elemento strutturante.

Nella Fig. 2.4 si trova un esempio per ciascun operatore morfologico standard;questi sono:

• erosione: contenimento dell’elemento strutturante, ha come risultato unadiminuzione in spessore delle caratteristiche dell’immagine;

• dilatazione: intersezione dell’elemento strutturante, ha come risultato unaumento in spessore delle caratteristiche dell’immagine;

• apertura: erosione seguita da dilatazione, è un operatore idempotente,tende ad eliminare gli istmi tra due regioni di dimensioni più vaste, senzaalterarle;

• chiusura: dilatazione seguita da erosione, è un operatore idempotente,tende a "riempire" i buchi lasciando inalterate le dimensioni iniziali dellevarie regioni;

2.4 Edge detection

Nell’image processing vi sono una serie di strumenti utili per implementareil riconoscimento dei contorni. Innanzitutto possiamo chiamare contorno o edge,i punti di un’immagine digitale attorno ai quali i valori d’intensità subisconouna variazione consistente; semanticamente, questi gradienti possono rappresen-tare, nel soggetto dell’immagine, delle variazioni di profondità, di illuminazione

16

Page 21: Tracking di prodotto di colata basato su immagini

2.4. EDGE DETECTION

(a) Erosione

(b) Dilatazione

(c) Apertura (elemento strutturante 2x2)

(d) Chiusura

Figura 2.4: Operatori morfologici standard (elemento strutturante 3x3).

17

Page 22: Tracking di prodotto di colata basato su immagini

CAPITOLO 2. DIGITAL IMAGE PROCESSING

ed ombreggiature, di caratteristiche fisiche del materiale (come il colore), diorientazione. Tra i metodi per implementare l’edge detection, si possono citarequelli che sfruttano il calcolo del gradiente dell’immagine, ricercandone i puntiestremanti: tra questi l’operatore di Sobel e l’algoritmo di Canny.

2.4.1 Filtro di Sobel

Il filtro di Sobel consiste in un operatore differenziale discreto che approssimail calcolo del gradiente dei valori d’intensità delle immagini. Il filtro consiste in unadoppia convoluzione dell’immagine originale con l’operatore, che è rappresentatoda due matrici di convoluzione, una per direzione di calcolo della derivata:

Kx =+1 0 −1+2 0 −2+1 0 −1

Gx = Kx ∗ I

Ky =+1 +2 +10 0 0

−1 −2 −1Gy = Ky ∗ I

Ciascuna convoluzione produce un’immagine che rappresenta la derivata di-rezionale lungo la direzione rispettiva del kernel convoluto: attraverso unacombinazione delle due immagini si possono ottenere le matrici di intensità G edirezione Φ del gradiente:

G =√Gx

2 +Gy2 Φ = arctan Gy

Gx

2.4.2 Algoritmo di Canny

L’algoritmo maggiormente utilizzato per il riconoscimento di contorni è quellosviluppato da Canny, anch’esso basato sul calcolo approssimato del gradiente,ma rivelatosi più efficace del filtro di Sobel. Esso è composto da 4 passi:

1. Riduzione del rumore preventiva tramite un filtro di sfocatura gaussiana;

2. Calcolo del gradiente dell’immagine: viene utilizzato un operatore differen-ziale discreto come Sobel per calcolare il gradiente lungo ciascuna direzione.

18

Page 23: Tracking di prodotto di colata basato su immagini

2.5. ANALISI NEL DOMINIO DELLA FREQUENZA

(a) Originale (b) Sobel (c) Canny

Figura 2.5: Edge detection con Sobel e Canny.

Similmente a prima, combinando i risultati, si ottengono due matrici G eΦ, rappresentanti l’intensità del gradiente e la sua direzione (arrotondataa 4 valori, verticale 0°, orizzontale 90° e diagonali 45°-135°);

3. Soppressione dei non-massimi: algoritmo che, per ogni pixel, analizza ladirezione del gradiente dalla matrice Φ e, in base a questa, verifica nellamatrice delle intensità G che il valore del gradiente del pixel in analisisia un massimo nel proprio intorno, lungo quella direzione. Permette diassottigliare i contorni fino ad un pixel;

4. Sogliatura con isteresi: consiste in una saturazione dei valori d’intensitàdel gradiente, applicata attraverso due soglie T1 > T2, in base alle qualivengono cancellati i pixel di valore inferiore a T2 e saturati quelli di valoresuperiore a T1 (strong edge). I pixel di valore compreso tra le due soglie(weak edge) vengono saturati solo se nel loro intorno sono presenti deglialtri pixel di contorno;

2.5 Analisi nel dominio della frequenza

L’analisi spettrale è uno tra gli strumenti più importanti nella teoria deisegnali, poiché consente di studiare il comportamento nel dominio della frequenzadell’input; contestualizzandola nelle categorie di segnali prese in considerazio-ne dall’elaborato, è definita la Trasformata Discreta di Fourier di un segnale

19

Page 24: Tracking di prodotto di colata basato su immagini

CAPITOLO 2. DIGITAL IMAGE PROCESSING

campionato s(x) come

S(k) = 1N

N−1∑x=0

s(x)e−j 2πkxN ,

dove N è la lunghezza del segnale o numero di campioni. È possibile estenderela formula appena descritta anche a segnali bidimensionali, come le immagini;quindi si ha

G(kx, ky) = 1MN

M−1∑x=0

N−1∑y=0

g(x, y)e−j2π kxx+kyyMN ,

dove M ed N sono rispettivamente larghezza ed altezza dell’immagine.

20

Page 25: Tracking di prodotto di colata basato su immagini

3 | Strategie di Feature Extraction

3.1 Inquadramento del problema

Si tratta di un problema di image processing, che in particolare vuole cercaredel contenuto informativo valido e solido, sul quale costruire successivamenteun sistema di classificazione ed identificazione. Vengono quindi proposte dellestrategie di analisi e feature extraction nell’obiettivo di porre le basi per unfuturo sviluppo del progetto, qualora i risultati ottenuti ne evidenzino l’effettivapercorribilità.

Il tracking d’identificazione dei semilavorati mediante marcatura fisica, at-tualmente, avviene subito dopo la colata, quando il materiale si è quasi com-pletamente raffreddato: l’applicazione della targhetta è responsabilità di unoperatore. Durante questa fase viene assegnato un codice a barre univoco, oltrealle informazioni riferite alle caratteristiche fisiche proprie di ciascun soggettodella marcatura, che permette una pianificazione e una gestione più semplicedell’inventario per il magazzino di deposito o vendita. Si può osservare che unsistema di tracking non invasivo come quello in fase di studio avrebbe sicura-mente bisogno di un sistema che sostituisca il codice a barre, ovverosia devegarantire affidabilità ed univocità di indirizzamento, persistenza, efficienza edefficacia. L’acquisizione delle immagini dei semilavorati può avvenire durante lafase di colata (sfruttando il posizionamento dei velocimetri), quindi ad outputancora rovente, e, più frequentemente, dopo il deposito, ad output ormai freddo.La differenza di temperatura si manifesta sui semilavorati come, in primis, unospostamento della gamma dei colori del semilavorato bollente verso colori piùcaldi, ed in secundis, una discrepanza nelle caratteristiche superficiali dovuta allaformazione di una pelle solida, che potrebbe scrostarsi in diversi punti durantele operazioni di magazzino interne.

21

Page 26: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Originale

(b) Correzione prospettica, luce e selezionesignificativa

(c) Omografia per distorsione obiettivo

Figura 3.1: Esempio di condizionamento delle immagini pre-analisi.

22

Page 27: Tracking di prodotto di colata basato su immagini

3.2. DESCRIZIONE DELLE STRATEGIE

Lo studio è stato effettuato su alcune immagini per ciascuna categoria de-scritta; l’acquisizione di queste immagini non è stata fatta in maniera controllata:l’utilizzo di un dispositivo mobile, la distanza variabile tra soggetto e fotocamera,e le condizioni di luminosità non costanti, hanno contribuito ad inserire un fattoredi disomogeneità tra i campioni, rendendo necessario un condizionamento, deglistessi, propedeutico all’analisi vera e propria. Nella Fig. 3.1 vengono illustrate leoperazioni applicate alle immagini originali: in particolare vi è una correzioneprospettica, una selezione della porzione dell’immagine più significativa (ed ilpiù possibile al centro della stessa), una variazione di luminosità e contrasto,per enfatizzare le caratteristiche in osservazione, ed un’omografia, necessaria percompensare la distorsione introdotta dall’obiettivo.

3.2 Descrizione delle strategie

3.2.1 Estrazione della frequenza

Le marche di colata, come già asserito, sono generate dal movimento oscilla-torio della lingottiera colante il metallo fuso; normalmente questa frequenza dioscillazione non è costante, bensì viene fatta variare nel tempo per esigenze tec-nologiche (e.g. velocità di colata ed estrazione, quantitativo di polveri lubrificantiimmesse), ripercuotendosi sul pattern delle marche andatosi a formare.

Si vuole, quindi, cercare di estrarre la frequenza spaziale in cui si presentanole marche di oscillazione. Il tentativo effettuato consiste dei seguenti passaggi:

1. Viene applicato un filtro di Sobel direzionale lungo l’asse x, in quanto sonodi nostro interesse i contorni verticali;

2. L’immagine risultante è saturata all’interno di due soglie, in base ai valorid’intensità che sembrano essere caratteristici per le marche di colata,producendo una nuova matrice binaria: in questo modo vengono eliminatila maggior parte dei fronti evidenziati dall’edge detector che rappresentinorumore per il segnale ricercato (e.g. macchie, imperfezioni della crosta);

3. Nel tentativo di evidenziare il più possibile le marche di colata, sonostati applicati degli operatori morfologici, in particolare un’operazione dichiusura con un elemento strutturante rettangolare 2×35; preventivamente

23

Page 28: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

è stata effettuata una pulizia dell’immagine, eliminando tutti gli aggregatidi pixel con area inferiore ai 9 px;

4. Dalla somma in verticale dei pixel di quest’ultima immagine, si ottieneun vettore nelle cui posizioni si trovano il numero di occorrenze dei pixelsaturi lungo quella colonna dell’immagine; ipoteticamente si dovrebberotrovare dei picchi in corrispondenza delle marche di colata;

5. Viene calcolata l’autocorrelazione del segnale rappresentato dal vettoredelle somme in verticale, per cercare di evidenziarne un andamento perio-dico e quindi una frequenza (al risultato è applicato un filtro passa alto amedia mobile per avere l’oscillazione del segnale centrata sull’asse x);

6. Infine, la Trasformata di Fourier Discreta applicata al segnale autocorrelatopermette di spostarci nel dominio della frequenza e di valutare le suecomponenti armoniche;

3.2.2 Ricostruzione sintetica da interpolazione

Un secondo approccio al problema valutava di ricostruire ed approssimareil pattern descritto dalle marche di colata, mediante un’interpolazione su uninsieme di punti opportunamente selezionati per ciascuna delle marche presentinell’immagine. Come risultato si avrebbe una nuova immagine, binaria e quindiad alto contrasto, rappresentante il pattern spaziale della sezione del semilavoratoelaborata, sfruttabile per implementare un sistema simile al codice a barre oper altre successive analisi. Per l’obiettivo di studio, i punti d’esempio vengonoselezionati manualmente. Si è voluto provare una doppia interpolazione perciascuna marca di oscillazione: la prima consiste in un polinomio di quinto grado,che approssimi al meglio l’andamento della depressione, mentre la secondaconsiste in un polinomio di primo grado; in questo ultimo caso, calcolandol’inclinazione di ciascuna retta interpolante rispetto all’asse verticale, si puòcostruire un vettore che descriva l’andamento delle pendenze delle marched’oscillazione, per ciascuna immagine elaborata.

24

Page 29: Tracking di prodotto di colata basato su immagini

3.2. DESCRIZIONE DELLE STRATEGIE

3.2.3 Ridge detection con kernel anisotropico

Per la natura intrinseca delle marche di colata, il riconoscimento dei contornipotrebbe rappresentare una strada di poca utilità: infatti le caratteristichesomatiche che si vogliono ricercare ed enfatizzare non individuano dei bordinetti, bensì si presentano come delle depressioni allungate in altezza e aventi unalarghezza significativa, motivo per cui un approccio di ridge detection potrebberisultare più opportuno. L’obiettivo del ridge detection, infatti, è quello dievidenziare l’asse maggiore di simmetria di una figura allungata e per fareciò, similmente a quanto illustrato per il riconoscimento dei contorni, vieneapplicato un filtro di convoluzione con un kernel anisotropico (ovvero avente unandamento diverso in base alla direzione considerata), costruito e parametrizzatoappositamente per il raggiungimento dello scopo.

Figura 3.2: Visualizzazione 3D del kernel anisotropico studiato.

25

Page 30: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Derivata seconda di gaussiana (asse x) (b) Gaussiana (asse y)

Figura 3.3: Profili del kernel lungo le due direzioni: dal loro prodotto risulta ilfiltro visualizzato in Figura 3.2.

La necessità di selezionare ed accentuare le depressioni, che si ripetono incaratteristiche di forma e intervalli, nel breve periodo, piuttosto regolari lungol’asse orizzontale, porta alla costruzione di un filtro che sfrutta una funzionecaratterizzata da un andamento descritto nella Fig. 3.3a: esso rappresenta laderivata seconda di gaussiana, definita da

∂2G(z, σz)∂z2 = z2 − σz

2

σz4 ·G(z, σz),

dove G(z, σz) è la funzione gaussiana, che si sa essere

G(z, σz) = e− z2

2σz2

2πσz.

La funzione bidimensionale, sulla quale è costruito il kernel del filtro implemen-tato è rappresentata in Fig. 3.2 ed è data da

H(x, σx, y, σy) = ∂2G(x, σx)∂x2 ·G(y, σy) = x2 − σx

2

σx4 · e− x2

2σx2 e− y2

2σy2

4π2σxσy,

che consiste in un prodotto tra le due funzioni precedentemente descritte: i pesivengono calcolati in base alla loro posizione all’interno della marca di colata,infatti, volendo accentuare la presenza della depressione nella sua interezza,i parametri indispensabili per ottenere questo risultato sono le σ, deviazioni

26

Page 31: Tracking di prodotto di colata basato su immagini

3.2. DESCRIZIONE DELLE STRATEGIE

standard, delle due funzioni, che vanno soppesate coerentemente alle dimensionidelle depressioni stesse. Importante sottolineare che le dimensioni del kernel diconvoluzione siano strettamente dipendenti dalle deviazioni standard assegnate,per fare in modo che l’andamento della funzione sia pressoché appiattito lungoi bordi. La matrice di convoluzione viene successivamente normalizzata, comedescritto nella Sez. 2.2.1.

Successivamente all’applicazione del filtro appena definito, vi è un’ulterioreoperazione, questa volta di saturazione, necessaria a produrre un’immaginebinaria contenente esclusivamente i punti centrali delle marche di colata; èsfruttato l’output della convoluzione precedente, all’interno del quale vengonoricercati i punti di massimo locali per ciascuna riga dell’immagine, idealmentesituati nelle depressioni enfatizzate. L’algoritmo implementato sfrutta un bufferorizzontale per analizzare l’intorno di ciascun pixel e qualora il pixel centralecoincida con il minimo assoluto per quell’intorno, esso verrà considerato un puntodi ridge (o per meglio dire in questo caso, valley) e a causa di ciò, nell’immaginebinaria finale sarà posto a 1. È indispensabile definire una dimensione del bufferche tenga conto della larghezza media di ogni marca di colata e della distanzamedia tra le depressioni, altrimenti si avrebbe un sovraffollamento dell’immaginebinaria, nella quale comparirebbero anche punti di minimo non più rappresentantisolo le marche di oscillazione. Nello scorrimento del buffer si è tenuto conto delpadding, applicandone uno di tipo costante, i cui valori sono quelli dei bordi.

27

Page 32: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

3.3 Analisi delle strategie

3.3.1 Estrazione della frequenza

Nelle pagine successive sono riportate delle immagini rappresentanti unesempio di estrazione della frequenza, effettuata seguendo la strategia descrittanella Sez. 3.2.1. In particolar modo, le due immagini in Fig. 3.4a/3.5a raffiguranodue porzioni successive della stessa billetta, registrate durante l’ultima fase diraffreddamento in uscita dalla catena di colata, nella zona in cui normalmente èposizionato il velocimetro di controllo e, per questo motivo, ancora calde (comeè facile notare dal colore delle immagini stesse).

Il risultato di questa strategia lo si può osservare nella Fig. 3.7: essa rap-presenta i due spettri dei segnali di autocorrelazione ricavati dai vettori delleoccorrenze delle marche di colata; si può notare che ciascuno dei due spettripresenta un’armonica, ad una frequenza caratteristica, di ampiezza considerevol-mente più alta rispetto al resto del segnale, che infatti quantifica la frequenzafondamentale del segnale descritto dal pattern delle marche di oscillazione. Èinoltre di possibile individuazione una seconda armonica, visibile più chiaramentenella Fig. 3.7b, ma presente ovviamente anche nello spettro relativo alla primaimmagine (anche se in misura minore, per una questione di rumore, analizzatain seguito); la frequenza della seconda armonica si localizza ad un valore doppiodi quello dell’armonica fondamentale e la sua ampiezza è più di un ordine digrandezza inferiore, cose che danno un’informazione in merito al profilo oscil-latorio del segnale applicato alla lingottiera e generante le marche di colata.Ad ogni modo è ovvio notare come le frequenze riscontrate differiscano per unvalore significativo (si parla di un delta di 0.47 px−1), e ricordando che le dueimmagini analizzate sono due sezioni consecutive di una stessa billetta, si puòconstatare come la frequenza non sia un parametro costante e quindi non rap-presenti un’informazione univoca che permetta la distinzione di un prodotto dicolata rispetto ad un altro; si può però pensare di sfruttare questa caratteristicadi variabilità della frequenza di oscillazione per costruire una mappa spazialeche per ciascuna zona analizzata fornisca la frequenza del pattern delle marchedi colata: se le variazioni non sono regolate da una funzione periodica, questasoluzione potrebbe rappresentare un primo rudimentale approccio al tracking.

Comparando i rispettivi risultati intermedi di ciascuna fase della strategia

28

Page 33: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

dalle Fig. 3.4/3.5, è possibile osservare una differenza nel rumore presente nelledue immagini, che si palesa attraverso il diverso quantitativo di caratteristichenon interessanti per la nostra analisi (e.g. macchie di colore diverso, dovuteal gradiente di temperatura nei vari punti della billetta in raffreddamento) eattraverso l’intensità variabile delle stesse marche di colata, in alcune zoneassolutamente inesistenti; questo si ripercuote sui risultati della strategia ed èquindi importante che questa sia, in una certa misura, robusta rispetto al rumoreappena descritto. Guardando l’esempio, dalle Fig. 3.6a/3.6c, risulta palese comela seconda immagine abbia un rapporto segnale-rumore considerevolmente piùalto della prima. Ora, ritornando all’analisi spettrale dei due segnali, non èopinabile che la frequenza di oscillazione delle marche di colata è stata estrattaper entrambi i casi efficacemente, viste le intensità delle armoniche in ogget-to, soprattutto considerata l’ampiezza media degli spettri senza il picco sullafrequenza fondamentale. In ogni caso, il diverso modulo del rumore presentetra le due immagini è comunque riscontrabile nella differenza di ampiezza dellearmoniche dei due spettri (una differenza di picco di quasi il doppio) e dalla pre-senza, nella Fig. 3.7a, di componenti spettrali significativi prima della frequenzafondamentale del segnale.

Il risultato di questa strategia, la frequenza fondamentale del pattern di colata,non rappresenta con ogni probabilità un parametro univocamente caratterizzanteper ciascun semilavorato analizzato (per il motivo descritto in precedenza), marisulterà essere una variabile degna di nota per molte future analisi del problema.

29

Page 34: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Originale immagine 1

(b) Sobel edge detector

(c) Saturazione con doppia sogliatura

(d) Operazioni morfologiche

Figura 3.4: Pattern delle marche da una prima porzione di billetta calda.

30

Page 35: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

(a) Originale immagine 2

(b) Sobel edge detector

(c) Saturazione con doppia sogliatura

(d) Operazioni morfologiche

Figura 3.5: Pattern delle marche da una seconda porzione di billetta calda.

31

Page 36: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Vettore somma verticale (immagine 1)

(b) Autocorrelazione e filtro passa alto (immagine 1)

(c) Vettore somma verticale (immagine 2)

(d) Autocorrelazione e filtro passa alto (immagine 2)

Figura 3.6: Estrazione del segnale oscillatorio dal pattern.

32

Page 37: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

(a) Trasformata di Fourier Discreta (immagine 1)

(b) Trasformata di Fourier Discreta (immagine 2)

Figura 3.7: Analisi in frequenza dei due segnali: si notino le due armonichefondamentali.

33

Page 38: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

3.3.2 Ricostruzione sintetica da interpolazione

I risultati derivanti dall’implementazione della strategia descritta nella Sez.3.2.2 si trovano nelle Fig. 3.8-3.10; vengono analizzate tre immagini rappresentantialtrettante sezioni successive della stessa billetta, registrate in un deposito dimagazzino quando questa era ormai già fredda e solidificata. Come appuntatonella descrizione di questo approccio, la selezione dei punti è stata effettuatamanualmente: sono stati presi 10 punti per ciascuna marca di colata presentenell’immagine (tutte le immagini presentano esattamente 11 marche di colata),selezionandoli laddove la marca stessa era visibile chiaramente o quantomeno vene era un accenno.

Nelle immagini b) di ciascuna figura si possono apprezzare tutte le fasi dellastrategia, notando come la ricostruzione delle marche di colata, interpolando conun polinomio del quinto grado, sia, a parte qualche piccolo scostamento, efficace,vista la sovrapposizione precisa delle curve interpolate alle depressioni presentinell’immagine. Il metodo permette inoltre un’approssimazione verosimile dellemarche di oscillazione anche in zone nelle quali la presenza di queste non èriscontrabile, andando a costituire un contenuto informativo addirittura superiorea quello direttamente visibile nelle immagini registrate. La ricostruzione delledepressioni guadagna in significato se si osservano le immagini c) delle figuresuccessive: in esse vengono rappresentate le immagini ad alto contrasto, sintetichee per questo prive di rumore, ottenute come risultato della stessa interpolazioneprecedente ed idealmente sfruttabili con il medesimo principio di funzionamentoproprio di un codice a barre. Nelle sottofigure d), invece, le immagini ad altocontrasto visibili ritraggono delle rette approssimanti l’andamento di ciascunamarca d’oscillazione (ricavate similmente per interpolazione sugli stessi puntiprecedenti, ma questa volta attraverso un polinomio di primo grado) e quindiaventi come sole peculiarità distintive, l’inclinazione e la posizione; da questopunto di vista, nel caso in cui il pattern descritto dall’approssimazione linearedelle marche risultasse sufficiente all’implementazione di un sistema efficace ditracking virtuale dei semilavorati, l’approccio gioverebbe di un vantaggio intermini di semplicità computazionale e carico in memoria, poiché basterebbedisporre di un vettore all’interno del quale memorizzare una coppia di valoriper ciascuna marca di colata, simboleggianti il coefficiente angolare della rettainterpolante e un punto dell’immagine per il quale essa passa.

34

Page 39: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

La selezione manuale dei punti di interpolazione è stata effettuata per motividi analisi preliminare al problema, ma è evidente che in successivi sviluppi sidebba pensare ad un sistema automatico che esamini l’immagine e riesca adidentificarne i punti più significativi per applicare questa strategia, in manieracontrollata, robusto rispetto al rumore e, soprattutto, ripetibile.

35

Page 40: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Originale (b) Punti selezionati e interpolazione (gr. 5)

(c) Alto contrasto da interpolazione (gr. 5) (d) Alto contrasto da interpolazione (gr. 1)

Figura 3.8: Primo esempio di ricostruzione sintetica via interpolazione.

36

Page 41: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

(a) Originale (b) Punti selezionati e interpolazione (gr. 5)

(c) Alto contrasto da interpolazione (gr. 5) (d) Alto contrasto da interpolazione (gr. 1)

Figura 3.9: Secondo esempio di ricostruzione sintetica via interpolazione.

37

Page 42: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Originale (b) Punti selezionati e interpolazione (gr. 5)

(c) Alto contrasto da interpolazione (gr. 5) (d) Alto contrasto da interpolazione (gr. 1)

Figura 3.10: Terzo esempio di ricostruzione sintetica via interpolazione.

38

Page 43: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

3.3.3 Ridge detection con kernel anisotropico

Nella terza ed ultima strategia esposta, si è tentato un approccio più vicinoalla costruzione di un filtro di estrazione delle caratteristiche di interesse, simileper certi versi ai filtri per il riconoscimento dei contorni descritti nella Sez. 2.4e sfruttati poi nella prima strategia di estrazione della frequenza. Nelle figuresuccessive risultano tre esempi applicativi dell’elaborazione in oggetto: anchein questo caso le tre immagini originali rappresentano sezioni contigue dellamedesima billetta fredda.

A ciascuna immagine di input è stato preventivamente applicato un filtromediano (di matrice 3 × 3) ed un filtro bilaterale (i cui parametri del kernelsono σd = 4, σr = 0.2 e dimensionalmente 5 × 5) nel tentativo di limareil rumore, preservando però i dettagli interessanti. Viene quindi costruita lamatrice dei pesi per il filtro di ridge detection: come analizzato nella Sez. 3.2.3,il kernel in questione deve essere dimensionato nei parametri coerentementealle caratteristiche da estrarre; più approfonditamente, è necessario conoscere(quantomeno in maniera approssimativa) la misura in pixel della larghezza diciascuna marca di colata e della distanza reciproca tra esse ed, in base a queste,attribuire alle σ della funzione generatrice e alle dimensioni della matrice diconvoluzione stessa, dei valori appropriati. Considerando una larghezza mediamisurata delle marche di ∼ 14 px, si è assegnato σx = 6. Per quanto riguarda σy,il suo valore simboleggia la capacità del filtro di preservare, nella maniera piùfedele possibile, l’andamento di ciascuna marca di colata, non essendo, questo,regolare, ma soggetto a frequenti variazioni di percorso: un valore troppo elevatoporterebbe ad una sovrapprossimazione delle evoluzioni in verticale delle marche,d’altra parte un valore troppo basso renderebbe totalmente inefficace l’azione delfiltro; dopo diversi tentativi si è visto che il valore più efficace per le immaginielaborate risulta essere σy = 30, osservabile dalla Fig. 3.11. Come si è dettonella descrizione di questa strategia, perché il filtro agisca correttamente, ènecessario che la funzione descritta dai pesi del kernel si appiattisca a zero agliestremi della matrice: per garantire ciò, le dimensioni di quest’ultima sono statescelte in dipendenza dalle σ assegnate, rispettivamente lx = 10σx + 1 = 61 ely = 5σy + 1 = 151.

A partire dalla Fig. 3.12 è possibile osservare i risultati della strategiaapplicata a ciascuna immagine delle sezioni della billetta; in ogni sottofigura b)

39

Page 44: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) σy = 6 (b) σy = 30 (c) σy = 100

Figura 3.11: Output prodotto dal filtro per diversi valori di σy.

viene riportata l’operazione di ridge detection appena descritta: si noti come lemarche di oscillazione vengano riproposte come delle depressioni dal caratteremolto più intenso che nell’immagine originale e come tutte le caratteristichesomatiche irrilevanti (e.g. variazione di colore, piccole protuberanze nella crosta)si siano perse. Si è andata a costruire un’immagine, in alcuni punti, molto piùchiara e significativa delle marche di colata; d’altro canto, è altresì vero che ilfiltro abbia evidenziato e aumentato l’effetto disturbante di alcune caratteristicheindesiderate, le cui dimensioni erano compatibili con la maschera di enfatizzazionedel filtro utilizzato. Tra queste, macchie e zone di screpolatura della crosta (unesempio è riscontrabile nella parte in alto a destra della Fig. 3.12), così comezone particolarmente in ombra (visibili in tutte le immagini analizzate lungo ibordi inferiori), ma mentre il primo è un problema difficilmente rimediabile, inquanto fa parte della struttura fisica di ciascun semilavorato, il secondo lo si puòeliminare nella fase di acquisizione delle foto. Agli estremi laterali dell’immaginesono presenti degli effetti di bordo causati dal padding di tipo zero (Sez. 2.2.1)dello strumento di convoluzione utilizzato.

Le immagini c) e d) delle figure di esempio successive, visualizzano inveceil risultato dell’algoritmo di estrazione dei minimi applicato alle immagini inuscita dal filtro di ridge detection, con una dimensione del buffer di 55 px; dallesottofigure c), nelle quali l’immagine binaria in uscita dall’algoritmo è statasovrapposta alla rispettiva immagine a colori originale, è possibile osservare come

40

Page 45: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

il metodo descritto, riesca ad estrarre l’asse delle marche di oscillazione, più omeno precisamente a seconda del quantitativo di rumore presente in una certazona: mediamente in tutte le immagini, la zona inferiore è estratta correttamente,mentre percorrendole verticalmente verso l’alto, il risultato comincia ad esserediscontinuo, poiché il rumore produce nell’immagine convoluta delle zone didepressione indesiderate, che interferiscono nell’individuazione del minimo. Al-l’output dell’algoritmo è stato poi applicata un’operazione morfologica di pulizia,ovvero una soppressione di tutti gli aggregati di pixel che sottendevano un’areainferiore ai 15 px, nel tentativo di eliminare l’effetto più estremo di discontinuitàandatosi a creare per la saturazione dei minimi indesiderati.

Considerando come questo rumore sia di difficile compensazione, l’unicomodo che potrebbe migliorare i risultati di questa strategia, è l’implementazionedi un algoritmo più "intelligente" di estrazione dei punti di minimo, come verràapprofondito nel Sez. 4.2, relativa agli sviluppi futuri.

41

Page 46: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Originale (b) Convoluzione con il kernel anisotropico

(c) Estrazione dei minimi (d) Estrazione dei minimi (alto contrasto)

Figura 3.12: Primo esempio di ridge detection con kernel anisotropico.

42

Page 47: Tracking di prodotto di colata basato su immagini

3.3. ANALISI DELLE STRATEGIE

(a) Originale (b) Convoluzione con il kernel anisotropico

(c) Estrazione dei minimi (d) Estrazione dei minimi (alto contrasto)

Figura 3.13: Secondo esempio di ridge detection con kernel anisotropico.

43

Page 48: Tracking di prodotto di colata basato su immagini

CAPITOLO 3. STRATEGIE DI FEATURE EXTRACTION

(a) Originale (b) Convoluzione con il kernel anisotropico

(c) Estrazione dei minimi (d) Estrazione dei minimi (alto contrasto)

Figura 3.14: Terzo esempio di ridge detection con kernel anisotropico.

44

Page 49: Tracking di prodotto di colata basato su immagini

4 | Conclusioni

4.1 Risultati ottenuti

Le strategie analizzate si diversificano notevolmente per concretezza edeffettiva applicabilità in base ai risultati ottenuti, in ogni caso non riuscendoa risolvere totalmente il problema, che rimane comunque tutt’altro che banale;nessuna di esse però si è dimostrata strettamente fallimentare, evidenziandola possibilità che in sviluppi e miglioramenti successivi, il problema prepostodi tracking sia risolubile. A questo proposito, lo studio effettuato da questoelaborato può considerarsi utile a gettare le basi per un successivo arricchimentodel progetto. Come evidenziato nella Sez. 3.1, l’acquisizione di più immaginiin maniera controllata, permetterebbe di testare ed affinare ulteriormente letecniche di feature extraction proposte.

La strategia riguardante l’estrazione della frequenza, ed in particolare la suaimplementazione, si è rivelata efficace anche in condizioni di rumore di intensitàconsiderevole. È stato appuntato il fatto che il risultato scaturito da questaelaborazione, ovvero la frequenza delle marche di oscillazione, non assuma unparticolare significato nei termini di un parametro distintivo per un semilavorato,ma che piuttosto possa essere coinvolto in future elaborazioni (e.g. frequenzasulla quale basare un filtraggio).

La ricostruzione sintetica delle marche di colata via interpolazione restauna via di difficile percorribilità, per quanto idealmente gli output di questastrategia siano promettenti, ovverosia un’immagine binaria approssimante ilpattern delle marche; il problema principale sussiste nella selezione dei punti diinterpolazione: finora, per motivi di studio, essa è stata effettuata manualmente,ma pare evidente che sia necessario costruire un sistema di selezione automaticadi questi punti, cosa di non scontata realizzazione.

45

Page 50: Tracking di prodotto di colata basato su immagini

CAPITOLO 4. CONCLUSIONI

Infine, la terza strategia vista, concernente il ridge detection, si presta all’e-strazione fedele del andamento spaziale delle marche di oscillazione, risultandovalido soprattutto nelle zone in cui esse si manifestano con maggiore intensità ein cui il rumore, rappresentato da imperfezioni superficiali indesiderate, non èapprezzabile. Rimane quindi un sistema imperfetto, in quanto spesso pecca diprecisione nell’evidenziare le depressioni o addirittura produce dei falsi positiviin diverse zone dell’immagine analizzata; l’impressione è che, comunque, sia unproblema risolubile nei futuri progressi del sistema.

4.2 Sviluppi futuri

L’elaborato è stato presentato come un’analisi preliminare del problema giàpiù volte esposto e, in quanto tale, rappresenta solo la punta dell’iceberg diun progetto che avrà sicuramente modo di evolversi, nell’obiettivo concreto direalizzare un sistema di tracking virtuale in grado di prendere il posto dell’attualecomplesso tecnologico. Di conseguenza un’esposizione completa degli sviluppifuturi coinvolgerebbe l’intera fase realizzativa del progetto, per cui di seguitovengono riportati esclusivamente i miglioramenti prossimi, relativi a quantostudiato nella tesi.

In particolare, l’estrazione della frequenza risulta essere la strategia piùefficace ed il suo risultato potrà essere impiegato in successive fasi di elaborazionedelle immagini; da questo punto di vista, una diretta applicazione suggerita dellafrequenza fondamentale estratta attraverso questa strategia, è la costruzione diun vettore per ciascuna billetta contenente le variazioni di frequenza (campionatead intervalli regolari, in corrispondenza alle immagini acquisite), nella speranzache questo possa essere un fattore distintivo per il tracking. Il metodo in sédovrà inoltre essere esteso e migliorato in modo tale che sia robusto ed efficacein ogni istante di rilevazione delle immagini (billette calde e billette fredde).

È già stato appuntato che la strategia di ricostruzione sintetica delle marchedi oscillazione, attraverso un metodo di interpolazione, perché sia applicabile edutile, è necessario che disponga di un algoritmo di selezione automatica dei punti.L’ideazione di questo algoritmo, apparentemente molto complesso, può essereraggiunta sfruttando i risultati della terza strategia, in quanto essa è risultataottima per diverse zone dell’immagine, riuscendo a delineare l’andamento delle

46

Page 51: Tracking di prodotto di colata basato su immagini

4.2. SVILUPPI FUTURI

depressioni per porzioni estese; selezionare quindi dei punti in base a questorisultato potrebbe essere una via utile al raggiungimento dello scopo.

Parlando proprio della terza strategia, invece, le future migliorie apportabilirisiedono nell’implementazione di un algoritmo di selezione dei punti di mini-mo (rappresentanti le marche di colata), in struttura e meccaniche molto piùelaborato di quello brevemente descritto; esso dovrebbe fornire una maggiorecontinuità nell’andamento descritto da ciascuna linea individuante le depressionie, in questa direzione quindi, distinguere i minimi delle marche rispetto ai minimiindesiderati prodotti dal rumore.

47

Page 52: Tracking di prodotto di colata basato su immagini
Page 53: Tracking di prodotto di colata basato su immagini

Bibliografia

[1] Elfsberg J. (2003), Oscillation Mark Formation in Continuous Ca-sting Processes, Royal Institute of Technology, Stockholm, pp. 8-17,http://www.diva-portal.org/smash/get/diva2:7585/FULLTEXT01.pdf[ultimo accesso: 05/02/2016].

[2] Smith E. H. (1998), Mechanical Engineer’s Reference Book, 12th Edition,Elsevier.

[3] 4th generation of thin slab casting technology - present and future,http://stahleisen.de/LinkClick.aspx?fileticket=55DFhve8VAw%3D[ultimo accesso: 05/02/2016].

[4] Sengupta J. e B. G. Thomas, Visualizing Hook and OscillationMark Formation in Continuously Cast Ultra-Low Carbon Steel Slabs,http://www.tms.org/pubs/journals/jom/0612/sengupta/sengupta-0612.html [ultimo accesso: 05/02/2016].

[5] Thomas B. G., Jenkins M. S. e R. B. Mahapatra (2004), Inve-stigation of strand surface defects using mould instrumentationand modelling, Maney, Institute of Materials Minerals and Mining,http://ccc.illinois.edu/PDF%20Files/Reports04/Jenkins_lr_Steelmkg_bloom_submit.pdf [ultimo accesso: 05/02/2016].

[6] Szeliski R. (2010), Computer Vision: Algorithms and Applications, Springer,pp. 100-140, 238-250.

[7] Battiato S. (2012), Morfologia e Image Processing,http://www.dmi.unict.it/~battiato/mm1112/Parte%209%20-%20La%20Morfologia%20Matematica.pdf [ultimo accesso: 16/02/2016].

49

Page 54: Tracking di prodotto di colata basato su immagini

BIBLIOGRAFIA

[8] Morphological Image Processing,https://www.cs.auckland.ac.nz/courses/compsci773s1c/lectures/ImageProcessing-html/topic4.htm [ultimo accesso: 16/02/2016].

[9] Spatial Frequency Domain,https://www.cs.auckland.ac.nz/courses/compsci773s1c/lectures/ImageProcessing-html/topic1.htm [ultimo accesso: 16/02/2016].

[10] Jain R., Kasturi R. e B. G. Schunck (1995), Machine Vision, McGraw-Hill,pp. 25-35, 61-69, 115-131, 140-173.

50