Fusione delle Immagini in RadioterapiaRiccardo Ragona Università di Torino

• Introduzione

• Transformazioni

• Algoritmi

• Visualizzazione

• Validazione

• Applicazioni

• Conclusioni

Perche la Fusione delle Immagini ?

CT MRI PET

Risoluzione spaziale Contrasto tessuti molli Attività metabolica

Tipologia delle Immagini

• Immagini Mono-ModalitàProdotte dalla stessa

modalità di imaging

( MR : T1 versus T2 ??)

• Immagini Multi-Modalità

Prodotte da differenti

modalità di imaging

Tipologia della Fusione

• Mono-Modalità

• Multi-Modalità

• Da Modello a Paziente

• Da Paziente a Modello

Tipologia delle Immagini

Classe Anatomica Funzionale

3D CT, MR, US … PET, SPECT, fMRI ….

2D CR, DRR, EPID … Scintigrafia Planare

Dataset di Immagini

E’ un problema 3D !

Patient

Study

Image RT Dose

DICOM DICOM-RT

Study

RT PlanRT S.S RT Image

RT

Treatment

Record

Segmentazione

Confronto delle Immagini :Terminologia

• (Co-)Registrazione delle Immagini1. Processo che crea una relazione fra due datasets

2. Comporta una trasformazione di coordinate di un dataset

• Fusione delle Immagini1. Sintesi di due o più segnali appartenenti a differenti datasets

in un singolo dataset

• Registrazione delle Immagini

E’ il requisito fondamentale per la

• Fusione delle Immagini

Registrazione & Fusione Immagini

2 datasets ?

MRSPECT

La Registrazione deve tener conto delle :

• Differenze nella geometria di acquisizione

Orientamento, ingrandimento e spessore Slice

• Differenze nella posizione del paziente

Lettino, setup e movimenti del Paziente

• Deformazioni dell’anatomia

- resezione/deformazione/crescita Tumore

- differente riempimento retto/vescica/…

- movimento organi: prostata, fegato, polmone …

Scopo della Fusione di Immagini

– Diagnostico

( Radiodiagnostica & Med Nucleare )

– Anatomico-Morfologico

( Radioterapia )

Medesimo Paziente ?

Registrazione di 2 datasets di immagini

Imaging in RadioterapiaStudio A = Dataset Primario

• Elevata risoluzione spaziale ed accuratezza geometrica

Imaging in Radioterapia

• Informazioni per il calcolo della dose

Fusione delle Immagini in Radioterapia

• Introduzione

• Transformazioni

• Algoritmi

• Visualizzazione

• Validazione

• Applicazioni

• Conclusioni

Registrazione di 2 datasets di immagini

Trasformazioni geometriche

• Rigida

• Affine

• Proiettiva

• Deformabile

Trasformazione geometrica

– Rigida• traslazione , rotazione e scala

– Affine• Anche shearing (linee parallele)

– Proiettiva• Il parallelismo delle linee può non

essere preservato

– Deformabile

• Mapping fra linee e curve

Studio A

Studio B

Trasformazione Rigida5 parametri in 2D - 9 parametri in 3D

• Traslazione(t)

• Rotazione(R)

• Similarità o scala(s)

2

2

2y

xp

1

1

1y

xp

12 pRstp

)cos()sin(

)sin()cos(

R

2

1

1s

ss

2

1

1t

tt

Trasformazione geometrica

– Rigida• traslazione , rotazionie e scala

– Affine• Anche shearing (linee parallele)

– Proiettiva• Il parallelismo delle linee può non

essere preservato

– Deformabile

• Mapping fra linee e curve

Studio A

Studio B

Trasformazione Affine

• Rotatione

• Traslazione

• Scala

• Shearing

1

1

2221

1211

23

13

2

2

y

x

aa

aa

a

a

y

x

Lunghezze ed angoli non

sono preservati

Linee parallele sono

preservate

Trasformazione geometrica

– Rigida• Traslazione , rotazione e scala

– Affine• Anche shearing (linee parallele)

– Proiettiva• Il parallelismo delle linee può non

essere preservato

– Deformabile

• Mapping fra linee e curve

Studio A

Studio B

Perspective Transformation (Planar Homography)

Trasformazione geometrica

– Rigida• Traslazione , rotazione e scala

– Affine• Anche shearing (linee parallele)

– Proiettiva• Il parallelismo delle linee può non

essere preservato

– Deformabile (non-Affine)

• Mapping fra linee e curve

Studio A

Studio B

Non AffineAffine

Fusione delle Immagini in Radioterapia

• Introduzione

• Transformazioni

• Algoritmi

• Visualizzazione

• Validazione

• Applicazioni

• Conclusioni

Registrazione di 2 datasets di immagini

Registration Metrics

• E’ una funzione scalare che contieneinformazioni di entrambi i datasets

• Tipicamente occorre determinare il suo valoreminimo (massimo)

Metodi usati per costruire una Metrica :

– Landmark based

– Edge based

– Voxel intensity based

– Information theory based

Registration Metrics

Geometry

Intensity

Landmark based

• Identificazione dei punti corrispondenti nei due

datasets (almeno 4 non coplanari)

• Tipi di landmarks (invasivi/non invasivi)– Esterni

• Markers cutanei visibili

– Interni

• Riferimenti anatomici interni

• Markers interni

Edge - Surface based

• Metodo

– Extrazione delle corrispettive superfici

– Calcolo della trasformazione che minimizza le “distanze” fra le due superfici

• Algoritmi usati

– The “Head and Hat” Algorithm

– The Iterative Closest Point Algorithm

– Chamfer Algorithm

Voxel intensity based

• Metodo

– Si ottimizano talune misure calcolate direttamente dai valoridi intensità dei pixel

• Algoritmi usati

– Minimizzazione delle differenze di intensità

– Tecniche di correlazione

– Rapporto dell’uniformità delle immagini

Registrazione di immagini di ugualemodalità

• Tipica metrica è la somma dei quadrati delledifferenze dei valori di intensità dei voxel

• La metrica non è efficace per immaginiprovenienti da differenti modalità

(MR T1 versus T2 ??)

Mutual Information

• Teoria dell’Information :

Poichè sia MR sia TC descrivono entrambe la medesima anatomia, deve esistere una mutual information fra i due datasets di immagini

• Non richiede nessun modello di relazione a priori

• La massima Information la si ha quando i due datasets sono correttamente registrati

Entropia come misura della Information

• La proposta di Shannon (Shannon’s Entropy 1948)

• L’Information dipende linearmente dalla propabilitàpi che un evento si verifichi

• Il secondo termine comporta che l’Information siainversamente proporzionale alla probabilità che siverifichi

i i

ip

pH1

log

4/16 3/16 3/13 6/16

Teoria basata sull’Information

• Scopo della teoria è la ricerca della geometria nellaquale è massima la quantità di Information condivisa fra le due immagini

– Joint Entropy

• Joint Entropy : misura la quantità di

Information nei due datasets combinati

Entropy & Image Registration

– La Joint Entropy è analogamente definita come:

– La dispersione nell’istogramma Joint deve essere

minimizzata

ji

jipjipBAH,

)],(log[),(),(

Mutual Information (MI)

• H : entropia

- misura la quantità di Information

• I : Mutual Information

- una Metrica che misura la dipendenzastatistica fra i due datasets di immagini

Mutual Information

• La Mutual Information è proporzionale alle

entropie dei singoli datasets

• Massimizzare la funzione Mutual

Information è equivalente a minimizzare la

Joint Entropy

Mutual Information

• E’ indipendente dallamodalità con cui i datasets diimmagini sono prodotti

• E’ più efficace della Joint Entropy

(immagini con background dominante)

M.I. for Image Registration

M.I. for Image Registration

M.I. for Image Registration

Algoritmi di Ottimizzazione

• Simplex

• Gradient Descent

• Quasi-Newton

• Conjugate gradient

• Stocastic gradient (Simulated Annealing)

• ….

Trasformazione geometricaStudio A

Studio B

Trasformazione Locale : Clipbox

Trasformazione Locale : Clipbox & Structure

w1 ·Clipbox + w2·Structure

• Affine

• Non-Affine (Deformabile)– Splines

– Demons

– Physics based• Elastic, Fluid , FEM etc.

Trasformazione geometrica

Deformable Transformation

y

Fixed Image

Transform

x

y

Moving Image

x

Deformable Transformation

y

Fixed Image

Transform

x

y

Moving Image

x

Registrazione Deformabile :Algoritmi

ParametricBSpline – Deformazione elastica di una griglia.

L’ottimizzazione cerca la disposizione ottimale deinodi (Knots).

Free formDemons – Matches delle intensità tramite lo studio dei

gradienti.

Finite Elements Models (FEM) – Modellizza lo spostamento delle strutture usando modelli fisici.

Registrazione Deformabile Mono-Modalità

L’allineamento Deformabile è in accordo con le variazioni anatomiche

CT CBCT Deformations

QUANDO è necessaria unaregistrazione deformabile ?

Variazioni di volume del Tumore o dei tessuti molli sono ignoratidalla trasformazione AffineCT

Una trasformazione Rigidaè richiesta prima diuna trasformazione

Deformabile

Registrazione Deformabile :Algoritmi

ParametricBSpline – Deformazione elastica di una griglia.

L’ottimizzazione cerca la disposizione ottimale deinodi (Knots).

Free formDemons – Matches delle intensità tramite lo studio dei

gradienti.

Finite Elements Models (FEM) – Modellizza lo spostamento delle strutture usando modelli fisici.

Demons Registration: Type 1

Studio A Studio B

Transform

Vector Field

Demons Registration: Type 1

Studio A Studio B

Transform

Vector Field

Registrazione Deformabile :Algoritmi

ParametricBSpline – Deformazione elastica di una griglia.

L’ottimizzazione cerca la disposizione ottimale deinodi (Knots).

Free formDemons – Matches delle intensità tramite lo studio dei

gradienti.

Finite Elements Models (FEM) – Modellizza lo spostamento delle strutture usando modelli fisici.

Confronto fra Trasformazioni

Rigid Bspline Demons

Tipologia della Fusione

• Mono-Modalità

• Multi-Modalità

• Da Modello a Paziente

(riconoscimento e segmentazione strutture del paziente)

• Da Paziente a Modello

Tipologia della Fusione

• Mono-Modalità

• Multi-Modalità

• Da Modello a Paziente

• Da Paziente a Modello

Fusione delle Immagini in Radioterapia

• Introduzione

• Transformazioni

• Algoritmi

• Visualizzazione

• Validazione

• Applicazioni

• Conclusioni

Visualizazione

Fusione delle Immagini in Radioterapia

• Introduzione

• Transformazioni

• Algoritmi

• Visualizzazione

• Validazione

• Applicazioni

• Conclusioni

Validazione

Fusione delle Immagini in Radioterapia

• Introduzione

• Transformazioni

• Algoritmi

• Visualizzazione

• Validazione

• Applicazioni

• Conclusioni

1

Identity Matrix

1

1

2

2

3

3

4

Ca Base Lingua 2009 - Ca Polmone 20114

Rigida + Deformabile4

Somma Dosi4

Midollo

Fusione delle Immagini in Radioterapia

• Introduzione

• Transformazioni

• Algoritmi

• Visualizzazione

• Validazione

• Applicazioni

• Conclusioni

Studio A Studio B

Registrazione Deformabile (???)