Prof.ssaProf.ssa Cecilia LaschiCecilia LaschiScuola Superiore Scuola Superiore Sant’Sant’Anna, PisaAnna, Pisa

ARTS LabARTS LabAdvanced Robotics Technology & Advanced Robotics Technology & Systems Systems LaboratoryLaboratory

Corso di Laurea Specialistica in InformaticaUniversità di Pisa

Corso di Percezione Robotica (Corso di Percezione Robotica (PRoPRo))Modulo A. Introduzione all’Ingegneria Modulo A. Introduzione all’Ingegneria Biomedica e alla Biomedica e alla BioroboticaBiorobotica

Automazione Industriale: la nascita e lo Automazione Industriale: la nascita e lo sviluppo della Roboticasviluppo della Robotica

La robotica oggi La robotica oggi ––alcuni esempialcuni esempi

Sommario della lezioneSommario della lezione

• Definizione di Ingegneria Biomedica o Bioingegneria

• Definizione di Biorobotica e sue relazioni con l’Ingegneria Biomedica

• Illustrazione dei vari domini applicativi della Biorobotica

• Lo schema comune di un sistema roboticotipico

L’ingegneria biomedica L’ingegneria biomedica (bioingegneria)(bioingegneria)

Applicazione di metodi e tecniche quantitativi, propri dell’ingegneria, nella

comprensione, determinazione e risoluzione di problematiche di carattere medico-fisico

Obiettivi della bioingegneriaObiettivi della bioingegneria• Miglioramento delle conoscenze sul funzionamento dei

sistemi biologici, attraverso:• modelli matematici• metodi di elaborazione delle informazioni• strumentazione

• Sviluppo di nuove metodologie ed apparati diagnostici, terapeutici e riabilitativi, di nuovi organi artificiali, nuovi dispositivi di supporto a funzioni alterate, nuovi ausili e dispositivi protesici per disabili

BioroboticaBiorobotica e bioingegneriae bioingegneria

• La bioingegneria costituisce un ambito di fondamentale importanza per lo sviluppo della biorobotica perché:• La medicina e la biologia costituiscono

importanti settori applicativi per la robotica avanzata (robotica biomedica)

• La robotica può contribuire alla comprensione dei meccanismi neuroscientifici che presiedono alla coordinazione senso-motoria e alla sintesi dei comportamenti nell’uomo (neuro-robotica)

La robotica biomedicaLa robotica biomedica

Applicazione della robotica in ambito biomedico, come supporto alla

pratica clinica o come strumento di ricerca

NeuroNeuro--RoboticaRobotica

Applicazione della robotica nello studio di sistemi biologici

Uso di robot biomorfi come strumento sperimentale e modello fisico nella ricerca,

principalmente in neuroscienze

NeuroNeuro--RoboticaRobotica

• Le capacità sensoriali e reattive dell’uomo e dei sistemi biologici sono ancora in gran parte ineguagliate dai robot

• I modelli percettivi e di ragionamento dell’uomo costituiscono ancora oggi un ambito di ricerca aperto

• Lo studio dei meccanismi di elaborazione sensoriale e di sintesi del comportamento (coordinazione senso-motoria) nell’uomo e nei sistemi biologici è fondamentale sia per il progresso della robotica che per la comprensione del funzionamento del cervello umano (neuroscienze)

Robotica Robotica BioBio--ispirataispirata

• Non può esistere una macchina con un’intelligenza e un comportamento simili all’uomo che non sia dotata di un sistema sensoriale con prestazioni simili a quelle umane (embodiment)

Rodney A. Brooks, 1998Direttore Artificial Intelligence LaboratoryMIT - Massachussettes Institute of TechnologyBoston, USA

Robotica Robotica biobio--ispirataispirata e neuroe neuro--roboticarobotica

Studio e modellazione bioingegneristici

Studio e modellazione Studio e modellazione bioingegneristicibioingegneristici

Modello fisicoModello fisico

Robot biomimetico

Robot biomimetico

Sistema biologicoSistema biologicoSistema biologico

Robot bioispirato

Robot bioispirato

ValidazioneValidazione

ApplicazioniApplicazioni

Robot biomedicoRobot biomedico

NeuroroboticsNeurorobotics vs. vs. simulationssimulations and and animalanimal modelsmodels

Interaction

Human modelHumanHuman modelmodel

Model of interactionModel of Model of

interactioninteraction

World modelWorld modelWorld modelWorldWorld

ROBOTICAROBOTICA

Bioingegneria e bioroboticaBioingegneria e biorobotica

BIOINGEGNERIABIOINGEGNERIA

BIOBIO--ROBOTICAROBOTICA

STRUMENTI PER LO STRUMENTI PER LO STUDIO DEI SISTEMI STUDIO DEI SISTEMI

BIOLOGICIBIOLOGICI

STRUMENTAZIONE STRUMENTAZIONE BIOMEDICABIOMEDICA

NEURONEURO--ROBOTICA ROBOTICA BIOMEDICAROBOTICA ROBOTICA BIOMEDICA

Sistemi robotici Sistemi robotici biomorfibiomorfi come modelli come modelli

fisicifisici

Robotica riabilitativa e Robotica riabilitativa e chirurgica/diagnosticachirurgica/diagnostica

Definizioni di Robotica• A robot is a re-programmable, multi-functional, manipulator designed to move

material, parts, or specialized devices through variable programmed motions forthe performance of a task

• Un robot è un manipolatore multifunzionale riprogrammabile progettato per muovere materiali, componenti, o dispositivi specializzati, attraverso movimenti variabili programmati per lo svolgimento del compito

Robotics Industry Association (~ 1980)• Robotics is the intelligent connection of perception to action• Robotica è la connessione intelligente della percezione all’azione

Michael Brady (~1985)• A robot is a machine able to extract information from its environment and use

knowledge about its world to move safely in a meaningful and purposefulmanner

• Un robot è una macchina in grado di estrarre informazioni dall’ambiente e di usare la conoscenza sul mondo per muoversi in maniera sicura, significativa e intenzionale

Maja Mataric (~ 1990)• Robotics is the science and technology of the design of mechatronic systems

capable of generating and controlling motion and force• Robotica è la scienza e tecnologia della progettazione di sistemi

meccatronici capaci di generare e controllare movimento e forzaPaolo Dario (~ 2000)

EvoluzioneEvoluzione delladella RoboticaRoboticaAutomazioneindustriale

RoboticaIndustriale

BISOGNO BISOGNO didi

macchinemacchineutiliutili

Scenario robotico industrialeScenario robotico industrialeAmbiente

strutturato sui bisogni del robot

Posizioni predefinite degli

oggetti da manipolare

Procedure ben definite ripetitive

Operatori esperti (formati all’uso)

Manipolatori ad elevate prestazioni in termini di accuratezza, ripetibilità,

velocità, robustezza

Presenza umana umana nell’ambiente di lavoro ben delimitata

Analisi comparativa delle Analisi comparativa delle prestazioni dell’Uomo e del robotprestazioni dell’Uomo e del robot

[A. Murata, 2000]

•Debolezza nei compiti ripetitivi, monotoni e di lunga durata

•Mancanza di resistenza• Inferiore nell’accuratezza e nella velocità•L’affidabilità dipende dagli stati mentali, dalla motivazione, dal livello di attenzione e da fattori fisiologici e psicologici

•È sicuro di commettere errori•L’abilità di rilevare quantità fisiche è variabile•Non può operare intuitivamente•La memoria è inaccurata

•Più alto livello di abilità cognitiva•Maggiore flessibilità di pensiero•Superiore nell’elaborazione cognitiva dell’informazione, come l’estrazione di caratteristiche ed il riconoscimento

•Maggior numero di gradi di libertà nella braccia e nelle mani e capacità di svolgere movimenti complessi e accurati

•Facile comunicazione reciproca (capacità di comunicare anche senza il supporto di un linguaggio)

•Capacità di rilevare stimoli minimi e le loro variazioni•Superiore nell’intuizione

Uomo

•Mancanza di abilità e flessibilità di pensiero•Limitati mezzi di comunicazione con l’uomo•Incapacità di reagire ad eventi imprevisti•Scarsa capacità di estrazione di caratteristiche e riconoscimento

•Minore numero di gradi di libertà

•Rilevamento accurato di quantità fisiche su un rangeampio

•Rilevamento di quantità fisiche, come le onde elettromagnetiche, che l’uomo non può rilevare

•Velocità, accuratezza, potenza e resistenza maggiori•Memorizzazione accurata•Adatta allo svolgimento di task monotoni e ripetitivi•Affidabilità nello svolgimento di uno specifico compito•Possibilità di operare in ambienti pericolosi

Macchina (Robot)

SvantaggiVantaggi

BISOGNO BISOGNO didi

macchinemacchineutiliutili

EvoluzioneEvoluzione delladella RoboticaRobotica

RoboticaIndustriale

Robotica diServizio

AutomazioneIndustriale

Applicazioni Spaziali

I robot fuori dalle I robot fuori dalle fabbriche…fabbriche…

• Condivisione dello spazio di lavoro tra uomo e robot

• Maggiori capacità percettive• Comportamento reattivo

Servizi

Ambienti ostili

Photo: Center for Robot-Assisted Search and Rescue

Esplorazioni spazialiEsplorazioni spazialiSpiritSpirit, , OpportunityOpportunity (2003) e il (2003) e il RobonautaRobonauta

Robot sottomariniRobot sottomarini

Robot da Guerra Robot da Guerra

Applicazioni domesticheApplicazioni domestiche

Robot per intrattenimento Robot per intrattenimento e e edutainmentedutainment

BISOGNO BISOGNO didi

macchinemacchineutiliutili

EvoluzioneEvoluzione delladella roboticarobotica

RoboticaIndustriale

Robotica diServizio

AutomazioneIndustriale

Applicazioni Spaziali

Robotica Biomedica

ApplicazioniCliniche

Assistenti Personali

Robotica chirurgica

Robotica in Robotica in chirurgiachirurgia

Il robot Il robot chirurgicochirurgico “Da Vinci”“Da Vinci”

Da Vinci System,Intuitive Surgical Inc.

• Master-slave manipulator equipped with 2 articulated joints at the tip of the surgical instruments allowing 7 degrees of freedom

• Mimics the movements of surgeon’s wrist and fingers in the abdominal or thoracic cavity

The Evolution of SurgeryTRADITIONAL

SURGERYMINIMALLY INVASIVE SURGERY

Da Vinci CAS system

ENDOLUMINAL SURGERY

EndoscopiccapsulesReconfigurablesurgicalsystems

Micro-endoscopefor spinalcord

FETAL SURGERY

Force-feedbackscissor for fetalsurgery

CELL SURGERY

Artificial virus for cell therapy

Integrated Tool

Cognitive Unit

Mechatronic Endoscope

Human Machine Interface

Visual interfaceHaptic interface

Patient(with localization

sensors)

Surgeon

Intelligent Drive Unit

Sensorized and actuated probe

Interchangeable instrumentation

Processing Unit

External device for insertionand actuation

Localization System

Virtual model

A system for spinal endoscopy

Neurobotics - The fusion of Neuroscience and Robotics, FP6-IST-001917 (www.neurobotics.info). A project funded by the Future and Emerging Technologies arm of the IST programmeFuture and Emerging

Technologies

Information Society Technologies

The MiNOSC robotic endoscopic platform

3

1 2

3

1

2

MrollMpitch

3

1 2

3

1

2

MrollMpitch

Schematic view of the 2 DoF motor unit; on the right: section of the catheter; the dotted channels are used by the cables.

T h e r o b o t - a s s i s t e d endoscopic platform is set in the operat ing room.

The motor unit and the steerable catheter tip

Segmentazione delle immagini Segmentazione delle immagini endoscopicheendoscopiche

Risultati:Risultati:•• L’algoritmo di segmentazione riesce L’algoritmo di segmentazione riesce

sempre ad isolare correttamente le sempre ad isolare correttamente le regioni lumen le quali non vengono regioni lumen le quali non vengono mai sovradimensionatemai sovradimensionate

•• Le vene vengono riconosciute Le vene vengono riconosciute correttamentecorrettamente

•• I nervi vengono isolati correttamente I nervi vengono isolati correttamente anche se esistono possibili anche se esistono possibili interpretazioni sbagliate di bolle d’aria interpretazioni sbagliate di bolle d’aria con riflessi molto luminosicon riflessi molto luminosi

•• L’impiego del software su filmati di L’impiego del software su filmati di endoscopia su animale hanno endoscopia su animale hanno evidenziato le capacità dell’algoritmo evidenziato le capacità dell’algoritmo di essere impiegato in applicazioni in di essere impiegato in applicazioni in tempo realetempo reale

“Inchworm” locomotion

Typical colonoscopy prototypeDiameter : 24 mmRetracted Length : 115 mmElongated Length : 195 mmStroke: 80 mm

Distal clamper

Proximal clamper

Central elongator

Scuola Superiore Sant’Anna, Pisa

Una capsula roboticaper esplorare il corpo

umano

Rivestimento del tronco con materiale morbido

Tagli ricavati sul materiale di rivestimento

COLON

COLON

GASTRO

Soluzione per il rallentamento: struttura lamellare; materiale morbido (es. gomma)

Microrobot riconfigurabiliper l’esplorazione del corpo umano

Scuola Superiore Sant’Anna, Pisa

A prototype cellular vector

What is a cellular vector?

= ?+ +

FIB image of CNTs AFM image of plasmids Optical image of a cell

Images acquired at the CRIM Lab

•It is basically a nano-device composed by:

An artificial carriere.g. a nanoparticle, a nanoshell, a nanosfere, a carbon nanotube, etc..

A coatingable to dissolve intra or extra-cellularly, depending if the drug release is inside or outside the cell

Cell

• Cell ligands,able to bind a surface receptor of the target cell to transfect

• Drugs , e.g. genes for cell transfection

Cell Transfection _ via Cellular Uptake

Cell Transfection _ via Electroporation

External source