Sviluppo di un sistema di acquisizione tridimensionale in alta definizione

U

P

D

I

Tesi di laurea

Sviluppo di un sistema di acquisizione

tridimensionale in alta definizione

RELATORI CANDIDATO

Prof. Ing. Armando V. Razionale Mauro Scalise

Ing. Alessandro Paoli

Sessione di Laurea 07/12/2016 Anno Accademico 2015/2016

2 A nonna, per nonno, con tutto l’amore che c’è

4

Abstract

Questo lavoro di tesi è stato interamente realizzato presso il Dipartimento di Ingegneria Civile ed Industriale (DICI) dell’’Università di Pisa.

Gli obiettivi di questo lavoro sono stati lo studio, la progettazione, la realizzazione e la fase di test di un sistema di acquisizione tridimensionale ad alta definizione.

Si è partiti da una fase iniziale di apprendimento dei concetti e delle teorie principali relative al Reverse Engineering e all’acquisizione tridimensionale, attraverso la letteratura scientifica in possesso e ai nuovi metodi sviluppati per questo scopo.

Successivamente si è passati alla progettazione del nuovo sistema di acquisizione, cercando di mantenere i pregi del sistema esistente presso il dipartimento e migliorandone le performance di acquisizione.

La fase che ha richiesto più tempo e risorse è stata quella di realizzazione del sistema, effettuata presso le officine del Dipartimento, e la successiva fase di avviamento e set-up. Per quanto riguarda la fase di set-up, è stato necessario modificare il codice alla base del software realizzato in ambiente Matlab, realizzato inizialmente per il sistema esistente, adattandolo alle modifiche hardware effettuate tramite il nuovo sistema. È stata programmata, infine, una serie di test atti a verificare il corretto funzionamento del sistema, la ripetibilità di lettura e la risoluzione massima ottenibile. I risultati ottenuti dalle prove si sono dimostrati incoraggianti, evidenziando in modo chiaro il miglioramento ottenuto modificando l’hardware del sistema di acquisizione.

In chiave futura, si renderà necessario un irrigidimento della struttura base del sistema di acquisizione, l’implementazione di una tavola rotante per la movimentazione automatica dell’oggetto da acquisire ed infine ulteriori test che ne accertino in maniera definitiva il miglioramento ottenuto in precisione e versatilità di acquisizione.

6

Indice

1. Introduzione

2. Reverse Engineering

3. Metodi di acquisizione 3D

3.2.1. Tecniche attive

3.2.1.1. A luce laser 3.2.1.2. A luce codificata 3.2.2. Tecniche passive

4. Luce strutturata per il rilievo 3D

4.1. Visione stereo

4.2. Metodo telecamera-proiettore-telecamera

5. Calibrazione sistema di visione

5.1. Teoria calibrazione 5.2. Modello pin-hole 5.3. Modello completo

5.4. Calibrazione sistema stereo

6. Realizzazione sistema di visione

6.1. Sistema esistente 6.2. Progetto sistema HD 6.3. Realizzazione sistema HD

7. Prove sperimentali

8. Conclusioni e sviluppi futuri

A.

Appendici

8

Capitolo 1

Introduzione

L’attività svolta durante questa tesi Magistrale è stata incentrata attorno alla realizzazione di un sistema di acquisizione tridimensionale in alta definizione.

La base di partenza è stata l’acquisizione delle conoscenze necessarie alla progettazione dello stendo, migliorando il sistema precedentemente realizzato ed in uso al Dipartimento di Ingegneria Civile ed Industriale, formato da un proiettore con risoluzione 1024x768 e due telecamere CCD con risoluzione di 1600x1200.

I nuovi hardware utilizzati, che vanno a sostituire i precedenti elementi, hanno caratteristiche di risoluzione per il proiettore di 1280x800 e di 2592x1944 per le due telecamere CMOS.

Questa modifica necessita, oltre che di un opportuno progetto hardware di sostegno del sistema, anche di una modifica al codice Matlab di gestione dell’acquisizione, codice che, oltre alla cattura e all’analisi dell’immagine, provvede all’invio sull’oggetto da acquisire dei pattern a luce strutturata, alla creazione del software di controllo della scansione e di creazione della nuvola di punti partendo dal salvataggio delle due distinte immagini generate dalle due telecamere stereo.

Notevole impegno è stato investito nella fase di messa in opera del sistema, fase che comprende la calibrazione del sistema stereo successiva alle regolazioni necessarie, su proiettore e telecamere, per ottenere il campo visivo voluto.

È proprio sulla regolazione relativa tra proiettore e telecamere che si sono presentate le difficoltà più marcate, dovute soprattutto alla scarsa sensibilità alle regolazioni dei comandi delle telecamere.

Superate queste difficoltà, diverso tempo è stato investito nella fase di test del dispositivo, che ha necessitato di prove su provini e riferimenti già esistenti ed usati precedentemente anche sul sistema in bassa definizione, con l’aggiunta dell’analisi di pezzi creati tramite le stampanti 3D in uso presso il nuovo laboratorio “UniPiLab” del dipartimento DICI.

9 Il nuovo sistema sviluppato è molto importante sia per l’uso didattico che commerciale che offre.

Didatticamente, permette di avvicinare gli studenti all’acquisizione tridimensionale ed al Reverse Engineering, in forte sviluppo negli ambiti più disparati e con elevato interesse nelle nuove tecnologie, anche di acquisizione e stampa 3D diretta.

Dall’altro lato, le industrie richiedono sempre di più mezzi precisi e con ripetibilità elevata per indagare sulla qualità e sul dimensionamento degli elementi prodotti, riuscendo in maniera semplice ed economica a sostituire con un sistema di acquisizione tridimensionale gli strumenti poco precisi, lenti e spesso ingombranti che sono stati utilizzati finora per questi scopi, aprendo scenari di sicuro interesse economico e commerciale.

10

Capitolo 2

Reverse Engineering

Il Reverse Engineering (RE) è il processo di digitalizzazione di un oggetto fisico di riferimento, ottenendone dalla successiva analisi un modello computerizzato delle sue superfici, mediante opportune attrezzature e software.

È il processo di creazione di un disegno 3D ottenuto misurando un oggetto da riprogettare o modificare determinandone dimensioni e tolleranze di cui non si è a conoscenza per motivi logistici o a causa della complicata geometria dell’oggetto. Altra definizione può essere quella che vede il Reverse Engineering come il processo tramite il quale le informazioni presenti in modo non leggibile sono estratte tramite un dispositivo che le duplica in un formato interpretabile, come un modello CAD.

La definizione di Reverse Engineering (oppure RE) venne coniata inizialmente dall’esercito degli Stati Uniti d’America per definire il processo di appropriazione delle tecnologie militari in caso di ritrovamento di armamentario bellico nemico.

La creazione di un modello digitale di un oggetto è un’attività che ha interessi nelle più disparate aree: ingegneristica, biomedica e di design.

Il RE di un prodotto avviene in 3 fasi successive: • Progettazione del metodo di rilievo • Rilievo

• Post-processing

Alla base del processo c’è la digitalizzazione della superficie dell’oggetto approssimato con nuvole di punti che, successivamente, verranno collegate tra loro attraverso una mesh poligonale con un software dedicato. In ultima fase la mesh viene trasformata in un solido 3D pronto a successive verifiche, misurazioni o sperimentazioni (figura 2.1).

11

2.1. Processo

Il processo di RE è composto, come detto in precedenza da più fasi: la fase iniziale è quella che definisce il metodo di rilevamento delle superfici che più si adatta al nostro oggetto e il successivo rilievo (capitolo 3). Questa è solitamente la fase più lunga, perché le varie tecnologie devono essere testate sia teoricamente che praticamente in termini di fattibilità, ti tempo necessario alla scansione, di precisione di analisi, di ergonomia e di costo.

Ad esempio esistono degli strumenti di misura portatili e fissi per la digitalizzazione dell’oggetto, rendendo necessaria la conoscenza di eventuali rilevazioni che andranno fatte o meno sul campo.

Altro aspetto importante è quello di capire se si rende necessario acquisire tutte le superfici dell’oggetto e se sono facilmente raggiungibili. Se più metodi possiedono le caratteristiche da noi cercate, allora successivamente verranno prese in considerazione anche le tempistiche di acquisizione e il costo.

La fase finale richiede anche la progettazione della posizione relativa tra il pezzo e lo strumento di acquisizione, si valuta l’uso di vernici per le superfici troppo riflettenti e se è necessario l’utilizzo dei marker ottici.

Successivamente alla scelta del metodo di rilevazione c’è la fase di rilievo vero e proprio, suddividendo eventualmente questa fase in più rilevazione allineabili successivamente col metodo del post processing (paragrafo 2.4).

Per riuscire a ricostruire l’oggetto da scansionare, il RE adotta il concetto di nuvola di punti, ovvero la suddivisione dell’intero oggetto in punti significativi equamente

Figura 2.1: Processo di Reverse Engineering applicato al gruppo pistone-biella

12 distribuiti. Infatti sarebbe impossibile acquisire l’intera totalità dei punti dell’oggetto, rendendo la discretizzazione in intervalli costanti (come i pixel dei moderni schermi di TV, cellulari, monitor) la soluzione più rapida, precisa ed economicamente vantaggiosa in termini di calcolo nel post-processing.

Una volta ottenuti i punti, per ritornare all’oggetto di partenza occorre effettuare il passaggio inverso, ovvero ricomporre i punti in un’unica entità, passando dal discreto al continuo. La difficoltà di questa operazione varia se i dati sono stati raccolti in maniera ordinata o meno. I sistemi non a contatto adottano un’acquisizione ordinata dei punti, facendo procedere la scansione per linee parallele, mentre le macchine di misura possono, muovendosi su percorsi ad hoc, possono rilevare specifici contorni. Quando invece la rilevazione si effettua con un tastatore manuale i punti sono obbligatoriamente ricevuti in maniera disordinata e il riconoscimento di forme diventa molto difficile. Acquisito il modello in genere possono presentarsi differenze rispetto al modello teorico; ciò è dovuto ad errori dati dal sistema di scansione, dalla geometria e superficie dell’oggetto. Altri errori sono quelli dati da un’incorretta acquisizione dei punti e dall’assemblaggio del sistema pezzo-strumento o dall’approssimazione delle superfici dell’oggetto.

Le principali problematiche che si incontrano durante l’acquisizione sono:

1. La calibrazione tra il sistema ottico di visione e il pezzo da acquisire, dove le principali fonti di disturbo sono le distorsioni delle lenti o i disturbi elettronici nelle videocamere.

2. L’accessibilità del pezzo e le zone d’ombra sulle superfici che vengono risolte posizionando in modo diverso le telecamere o acquisendo più immagini con angolazioni diverse.

3. La precisione dell’apparecchiatura che dipende molto dalle distanze pezzo-sistema di visione e dalla stabilità dell’apparecchiatura di acquisizione.

4. Il rumore generato dall’acquisizione dei punti che non appartengono al corpo, risolvibile con una pulizia successiva all’acquisizione attraverso i potenti software di gestione delle immagini di solito utilizzati nel post-processing.

13

2.2. Applicazioni

Negli ultimi si è assistito alla trasformazione del RE da semplice processo di ottenimento di dati ad una vera branca dell’ingegneria. Alla base infatti del concetto di RE per l’ingegneria c’è quello applicato nel mondo dell’informatica, dove il programmatore esamina il programma sorgente di un software per comprenderne i comandi ed apportarne le dovute modifiche. Il risparmio ottenibile in termini di tempi e di costi utilizzando questi processi, insieme alla grande precisione ed affidabilità raggiunte in tempi recenti dalle tecnologie disponibili, ha portato a considerare il RE come un nuovo metodo di progettazione e risoluzione dei problemi da affiancare alle tradizionali procedure di produzione.

Possiamo elencare i campi di applicazione che più vengono interessati dall’utilizzo del RE:

 _{Rilievo di prototipi: Un esempio di applicazione lo troviamo nell’industria dei veicoli} a due e quattro ruote, nella fase di progettazione e modellazione di parti dell’automobile. I designer, infatti, creano spesso prototipi in materiali facilmente lavorabili, come il clay, che devono essere poi digitalizzati per ottenere il modello CAD. L’uso di tecniche ottiche di ricostruzione di forma consente senza dubbio un significativo risparmio di tempo nella progettazione di oggetti complessi.

 _{Generazione di prototipi personalizzati: Queste tecniche sono utilizzate}

successivamente requisiti ergonomici: ad esempio la progettazione di abbigliamento per astronauti o piloti, lo sviluppo di maschere antigas o per uso medicale, la costruzione di particolari strumenti o per le protesi umane. La possibilità di rilevare parti anatomiche consente di progettare prodotti personalizzati sulla base delle specifiche del paziente.

 _{Aggiornamento di modelli CAD: Il RE è diventato uno strumento molto efficiente} nella produzione di modelli digitali di particolari quando nasce la problematica di non avere a disposizione i disegni o la documentazione tecnica di progetto.

 _{Rapid tooling: La duplicazione di un prototipo realizzato alle macchine utensili} richiede la copiatura del pezzo attraverso particolari accessori. Attraverso la scansione ottica si hanno maggiori accuratezze e notevoli risparmi di tempo, anche

14 perché tali sistemi possono essere interfacciati direttamente alle piattaforme CAD/CAM tramite formati di interscambio come l’STL.

 _{Sostituzione di particolari in assenza dei ricambi: Spesso la rottura di parti di vecchi} macchinari avviene quando non sono più disponibili i pezzi di ricambio. Ci viene incontro in queste occasioni il Reverse Engineering per la ricostruzione del modello solido del particolare danneggiato e procedere, quindi, alla fabbricazione di un suo pezzo sostitutivo.

 _{Pianificazione di un intervento chirurgico: In combinazione con il rapid prototyping} o con i sistemi di visualizzazione 3D possiamo digitalizzare le parti anatomiche che consentono la simulazione di tutte le fasi di un intervento chirurgico.

 _{Controllo qualità: Mediante l’utilizzo di queste tecniche è possibile effettuare} ispezioni e controlli su prodotti durante la lavorazione, le misurazioni vengono fatte on-line e i dati ottenuti possono essere direttamente confrontati con i modelli CAD di progetto, in modo da verificare automaticamente la rispondenza alle specifiche di progetto.

 _{Beni culturali: Le tecnologie di RE consentono di ottenere riproduzioni delle forme} e dei colori delle superfici esterne di oggetti ed edifici d’arte. Diventa possibile, grazie a queste tecniche, creare archivi digitali di capolavori d’arte delle forme più complesse, rilevati direttamente in luogo.

2.3. Metodi di rilievo

I metodi di rilievo di superfici tridimensionali sono molto numerosi, ci accontenteremo in questo paragrafo di farne un’elencazione rapida rimandando al Capitolo 3 una descrizione più esauriente e completa dei metodi che più ci interessano.

15 La prima differenza che incontriamo nella descrizione dei metodi di acquisizione è quella relativa al contatto tra pezzo e strumento di misura. Tipicamente nell’industria meccanica si è soliti usare attrezzature a contatto con l’oggetto da analizzare o scansionare, comportando lentezza della verifica e precisione solo sufficiente. Negli ultimi anni con l’evoluzione dei metodi senza contatto, prevalentemente ottici, si è velocizzato il processo di acquisizione rendendolo anche molto preciso, permettendo l’analisi di pezzi delle più ampia gamma di dimensioni e garantendo anche la possibilità di effettuare le acquisizioni presso il cliente spostando l’attrezzatura.

Come vedremo in seguito le tecniche ottiche attive saranno quelle che useremo nello sviluppo del sistema di visione in alta definizione, svilupperemo i concetti di triangolazione e di luce strutturata che ci faranno meglio capire il funzionamento alla base di questo nuovo sistema di acquisizione.

16

2.4. Post Processing

L’output di una scansione 3D è una nuvola di punti che deve essere analizzata, filtrata e modificata per ottenerne poi un file multimediale utilizzabile.

Di solito le nuvole vengono implementati in software grafici come Geomagic o PolyWorks e poi modificate.

È possibile creare un software di gestione anche in ambiente Matlab che permetta l’elaborazione digitale delle immagini. Ultimamente stanno crescendo i produttori di sistemi di acquisizione che implementano oltre all’hardware anche un software dedicato che permette una modifica guidata step by step, dalla nuvola di punti al file CAD finale da poter utilizzare.

Questo rende più semplice all’utente finale il compito gravoso di filtraggio delle immagini e la successiva trasformazione del file in formati che possono, ad esempio, utilizzati direttamente da una stampante 3D per la creazione di modelli o provino del pezzo acquisito.

Il Post-Processing diventa fondamentale nel caso in cui, utilizzando un metodo a luce strutturata, non disponessimo di una tavola rotante su cui posizionare il pezzo per scansionare in automatico il pezzo ad intervalli costanti attraverso il software di gestione. Infatti, senza tavola rotante, bisogna provvedere a riposizionare il pezzo ogni volta che dobbiamo acquisire una nuova porzione dell’oggetto, facendo attenzione ad utilizzare e ad inquadrare almeno un marker comune in ogni immagine; questo ci servirà per riallineare le varie immagini acquisite durante la fase di post processing, avendo così dei riferimenti stabili su cui basare il riallineamento.

17 Figura 2.3: Riallineamento di due scansioni successive tramite marker con

18

Capitolo 3

Metodi di acquisizione 3D

L’acquisizione tridimensionale di oggetti e forme sta conoscendo un periodo di forte ed intenso sviluppo negli ambiti più disparati: dall’industria alla ricerca medica e biomedica, dall’uso privato all’applicazione nei campi artistici, ludici e archeologici.

Lo strumento più conosciuto in queste applicazioni è lo scanner 3D, un dispositivo che analizza oggetti ed ambienti, collezionandone i dati su forme e aspetto che permetteranno una ricostruzione digitale tridimensionale completa e dettagliata di ciò che è stato scansionato.

Figura 3.1: Fasi della acquisizione 3D: Oggetto da acquisire – Formato STL – Ricostruzione tridimensionale

19 Questi dispositivi vengono costruiti seguendo logiche di funzionamento delle più disparate, dal laser alla luce strutturata, fino al contatto effettivo dello scanner con il pezzo da scansionare.

Ogni tecnologia presenta vantaggi e svantaggi in termini di definizione dell’immagine ottenuta, velocità di scansione e costo, con la limitazione più grande per gli scanner senza contatto della riflessione della luce sulle superfici riflettenti e del tempo elevato di scansione per quelli a contatto.

Questo capitolo riassume in modo più sintetico ciò che si può trovare in [1], nella sezione riguardante l’acquisizione 3D. E’ stato volutamente ripreso dall’originale con poche

Figura 3.2: Acquisizione tridimensionale senza contatto

Figura 3.3: Acquisizione tridimensionale mediante scanner a contatto MicroScribe

20 modifiche, essendo questa parte necessaria solamente per avere una più chiara idea del mondo del 3D acquisition e per la chiarezza con cui viene descritta dall’autore originale.

3.1. Metodi a contatto

I metodi di acquisizione a contatto, tipicamente utilizzati in macchine a controllo numerico automatizzate, si servono di opportune strutture di fissaggio contenenti all’estremità un tastatore che tocca fisicamente l’oggetto da analizzare. Si tratta di una misura puntuale che richiede una complessa movimentazione del sensore con tempi di acquisizione lunghi.

Il tastatore ha l’elemento di contatto (pattino) che può essere sferico, a punta o piegato, qualora si volessero raggiungere posizioni interne all’oggetto.

I meccanismi di digitalizzazione possono avere diverse forme:

• Un sistema meccanico rigido che sfrutta il movimento lungo assi lineari o rotanti del tastatore che viene movimentato attraverso una plancia di comando dedicata o attraverso un percorso predefinito dall’operatore che la macchina esegue in automatico. Questo sistema è più adatto per scansionare oggetti con semplici profili piani o convessi (figura 3.4).

• Una struttura robotica antropomorfa, con il tastatore posizionato all’estremità dell’End-Effector. Questo sistema è dotato di diversi encoder che permettono di ricostruire la posizione del tastatore nello spazio conoscendo la lunghezza dei link e risolvendo la cinematica del robot. L’operazione da effettuare ogni volta che cambiamo il tastatore (a causo del consumo della superficie dello stesso) è la calibrazione, perché la dimensione dell’ultimo link contenente il tastatore è ignota fino al montaggio (figura 3.5).

Le tipologie di tastatori che si possono utilizzare sono infinite, ciò grazie al processo di calibrazione che viene effettuato successivamente al montaggio del tastatore; è possibile dunque costruire ad hoc il tastatore che meglio si adatta alla forma dell’oggetto da analizzare.

Il contatto che avviene tra sonda e modello ha il vantaggio di avere una elevata accuratezza raggiungibile, fino al centesimo di millimetro, e una insensibilità al colore, trasparenza e lucentezza dell’oggetto. Lo svantaggio più grande è invece quello del

21 rischio di deformare o danneggiare la superficie analizzata, che ne limita l’uso quando l’elemento da analizzare è fragile; altro svantaggio è, come già accennato, la lentezza della scansione, dovuta alle poche decine di contatti al secondo effettuabili.

L’accorgimento fondamentale per i dispositivi a contatto è quello di massimizzare la rigidezza della struttura a contatto evitando inflessioni eccessive della sonda, così da limitare l’errore introdotto nella lettura della posizione finale del tastatore dal sistema. Evoluzione dei sistemi a contatto puntuale sono i sistemi a contatto lineare, funzionanti attraverso lo strisciamento del tastatore sulla superficie, che inviano al software di gestione informazioni più dettagliate sulla posizione del tastatore, facendo scansionare a intervalli costanti la lettura della posizione del tastatore velocizzandone il processo di acquisizione.

I sistemi a contatto più evoluti e più precisi sono quelli a braccio robotico fino a 7 gradi di libertà che possono essere azionati dall’operatore anche manualmente. Questi permettono la più ampia possibilità di movimenti traslazionali e rotazionali attorno l’oggetto, rendendo il sistema adeguato alla digitalizzazione nelle posizioni che sono impossibili da raggiungere dalle machine CMM (Coordinate Measure Machine), più precise ma più limitate nei movimenti. Quest’ultime infatti sono dotate di basamenti di granito con guide su cuscinetti ad aria che le rendono precise nella scansione ma troppo pesanti da poter movimentare (accuratezza dell’ordine delle centinaia di nanometri contro le decine di micron di quelle a braccio robotizzato).

Le CMM non sono adeguate al Reverse Engineering ma vengono utilizzate per collaudi dimensionali e geometrici.

22

3.2. Metodi senza contatto

Gli scanner più utilizzati e che stanno riscontrando maggiore successo commerciale negli ultimi anni sono quelli senza entrare in contatto con l’oggetto da acquisire. Questi

Figura 3.4: Macchina CMM Axiom

Figura 3.5: Braccio 7 Dof Faro comandabile dall’operatore

23 utilizzano una rilevazione ottica del modello, misurando le onde elettromagnetiche che vengono riflesse dalle superfici dell’oggetto da una sorgente di luce laser o a luce strutturata.

I metodi ottici sono quasi gli unici utilizzati nel Reverse Engineering, ciò grazie all’elevata precisione ottenibile unita alla velocità di acquisizione delle immagini. In figura 3.7 è possibile confrontare i vari metodi di acquisizione ottica.

I metodi senza contatto si suddividono in tecniche passive e tecniche attive. Figura 3.6: Classificazione dei sistemi per l’acquisizione di forma

24

3.2.1 Tecniche attive

Quelle attive sono tecniche che utilizzano sistemi di illuminazione che interagiscono con il dispositivo di acquisizione. Si basano sulla scansione della superficie da acquisire attraverso una sorgente di luce laser o bianca e la successiva misurazione della quantità di energia riflessa per determinare la forma dell’oggetto.

I dispositivi vengono chiamati a luce strutturata il più delle volte perché la luce che si utilizza non è diffusa ma coerente.

L’algoritmo di ricostruzione 3D richiede le posizioni e le angolazioni relative del sistema di illuminazione e del sensore rispetto a un riferimento nello spazio.

3.2.1.1.

A luce laser

I metodi a luce laser (Light Amplification by Stimulated Emission of Radiation) danno buoni risultati se utilizzati per la ricostruzione 3D. Infatti, la luce laser è una fonte di luce coerente e di elevata intensità luminosa, monocromatica e altamente direzionale. L’elevata coerenza permette un’ottima focalizzazione del raggio laser sulla superficie del corpo da acquisire.

Unico neo della luce laser è l’effetto Speckle, ovvero la sovrapposizione di un pattern granulare sovrapposto allo spot luminoso emesso dal laser (figura 3.8), che diviene sorgente di un rumore nell’immagine moltiplicativo.

Questo effetto è dovuto al cambio di fase improvviso delle onde coerenti del fascio laser, ottenendo la sovrapposizione di molte onde tra loro coerenti ma con fase casuale, generando interferenza luminosa.

Metodi Puntuali

La luce laser proietta uno spot sulla superficie dell’oggetto. La luce che viene riflessa dall’oggetto viene focalizzata sul sensore tramite una lente, mentre la distanza della superficie dell’oggetto influenza la posizione dell’immagine dello spot sul sensore (figura 3.9).

25 I parametri che caratterizzano i sensori laser sono:

 _{Campo di misura (Measurement range)}  _{Distanza di lavoro (Stand-Off distance)}  _{Diametro dello spot (Spot diameter)}

 _{Angolo di triangolazione alla distanza di lavoro (Triangulation Angle)} Figura 3.8: Effetto Speckle generato da un

laser verde

26 Il diametro dello spot è quello che più incide sulla risoluzione e sulla precisione dell’acquisizione.

Il sistema di ricezione assorbe la luce riflessa dalla superficie, che viene focalizzata dalla lente determinandone la posizione del centro dello spot luminoso. I sensori ottici che vengono utilizzati nei sensori a triangolazione laser sono:

 _{PSD (Position Sensing Detector) (figura 3.10): è un sensore analogico che} converte la luce assorbita in un segnale elettrico proporzionale alla posizione dello spot. Focalizzato lo spot, vengono generate due correnti in uscita agli estremi del sensore e la differenza tra queste correnti indica in che posizione la luce colpisce il sensore. La quantità di corrente registrata da ogni uscita è proporzionale infatti alla posizione in cui la luce colpisce il sensore, se la luce si colloca al centro delle due uscite la potenza del segnale registrato sarà la medesima.

Figura 3.10: Sensore PSD

27 I problemi che possono intercorrere utilizzando il sensore PSD sono due: le superfici con elevata diffusività di riflessione o con imperfezioni non riflettono con uno spot ben definito e quindi possono falsare la lettura del segnale. Il secondo problema è che il sensore non filtra la luce naturale che si diffonde nell’ambiente di misurazione, dando luogo ad una misura errata.

I vantaggi invece consistono nella elevata sensibilità alla luce con l’impossibilità di saturare la lettura per sovraccarico di luce, la velocità di lettura (fino a 500 kHz) e la variazione rapida di lettura del segnale.

 _{CCD (Charge Coupled Device) (figura 3.11): Materialmente sono composti da una} fila di fotorecettori che discretizzano il segnale in ingresso, fornendo in uscita impulsi che vengono analizzati elettronicamente per risalire alla posizione dello spot. Ogni fotorecettore trasmette un impulso elettrico proporzionale all’intensità della luce che lo colpisce.

Questi sensori necessitano di un maggior tempo di elaborazione dei dati prima di ricavare la posizione dello spot, così come il controllo del guadagno è lento, creando qualche problematica nell’analisi di pezzi a riflettività poco costante. L’aspetto migliore è però quello della conservazione dei dati in immagini che possono successivamente essere filtrate ed elaborate, eliminandone ad esempio input luminosi che non appartengono allo spot luminoso inviato ma all’ambiente esterno. È anche possibile analizzare la distribuzione dell’intensità luminosa permettendo una migliore lettura della tipologia di superficie illuminata.

La peculiarità di avere in uscita dei segnali digitali rende i sensori CCD poco sensibili alle interferenze elettroniche e alla temperatura dell’ambiente di lavoro. Vengono utilizzati molto per la misura di superfici complesse o semi-trasparenti.

Metodi a linea laser

I metodi a lama di luce sono un’evoluzione di quelli a spot, infatti viene proiettata sul corpo una lama laser formata da circa 2000 spot lungo un unico piano, dando l’illusione di un’unica linea continua a causa dell’alta densità di led.

Questo nuovo metodo permette di ridurre di molto i tempi di acquisizione, riuscendo a scannerizzare centinaia di punti al secondo.

28 Il sensore che viene utilizzato e tipicamente CCD e i piani di luce laser sono generati muovendo la sorgente laser oppure utilizzando uno specchio montato su un motorino passo-passo. Ogni posizione del motorino corrisponde a un piano di luce proiettato sull’oggetto.

La linea laser che si viene a creare sul pezzo (intersezione tra piano di luce proiettato e pezzo) viene acquisita dalla telecamera; per ogni pixel acquisito il punto tridimensionale si ottiene intersecando il raggio ottico passante per quel pixel e il piano di luce proiettato. I sistemi più sofisticati prevedono il montaggio del sensore laser sull’end-effector di un braccio robotico, con il calcolo di posizioni ed angoli grazie agli encoder posizionati sugli assi.

Caratteristiche sistemi laser

Le proprietà caratterizzanti un sistema laser sono:  _Risoluzione

Figura 3.12: Sistema a punto Laser

29  _Precisione

 _{Ripetibilità}

 _{Velocità di scansione}  _{Velocità di campionamento}  _{Modulazione del laser}  _{Tempo di esposizione}

 _{Risposta in frequenza e sicurezza}

La risoluzione è definita come la più piccola variazione di quota che può essere rilevata dal sensore.

La risoluzione dinamica indica la capacità risolutiva col sensore in movimento mentre la risoluzione statica è riferita alla risoluzione con il sensore fermo. La risoluzione nei sensori analogici, per quanto elevata, è limitata dai disturbi dell’amplificatore e dalla capacità di analisi elettronica del segnale. Nei sensori digitali il limite pratico sulla risoluzione è dovuto alla larghezza del singolo pixel. Per aumentare la risoluzione di solito si ricorre all’elaborazione di una scala di grigi più ampia in modo da suddividere la risoluzione in frazioni di pixel, così da dar luogo a risoluzioni nella scala dei sub-pixel (sub-pixel accuracy). Questo approccio permette teoricamente di suddividere ogni pixel in frazioni molto piccole con intervalli di frazionamento tra 1/8 ed un 1/16 di pixel, limitate dal rumore elettronico. La risoluzione del sensore dipende dal tipo di condizionamento del segnale (filtraggio passa-basso nei segnali di tipo analogico o numero di punti mediati nei segnali digitali); essa aumenta all’aumentare del numero di punti analizzati per il calcolo del valore medio. Tuttavia un aumento del numero di punti analizzati fa aumentare la risoluzione ma diminuisce la risposta in frequenza.

La precisione (accuracy) è il maggiore scostamento tra il valore reale ed il valore misurato, riferito all’intero campo di misura.

La ripetibilità (repeatability) indica lo scostamento ottenuto nella ripetizione di una stessa misura in diversi intervalli di tempo. Un sensore con elevate caratteristiche di precisione necessita di un’elevata ripetibilità: il valore di quest’ultima, infatti, deve essere necessariamente più piccolo del valore di precisione.

La velocità di scansione (scan rate) è la velocità di raccolta dei dati sufficienti per il calcolo della distanza, mentre la velocità di campionamento (sampling rate) definisce la frequenza tramite la quale si genera il risultato della misura.

30 Il Tempo di esposizione (laser exposure time) definisce il tempo di esposizione al laser necessario per produrre un valore campionato in uscita.

La risposta in frequenza (frequency response) indica come l’ampiezza del segnale d’uscita varia al variare della frequenza d’ingresso, in pratica indica la variazione dell’efficienza del sistema al variare della frequenza del segnale d’ingresso.

3.2.1.2.

A luce codificata

I metodi a luce codificata si basano sulla proiezione sulla scena di un pattern luminoso che vene codificato, ovvero viene associato ad ogni punto sulla scena un codice che risolve automaticamente il problema della corrispondenza tra i punti acquisiti e i punti proiettati.

È il metodo più affidabile per la digitalizzazione di un oggetto.

Il classico metodo a luce codificata prevede l’uso di una telecamera e un proiettore (figura 3.15): i piani di luce vengono generati dal proiettore sul pezzo e vengono codificati in parallelo con una sequenza temporale di immagini binarie.

Una colonna del piano immagine del proiettore corrisponde a un piano di luce proiettato e la linea intersezione tra la superficie e il piano di luce viene acquisita dalla telecamera. Il punto tridimensionale relativo al singolo pixel acquisito viene ottenuto intersecando il raggio ottico passante per quel pixel e il piano di luce.

L’aspetto più importante propedeutico a questa tecnica è la calibrazione che deve essere effettuata sul sistema telecamera-proiettore-oggetto rima della scansione.

Questo aspetto, che è relativo alla conoscenza degli angoli e delle distanze tra questi elementi, è di fondamentale importanza e verrà approfondito più avanti.

Per quanto riguarda la scelta dei pattern luminosi da adottare, essi assegnano un codice unico a un determinato set di pixel, mappando totalmente la scena acquisita dalla telecamera.

Evoluzione del sistema ad una telecamera e un proiettore (che funge da parte attiva per la stereovisione) è quello formato da due telecamere e un proiettore al centro (figura 3.16).

Dato che la scena è codificata, si ottiene un’ottima qualità ed affidabilità di acquisizione delle immagini e di corrispondenza tra i punti coniugati delle due telecamere.

31  _{Time Multiplexing (figura 3.14): possiede un elevato contrasto, con la proiezione} delle immagini ad intervalli successivi che suddividono la scena per step, partendo da un’immagine metà banca e metà nera fino ad arrivare all’indicizzazione finale pari al numero di pixel in larghezza del proiettore.

La successione delle bande codificate sul pezzo è pari a 2𝑛𝑛 _{su tutti i punti, dove 𝑛𝑛}

è il numero di immagini proiettate sulla scena; ad ogni proiezione un determinato punto è illuminato alternativamente da luce bianca o nera con accanto una linea di divisione a massimo contrasto.

Il metodo è molto accurato per due motivi: il primo è che la base della codifica può essere binaria, data la proiezione di più pattern sull’oggetto. Il secondo motivo è dovuto al metodo di proiezione, da grossolano a preciso, che rende il metodo stabile, preciso e poco sensibile agli errori di codifica.

Nella proiezione da parte del proiettore di una sequenza di immagini binarie sull’oggetto, queste vengono successivamente acquisite da due telecamere stereo e inviate al software di gestione.

Materialmente sull’oggetto vengono proiettate una serie di linee che vengono codificate e successivamente acquisite attraverso le proiezioni di queste linee sul piano immagine di ogni telecamera.

Per generare un numero elevato di linee, è stato utilizzato un metodo di codifica basato sulla proiezione e sulla successiva acquisizione di 𝑛𝑛 immagini a frange parallele, di dimensioni progressivamente dimezzate.

32 Ogni pixel acquisito avrà una determinata intensità luminosa, dal chiaro (bianco) allo scuro (nero), in base alla sua posizione del punto del corpo acquisito a cui è associato quel pixel.

Ad ogni pixel viene successivamente assegnato un numero del codice binario a 𝑛𝑛 bit (in questo caso 2), 0 o 1, dove 𝑛𝑛 è il numero di immagini proiettate sul corpo; il valore 0 o 1viene invece associato al pixel corrispondente in base al livello di illuminazione ottenuto sul corpo (0 = scuro, 1 = chiaro, rispetto ad un opportuno valore soglia).

Figura 3.15: Sistema mono telecamera David-3d SLS-3

33 Questa codifica delle immagini ci permette di generare 𝑙𝑙 = 2𝑛𝑛 – 1 linee di passaggio da pixel scuri a pixel chiari.

Se ad esempio utilizzassimo sequenze di 10 immagini proiettate sul corpo, potremmo codificare 𝑙𝑙 = 1023 linee sul corpo.

Attraverso questa procedura, le linee acquisite dalle telecamere (che sono determinate attraverso le zone di transizione tra pixel chiari e scuri) vengono messe in correlazione con quelle proiettate dal proiettore (che sono ad ottima definizione e note a priori) (figura 3.19).

Quest’ultimo aspetto, relativo alle immagini acquisite alle telecamere, ha un’evidente problematica legata alla zona di transizione tra pixel chiaro e pixel scuro. La zona di transizione non presenta una variazione netta e pulita di colorazione, ma possiede un gradiente di livelli di grigio che si estende per una larghezza pari a qualche pixel, andando a peggiorare l’acquisizione e generando rumori (figura 3.18).

Figura 3.17: Direct Codification su mappa di colori

34  _{Direct Codification (figura 3.17): Con questa tecnica ogni pixel viene indicizzato} attraverso un’ampia gamma di colori, permettendo un’ottima risoluzione che purtroppo, però, complica il processo di analisi a causa delle possibili somiglianze di colori adiacenti, portando dunque a una perdita di affidabilità di ricostruzione.

Figura 3.19: Immagini codificate inviate dal proiettore sul corpo

35

3.2.2. Tecniche passive

Le tecniche passive hanno un funzionamento simile al sistema visivo umano, non richiedendo fonti di energia aggiuntiva, utilizzando la radiazione luminosa disponibile nell’ambiente.

Sono tecniche molto economiche perché non necessitano nella maggior parte delle applicazioni di hardware specializzati.

Si distinguono le tecniche monoculari shape -from -X e i metodi di visione stereo.

Le tecniche shape-from-X si basano sulla conoscenza di alcune caratteristiche dell’oggetto da rilevare, analizzando le immagini 2D e la loro luminosità acquisite da una normale fotocamera, ricavandone informazioni sulla forma spaziale.

Nei metodi basati sulla visione stereo viene riproposto il funzionamento del nostro sistema visivo, con la qualità percettiva garantita dalla sovrapposizione di due immagini provenienti dai due occhi, ricostruendone la profondità spaziale a partire da due immagini 2D.

La visione stereo richiede due fotocamere che da punti diversi guardano la stessa scena. Analizzando le differenze delle immagini e conoscendo la posizione relativa delle fotocamere dall’oggetto è possibile determinare la distanza di ogni punto visualizzato. Questo metodo richiede però la soluzione del problema della corrispondenza dei punti (matching problem) per il recupero delle informazioni tridimensionali a partire da coppie di immagini 2-D. Questo viene risolto mediante l’analisi di caratteristiche di interesse che siano stabili rispetto al cambio del punto di vista (feature-based) o ricorrendo a tecniche di correlazione tra i livelli di grigio (intensity-based).

In definitiva le tecniche passive non permettono una buona qualità dei risultati ottenuti, i modelli digitalizzati infatti hanno una qualità solo discreta che non è sufficiente per ricostruire totalmente e in maniere ben definita l’oggetto da acquisire. Queste tecniche vengono infatti usate nella maggior parte dei casi nella visione 3D dei robot industriali, nei quali è sufficiente carpire una forma solo sommaria dell’oggetto.

36

Capitolo 4

Luce strutturata per il rilievo 3D

Come abbiamo descritto nei capitoli precedenti, sono diversi i metodi di acquisizione tridimensionale di un oggetto.

Nello sviluppo di questa tesi ci si è concentrati sui metodi senza contatto ottici a luce strutturata secondo uno schema hardware di visione stereo con doppia telecamera e proiettore.

Questa configurazione utilizza una strategia di codifica Time-Multiplexing attraverso il metodo Gray-Code unito al Phase Shifting, dove, oltre alla codifica temporale dove vengono proiettate una serie di immagini sulla superficie da rilevare, esse vengono inoltre traslate lungo una direzione per aumentarne la risoluzione.

Questa configurazione permette dunque una doppia codifica delle immagini che consente di risolvere il problema delle corrispondenze delle immagini, tipico dei sistemi di visione stereo, utilizzando luce strutturata generata dal proiettore con frange orizzontali e verticali codificate. Il proiettore, essendo solo una sorgente luminosa, non è un elemento attivo del sistema di acquisizione e quindi non necessita di taratura prima delle acquisizioni.

37 Ciò ci ha permesso di utilizzare un proiettore convenzionale facilmente reperibile in commercio, necessitando però del cambio dell’ottica data la scarsa qualità di quella di serie.

4.1. Visione stereo

Alla base del concetto di visione stereo, vi è la necessità di ricostruire la terza dimensione (profondità) a partire da due immagini 2D che inquadrano l’oggetto da due punti di vista differenti.

La ricostruzione della profondità dell’oggetto è un processo di ottica inversa chiamato Imaging stereoscopico o Fusione binoculare, che nel sistema visivo umano avviene sfruttando la conoscenza delle due immagini provenienti dai due occhi e della distanza tra gli occhi. Per una trattazione più completa si rimanda ad [1].

Ad un generico punto dello spazio (al generico punto del corpo da acquisire, dunque) corrisponde una coppia di punti corrispondenti nei due piani retina delle due telecamere del sistema di visione, e viceversa.

Geometricamente dobbiamo trovare il punto di intersezione dei raggi ottici corrispondenti ai due punti coniugati 𝑚𝑚 = (𝑢𝑢, 𝑣𝑣) e 𝑚𝑚′ = (𝑢𝑢′, 𝑣𝑣′) (Figura 4.2), definito

38 come triangolazione ottica (dove i puti u e v sono le coordinate del punto m nel piano ottico). Il processo diventa, analiticamente, quello di trovare la soluzione di un sistema di equazioni sovradeterminato.

Assumiamo valida la relazione lineare:

𝑚𝑚� = 𝑃𝑃�𝑀𝑀�

Dove i tilde si riferiscono alle coordinate omogenee:

𝑚𝑚� = �𝑢𝑢𝑣𝑣 1� ed 𝑀𝑀� = � 𝑥𝑥 𝑦𝑦 𝑧𝑧 1 �

𝑃𝑃� è la matrice di trasformazione prospettica in coordinate omogenee e può essere espressa nella forma:

𝑃𝑃� = �𝑝𝑝𝑝𝑝1121 𝑝𝑝𝑝𝑝1222 𝑝𝑝𝑝𝑝1323 𝑝𝑝𝑝𝑝1424 𝑝𝑝31 𝑝𝑝32 𝑝𝑝33 𝑝𝑝34 � = �𝑞𝑞1 𝑇𝑇 𝑞𝑞2𝑇𝑇 𝑞𝑞3𝑇𝑇 �𝑞𝑞𝑞𝑞1424 𝑞𝑞34 � = (𝑃𝑃|𝑝𝑝�)

Le coordinate del punto m sul piano possono essere scritte come:

⎩ ⎪ ⎨ ⎪ ⎧𝑢𝑢 = 𝑞𝑞1𝑇𝑇∗ 𝑤𝑤 + 𝑞𝑞14 𝑞𝑞3𝑇𝑇∗ 𝑤𝑤 + 𝑞𝑞34 𝑣𝑣 =𝑞𝑞_𝑞𝑞2𝑇𝑇∗ 𝑤𝑤 + 𝑞𝑞24 3𝑇𝑇∗ 𝑤𝑤 + 𝑞𝑞34

Dove i 𝑞𝑞𝑖𝑖 sono vettori appartenenti ad 𝑅𝑅3 contenenti i termini delle prime tre colonne

della matrice di trasformazione prospettica 𝑃𝑃�. I valori 𝑞𝑞𝑖𝑖𝑖𝑖 appartenenti ad 𝑅𝑅, invece, sono

gli stessi dell’ultima colonna di 𝑃𝑃�.

In questi termini ci sono i parametri intrinseci del dispositivo che ci permetteranno di ricostruire la geometria scansionata.

Il sistema iniziale può essere riscritto in questa forma:

�(𝑞𝑞_(𝑞𝑞1− 𝑢𝑢 ∗ 𝑞𝑞3)𝑇𝑇

2− 𝑣𝑣 ∗ 𝑞𝑞3)𝑇𝑇� ∗ 𝑤𝑤 = �

−𝑞𝑞14+ 𝑢𝑢 ∗ 𝑞𝑞34

39 Scrivendo le stese relazioni per il secondo punto coordinato otteniamo:

⎝ ⎜ ⎛ (𝑞𝑞1− 𝑢𝑢 ∗ 𝑞𝑞3)𝑇𝑇 (𝑞𝑞2− 𝑣𝑣 ∗ 𝑞𝑞3)𝑇𝑇 (𝑞𝑞1′ − 𝑢𝑢′ ∗ 𝑞𝑞3′)𝑇𝑇 (𝑞𝑞2′ − 𝑣𝑣′ ∗ 𝑞𝑞3′)𝑇𝑇⎠ ⎟ ⎞ ∗ 𝑤𝑤 = ⎝ ⎜ ⎛ −𝑞𝑞14+ 𝑢𝑢 ∗ 𝑞𝑞34 −𝑞𝑞24+ 𝑣𝑣 ∗ 𝑞𝑞34 −𝑞𝑞14′ + 𝑢𝑢′ ∗ 𝑞𝑞34′ −𝑞𝑞24′ + 𝑣𝑣′ ∗ 𝑞𝑞34′⎠ ⎟ ⎞

I termini 𝑞𝑞𝑖𝑖′ e 𝑞𝑞𝑖𝑖𝑖𝑖′ rappresentano le stesse quantità descritte prima ma per il punto

coniugato.

Questo sistema lineare è sovradeterminato e si può scrivere nella forma:

𝐴𝐴 ∗ 𝑤𝑤 = 𝑏𝑏 Dove: 𝐴𝐴 = ⎝ ⎜ ⎛ (𝑞𝑞1− 𝑢𝑢 ∗ 𝑞𝑞3)𝑇𝑇 (𝑞𝑞2− 𝑣𝑣 ∗ 𝑞𝑞3)𝑇𝑇 (𝑞𝑞1′ − 𝑢𝑢′ ∗ 𝑞𝑞3′)𝑇𝑇 (𝑞𝑞2′ − 𝑣𝑣′ ∗ 𝑞𝑞3′)𝑇𝑇⎠ ⎟ ⎞

Mentre 𝑏𝑏 è definito come:

𝑏𝑏 = ⎝ ⎜ ⎛ −𝑞𝑞14+ 𝑢𝑢 ∗ 𝑞𝑞34 −𝑞𝑞24+ 𝑣𝑣 ∗ 𝑞𝑞34 −𝑞𝑞14′ + 𝑢𝑢′ ∗ 𝑞𝑞34′ −𝑞𝑞24′ + 𝑣𝑣′ ∗ 𝑞𝑞34′⎠ ⎟ ⎞

Che è risolvibile tramite l’utilizzo della pseudoinversa con il metodo dei minimi quadrati; La soluzione del sistema diviene quindi:

𝑤𝑤 = 𝐴𝐴+_{∗ 𝑏𝑏}

Dove con 𝐴𝐴+ _{definiamo la pseudoinversa di A ottenibile come:}

𝐴𝐴+ _{= (𝐴𝐴}𝑇𝑇_𝐴𝐴)−1_{∗ 𝐴𝐴}𝑇𝑇₎

Dunque, disponendo delle coordinate di due punti coniugati 𝑚𝑚 ed 𝑚𝑚′ e dei parametri che scaturiscono dalla calibrazione, ovvero le quantità contenute nella matrice 𝐴𝐴 e nel

40 vettore 𝑏𝑏, possiamo risalire alle coordinate del punto 𝑀𝑀 sulla scena le cui coordinate sono i punti coniugati che abbiamo visto in partenza.

4.2. Metodo telecamera-proiettore-telecamera

Il sistema di acquisizione utilizzato in questa tesi è formato da due telecamere poste ai lati di un proiettore, ciò permette attraverso la stereovisione di ricostruire fedelmente un qualsiasi oggetto, anche di dimensioni generose se la digitalizzazione viene effettuata in più scansioni successive.

Come detto in precedenza questo metodo utilizza una forma particolare del metodo Gray-Code, basato su un processo di codifica doppia delle immagini registrate dalle videocamere che permette di eliminare il problema delle corrispondenze tra i punti dei piani immagine delle telecamere stesse.

Questo metodo viene combinato al principio base della visione stereo, la geometria epipolare, che verrà approfondita in Appendice A.

L’acquisizione procede secondo due fasi:

• Correlazione tra le linee proiettate sul corpo;

• Correlazione dei punti appartenenti alle linee corrispondenti;

La prima fase è simile a quella che si effettua nel metodo con un proiettore ed un’unica telecamere, che troveremo in appendice B. Non ci interesserà conoscere le coordinate dei punti sul piano del proiettore e quindi a quale piano appartiene il particolare punto. Infatti andremo a proiettare sequenze di immagini binarie che verranno registrate dalle telecamere, ricostruendo le linee generate sulla superficie del corpo proiettate sui piani delle telecamere.

Otterremo un numero di linee verticali 𝑙𝑙𝑣𝑣 = 2𝑛𝑛 − 1, dette linee coniugate.

Ottenute queste linee verticali proseguiremo con la seconda fase, che invece viene sviluppata proiettando altre 𝑛𝑛ℎ linee orizzontali, associando quindi un doppio codice ai

41 Questo sistema non necessita di calibrazione del sistema stereo, ovvero non abbiamo bisogno di conoscere la posizione relativa tra pezzo e sistema di acquisizione, ma è necessario sempre calibrare tra loro gli elementi di visione ovvero telecamere e proiettore.

Per ricavare la risoluzione massima ottenibile dall’acquisizione, bisogna moltiplicare tra di loro le linee massime verticali ed orizzontali che vengono proiettate sul corpo. Questo è un valore funzione soltanto della massima risoluzione fornibile dal proiettore.

Il numero di linee orizzontali e verticali che dividono la scena è calcolabile sottraendo 1 al numero di pixel della risoluzione orizzontale e verticale del proiettore; essendo la risoluzione massima del proiettore WXGA che utilizziamo pari a 1280x800, la risoluzione totale di acquisizione sarà 1279x799, cioè possiamo generare e codificare 1.021.921 punti.

Figura 4.5: Proiezione e acquisizione di linee codificate attraverso la visione stereo di due telecamere

42

Capitolo 5

Calibrazione sistema di visione

Come detto più volte nei capitoli precedenti, il sistema di acquisizione utilizzato in questa tesi è composto da un proiettore e due telecamere stereo che acquisiscono l’immagine deformata che viene proiettata sul corpo dal proiettore.

Si rende necessario effettuare un’operazione di setup iniziale per permettere al sistema di estrarre informazioni veritiere sulla forma dell’oggetto; questo si effettua attraverso la calibrazione degli elementi del sistema stereo, ovvero bisogna ricavare le distanze e gli angoli relativi tra proiettore e telecamere, misure fondamentali per la triangolazione e dunque per la ricostruzione dell’oggetto.

Riporteremo una parte della teoria completa della calibrazione che può essere approfondita in [1].

5.1. Teoria calibrazione

Effettuare la calibrazione di un dispositivo di visione consiste nel ricavarne i parametri intrinseci (caratteristiche ottiche e geometriche) ed estrinseci (posizione nello spazio e l’orientazione rispetto ad un sistema di riferimento assoluto).

I parametri intrinseci sono quelli che gestiscono la trasformazione che ci permette di passare dalle coordinate 3D dell’oggetto scansionato scritte nel sistema di riferimento della telecamera, a quelle relative al sensore della videocamera. Racchiudono dunque i parametri caratteristici delle telecamere e le caratteristiche ottiche.

Possiamo elencare i parametri intrinseci che più ci interessano: • La distanza focale f delle lenti

• Il fattore di scala dell’oggetto s che interviene in funzione del passaggio dalle coordinate dell’immagine in pixel

• I coefficienti di distorsione delle lenti

43 Per quanto riguarda i parametri estrinseci, invece, essi ci permettono di passare dal sistema di riferimento mondo dell’immagine a quello fisso con le telecamere, che ci permette di riempire la matrice R ortonormale di rotazione e il vettore T di traslazione Questa operazione ci permette di calcolare le proprietà di trasformazione per passare dal sistema di riferimento fisso a quello reale del piano retina per qualsiasi punto. La calibrazione si basa sul presupposto di conoscere la proiezione di alcuni punti 3D dell’oggetto attraverso le tavole di calibrazione, così da ricostruire l’oggetto in modo realistico.

Esistono diverse procedure di calibrazione dei sistemi di visione; queste possono essere suddivise in base alla metodologia utilizzata, funzioni delle equazioni caratteristiche del sistema: metodi lineari, non lineari e multi-step.

Se si conoscono le coordinate assolute dei punti acquisiti, è possibile ricavare i parametri intrinseci, dei quali la calibrazione è funzione, sostituendo i valori delle coordinate di questi punti nelle incognite delle equazioni della proiezione prospettica, risolvendone il sistema ottenuto.

i punti necessari alla calibrazione vengono fornite dai pannelli di calibrazione, di cui si conoscono numero di punti e dimensione caratteristica (Figura 5.1).

Abbiamo tre metodologie di analisi:

• Metodi lineari: Se il numero di punti noti utilizzati è quello minimo necessario dal punto di vista matematico per ottenere una soluzione, ha come vantaggi la rapidità di calibrazione, ma offre una peggiore precisione.

• Metodo non lineare: se il numero di punti di coordinate assolute note è maggiore di quello strettamente necessario a risolvere il sistema, minimizzando successivamente una funzione predefinita con metodi iterativi. Ha il vantaggio di una buona precisione ma con lunghi tempi di calcolo, dovuti alle operazioni da effettuare sulle funzioni da minimizzare.

• Metodi multi-step: sono una via di mezzo dei due precedentemente elencati; inizialmente affrontano il problema in modo lineare, stimando dei valori di primo tentativo da utilizzare successivamente come punto di partenza per la fase iterativa.

44 La loro forma può influenzare la facilità con cui gli algoritmi di elaborazione delle immagini rilevano i punti caratteristici dell’oggetto inquadrato. Inoltre ha influenza anche l’entità degli errori a seguito di una non perfetta messa a fuoco del punto (o di contrasto non soddisfacente) e dell’angolo con cui viene visualizzato il pannello stesso dalla telecamera.

L’algoritmo di calibrazione più usato e quello non lineare di Tsai [7], basato su metodi multi step.

Questo metodo è molto veloce e robusto verso la convergenza, perché suddivide il problema in due fasi distinte: la prima non considera la distorsione dell’immagine

Figura 5.1: Tavola calibrazione David 3D Scanner

Figura 5.2: Utilizzo dei marker su un oggetto da scansionare

45 nell’obiettivo delle telecamere dovute alle imperfezioni rispetto a un modello ideale delle lenti dell’obiettivo.

La seconda fase invece è quella di ottimizzazione non lineare, che considera anche gli effetti di distorsione.

Otterremo infine dalla calibrazione, le matrici di rotazione e traslazione tra il sistema solidale al pannello di calibrazione e quello solidale alla telecamera, queste ci permettono di capire l’esatta posizione di qualunque pezzo osservato dal sistema di acquisizione.

5.2. Modello pin-hole

Si rende necessario specificare ed analizzare il modello geometrico di fotocamera che viene utilizzato maggiormente in questi ambiti: il modello pin-hole camera (a foro di spillo).

Un’analisi approfondita viene sviluppata in [1], ne illustreremo gli elementi principali di seguito.

Questo modello prevede l’assenza delle lenti e, come descritto dal nome stesso, la presenza di un piccolo foro.

46 Viene definito un sistema di riferimento fisso centrato in O (detto centro ottico o fuoco) con l’asse 𝑋𝑋3 coincidente con l’asse ottico, definendo il sistema di riferimento standard

della telecamera quello formato dagli assi 𝑋𝑋1, 𝑋𝑋2 e 𝑋𝑋3.

Vediamo che il modello è formato da due piani: il piano fisso centrato in 𝑂𝑂 e quello immagine, detto piano di retina, centrato nel punto 𝑅𝑅, detto punto principale.

Definiamo il punto 𝑃𝑃 come:

𝑃𝑃 = �𝑥𝑥𝑥𝑥12

𝑥𝑥3

� ∈ ℛ3

Inoltre definiamo il punto 𝑄𝑄 come:

𝑄𝑄 = �𝑢𝑢𝑣𝑣� ∈ ℛ2

dove 𝑄𝑄 è la proiezione del punto 𝑃𝑃 sul piano immagine.

L’asse ottico è la retta passante per il centro ottico 𝑂𝑂 e perpendicolare al piano di retina passante per 𝑅𝑅 e parallelo al piano fisso.

Nel piano retina si forma l’immagine attraverso una proiezione prospettica dal punto 𝑂𝑂 posto alla distanza focale 𝑓𝑓 (lunghezza focale) dal sistema ottico.

Dall’analisi del modello semplificato in figura 5.4 possiamo trovare la seguente relazione: 𝑓𝑓 𝑥𝑥3 = −𝑢𝑢 𝑥𝑥1 = −𝑣𝑣 𝑥𝑥2

47 Utilizzando le relazioni sulla proiezione laser con proiezione di spot luminoso, posiamo scrivere: ⎩ ⎨ ⎧𝑢𝑢 = −_𝑥𝑥𝑓𝑓 3∗ 𝑥𝑥1 𝑢𝑢 = −_𝑥𝑥𝑓𝑓 3∗ 𝑥𝑥2

Definendo le coordinate omogenee per i punti 𝑄𝑄 e 𝑃𝑃 otteniamo:

𝑃𝑃 = (𝑥𝑥1, 𝑥𝑥2, 𝑥𝑥3, 1)

𝑄𝑄 = (𝑢𝑢, 𝑣𝑣, 1)

Possiamo trovare la trasformazione tra spazi proiettivi lineari nella forma:

𝑥𝑥3𝑄𝑄 = 𝑅𝑅𝑃𝑃

dove R è la matrice di proiezione prospettica, che rappresenta il modello geometrico della fotocamera: �𝑢𝑢𝑣𝑣 1� ∗ 𝑥𝑥3 = � −𝑓𝑓 ∗ 𝑥𝑥1 −𝑓𝑓 ∗ 𝑥𝑥2 𝑥𝑥3 � = �−𝑓𝑓0 −𝑓𝑓 0 00 0 0 0 0 1 0� ∗ � 𝑥𝑥1 𝑥𝑥2 𝑥𝑥3 1 � Figura 5.4: Modello semplificato

48 Il metodo pin-hole non fa passare dal foro la quantità di luce minima che permette al CCD di rilevarla; questo problema si risolve mettendo un sistema di lenti davanti al piano di retina.

L’uso delle lenti però porta a diversi problemi, come la necessità della messa a fuoco o la distorsione dell’immagine introdotta dalle lenti.

5.3. Modello completo

Per meglio definire un modello completo di telecamera, bisogna tenere conto di diversi elementi:

• Distorsioni prodotte dalle lenti • Offuscamento delle lenti • Sfuocamento

• Variazione dell’intensità luminosa nelle varie parti della lente

Il modello completo deve tenere conto nella trasformazione da coordinate 3D a coordinate di pixel, oltre che alla trasformazione prospettica di quella rigida tra fotocamera e scena.

Lasciando a testi più completi una trattazione maggiormente esauriente (Razionale), ci limiteremo ad un riepilogo generale sull’argomento.

La matrice di proiezione prospettica R, a causa dei vari elementi che bisogna considerare nel passaggio da modello semplificato a reale (per i motivi già elencati precedentemente), diviene:

𝑅𝑅 = �−𝑓𝑓𝑘𝑘0 𝑢𝑢 −𝑓𝑓𝑘𝑘0 𝑣𝑣 𝑢𝑢𝑣𝑣00 00

0 0 1 0� = 𝐾𝐾�𝐼𝐼�0�

Riscrivendo i valori interni alla matrice come funzioni dei pixel orizzontali e verticali, definiamo i parametri intrinseci codificati nella matrice 𝐾𝐾 come 𝛼𝛼𝑢𝑢, 𝛼𝛼𝑣𝑣, 𝑢𝑢0 e 𝑣𝑣0 :

49 𝛼𝛼𝑣𝑣 = −𝑓𝑓𝑘𝑘𝑣𝑣

Fatto ciò dobbiamo considerare la trasformazione che ci porta dal riferimento fisso a quello della fotocamera, recuperando le matrici di rotazione e traslazione necessarie. Consideriamo una rotazione rigida 𝑅𝑅 e una traslazione 𝑡𝑡, indicando con 𝑀𝑀� le coordinate 𝑐𝑐

omogenee di un punto nel sistema di riferimento fotocamera e con 𝑀𝑀� quelle nel riferimento fisso.

Dopo queste considerazioni possiamo scrivere delle relazioni di questo tipo:

𝑚𝑚 = 𝐾𝐾�𝐼𝐼�0�𝑀𝑀� 𝑐𝑐

Ma essendo:

𝑀𝑀� = 𝐺𝐺𝑀𝑀� 𝑐𝑐

𝐺𝐺 = �𝑅𝑅 𝑡𝑡_{0 1}�

dove G contiene tutti i parametri estrinseci della fotocamera (tre per la rotazione e 3 per la traslazione), K quelli intrinseci (distanza focale, coefficienti di distorsione, fattore di scala e coordinate del centro del CCD) e �𝐼𝐼�0� la trasformazione prospettica in coordinate normalizzate nel sistema fotocamera.

Infine possiamo scrivere:

𝐾𝐾�𝐼𝐼�0�𝑀𝑀� = 𝐾𝐾�𝐼𝐼�0�𝐺𝐺𝑀𝑀� = 𝑚𝑚 𝑐𝑐

e allora:

50

5.4. Calibrazione sistema stereo

Per ottenere i parametri estrinseci del sistema stereo si rende necessaria la calibrazione del sistema stereo, ovvero quello formato dalle due telecamere e dal proiettore.

Questa operazione viene semplificata qualora venga usato un software professionale di acquisizione ottica, come nel caso del David 5 della David 3d Scanner.

Questa, infatti, viene implementata direttamente nel software attraverso operazioni di triangolazione che il software stesso esegue autonomamente una volta posizionata, davanti lo scanner e le telecamere, l’apposita tavola di calibrazione fornita dal produttore.

L’operazione di calibrazione, invece, diviene un po’ più complessa nel caso in cui si preveda l’utilizzo di un proprio codice Matlab per l‘acquisizione.

Alla base della calibrazione vi è la necessità di determinare la posizione relativa tra le telecamere e il proiettore, partendo dai parametri estrinseci dei dispositivi utilizzati. Otterremo i parametri estrinseci del sistema stereo attraverso operazioni di inversione e composizione dei moti rigidi, partendo dallo stesso sistema di riferimento assoluto in cui sono riferiti tutti gli elementi del sistema.

Ma come facciamo ad ottenere i parametri del sistema stereo rispetto lo stesso sistema di riferimento assoluto se l’oggetto da scansionare non è perfettamente a fuoco?

Per risolvere questo problema si mantiene fissa la tavola calibrazione, usandola quindi per acquisire le immagini delle due telecamere senza spostarla.

xsx _O

sx

x Osx

ysx ysx

51 Effettuando più scansioni, traslando ed inclinandola poco alla volta, avremo a disposizione un campione di acquisizioni che ci daranno come output le letture dei parametri del sistema. Verrà effettuata una media di questi valori e ne verrà ottimizzato il risultato, che potrà essere corretto a seguito delle varie ricostruzioni tridimensionali effettuate su un provino.

Le principali variabili che contraddistinguono la calibrazione stereo, saranno quindi esportati dal programma ed utilizzati per la successiva fase di ricostruzione tridimensionale; li ricorderemo per chiarezza:

• La distorsione radiale delle due telecamere • Le distorsioni tangenziali

• La lunghezza focale

• Le matrici di rotazione e traslazione di una telecamera rispetto all’altra • L’errore di proiezione dell’immagine

Figura 5.6: Calcolo dei parametri estrinseci del sistema stereo R,T a partire da quelli dei singoli dispositivi ottici

53

Capitolo 6

Realizzazione sistema di visione

In questo capitolo vedremo come è stato progettato e realizzato il nuovo sistema di visione. Partiremo da una descrizione del sistema precedentemente usato per l’acquisizione tridimensionale, per illustrare successivamente il progetto del sistema in alta definizione.

Infine, descriveremo il sistema semplificato che è stato realizzato e che è stato adoperato in dipartimento per le prove sperimentali.

6.1. Sistema esistente

La configurazione utilizzata finora consisteva nell’utilizzo di un proiettore e di due telecamere stereo, montate su un supporto cilindrico realizzato ad hoc che veniva bloccato su un treppiede, garantendone la libertà di movimento e adattamento all’ oggetto da scansionare (figura 6.1).

Le telecamere utilizzate sono delle ImagingSource DMK51BU02 monocromatiche ad 8 bit (256 colori) (figura 6.2), con sensore CCD e risoluzione massima pari a 1600x1200, fino a 12 fps.

Per quanto riguarda il proiettore, che funge da sorgente di luce strutturata, è stato utilizzato un proiettore DMD multimediale della DLP, di quelli commerciali e facilmente reperibili in commercio (figura 6.3).

Le telecamere sono state installate su una barra cilindrica ad una distanza di 60cm attraverso due squadrette di alluminio che danno alle telecamere due gradi di libertà. Una volta calcolati i parametri delle camere e del sistema stereo attraverso la calibrazione, non bisogna più modificare le distanze relative tra telecamere e proiettore, gli angoli e i fuochi, altrimenti andremmo a modificare i parametri di calibrazioni ottenuti.

54 Si può agire, invece, successivamente alla fase di calibrazione, sui gradi di libertà della testa del treppiede, compresa l’altezza del sistema attraverso l’estensione delle gambe per effettuare le regolazioni necessarie a far apparire nel campo delle telecamere e del proiettore l’oggetto da scansionare.

Figura 6.1: Sistema di acquisizione esistente

Figura 6.2: Telecamera sistema esistente

55

6.2. Progetto sistema HD

La volontà di sperimentare un nuovo sistema di acquisizione in alta definizione, ci ha portati a realizzare una nuova struttura dedicata che mantenesse le particolarità di elevata mobilità, piccolo ingombro e facile realizzazione di quella esistente.

Ritenendo molto valida la struttura in possesso, si è pensato di realizzarne una molto simile, con costi e tempi di progettazione e realizzazione però inferiori.

La decisione principale è stata quella di adottare come base della struttura un profilato Bosch; questo ci permette di variare la grandezza complessiva del sistema di acquisizione a piacimento.

È infatti fondamentale ottenere dalla struttura la maggiore flessibilità possibile alle regolazioni e calibrazioni necessarie, permettendo ampi range di traslazioni e inclinazioni relative degli elementi caratteristici del sistema, ovvero proiettore e telecamere.

Lo scopo di migliorare la qualità delle acquisizioni del sistema di visione esistente, ci ha portato a sostituire le telecamere e il proiettore utilizzati nel sistema attualmente in funzione con elementi più moderni e a più elevate prestazioni.

Videocamera

La videocamera utilizzata è una videocamera professionale CMOS ImagingSource DMK 23UP031 3.0 (figura 6.4a), monocromatica da 5 megapixel con una risoluzione massima di 2592x1944, con dimensione di ogni pixel pari a 2.2x2.2 𝜇𝜇𝑚𝑚2 _{e un frame rate massimo}

di 15 fps.

Il sensore ottico è un Aptina MT9P006 da 0.4 pollici (10,16 mm) ad alta sensibilità, con la possibilità di acquisire fino a 15 immagini per secondo dato l’ottimo frame rate. Essendo la camera digitale, non sussistono rumori nell’acquisizione a causa del convertitore A/D, interfacciandosi al pc tramite un cavo USB 3.0.

L’aver scelto una telecamera con sensore CMOS invece del CCD precedente, comporta vantaggi e svantaggi che andremo ad elencare:

• Una più alta sensibilità al rumore

56 • Un più alto costo del CCD rispetto al CMOS

• Più basso consumo energetico

Proiettore

Il proiettore utilizzato come sorgente di luce strutturata è un Optoma Multimedia Projector W304M di ultima generazione, collegato tramite porta HDMI al pc di gestione del sistema (figura 6.5a).

Questo è un proiettore DMD (Digital Micromirror Device, presenta all’interno una matrice di micro specchi orientabili molto rapidamente), con risoluzione massima di 1280x800, superiore rispetto al precedente 1024x768.

La tecnologia DMD è riflessiva, cioè la luce che colpisce i micro specchi viene riflessa in modo proporzionale all’inclinazione della luce rispetto agli specchi stessi. L’inclinazione degli specchi determina le gradazioni di colore ottenibili dal proiettore.

Figura 6.4a: Videocamera ImagingSource DMK 23UP031

57 Questi proiettori utilizzano, per riprodurre un numero elevato di colori, una ruota colorata che viene attraversata dalla luce bianca, che viene divisa nei colori primari e mandata al display; il colore si forma grazie all’elevata frequenza del display che proietta ogni colore sullo schermo facendo percepire all’occhio umano la combinazione dei tre colori primari.

La luminosità e il contrasto ottenibili con la tecnologia DMD è elevata, avendo come limite la frequenza di refresh dell’immagine generata; ciò può provocare interferenza con il frame rate della telecamera, ponendo un limite sulla velocità massima di acquisizione delle immagini e quindi sul tempo di acquisizione tridimensionale.

La risoluzione che verrà utilizzata per il nuovo sistema sarà la 1200x800, migliore rispetto alla risoluzione del precedente sistema, pari a 1024x768.

Dopo aver descritto le caratteristiche tecniche degli elementi attivi del sistema, ovvero proiettore e telecamere, possiamo elencare la totalità degli elementi di cui necessiteremo per la realizzazione finale del sistema.

Il nuovo sistema sarà contraddistinto da: • Copertura in alluminio esterna • Nuovo proiettore

• Nuova coppia di telecamere • Un profilato di sostegno Bosch • Un treppiede di sostegno a terra

• Un adattatore posto tra il profilato e il treppiede

• Un supporto scorrevole porta proiettore con flangia paracalore anteriore e modulo porta cavi posteriore

• Supporti con asole per la regolazione di beccheggio e imbardata delle due telecamere

• Elementi di collegamento Bosch • Nuova ottica del proiettore

Dalle figure 6.4 alla figura 6.8 è possibile identificare il sistema di visione (con la mancanza del solo treppiede di supporto a terra) nella sua totalità, compresa la copertura superiore opzionale.