Tecnologie di sensing: sensore d immagine

(1)

Corso di Smart City e Tecnologie Mobili Università di Bologna

Dipartimento di Informatica  Scienza e Ingegneria Dario Maio

Tecnologie di sensing: sensore d’immagine

(2)

Obiettivi della lezione e indice degli argomenti

 Obiettivi:

illustrare i principi di funzionamento di un sensore per l’acquisizione di un’immagine, di grande rilevanza per molteplici applicazioni.

 Indice della presentazione:

definizioni preliminari e premesse;

spettro elettromagnetico e segnali luminosi;

sensori CCD e CMOS;

principio di funzionamento di un sensore ottico CCD;

principio di funzionamento di un sensore ottico CMOS APS;

CCD vs CMOS;

metodi di filtraggio.

(3)

Spettro elettromagnetico e spettro visibile

 Lo spettro visibile è la porzione dello spettro elettromagnetico compresa tra il rosso e il violetto, visibile all’occhio umano e responsabile del fenomeno della luce. Lo spettro non comprende in realtà tutti i colori percepibili dall’occhio umano e dal cervello che sono un mix di frequenze d’onda (es. magenta). La lunghezza d’onda della luce visibile nell’aria è compresa indicativamente nel range 390 – 700 nm.

(4)

Spettro d’interesse per sensori ottici

 Nel contesto dei sensori ottici l’interesse è rivolto ai seguenti range di frequenza:

NUV (Near Ultraviolet) ≈ 200 − 400 nm Luce visibile ≈ 400 − 750 nm

NIR (Near Infrared Radiation) ≈ 750 − 1100 nm

Anche se lo spettro è continuo e non vi sono “salti” netti da un colore all’altro, si possono comunque stabilire degli intervalli approssimati per ciascun colore.

(5)

Fotone

 Pur essendo un fenomeno ondulatorio, la radiazione elettromagnetica ha anche una natura quantizzata che le consente di essere descritta come un flusso di fotoni.

 Un fotone, pur non avendo massa, è influenzato dalla gravità e possiede energia; nel vuoto si muove alla velocità della luce (c ≅ 300000 km/s), mentre nella materia si comporta in modo diverso e la sua velocità può scendere al di sotto di c.

 L’ammontare dell’energia di un fotone determina la sua lunghezza d’onda che corrisponde a un colore. L’intensità di un segnale luminoso è determinata dal numero di fotoni. Vale la relazione 𝐸𝐸 = ^ℎ𝑐𝑐_𝜆𝜆 = ℎ𝜈𝜈 avendo indicato con:

 E : l’energia del fotone;

 h : la costante di Planck;

 c : la velocità della luce;

 λ : la lunghezza d’onda del fotone

 ν : la frequenza di vibrazione del fotone.

(6)

Sensore d’immagine

 Un sensore per immagini (detto anche sensore ottico) è un dispositivo che converte la luce incidente sulla sua superficie in segnali elettrici che, a loro volta, sono convertiti in immagini.

 I sensori d’immagine sono presenti nelle fotocamere digitali, nelle telecamere, negli smartphone, nei tablet e in molti altri dispositivi elettronici.

 Si conferma sempre più il ruolo delle camere digitali non solo per scattare foto o registrare filmati ma anche per dotare i dispositivi mobili nonché i dispositivi IoT di ambienti d’elaborazione dell’immagine (esempi: riconoscimento delle immagini per lo sviluppo di servizi d’interrogazione di banche dati o per applicazioni di accesso biometrico, rilevamenti di eventi, ecc.).

 Principio base di funzionamento: l’immagine ottica è focalizzata su una griglia composta da una miriade di piccoli sensori puntiformi i quali convertono singolarmente la luminosità rilevata.

 Oggi l’uso di sensori ottici in b/n è limitato a specifiche applicazioni, mentre ampiamente diffusi sono i sensori a colori.

(7)

CCD e CMOS

 Vi sono due principali tipi di sensori di immagine: CCD (Charge-Coupled Device) e CMOS (Complementary Metal Oxide Semiconductor).

 Il sensore con tecnologia CCD che noi tutti usiamo oggi è stato concepito, quasi per caso, nel 1969 da Willard S. Boyle e da George E. Smith presso i laboratori Bell, famoso centro di ricerca americano nel New Jersey dove fu inventato il transistor.

 Con riferimento a una digital camera, l’immagine è focalizzata sul sensore mediante un obiettivo, normalmente intercambiabile, che determina l’ingrandimento e quindi il campo visivo. L’elettronica interna scandisce i pixel del sensore e impacchetta l’informazione in un segnale d’uscita (analogico o digitale).

CCD o CMOS Uscita

Alim.

Obiettivo

(8)

Layout tipico di una camera digitale CMOS

Il sensore di immagine riceve luce incidente (fotoni) focalizzata attraverso una lente o altre ottiche. A seconda che il sensore sia CCD o CMOS, trasferisce le informazioni allo stadio successivo come segnale di tensione o segnale digitale. I sensori CMOS convertono i fotoni in elettroni, quindi in una tensione, e quindi in un valore digitale usando un convertitore analogico-digitale (ADC) su chip.

ISP: Image Signal Processor

Fonte: LUCID Vision Lab

(9)

CCD: principio di funzionamento

 Un sensore di immagine CCD è un dispositivo analogico.

 Nella fase di accumulo, quando la luce colpisce il chip, si genera una piccola carica elettrica in ciascun fotosensore a causa dell’assorbimento di fotoni; la carica è proporzionale all’illuminamento.

 Nella fase di lettura ogni carica viene trasformata, un pixel alla volta, in tensione elettrica. Circuiteria addizionale in una fotocamera converte la tensione in informazioni digitali.

 Analogia con la misurazione della quantità di pioggia caduta. Un CCD deve compiere quattro funzioni:

 generare fotoelettroni (gocce di pioggia);

 raccogliere elettroni (i secchi);

 trasferire le cariche accumulate (i nastri trasportatori);

 leggere le cariche (dispositivo di pesatura).

Video

(10)

CCD: schema funzionamento (es. 9 pixel) - 1

registro di output

all’amplificatore d’uscita pixel

elettrodi elettroni

(1) (2)

Questi pixel sono definiti mediante una rete di elettrodi che copre la superficie del sensore.

Gli elettrodi formano buche di potenziale ed evitano che le cariche accumulate possano disperdersi.

Per l’effetto fotoelettrico l’assorbimento della luce nella griglia di silicio del CCD genera fotoelettroni, in proporzione al numero di fotoni incidenti.

Essi sono immediatamente raccolti in

“elementi di immagine” (pixel) vicini al punto in cui i fotoni sono caduti sul chip.

Ogni pixel è diviso in tre regioni (elettrodi che creano una buca di potenziale)

(11)

CCD: schema funzionamento (es. 9 pixel) - 2

Per il processo di raccolta di carica durante un’esposizione l’elettrodo centrale di ogni pixel viene mantenuto a un potenziale superiore (blu) rispetto agli altri (verde).

Alla fine dell’esposizione, i potenziali degli elettrodi vengono modificati e le cariche trasferite da un elettrodo all’altro.

Il trasferimento delle cariche avviene in modo sincronizzato.

Gli elettroni si muovono orizzontalmente da pixel a pixel e giungono al dispositivo contatore (registro di uscita).

Il registro di uscita è una serie di elettrodi all’esterno della zona fotosensibile del CCD e perpendicolari a essa.

impurità (doping)

(1) (2)

(12)

CCD: l’analogia

Fonte: Digital Photography Review

(1) (2)

impurità (doping)

(2) (1)

(13)

CCD: animazione

Fonte: RIT Course Number 1051-465 Lecture CCDs

(14)

CCD in sintesi

 Un sensore CCD si compone principalmente di due parti: matrice di pixel e filtro di luce.

 La matrice di pixel, è costituita da condensatori MOS (Metal Oxide Semiconductor) disposti a scacchiera che in determinate condizioni per mezzo dell’effetto fotoelettrico liberano elettroni sfruttando l’energia dei fotoni della luce incidente. Il tempo durante il quale il sensore CCD viene lasciato esposto alla luce viene denominato periodo di integrazione.

 Il filtro di luce permette su ogni singolo pixel solo il passaggio di determinate frequenze di luce (solitamente rosso, verde o blu), consentendo dopo una opportuna fase di rielaborazione dei dati una visione

dell’immagine a colori. Fonte: CCD Architecture http://micro.magnet.fsu.edu/primer/

(15)

Sensore CCD: tipici problemi

 Blooming: riguarda la diffusione di cariche ai pixel adiacenti a causa della saturazione eccessiva dei pixel. Ciò provoca la presenza di alcuni punti molto luminosi nell’immagine risultante.

 Smearing: fenomeno simile al blooming che comporta la presenza di bande verticali nell’immagine; è causato dalla saturazione dei pixel e dalla luce che si riversa nel registro a scorrimento verticale durante la transizione del clock.

(16)

Sensore d’immagine CMOS APS

 Appartiene alla categoria APS (Active-Pixel Sensor) ed è realizzato con il processo CMOS a semiconduttore. Il circuito integrato contiene un array di pixel sensor, ciascuno composto da un fotosensore e un amplificatore attivo.

 Una circuiteria supplementare accanto a ogni fotosensore converte l’energia luminosa in una tensione; circuiteria addizionale sul chip può essere inclusa per convertire la tensione in dati digitali.

 L’integrazione dell’amplificatore direttamente nel pixel consente un’architettura a lettura parallela, dove ogni pixel può essere singolarmente indirizzato ma è possibile anche accedere in parallelo a un gruppo di pixel (read-out “x-y”).

 Ciò permette ad esempio di leggere un determinato riquadro all’interno dell’array (windowing), oppure di leggere un pixel ogni 4 (skipping), sottocampionamento utile ad esempio per ridurre il consumo di energia in preview mode, poiché solo una parte dei pixel sono effettivamente attivati.

Sony IMX021 – 12.47 Mpixel 10 fotogrammi al sec a 12 bit

(17)

Sensore CMOS: tipici problemi

 Il sensore CMOS è più robusto rispetto ai fenomeni di smearing e blooming rispetto a un sensore CCD, tuttavia soffre dei seguenti problemi:

 lo strato del CMOS impedisce l’uso di microlenti e ha una conversione di carica inferiore rispetto al CCD, di solito con una sensibilità inferiore;

 presenza di immagini non uniformi più elevate (dette anche “Fixed Pattern Noise”) a causa delle irregolarità tra le singole celle Pixel e più circuiti A/D nella lettura delle colonne.

 I sensori CMOS adottano di solito un metodo rolling shutter di scansione dell’immagine linea per linea, mentre col metodo global shutter (detto electronic shutter nei CCD) l’esposizione riguarda l’intero frame in una sola volta; il rolling shutter è responsabile di diversi effetti distorsivi di oggetti in movimento o di rapidi flash di luce.

Fonte: QImaging

global shutter CCD

rolling shutter CMOS

(18)

CCD vs CMOS

 I sensori CMOS aumentano notevolmente il loro vantaggio, già oltremodo significativo, nel mercato globale dei sensori di immagini. Nessuna delle due tecnologie CCD e CMOS ha comunque un chiaro vantaggio in termini di qualità dell’immagine.

Sensore Pro Contro

CCD Tecnologia consolidata Sono più suscettibili a “smear” verticale.

CMOS Minori costi di produzione, minor dissipazione di potenza, maggiore velocità in lettura

Effetti indesiderati del tipo “rolling shutter”.

 Una promettente tecnologia, ancora in fase di messa a punto, prevede la costruzione di sensori ibridi CCD/CMOS, ovvero sensori che implementano la struttura CCD interamente con un processo CMOS.

 Sony ha recentemente annunciato un sensore CMOS global shutter con 1.46 Mpixel e Canon ne ha prodotto uno con 5 Mpixel.

(19)

Rolling shutter vs Global shutter

Fonte: Canon

3U5MGXS 5MP Global Shutter CMOS Sensor

(20)

CCD vs modern CMOS

(21)

Formati dei sensori CMOS

 I sensori di immagine sono disponibili in diversi tipi di formato (noto anche come classe ottica, dimensione o tipo di sensore) e package. La risoluzione e la dimensione dei pixel determinano la dimensione complessiva di un sensore.

Sensori più grandi hanno risoluzioni più elevate o dimensioni dei pixel più grandi rispetto ai sensori più piccoli.

 Conoscere il formato del sensore è importante per scegliere un obiettivo e un’ottica per una fotocamera. Tutti gli obiettivi sono progettati per specifici formati e risoluzioni di sensori. Si noti che i formati dei sensori descrivono solo l’area del chip del sensore e non l’intero package.

N.B. Gli attuali formati in inch non corrispondono all’effettiva dimensione della diagonale; la definizione deriva dalle vecchie telecamere a tubo catodico dove si misurava il diametro esterno del tubo.

(22)

Cattura dei colori RGB con filtro di Bayer

 Una volta terminata l’esposizione, la fotocamera valuta il numero di fotoni caduti in ciascuna cavità. Le quantità relative di fotoni in ciascuna cavità sono poi suddivise in diversi livelli di intensità, la cui precisione è determinata dalla profondità di bit (0 - 255 per una immagine a 8 bit).

 Ogni singola cavità non è capace di distinguere i colori, si rende necessario pertanto l’adozione di appositi filtri.

……

griglia di cavità fotoni catturati nelle cavità

luce incidente

sensore

maschera filtro di Bayer Matrice di filtri colorati che ha un ben determinato

pattern spazialmente periodico; ha lo stesso numero di elementi del sensore, ogni elemento è perfettamente allineato a un fotodiodo del sensore. L’occhio umano è particolarmente sensibile alla lunghezza d’onda del verde, pertanto il pattern di filtraggio è 50% green, 25% red e 25% blue (RGBG).

(23)

Mono sensor plane vs color sensor plane

(24)

Demosaicing

 La ricostruzione dei colori mancanti da associare a ciascun elemento sensibile (o meglio, dei livelli di riferimento per le tre componenti R, G e B) avviene per interpolazione coi valori dello stesso colore adiacenti, letti da altri elementi sensibili ed esistono molteplici algoritmi di interpolazione dei colori. Questa operazione prende il nome di demosaicizzazione (dall’inglese demosaicing o demosaicking).

Esempio: algoritmo Edge-Directed Interpolation

Stima del valore G nel pixel 5

(25)

Altro metodo di filtraggio

 Un altro metodo di filtraggio è quello progettato da Foveon Inc. Il sensore X3 di Foveon è un sensore d’immagine CMOS costituito da una matrice bidimensionale di celle (fotositi) ciascuna contenente tre fotodiodi verticalmente disposti.

 Ognuno dei tre fotodiodi di una cella risponde a differenti lunghezze d’onda della luce, ovvero ha una differente curva di sensitività spettrale.

 I segnali provenienti dai tre fotodiodi sono elaborati e i dati risultanti forniscono i tre colori primari additivi R, G e B. Dunque a differenza dell’approccio con filtro di Bayer ogni pixel cattura direttamente le tre componenti RGB e pertanto non è necessaria un’operazione di demosaicing.

 È ancora necessaria d’altra parte l’operazione di interpolazione tra le tre componenti cromatiche di base per ottenere la crominanza del singolo fotosito.

(26)

Sommario

 Le camere digitali nei dispositivi mobili, oltre a consentire di scattare foto o registrare filmati, possono contribuire a rendere disponibili ambienti d’elaborazione dell’immagine finora riservati per usi professionali specifici.

 Oggi vi sono due principali tipi di sensori di immagine: CCD e CMOS.

Grazie al crescente utilizzo negli smartphone e in altri segmenti di prodotti emergenti, i sensori CMOS aumentano significativamente il loro vantaggio nel mercato globale dei sensori di immagini.

 Un sensore d’immagine CMOS appartiene alla categoria Active-Pixel Sensor se consiste in un circuito integrato che contiene un array di pixel sensor, ciascuno composto da un fotosensore e un amplificatore attivo.

 Una promettente tecnologia, ancora in fase di messa a punto, prevede la costruzione di sensori ibridi CCD/CMOS, ovvero sensori che implementano la struttura CCD interamente con un processo CMOS.