Percezione e riconoscimento di oggetti

(1)

Percezione e riconoscimento di oggetti

Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone

Dipartimento di Scienze dell’Informazione Università di Milano

[email protected]

http://homes.dsi.unimi.it/~boccignone/GiuseppeBoccignone_webpage/Modelli_Percezione.html

Percezione e riconoscimento di oggetti

• Trovare i bordi

• Processi di Integrazione e di segmentazione basati sulla texture

• Assegnazione figura-sfondo

• Bordi, parti, e interezza delle immagini

• Riconoscimento di oggetti

(2)

Percezione e riconoscimento di oggetti //cosa vedete?

Percezione e riconoscimento di oggetti

//cosa vedete?

(3)

Percezione e riconoscimento di oggetti //cosa vedete?

• Perché le cose appaiono come appaiono?

• La risposta del REALISTA INGENUO è:

• vedo le cose così perché sono così.

• Per il REALISTA CRITICO, invece, la percezione è una costruzione attiva alla quale contribuiscono:

• a) l’ambiente fisico (stimoli);

• b) il sistema percettivo.

Percezione e riconoscimento di oggetti

//cosa vedete?

(4)

Percezione e riconoscimento di oggetti //cosa vedete?

Percezione e riconoscimento di oggetti

//cosa vedete?

(5)

Percezione e riconoscimento di oggetti //cosa vedete?

Percezione e riconoscimento di oggetti

//cosa vedete?

(6)

Percezione e riconoscimento di oggetti //cosa vedete?

Percezione e riconoscimento di oggetti

//cosa vedete?

(7)

Percezione e riconoscimento di oggetti //cosa vedete?

Percezione e riconoscimento di oggetti //Il paradigma di Marr

• Stadi di elaborazioni:

1. Determinare le caratteristiche dell’immagine (“Low- level vision”)

2. Raggruppare le caratteristiche analizzate sopra in oggetti (“Middle vision”)

3. Elaborazione delle rappresentazioni (“High-level

vision”)

(8)

Percezione e riconoscimento di oggetti //Il paradigma di Marr

Low-level High-level

Mid-level

Percezione e riconoscimento di oggetti

//Il paradigma di Marr

(9)

Percezione e riconoscimento di oggetti //Visione di basso livello

• Stadi di elaborazioni:

1. Determinare le caratteristiche dell’immagine (“Low- level vision”)

2. Raggruppare le caratteristiche analizzate sopra in oggetti (“Middle vision”)

3. Elaborazione delle rappresentazioni (“High-level vision”)

Cellula semplice

Percezione e riconoscimento di oggetti

//rilevare i bordi (edges)

(10)

• Caratteristiche non accidentali (ben strutturate) producono indizi sulla struttura di un oggetto

Percezione e riconoscimento di oggetti //rilevare i bordi (edges)

• Non così semplice per un calcolatore...

Photoshop: “find edges”

Percezione e riconoscimento di oggetti

//rilevare i bordi

(11)

Percezione e riconoscimento di oggetti //rilevare i bordi

Il triangolo di Kanizsa:

//dove sono i bordi per il realista ingenuo?

(12)

Percezione e riconoscimento di oggetti //rilevare i bordi: i bordi di Kanizsa

Percezione e riconoscimento di oggetti

//rilevare i bordi: i bordi di ^Kanizsa

(13)

Percezione e riconoscimento di oggetti //Visione di medio livello

• Stadi di elaborazioni:

1. Determinare le caratteristiche dell’immagine (“Low- level vision”)

2. Raggruppare le caratteristiche analizzate sopra in oggetti (“Middle vision”)

3. Elaborazione delle rappresentazioni (“High-level vision”)

• Come si discerne l’oggetto che deve essere riconosciuto dal suo sfondo?

Percezione e riconoscimento di oggetti

//Visione di medio livello: segmentazione

(14)

• La figura qui è marrone o bianca?

• Il riconoscimento degli oggetti parte prima che l’assegnazione figura/sfondo sia finita

Percezione e riconoscimento di oggetti //Visione di medio livello: segmentazione

• Quali cerchi sono “figure” e quali sono aperture?

Percezione e riconoscimento di oggetti

//Visione di medio livello: segmentazione

(15)

La psicologia della Gestalt

• Wertheimer, Köhler, Koffka (1920s–1950s); Palmer and Rock (1990s)

• Il movimento gestaltico era una risposta alle precedenti teoria della scuola psicologica strutturalista

il tutto è più della somma delle singole parti

Principio Definizione dei contorni Pregnanza

Ogni configurazione di stimoli è percepita in modo tale

che la struttura risultante sia la più semplice possibile.

Prossimità

Tendenza degli oggetti vicini ad essere raggruppati insieme in una unità percettiva.

Similarità

Se diversi stimoli sono presentati insieme, c’è una tendenza a percepire la forma in modo che gli stimoli

simili siano raggruppati insieme.

Chiusura

Tendenza ad unire i bordi che sono molto vicini l’uno all’altro.

Buona continuità

Gli elementi vicini sono raggruppati insieme quando sono potenzialmente connessi da una linea continua dritta o

curva.

Destino comune

Gli elementi che si muovono nella stessa direzione sembrano essere raggruppati insieme.

Familiarità

Gli elementi hanno una maggiore probabilità di raggrupparsi se i gruppi appaiono familiari o hanno un

significato.

La psicologia della Gestalt

//principi fondamentali

(16)

La psicologia della Gestalt

//dai bordi ai contorni: uso dell’occlusione

La psicologia della Gestalt

//Segmentazione della tessitura

1. Si raggruppano insieme gli elementi che sono simili

(17)

2. Si raggruppano insieme gli elementi prossimali cioè fra loro vicini

La psicologia della Gestalt

//Segmentazione della tessitura

La psicologia della Gestalt

//Segmentazione della tessitura

Legge dell’esperienza o della familiarità

(18)

La psicologia della Gestalt //Parallelismo e simmetria

• Principi di raggruppamento di minor rilievo: si raggruppano insieme gli elementi paralleli e quelli simmetrici

La psicologia della Gestalt

//Principi di raggruppamento dinamico

• Destino comune: si raggruppano insieme gli elementi che si muovono nella

stessa direzione

(19)

La psicologia della Gestalt

//Principi di raggruppamento dinamico

• Destino comune: si raggruppano insieme gli elementi che si muovono nella stessa direzione

La psicologia della Gestalt

//Principi di raggruppamento dinamico

• Destino comune: si raggruppano insieme gli elementi che si muovono nella

stessa direzione

(20)

• Sincronia: si raggruppano insieme gli elementi che subiscono un cambiamento allo stesso momento

La psicologia della Gestalt

//Principi di raggruppamento dinamico

La psicologia della Gestalt

//Principi di raggruppamento dinamico

(21)

La psicologia della Gestalt

//Principi di raggruppamento dinamico

La psicologia della Gestalt

//Principi di raggruppamento dinamico

(22)

Mimetizzazione: sfrutta i principi della Gestalt

Viene prima il tutto o le parti?

• Effetto della superiorità del contesto globale (Navon, 1977)

(23)

Percezione e riconoscimento di oggetti //Visione di alto livello

• Stadi di elaborazioni:

1. Determinare le caratteristiche dell’immagine (“Low- level vision”)

2. Raggruppare le caratteristiche analizzate sopra in oggetti (“Middle vision”)

3. Elaborazione delle rappresentazioni (“High-level

vision”)

(24)

• Template matching ingenuo

Percezione e riconoscimento di oggetti //Visione di alto livello: il riconoscimento

• Template matching ingenuo

• Problema: quanti template?

(25)

• Template matching: uso di template locali a diversi livelli

Percezione e riconoscimento di oggetti

//Visione di alto livello: il riconoscimento (2D)

Percezione e riconoscimento di oggetti

//Visione di alto livello: il riconoscimento (3D)

• Geoni di Biederman

(26)

• Rappresentare la struttura di un oggetto, non come appare da un certo punto di vista

• Riconoscimento attraverso le componenti (RBC; Biederman, 1987)

Percezione e riconoscimento di oggetti

//Visione di alto livello: il riconoscimento (3D)

Percezione e riconoscimento di oggetti

//Visione di alto livello: il riconoscimento (3D)

(27)

• RBC predice l’invarianza del punto di vista

• Molti studi empirici comunque hanno mostrato l’effetto del punto di vista

Percezione e riconoscimento di oggetti

//Visione di alto livello: il riconoscimento (3D)

Il riconoscimento dipende dal punto

di vista.

• Quale definizione salta alla mente prima?

• Il livello di entrata

Percezione e riconoscimento di oggetti

//Visione di alto livello: la categorizzazione

(28)

• Che cosa sono questi?

1. Livello di entrata: sono uccelli

2. Livello subordinato: passero/struzzo

3. Livello superordinato: animali (Kosslyn 1984)

Percezione e riconoscimento di oggetti

//Visione di alto livello: la categorizzazione

(29)

Come mettere insieme il tutto?

//modelli fenomenologici: Pandemonium

• Oliver Selfridge (1959)

• Un modello base per il riconoscimento delle lettere

• I “demoni” rappresentano in maniera sommariai neuroni; Ogni livello rappresenta un diversa area corticale

• “Perception by committee”

Come mettere insieme il tutto?

//modelli fenomenologici: Pandemonium

(30)

• Sistema “Che Cosa”: identificazione delgi oggetti (corteccia IT)

• Sistema “dove/come”: localizzazione spaziale degli oggetti/ loro manipolazione (corteccia parietale)

Come mettere insieme il tutto?

//oggetti nel cervello

Come mettere insieme il tutto?

//oggetti nel cervello

• V1 – > 1 gradi

²

• V4 – 4 gradi

²

• PIT – 16 gradi

²

• AIT – 150 gradi

²

(31)

• Analisi Speciali potrebbero essere coinvolti nell’identificazione di facce

• Prosopagnosia: Disturbo selettivo per il riconoscimento di facce

Come mettere insieme il tutto?

//oggetti nel cervello: riconoscimento di volti

• Può un singolo neurone essere responsabile del riconoscimento di nostra nonna?

Come mettere insieme il tutto?

//oggetti nel cervello: riconoscimento di volti

(32)

• Sono localizzate in IT, sui bordi e sulle pareti di STS.

• Lo stimolo ottimale non può essere decomposto in forme più semplici.

• Le cellule che rispondono alle facce non rispondano a qualsiasi altro tipo di stimolo (tessitura, reticoli, barre e bordi di vari colori).

• Rispondono ad una varietà di facce: reali, modelli di plastica e immagini video di facce umane e di scimmie

Come mettere insieme il tutto?

//oggetti nel cervello: riconoscimento di volti

• Le cellule per le facce rispondere a immagini di facce filtrati passa-basso o passa-alto, e dopo l’alterazione del colore, o contrasto.

• Rispondono anche a una faccia a disegno a linee.

Come mettere insieme il tutto?

//oggetti nel cervello: riconoscimento di volti

(33)

• Detezione di volti nel Giro Fusiforme

Come mettere insieme il tutto?

//oggetti nel cervello: riconoscimento di volti

Volti invertiti

(34)

Volti invertiti

(35)

• Cosa c’è di strano in questa figura?

Volti invertiti

(36)

Volti invertiti

• La cellula della nonna?

• Unità all’apice della piramide dell’elaborazione visiva.

• Diversi problemi:

• Il numero degli oggetti è immenso, più grande del numero dei neuroni disponibili.

• Ci sarebbe bisogno tenere cellule inutilizzate riserva per codificare i nuovi oggetti nel futuro.

• Il problema dell’accesso rapido.

Come mettere insieme il tutto?

//oggetti nel cervello: riconoscimento di volti

(37)

• Sebbene singole cellule rispondano differentemente a diverse facce, non c’è alcuna evidenza che una cellula risponda esclusivamente ad un particolare volto.

• Le cellule selettive per le facce sembrano costituire una rete distribuita per la codifica dei volti.

Come mettere insieme il tutto?

//oggetti nel cervello: riconoscimento di volti

Sommario

• I processi precoci estraggano le caratteristiche salienti (“feature”) dall’input visivo, successivamente i processi del livello medio organizza le informazioni delle “feature” in regioni, superfici e oggetti.

• “Commissioni percettive” “perception committees” è una metafora importante: vari processi lavorano indipendentemente, raggiungendo una conclusione (percezione) unica.

• Esistano processi che dividono l’immagine in regioni simile, seguendo leggi

specifiche come quelle della Gestalt.

(38)

• Altri processi determinano la regione figura dallo sfondo, con leggi simili.

• Ci sono tanti problemi da risolvere, tipo associare la regione di occlusione ai vari oggetti, e associare i contorni che si sovrappongono.

• Modelli che utilizzano “template” si propongono di trovare una chiave per aprire il lucchetto delle associazioni: si pone il problemi di troppe chiavi.

• Modelli strutturali (tipo il RBC di Biederman) propongano che gli oggetti sono riconosciuti dalla relazione fra le singole parti, e sono “viewpoint

independent” (in contradizione a molte evidenze sperimentali).

• Le facce sono un caso speciale: sembra che ci sia una regione cerebrale dedicata alla loro analisi.