Algoritmi per la detection di landmark

Il problema del face alignment su immagini 2D ha una lunga storia nell’am- bito della computer vision e nel tempo sono stati proposti numerosi approcci che, con diversi gradi di successo, hanno provato a trovarne una soluzione.

Da una prospettiva generale, l’allineamento del viso, che chiameremo FFPD (Facial Feature Point Detection), può essere formulato come un problema di ricerca su uno spazio rappresentato dall’immagine del volto con lo scopo di in- dividuare un insieme predefinito di punti facciali (chiamati anche landmarks o face shape). Questi punti chiave possono essere essenzialmente di due tipologie: (a) punti dominanti: descrivono la posizione unica di una componente faccia- le (ad esempio, l’angolo dell’occhio) (b) punti interpolati: collegano fra loro i punti dominanti e definiscono quindi i contorni delle varie strutture facciali [31, Wu:2018].

Formalmente, data un’immagine del viso indicata come I, un algoritmo di rilevamento di landmark ha come obiettivo quello di rilevare d landmark con lo scopo di ottenere una shape S = (x1, y1), (x2, y2), . . . , (xd, yd) dove x e y rappresentano le coordinate nell’immagine dei singoli punti rilevati (vedi figura 4.2a).

1_{Gli attributi facciali rappresentano caratteristiche semantiche intuitive che descrivono}

proprietà visive del volto comprensibili da una persona come: immagini, come sorrisi, occhiali da vista e baffi.

4.1. Face alignment Capitolo 4. Approccio proposto

(a) Esempio di riconoscimento con un modello a 98 punti.

(b) Esempio di riconoscimento con un modello a 98 punti.

Figura 4.2: Landmark restituiti da due tipologie di detector.

In base a vari scenari applicativi, possono esserci diversi numeri di punti caratteristici del viso come, ad esempio, un modello a 17 punti, un modello a 29 punti o un modello a 68 punti. Sebbene il numero di punti estratti dipenda dai vari scenari applicativi di riferimento, generalmente gli algoritmi producono shapes con un numero di landmark pari a 17, 29, 68 o 98 punti (vedi figura 4.2b).

Qualunque sia il numero di punti, questi dovrebbero coprire diverse aree di uso frequente: occhi, naso e bocca. Queste aree trasportano le informazioni più importanti sia per scopi discriminatori che generativi.

Tassonomia degli algoritmi di estrazione

Gli algoritmi per il face alignment generalmente iniziano prima di tutto costruendo un modello di viso generico, e procedono poi a modificarlo, affi- nando la stima passo dopo passo, con lo scopo di adattarlo alle caratteristiche del viso trovate in una particolare immagine, raggiungendo così la convergen- za. Durante il processo di ricerca vengono tipicamente utilizzate due diverse fonti di informazioni: l’aspetto del viso e le informazioni sulla forma. Que- st’ultimo mira a modellare esplicitamente le relazioni spaziali tra le posizioni dei punti facciali per garantire che gli stessi punti stimati possano modellare una forma del viso che sia valida. Sebbene alcuni metodi non facciano un uso esplicito delle informazioni sulla forma, è comune combinare queste due fonti di informazione al fine di non incappare in detection insensate. In alcuni casi gli algoritmi richiedono di definire preventivamente una zona di ricerca preli-

minare, solitamente una bounding box del volto estratta precedentemente con un face detector. Questo riquadro di delimitazione può essere quindi utilizzato per inizializzare le posizioni dei punti caratteristici del viso.

Il problema di rilevamento dei punti delle caratteristiche facciali può essere scomposto in tre problemi, ovvero: (a) come costruire il modello della forma del viso, (b) come costruire il modello dell’aspetto del viso e (c) come modellare la connessione tra la forma e l’aspetto [32, Wang:2018]. Al fine di avere una chiara comprensione del progresso delle tecniche di FFPD, classifichiamo i vari metodi in diverse categorie primarie in base a “come costruire il modello della forma del viso”. Il criterio secondario per la classificazione delle categorie primarie farà invece riferimento a “come costruire il modello dell’aspetto del viso” o “come modellare la connessione tra la forma e l’aspetto”. Al fine di rendere maggiormente comprensibile la tassonomia è stato creato un modello ad albero che riassume i principali approcci suddivisi secondo i criteri definiti sopra (vedi figura 4.3).

ACCEPTED MANUSCRIPT

ACCEPTED MANUSCRIPT

3

FFPD Methods

Categorization Criterion: Shape Model

Parametric Shape Model-based Methods Non-parametric Shape Model-based Methods

Local Part-based Methods

Categorization Criterion: Connection between Shape and Appearance

Holistic Methods

Cascaded Regression-based Methods

Deep Learning-based Methods

Categorization Criterion: Appearance Model

Exemplar-based Methods Graphical Model-based Methods

Fig. 1. Tree diagram for FFPD methods.

the face shape model, how to construct the face appearance model and how to model the connection between the shape and the appearance. In order to have a clear understanding of the progress of techniques of FFPD, we classify existing method into different primary categories according to how to model the shape. The secondary criterion for the classification of primary categories is how to model the face appearance or how to construct the model from the shape to appearance. Fig.1provides the tree diagram for the categorization of FFPD methods. According to whether there is the need of a parametric shape model, existing FFPD methods are categorized into two primary categories: parametric shape model-based methods and nonparametric shape model-based methods. Parametric model refers to data in the model belonging to some particular distribution, e.g. Gaussian, Gaussian mixture model etc. Nonparametric model-based methods are distribution free which do not rely on assumptions that the data are drawn from a given probability distribution. The difference between parametric model and nonparametric model is that the former has a fixed number of parameters, while the latter grows the number of parameters with the amount of training data [102]. Parametric shape model-based methods are further divided into two secondary classes according to their appearance models: local part model-based methods, e.g. Active Shape Models (ASM), and holistic model-based methods, e.g. Active Appearance Models (AAM). Nonparametric shape model-based methods mainly refer to exemplar-based methods, graphical model- based methods, cascaded regression based methods (e.g. explicit shape regression method [20], ESR) and

Figura 4.3: Schematizzazione degli approcci presenti allo stato dell’arte. A seconda che sia necessario un modello di forma parametrico, i metodi FFPD esistenti sono classificati in due categorie principali:

• Metodi basati su modelli di forma parametrici: prende in esa- me i dati del modello considerati come appartenenti ad una specifica distribuzione, ad esempio Gaussian, Gaussian mixtures model, ecc; • Metodi basati su modelli di forma non parametrici: sono distri-

bution free ossia non si basano sull’ipotesi che i dati siano tratti da una distribuzione di probabilità.

La differenza tra modello parametrico e modello non parametrico è che il primo ha un numero fisso di parametri, mentre il secondo aumenta il numero di parametri con la quantità di dati di training. I metodi basati su modelli di

4.1. Face alignment Capitolo 4. Approccio proposto

tipo parametrico sono ulteriormente suddivisi in due classi secondarie in base a “come costruire il modello dell’aspetto del viso”:

• Local Part-base methods: rilevano ogni landmark facciale attorno a re- gioni locali e successivamente vincolano i punti trovati a un modello di forma globale;

• Metodi olistici: stimano la posizione dei landmark facciali a partire da una rappresentazione olistica di una texture combinata con un modello di forma globale.

I metodi basati su modelli non parametrici si riferiscono principalmente a: • Metodi basati su esempi: trovano alcuni esempi a partire dal training set al fine di vincolare, in maniera data driven, la configurazione dei landmark facciali;

• Metodi basati su modelli grafici: vincolano la configurazione dei landmark facciali grazie a una struttura grafica: struttura ad albero o a grafo circolare;

• Metodi basati su regressione a cascata: apprendono direttamente una funzione di regressione a partire dall’aspetto dell’immagine e l’obiettivo di forma finale;

• Metodi basati su deep learning: le reti deep sono utilizzate al fine di apprendere la variazione non lineare di forma e aspetto oppure il mapping non lineare da aspetto a forma.