RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANALISIS DE DATOS FUNCIONALES 3D FACE RECOGNITION WITH MISSING PARTS BY FUNCTIONAL DATA ANALYSIS Francisco José Silva Mata1, Anier Revilla Eng2, Isneri Talavera Bustamante3, Ángel Augier4 Stefano Berretti 5 1 CENATAV, Cuba, [email protected] 2 CENATAV, Cuba, [email protected] 3 CENATAV, Cuba, [email protected] 4 Universidad de la Habana, Cuba, [email protected] 5 Universidad de Florencia, Italia, [email protected]

RESUMEN: En este trabajo se propone una nueva solución para la representación y reconocimiento de rostros 3D con partes perdidas mediante la representación funcional de los datos. La idea básica de la propuesta consiste en aproximar la nube de puntos del rostro 3D (rostros completos o con partes perdidas) mediante la expansión en funciones bases B-Splines. Se ha considerado la solución propuesta para el caso donde las imágenes 3D de la galería están completas y las imágenes de muestra a identificar poseen una región vacía dentro del dominio de representación del rostro completo. Para alinear e identificar cuál es la región de interés se analizan las correspondencias entre sus puntos característicos con un "modelo de patrón" previamente seleccionado, para luego ensamblarla con todos los modelos de la galería, representarlos funcionalmente y realizar las comparaciones. Las regiones vacías de las muestras son rellenadas con los puntos de las regiones correspondientes a la galería antes de realizar la representación funcional de estas, para después ser comparadas con las representaciones funcionales de cada uno de los rostros de la galería ajustadas mediante el método de mínimos cuadrados. Como resultado de la comparación se produce una lista ordenada de los rostros de acuerdo a los valores de similitud obtenidos. Como parte de los experimentos se realizaron representaciones globales y locales de los rostros. En ambos casos, se realizó una selección de coeficientes con el propósito de reducir la dimensión de las representaciones. Los resultados obtenidos en los experimentos de reconocimiento corroboran la validez de la propuesta. Palabras Clave: Reconocimiento de rostro 3D, análisis de datos funcional, partes perdidas.

ABSTRACT: This paper propose a new solution for the representation and recognition of 3D faces with missing parts using functional representations. The basic idea of the proposal is to approximate the points cloud of the 3D face (with missing parts or completes) by using expansion in basis functions (polynomial B-Splines). It has considered the proposed solution for the case where the 3D images of the gallery are complete and the sample images to identify possess an empty region within the domain of representation of the entire face. In order to align and identify the region of interest their correspondence between characteristic points and a previously selected "pattern model" is analyzed, then it is assembled with all models of the gallery, represented functionally and compared. Empty regions of samples are filled with the points of the regions to the gallery before performing the functional representation of these, then it is compared with the functional representations of each of the “III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

faces of the gallery adjusted by the method of least square. As a result of comparing an ordered list of the faces according to the similarity values obtained occurs. As part of the experiments global and local representations of the faces they were made. In both cases, a selection of coefficients in order to reduce the size of the representations is performed. The results of recognition experiments corroborate the validity of the proposal. KeyWords: 3D face recognition, functional data analysis, missing parts

1. INTRODUCCIÓN Durante mucho tiempo se han estudiado soluciones biométricas en el reconocimiento facial utilizando imágenes 2D fijas y videos. Más recientemente se ha experimentado el reconocimiento de rostro basado en modelos 3D como una alternativa para enfrentar los problemas que presentan los sistemas de reconocimiento de rostro basados en imágenes bidimensionales y que disminuyen su precisión, como las variaciones en las poses, la iluminación y la oclusión u omisión de algunas de las regiones del rostro. Los modelos tridimensionales de rostro no se afectan con las variaciones de iluminación ya que los mismos consisten de nubes de puntos no estructuradas que representan la superficie de estos. Tampoco presentan dificultades con las diferentes poses ya que los mismos son tridimensionales. Sin embargo aún en sistemas 3D la oclusión parcial del rostro o la ausencia de información sobre una de sus partes debido al proceso de escaneo incompleto afectan sensiblemente sus rendimientos. Una desventaja adicional de los modelos 3D la constituye la altísima dimensión de los datos que pueden alcanzar decenas de miles de puntos, lo cual afecta sensiblemente la eficacia de la clasificación debido al fenómeno conocido como la “maldición de la dimensión” [1]. Algunas de las alternativas para enfrentar este fenómeno han sido la proyecciones en sub-espacios o aprendizaje de variedades (en inglés manifolds) [2] y la utilización de representaciones funcionales [3]. Estas últimas presentan algunas ventajas potenciales: la representación funcional es capaz de capturar el comportamiento continuo y los aspectos dinámicos de los datos originales, los datos pueden ser representados como un todo y se pueden extraer de ellos informaciones adicionales a partir del análisis de la monotonía, la derivabilidad, la suavidad, sus puntos críticos, etc.[4]. Además el hecho de utilizar funciones en lugar de vectores de rasgos brinda información adicional sobre la relación que guardan estos dentro del dominio, un aspecto que se pierde en las representaciones basadas en vectores.

Sin embargo, encontrar las funciones que mejor se aproximan a los datos que han sido muestreados de forma discreta no es un proceso trivial. El empleo de la expansión en funciones bases es una manera común de abordar el problema, pero como se plantea en [5] debe seleccionarse cuidadosamente el conjunto de funciones bases y el método de ajuste, con el fin de obtener representaciones discriminativas, de bajas dimensiones y que permitan una alta eficiencia computacional de estos procesos. A lo anterior se suman otros retos, el primero relacionado con la necesidad de una correcta alineación de los datos, lo cual es un paso obligatorio antes de emplear representaciones funcionales si estas van a ser cotejadas. El segundo relacionado con la incompletitud del dominio, es decir cuando parte del dominio o región dentro de la representación no posee datos registrados o estos no pertenecen al objeto que se desea representar. En base a estas premisas, en este trabajo se propone el uso de análisis de datos funcionales para realizar el reconocimiento de rostros 3D, incluyendo aquellos rostros que están incompletos debido a problemas de oclusión (cuando delante del rostro un objeto o elemento no perteneciente a él se interpone en la captura de su imagen), o simplemente cuando el proceso de escaneo se ha producido de forma incompleta (ver Figura 1). Particularmente se ha restringido esta investigación al caso donde los posibles modelos de rostro a reconocer se encuentran en una galería, almacenados previamente con la totalidad de sus datos y el rostro o muestra que se quiere reconocer puede poseer regiones perdidas (en inglés se denomina este fenómeno como “missing parts”). Es decir que en el caso de ocurrir el fenómeno de la oclusión, se ha supuesto que previamente se han separado o quitado del modelo aquellos puntos correspondientes al objeto interpuesto delante del rostro, por lo cual se convierten estos casos también en rostros con partes perdidas. El artículo se ha estructurado en seis secciones. En la primera se realiza una introducción al tema.

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

En la sección dos se describen el proceso general de representación y reconocimiento de rostros 3D. En la sección 3 se describe el proceso de alineación y detección de la región vacía o parte perdida y su completamiento. La sección 4 está dedicada al proceso de selección de bases. La sección 5 contiene los detalles de la representación funcional y la optimización de esta. La sección 6 contiene los resultados de los experimentos y en la sección 7 se ofrecen las conclusiones del trabajo y los posibles trabajos futuros.

Figura. 1: Algunas ejemplos de oclusión en rostros (primera fila), y los rostros con partes perdidas como resultados de la eliminación de la oclusión.

2. DESCRIPCIÓN DEL PROCESO GENERAL

DE RECONOCIMIENTO. El proceso general de reconocimiento de rostros 3D mediante el análisis de datos funcionales se presenta en la Figura 2. Aunque sus pasos generales coinciden con el esquema presentado en [3], este presenta tres nuevos pasos que se han insertado para el caso de que las muestras tengan partes perdidas dentro del dominio de representación. El primero es la determinación de los puntos característicos de la región del rostro, el segundo es la determinación del número de concordancias entre puntos, para mediante estos alinear y ubicar la región de interés y el tercero es el completamiento del modelo a identificar.

3. DETERMINACIÓN Y ALINEACIÓN DE LA REGIÓN CON PARTES PERDIDAS Y SU COMPLETAMIENTO. Para llevar a cabo el completamiento de las partes perdidas con las partes correspondientes de las imágenes de la galería es necesario ubicar lo más exactamente posible sus coordenadas o límites. En general el proceso de alineación es un paso obligatorio para realizar las representaciones funcionales de las superficies ya que la posición

relativa de los ejes coordenados y sus direcciones deben coincidir respecto al objeto. Sin embargo es necesario distinguir el proceso natural de alineación de los modelos 3D de rostros cuando están completos, del proceso de alineación de alguna parte del mismo o lo que es lo mismo cuando están incompletos. La alineación de los modelos completos se realiza según se plantea en [6] mediante la combinación de componentes principales y el método de ICP(en inglés iterative closest points) [7]. Pero cuando se trata de alinear o encontrar la posición de los ejes y sus direcciones relativas en el caso de un pedazo del rostro hay que aplicar normalmente una secuencia de pasos diferentes. Se ha propuesto la secuencia de pasos referida en [8] mediante la cual primeramente deben detectarse los puntos característicos que están asociados a la forma de la superficie del rostro. El número óptimo de puntos debe ser tal que no sean demasiados, lo cual puede provocar una mayor probabilidad de inestabilidad y por tanto introducir ruido y aumentar el costo computacional. Tampoco pueden ser demasiado pocos lo cual reduce la información a comparar para encontrar esa región. La optimización de la cantidad y ubicación de estos puntos se logra mediante el método propuesto por Berretti y otros [8]. Una vez determinados esos puntos, para los cuales se pueden utilizar los detectores de puntos en 3D como MeshDOG [9] o meshSIFT [10] y los cálculos de curvaturas gausianas y sus intersecciones [11] teniendo en cuenta realizar el proceso en varias escalas. Otros detectores de variaciones locales como los histogramas geométricos multi-anillos ORF o en general los histogramas geométricos (GH) [12] son utilizados y combinados convenientemente. El algoritmo de RANSAC [13] aplicado después del cotejo de puntos permite obtener un conjunto de correspondencias. Sin embargo esta combinación de métodos que en [8] son utilizados para la identificación de rostros, aquí es utilizada para encontrar la correspondencia entre regiones. El umbral de número de correspondencias entre puntos servirá para identificar si la región es la misma y no para identificarla propiamente. Las correspondencias se realizan con respecto al mejor patrón seleccionado mediante los criterios de selección de patrones propuestos en [6]. En nuestro resulto como patrón el que mejor se correlaciona con todos los restantes [6]. Para reducir el costo de la operación de correlación y poder igualar la dimensión y estructura de todos los modelos, además de reducir su dimensión, cada modelo es previamente representado funcionalmente. Esta

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

representación funcional (los coeficientes) realizada mediante la metodología descrita en [3], sirve a su vez en el proceso de identificación. Por tanto el conjunto de funciones bases, y el número final de coeficientes determinan la representación de las imágenes de la galería.

perdidas han sido completadas) deben alinearse correctamente nuevamente mediante el algoritmo [6]. En el caso de las imágenes de rostro 3D el método de alineación utilizado es el propuesto por Berretti y otros y basado en [14]. De forma resumida el modelo es alineado mediante tres pasos (ver ¡Error! No se encuentra el origen de la referencia.4):

Figure 2 La solución propuesta para el reconocimiento de rostros 3D con partes perdidas basado en el análisis de datos funcionales.

El mismo patrón obtenido para la alineación de los modelos 3D [6] también es utilizado como patrón para la determinación de las coordenadas de la región incompleta o pedazo de modelo. La alineación de esta región es realizada mediante el algoritmo de ICP, actuando sobre la nube de puntos original de la región incompleta respecto a la correspondiente del modelo patrón (ver la Figura 3). El resto del proceso consiste en completar la región vacía con la información de cada modelo de la galería. En los casos donde la región completada no sea la correspondiente a la misma cara pueden producirse discontinuidades en la frontera de estas, pero las mismas serán suavizadas durante la representación funcional del modelo completado.



Detección de la nariz: Centrado de una esfera de 100 mm en el punto pronasal y tomar sus puntos interiores.



Calcular los vectores propios de esta nube de puntos (direcciones principales o ejes principales).



Aplicar ICP.

Con estos tres pasos es realizad la alineación respecto alineación respecto al modelo patrón.

Figura. 4 Alineación de modelos de rostro completados/completos.

4. SELECCIÓN DE BASES. Figura. 3 Correspondencia entre los puntos característicos de la región incompleta y el rostro patrón.

Una vez completados los modelos (ya las partes

Con el fin de derivar una representación funcional de la superficie 3D, se define una rejilla 2D de nudos de control para todos los modelos. En este trabajo, consideramos: una cuadrícula de muestreo en coordenadas cartesianas (ver Figura 5), lo que

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

permite que la función f ( x , y ) se puede representar como una combinación lineal de funciones de base en un dominio (multi)rectangular.

Figura. 5 Rejilla global y local rectangular de control en coordenadas cartesianas.

4.1 Detalles de la conformación de la malla de control en el caso del completamiento de las partes perdidas. En caso de los rostros con partes perdidas, es necesario que toda la región interior de la malla de dominio tenga valor asignado. Para ello se completa la subregión faltante con la subregión correspondiente en el rostro (no necesariamente con expresión neutral) de la galería con el que se hace el cotejo y que no presenta partes perdidas en esta región en cuestión (Figura 6). Para resolver las discontinuidades que pudieran surgir con este completamiento, se aplica un suavizado a la superficie resultante de la mezcla.

de funciones de base para el dominio rectangular (rejilla global y local). Las superficies B-spline son una generalización de las curvas B-spline univariadas, con la simple generalización obtenida por un producto tensorial de B-splines univariados [15]. La principal ventaja de B-splines en la representación de superficies de alta variabilidad local es su carácter intrínseco zonal [16]. Los B-splines son curvas polinómicas de grado k-1 a lo largo de cada intervalo [t i ,t j +1 ] ; productos de tales funciones son superficies polinómicas de sobre cada dominio grado (k 1 − 1)( k 2− 1) s , s +1 [ t ,t [ ] i i j j − 1] R2 . La en rectangular superficie está dada por: n

f (x , y )= ∑

m

∑ c ij ϕi , k (x )λ j ,l (y )( 2)

i= 1 j= 1

donde c ij son los puntos de control, actuando como parámetros de control de sub-área, y ϕ i (x ) y λ j son el i-ésimo y j-ésimo B-spline de grado k-1 y l-1 en la dirección X y Y, respectivamente. Una de las principales características de estas bases es su ortogonalidad [16], lo que implica independencia lineal total.

4.3 Determinación coeficientes

Figura. 6 Completamiento de la región con presencia de partes perdidas.

4.2 Funciones bases. De acuerdo con esto, para una superficie definida sobre un soporte 2D, la ecuación general para la representación funcional en coordenadas cartesianas es: K

f (x , y )= ∑ c k bk (x , y )(1) k= 1

dónde {b k ( x , y )} denotan los conjuntos de las K {c k } funciones bases, y representa los coeficientes de la expansión. En nuestro trabajo, se seleccionaron los Spline Bivariados como conjuntos

del

número

de

Una vez que se ha seleccionado el conjunto base para cada dominio, debe determinarse el número más adecuado de funciones bases para la representación. Un gran número de términos puede resultar en una representación más precisa de la superficie, pero esto a su vez aumenta el tamaño de la descripción. Se utilizó el método Bootstrap para la determinación del número de coeficientes [17].

5. REPRESENTACIÓN ROSTRO 3D.

FUNCIONAL

DEL

Una vez que el número de coeficientes es determinado, la superficie es ajustada mediante el método de mínimos cuadrados. Es posible determinar los valores c k tales que minimizan el criterio de mínimos cuadrados: n

K

j= 1

k= 1

2

E (y|c )= ∑ [ yi − ∑ c k ϕ k ( x j )] (3)

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

En necesario mantener una disimilitud aplicable entre los modelos resultantes y las imágenes 3D de referencia para permitir su identificación. La Figura 7 muestra un ejemplo de la aproximación de un escáner de cara 3D utilizando el enfoque propuesto.

d

∫

n

¿p (x , y )− g( x , y) ∨ ¿ dxdy

c b

∫

¿

a

¿ ¿ d (p , g )= ¿ 6. 3D EXPERIMENTOS Y RESULTADOS.

Figura. 7 Modelo 3D de un sujeto y su modelo reconstruido en el dominio rectangular (centrado en la punta de la nariz) mediante B-splines.

Selección de atributos y cotejo funcional - Con el fin de reducir el número de coeficientes obtenidos en las representaciones, manteniendo al mismo tiempo su poder discriminativo, se realiza una selección de atributo. En nuestro caso, donde los atributos coinciden con los coeficientes de la representación funcional, este método tiene la ventaja de que no transforma los atributos originales, por lo que los valores originales de los coeficientes de la función se mantienen sin cambios. Esto es particularmente relevante para el Función

Dominio

Cuadrilla de control

Paso

GBVS

Rectangular

64 × 64

1mm

LBVS

Multi-rectangular

(tres)

1mm

24 ×64 caso funcional, ya que los coeficientes pueden proporcionar una interpretación directa de las características del rostro. En este trabajo, utilizamos la estrategia de la selección univariada y evaluación para cada función (coeficiente) como se ha mencionado y formalizado en [18]. El método utilizado con más éxito en nuestro caso para la selección de atributos fue la prueba estadística Chicuadrado. Se evalúa las características de forma individual mediante la medición de su estadística de Chi-cuadrado con respecto a las clases. Luego, se clasifican de acuerdo al resultado de la evaluación. Después de la selección de características, se realiza la etapa de cotejo. Dada un rostro de prueba P y una galería rostros G, su distancia se puede calcular como en la ecuación 4, donde p y g son sus funciones correspondientes, definidas en un dominio común [a , b ]×[ c , d ] . Para la norma Ln , se utiliza la distancia [19]:

Esta propuesta de reconocimiento facial 3D ha sido evaluada en la base de datos 2D / 3D Florencia [20], y la base de datos GAVAB [21]. Estas bases de datos incluyen imágenes 3D adquiridas con diferentes dispositivos y muestran diferentes desafíos (es decir, pose no frontal, la presencia de cabello, el cuello, los hombros, etc.). Para cada conjunto de datos, se construyeron dos representaciones diferentes: global y local bivariate splines (GBVS y LBVS) definidos, respectivamente, en un dominio rectangular que cubre la cara, y en tres regiones rectangulares disjuntas, la subregión rectangular superior contiene los ojos y las pestañas, la central de la nariz y los pómulos, y la inferior los labios y la mandíbula. Se utilizan el algoritmo de Bootstrap y selección de atributos para determinar el número de términos en cada caso. Un resumen de estas representaciones se da en la Tabla 1 (véase también la Figura. 3 para visualizar los diferentes dominios). Tabla I: Resumen de las representaciones usadas en los experimentos. El punto pronasal es usado como origen del dominio en todos los casos.

Base de datos Florence - La parte 3D de la base de datos de rostros 2D/3D Florence (UF-3D), consta de imágenes 3D de alta resolución de 54 sujetos (14 féminas y 40 masculinos) de etnicidad caucásica, en un rango de edad de 20 a 60 años. De cada sujeto han sido adquiridas dos imágenes frontales con expresión neutral (N) en la misma sesión, sin embargo algunas imágenes exhiben alguna expresión facial moderada. Las imágenes 3D de cada sujeto son adquiridos en la misma sesión e incluyen dos imágenes frontales y dos imágenes donde los sujetos son rotados 90 ° grados a la izquierda y a la derecha (llamados left y right respectivamente). En todas las adquisiciones, los sujetos asumieron una expresión neutral, con algunas imágenes con una moderada, involuntaria, expresión facial (ver Figura 8, [22]).

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

Base de datos

Método

# coef

# sel. coef

Variaci ones

RR(%) distan cia

GBVS

GBS

4096

48

N

100% Manh

LBS

4608

20

N

100% Manh

GBS

4096

250

N,S

100% Manh

que también incluye los imágenes expresivos (se reportan los resultados para N y S), se alcanza también altos resultados de reconocimiento. Curiosamente, el método propuesto es capaz de alcanzar una alta precisión con un número pequeño de coeficientes. Para comparar los métodos propuestos en este trabajo, con las soluciones ya existentes en el estado del arte, se realizó un experimento en la base de datos Gavab, incluyendo uno de las imágenes neutrales por sujeto en la galería, y usando los restantes (neutrales y expresivos) como pruebas.

LBS

4608

1000

N,S

100% Manh

Tabla 2. Resultados obtenidos usando la mejor configuración en las bases de datos UF-3D y Gavab.

Base de datos Gavab - La base de datos Gavab comprende imágenes faciales 3D con grandes variaciones de pose y expresión, y presencia de ruidos. Incluye imágenes de 61 sujetos adultos

LBVS

caucásicos (45 féminas y 16 masculinos). Para cada individuo se cuenta con dos imágenes frontales con expresión neutral (N), y tres imágenes frontales más: con sonrisa (S), con risa (R) y con gesto (G) (ver Figura 9).

4.1 Resultados En una primera serie de experimentos se realiza sobre los rostros completos, o sea sin presencia de partes perdidas, a fin de probar la eficacia de los algoritmos en un ambiente más neutral. Para ello se seleccionan únicamente de la base de datos Florence las dos imágenes con expresión neutral por cada sujeto, y en la base de datos Gavab se mantienen todas las imágenes. Se modela el problema de reconocimiento facial como una tarea de clasificación, utilizando un clasificador k-NN con distancia euclídea y de Manhattan. Los resultados se presentan en la Tabla 2. Para cada variante del enfoque propuesto, se reporta el número de coeficientes que dio como resultado el mejor rendimiento. En cuanto a la UF-3D, se puede observar que las dos soluciones basadas en splines bivariados (GBVS y LBVS) utilizando distancia Manhattan alcanzan 100% reconocimiento. Teniendo en cuenta el conjunto de datos Gavab,

Los valores de la tasa de reconocimiento rank-1 obtenidos son mostrados en la Tabla 3 donde las mejores configuraciones de la Tabla 2 son usados en los métodos propuestos. Tabla 3. Resultados obtenidos usando la mejor configuración en las bases de datos UF-3D y Gavab. Nuestros [23]

[24]

[25]

GBS

LBS

Neutral

96.7

95.0

100

100

100

Expresión

93.3

72.0

94.5

94.9

95.1

Neutral + Expresión

94.7

77.8

95.9

96.2

96.3

Resultados para partes perdidas Para probar nuestra propuesta con presencia de partes perdidas se experimentó con las mismas bases de datos antes mencionadas. Resultados sobre la Florence. En los experimentos sobre la UF-3D se emplearon cada una de las imágenes por sujeto, o sea, las dos imágenes frontales y los de extrema rotación sobre el eje Y izquierda y derecha (llamados left y right

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Figura. 8 UF-3D: Imágenes de rostro 3D de dos sujetos de muestras. Se muestran las imágenes adquiridos para los casos left y right, así como su vista frontal, evidenciándose la cantidad que falta de la superficie facial. Figura. 9 Tres sujetos de muestra contenidos en la Gavab, con sus respectivas imágenes frontales: de izquierda a derecha, dos imágenes con expresión neutral, y los otros tres con sonrisa, risa y gesto.

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

respectivamente, ver Figura 6). En particular, los imágenes left y right en esta base de datos han sido adquiridos con una rotación lateral de 90 ° , lo cual resulta en un escáner con medio rostro perdido, lo cual constituye un reto en condiciones de reconocimiento. Para poder plantear una comparación con métodos del estado del arte [22] se seleccionó un escáner neutral (“frontal 1”) como referencia para cada sujeto e incluido en la galería. Las imágenes left/right han sido usadas en dos experimentos separados para probar la robustez del enfoque propuesto en presencia de una gran parte del rostro perdido, después de aplicársele un proceso de normalización. Los resultados de esta evaluación son reportados en la Tabla 4. Se puede observar que en todos los casos los algoritmos propuestos superan a los reportados en el estado del arte.

modelos 3D completos para lograr gran variedad en las distintas partes perdidas. Los resultados de esta evaluación son reportados en la Tabla 5. A pesar de no contar con resultados de la evaluación de otras propuestas del estado del arte sobre esta base de datos con partes perdidas, precisamente por haber sido generadas estas últimas, los resultados alcanzados muestran la efectividad de nuestra propuesta.

Tabla 4 UF-3D: rank-1 RR pruebas frontal neutral y

 

Frontal (%) 

Left (%) 

Right (%)

HOG 

92.5 

49.1 

52.8

SHOT 

96.2 

54.7 

56.6

GH 

94.3 

58.5 

60.4

GBVS 

100 

96.2 

96.4

LBVS 

100 

96.3 

96.7

left/right.

Figura. 10 Algunos ejemplos de máscaras para simular las partes perdidas más comunes en las imágenes de rostros.

Resultados sobre la Gavab. Para probar la efectividad de nuestra propuesta en presencia de partes perdidas sobre la base de datos Gavab, donde las imágenes no presentan perdidas de partes, se hizo necesario simular estas. Esta simulación de partes perdidas está basada en las pérdidas de partes más comunes en las imágenes de rostro, ya sea producto de la ocurrencia de oclusión intencional o no (bufanda, gafas, cabello, orientación del rostro respecto al dispositivo de escaneo, etc), o de problemas del dispositivo de escáner, entre las causas más comunes (ver Figura 1). En base a esto se definieron máscaras para aplicar sobre las imágenes 3D completos, dando como resultado modelos 3D con presencia de partes perdidas (ver Figura 10). Para probar la evaluación de nuestra propuesta se seleccionó un escáner neutral (“frontal 1”) como referencia para cada sujeto y es incluido en la galería, y el resto de las imágenes del sujeto con presencia de partes perdidas tras haber aplicado las máscaras son tomadas como pruebas. Los modelos de las máscaras son aplicados aleatoriamente sobre los

Tabla 5. Evaluación en la base de datos Gavab con presencia de partes perdidas. Se reporta rank-1 RR.

Partes perdidas en 

GBVS 

LBVS

Neutral 

100 

100

Expresión 

93.3 

94.2

Neutral + Expresión 

94.7 

95

7. CONCLUSIONES En este trabajo, se ha propuesto un enfoque de reconocimiento facial 3D con presencia de partes perdidas, basado en el análisis de datos funcionales. La idea básica de nuestro enfoque es considerar el rostro 3D como una superficie definida sobre un soporte 2D y aproximar la superficie por la expansión de un conjunto de funciones bases tanto en un enfoque global y local. Los resultados muestran que las funciones de base estudiadas, polinomios B-Splines, son opciones adecuadas para modelar este tipo de datos. La selección de los

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

coeficientes más discriminativos de la expansión base resultó en una representación compacta que permite un reconocimiento rápido y eficaz. Los experimentos llevados a cabo en dos bases de datos muestran resultados prometedores, también en comparación con los métodos existentes. Como trabajo futuro, vamos a experimentar el enfoque propuesto en grandes conjuntos de datos (por ejemplo, FRGC v2 y Bosphorus).

8. REFERENCIAS BIBLIOGRÁFICAS 1. Carreira-Perpinán, M.A., A review of dimension reduction techniques. Department of Computer Science. University of Sheffield. Tech. Rep. CS-9609, 1997. 9: p. 1-69. 2. Berretti, S., et al., Face Recognition Based on Manifold Learning and SVM Classification of 2D and 3D Geodesic Curves. 3. Porro-Muñoz, D., et al., 3D Face Recognition by Functional Data Analysis, in Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications. 2014, Springer. p. 818-826. 4. Cao, J., et al., The Future of Functional Data Analysis. 2010. 5. Mata, F.J.S. et al., Criteria and methods of selection of bases and their impact in functional data analysis. Some examples in biometric. 2014. 6. Mata, F.J.S. et al., Signal and image alignment during the application of Functional Data Analysis. Practical examples of chemometrics and biometrics. 2014. 7. Mian, A.S., M. Bennamoun, and R. Owens, An efficient multimodal 2D-3D hybrid approach to automatic face recognition. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2007. 29(11): p. 1927-1943. 8. Berretti, S., et al., Selecting stable keypoints and local descriptors for person identification using 3D face scans. The Visual Computer, 2014. 30(11): p. 1275-1292. 9. Zaharescu, A., et al. Surface feature detection and description with applications to mesh matching. in Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. 2009. IEEE. 10. Smeets, D., et al., meshSIFT: Local surface features for 3D face recognition under expression variations and partial data. Computer Vision and Image Understanding, 2013. 117(2): p. 158-169. 11. Leal Narvaez, E.A., J.W. BRANCH, and O. Ortega Lobo, Estimation of curvatures and principals directions in unorganized points cloud.

DYNA, 2007. 74(153): p. 351-362. 12. Ashbrook, A., et al., Finding surface correspondence for object recognition and registration using pairwise geometric histograms. 1998: Springer. 13. Zuliani, M., C.S. Kenney, and B. Manjunath. The multiransac algorithm and its application to detect planar homographies. in Image Processing, 2005. ICIP 2005. IEEE International Conference on. 2005. IEEE. 14. Xu, C., et al., Combining local features for robust nose location in 3D facial data. Pattern Recognition Letters, 2006. 27(13): p. 1487-1494. 15. Schumaker, L., Spline functions: basic theory. 2007: Cambridge University Press. 16. Ares, M., et al. Comparison of B-spline and Zernike fitting techniques in complex wavefront surfaces. in Optical Metrology. 2005. International Society for Optics and Photonics. 17. Iskander, D.R., M.J. Collins, and B. Davis, Optimal modeling of corneal surfaces with Zernike polynomials. Biomedical Engineering, IEEE Transactions on, 2001. 48(1): p. 87-95. 18. Harol, A., et al., Pairwise feature evaluation for constructing reduced representations. Pattern Analysis and Applications, 2007. 10(1): p. 55-68. 19. Ferraty, F. and P. Vieu, Nonparametric functional data analysis: theory and practice. 2006: Springer Science & Business Media. 20. Bagdanov, A.D., A. Del Bimbo, and I. Masi. The Florence 2D/3D hybrid face dataset. in Proceedings of the 2011 joint ACM workshop on Human gesture and behavior understanding. 2011. ACM. 21. Moreno, A. and A. Sanchez. GavabDB: a 3D face database. in Proc. 2nd COST275 Workshop on Biometrics on the Internet, Vigo (Spain). 2004. 22. Berretti, S., et al., Matching 3D face scans using interest points and local histogram descriptors. Computers & Graphics, 2013. 37(5): p. 509-525. 23. Li, X., Jia, T., & Zhang, H. (2009, June). Expression-insensitive 3D face recognition using sparse representation. In Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on (pp. 2575-2582). IEEE. 24. Mahoor, M. H., & Abdel-Mottaleb, M. (2009). Face recognition based on 3D ridge images obtained from range data. Pattern Recognition, 42(3), 445-451. 25. Drira, H., Ben Amor, B., Srivastava, A., Daoudi, M., & Slama, R. (2013). 3D face

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”

Silva, F. J.; Revilla, A.; Talavera, I.; Augier, A.; Berretti, S. | “RECONOCIMIENTO DE ROSTROS 3D CON PARTES PERDIDAS MEDIANTE ANÁLISIS DE DATOS FUNCIONALES”

recognition under expressions, occlusions, and pose variations. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 35(9), 22702283.

9. SÍNTESIS CURRICULARES LOS AUTORES

DE

Francisco J. Silva se tituló de Ingeniero Electrónico en el ISPJAE, Habana, Cuba, 1982, y de Investigador Auxiliar, 2002. Recibió el título de Maestro en Ciencias en Diciembre 2005. Es experto en Procesamiento de Imágenes del Departamento de Reconocimiento de Patrones del CENATAV (Habana, Cuba). Ha impartido cursos de postgrado en gerencia de proyectos, electrónica, procesamiento de video e imágenes y reconocimiento de patrones y seminarios y conferencias en España (Univ. Burgos), Italia (Univ. Florencia) y Cuba (ICIMAF). Ha participado como ponente o autor/coautor en congresos internacionales: CIARP'05, CIARP'14 México, ISOEN'06 España, MCAM'07, ICME'07`China, ICIAP'07, VMDL'07, SSC2'14, Italia, ICME'08 Alemania, Eurographics'08, Grecia, CICCI'13, CIARP'06, Tecnolaser'09, CIARP'13, CIOFF'14, Cuba y nacionales: Uciencia, Congreso Nacional de Química, Compumat y Recpat. Ha publicado 26 artículos en revistas internacionales y memorias, en LNCS, IEEE, y Analytica Chimica Acta entre otras. Miembro de comités científicos de Congresos: CIARP'05, MMM'09, IADIS 2009, 2010, 2011, 2012, 2013, 2014 y CAIP'15 y de libros y revistas: CIDF2013 y Pattern Recognition Letters 2015. Coautor de los libros Machine Learning Techniques for Adaptive Multimedia Retrieval (octubre 2010, IGI-Global, NY-USA) y Computational Intelligence in Digital Forensics (2014, Springer, Suiza) y autor de una monografía sobre fuentes de computadoras 2012, Citmatel, Cuba. Dirección: 7ma A #21406 e/ 214 y 216, Rpto. Siboney, Playa. C.P. 12200. La Habana, Cuba. Email: [email protected]

“III Conferencia Internacional en Ciencias Computacionales e Informáticas”