8: Rozpoznawanie twarzy - Detekcja

8. Rozpoznawanie twarzy - Detekcja 8: Rozpoznawanie twarzy - Detekcja 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpozn...
6 downloads 0 Views 3MB Size
8. Rozpoznawanie twarzy - Detekcja

8: Rozpoznawanie twarzy - Detekcja

8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

1 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

8.1: Rozpoznawanie twarzy przez człowieka 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

2 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Zdolności rozpoznawania twarzy

dziecko rozpoznaje twarz matki w 3. dobie życia człowiek może zidentyfikować setki lub tysiące twarzy możliwość ślepej identyfikacji twarzy: twarz “znana” czy “nieznana”, bez identyfikacji osoby możliwość ślepej identyfikacji kategorii takich jak płeć, wiek, rasa, emocje (złość, radość etc.) specyficzna reakcja na nietypowe cechy twarzy (zob. “iluzja Thatcher” ⇓) wykrywanie twarzy nawet tam gdzie ich nie ma (zob. iluzje optyczne ⇓)

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

3 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Iluzja Thatcher (1)

y P. Thompson (1980). Margaret Thatcher: A new illusion. Perception, 9, 483-484. rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

4 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie przez człowieka Iluzja Thatcher (2)

P. Thompson (1980). Margaret Thatcher: A new illusion. Perception, 9, 483-484.

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

5 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Wpływ obrazu: Iluzje optyczne

www.newopticalillusions.com, opticalillusion.wordpress.com/2007/12/27/face-or-a-tree-illusion, www.moillusions.com/2007/12/ accidental-smileys-optical-illusion-set.html rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

6 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Czynniki wpływające na rozpoznawanie

czynniki stymulacyjne, związane z wyglądem twarzy czynniki fotometryczne, związane z pozyskaniem obrazu czynniki subiektywne, związane z osobą rozpoznającą

powyższe czynniki różnicują również automatyczne rozpoznawanie twarzy

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

7 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Czynniki stymulacyjne

czynniki stymulacyjne (ang. stimulus factors) - zróżnicowanie siły bodźca w zależności od wyglądu twarzy czynniki psychofizyczne: emocje, starzenie, choroba ◮ dla znanych twarzy - słaby wpływ na jakość rozpoznania

modyfikacje twarzy: makijaż, okulary, ubranie ◮ dla znanych twarzy - słaby wpływ na jakość rozpoznania

“typowość” twarzy ◮ twarze nietypowe są łatwiej rozpoznawane co to znaczy “typowe”, “nietypowe”? prototyp twarzy np. “twarz średnia” → subiektywne czy istotne dla rozpoznania jest odchylenie od prototypu twarzy? → subiektywne

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

8 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Czynniki fotometryczne czynniki fotometryczne oświetlenie pozycja, odległość, przesłonięcia obrazu



dla zapamiętanych twarzy - czynniki fotometryczne mają słaby wpływ na jakość rozpoznania jaki sposób zapamiętywania twarzy umożliwia taką generalizację ? koncepcje zapamiętywania twarzy

mózg nie działa bezpośrednio na obrazie twarzy, lecz bazuje na cechach strukturalnych obrazu twarzy (wzorce lokalne, histogramy gradientu orientacji, …) teorie strukturalne - reprezentacja 3D w mózgu (David Marr, Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. New York: Freeman)

teorie interpolacyjne - mózg pamięta szereg obrazów 2D i interpoluje obrazy 3D (Poggio, Edelman, A network that learn to recognize 3D objects, Nature 343, pp. 263-266, 1991)

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

9 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Czynniki subiektywne

czynniki subiektywne - zależne od rozpoznającego efekt “innej rasy” - słabe rozpoznawanie ludzi innych ras: twarze dalekie od prototypu słabiej rozróżnialne pomiędzy sobą jakość wzroku prototyp twarzy jest subiektywny i zależy od doświadczenia

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

10 / 74

8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka

Rozpoznawanie twarzy przez człowieka Aspekty neurofizjologiczne prosopagnosia: niemożność identyfikacji na podstawie twarzy (możliwa przez wykorzystanie innych cech np. głosu; działa rozpoznawanie wyrazu twarzy) fMRI (ang. functional magnetic resonance imaging), PET (ang. positron emission tomography) różne pobudzenie mózgu obrazami twarzy i nie-twarzy obszar najsilniej pobudzany: zakręt wrzecionowaty płatu skroniowego FFA (ang. fusiform face area), głównie w prawej półkuli

Thomson 1980

rAndrzej Pacut (IAiIS EiTI PW)

Karen Pierce, UC San Diego School of Medicine, http://autism-center.ucsd.edu/ whatcauses-autism/Pages/fmri.aspx BIT: Semestr letni 2014/2015

18 czerwca 2015

11 / 74

8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy

8.2: Automatyczne wykrywanie i rozpoznawanie twarzy 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

12 / 74

8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy

Automatyczne rozpoznawanie twarzy Czynniki wpływające na rozpoznawanie czynniki stymulacyjne, związane z cechami charakterystycznymi twarzy czynniki psychofizyczne ◮ silny wpływ na jakość rozpoznania automatycznego modyfikacje twarzy ◮ silny wpływ na jakość rozpoznania automatycznego “typowość” twarzy: ◮ silny wpływ na jakość rozpoznania automatycznego

czynniki fotometryczne ◮ zasadniczy wpływ na jakość rozpoznania automatycznego czynniki subiektywne, związane z algorytmem rozpoznającym i bazą danych maszynowy prototyp twarzy zależy od algorytmu i zbioru uczącego

podstawowy problem: słaba generalizacja dla maszynowego rozpoznawania twarzy rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

13 / 74

8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy

Automatyczne wykrywanie i rozpoznawanie twarzy Cechy charakteryzujące systemy automatyczne

koszt oprzyrządowania: niski (2D), średni, malejący (3D) nieinwazyjność łatwy pomiar bez zgody osoby: monitoring, śledzenie (w zasadzie jedyna metoda) (zaleta i wada) przyzwyczajenie (kamery wideo w miejscach publicznych) ale czy akceptacja? możliwość tworzenia i wykorzystywania listy obserwacyjnej (ang. watch list) słaba generalizacja - inaczej niż przy rozpoznawaniu przez człowieka efektywność obliczeniowa zastosowania: lotniska, służby graniczne, więzienia, szpitale (w tym dziecięce, psychiatryczne), banki, centra obliczeniowe, hotele, kluby sportowe, kasyna

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

14 / 74

8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy

Główne zadania składowe 1

2

pozyskanie obrazu twarzy (skanowanie istniejącego obrazu, fotografia/filmowanie) detekcja twarzy: określić czy na obrazie jest twarz/twarze

jeśli tak: 3

segmentacja obrazu: określić lokalizację twarzy i region jaki zajmują

4

wyznaczenie cech obrazu twarzy

5

rozpoznawanie weryfikacja identyfikacja identyfikacja negatywna (weryfikacja listy obserwacyjnej) (ang. watch-list screening)

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

15 / 74

8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy

8.3: Przestrzeń obrazów, przestrzeń twarzy 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

16 / 74

8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy

Przestrzeń obrazów Obrazy a zbiory

JĘZYK OBRAZÓW

JĘZYK ZBIORÓW

zbiór (przestrzeń) obrazów obraz piksel liczba pikseli obrazu m obraz czarno-biały o m pikselach obraz o m pikselach w k-stopniowej skali szarości

zbiór punktów U wektor (punkt) element wektora liczba elementów wektora wektor w U = {0, 1}m (2m wektorów binarnych) wektor w U = {1, . . . , k}m ⊂ Rm , (k m wektorów) punkt w U = {1, . . . , 2K }m , (2Km wektorów) wektor w U = [0, 1]m ⊂ Rm krzywa T 7→ U podzbiór rozbicie zbioru U rozbicie na dwa podzbiory

obraz o m pikselach, głębia koloru K bpp obraz o m pikselach w ciągłej skali szarości obraz ruchomy (film) klasa klasyfikacja elementów U klasyfikacja binarna, dychotomia

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

17 / 74

8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy

Przestrzeń obrazów Przykłady

zbiór wszystkich obrazów o 1 pikselu zbiór wszystkich obrazów zbiór wszystkich obrazów zbiór wszystkich obrazów o 2 pikselach o 3 pikselach o 4 pikselach

zbiór wszystkich obrazów zbiór wszystkich obrazów w skali szarości o 2 w skali szarości o 3 pikselach pikselach rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

obrazy ruchome 18 czerwca 2015

18 / 74

8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy

Twarze w przestrzeni obrazów przestrzeń obrazów U zawiera wszystkie możliwe obrazy o zadanym rozmiarze 7 (gigantyczny wymiar rzędu 1010 ) liczba “interesujących obszarów” (twarzy) w tej przestrzeni jest na ogół niewielka (przestrzeń jest “pusta”) - szukanie igieł w gigantycznym stogu siana czy obrazy twarzy (obrazy na jeśli nie: jak scharakteryzować których jest twarz/twarze) są podzbiór w którym się znajdują bezładnie rozrzucone w całym U ?

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

19 / 74

8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy

Twarze w przestrzeni obrazów Hipotezy lokalizacji

hipoteza liniowości: zbiór obrazów twarzy tworzy podprzestrzeń afiniczną, tzn. każda twarz jest sumą stałego wektora twarzy średniej i kombinacji liniowej wektorów (twarzy) bazowych problemy: jak określić rząd podprzestrzeni, twarz średnią i twarze bazowe hipoteza rozmaitości: obrazy twarzy {x1 , . . . , xn } nie są rozrzucone bezładnie w U, ale leżą w pewnej rozmaitości X rozmaitość (ang. manifold): podzbiór przestrzeni topologicznej, który lokalnie “przypomina” przestrzeń Euklidesową)

problem: jak znaleźć tę funkcję?

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

20 / 74

8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy

Poszukiwanie zbioru twarzy Koncepcje lokalizacji twarzy w zbiorze obrazów

koncepcja strukturalna (analityczna) – wykorzystanie cech strukturalnych twarzy: człowiek z łatwością rozpoznaje twarze zatem istnieją cechy twarzy niezależne od oświetlenia, wyrazu twarzy, pozycji etc. metody bazujące na kolorze i geometrii twarzy (ang. (geometric) feature based approach): kontur twarzy, położenie oczu, nosa, ust, kształt oczu, nosa, ust, etc.

koncepcja holistyczna: rozpoznanie twarzy bazuje na całościowym obrazie twarzy (ang. appearance-based) bez wyodrębnianie cech strukturalnych utworzenie podprzestrzeni o (znacznie) mniejszej liczbie wymiarów przy zachowaniu istotnych własności obrazów twarzy analiza przykładów twarzy i nie-twarzy

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

21 / 74

8. Rozpoznawanie twarzy - Detekcja 8.4. Detekcja twarzy - podejście strukturalne

8.4: Detekcja twarzy - podejście strukturalne 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

22 / 74

8. Rozpoznawanie twarzy - Detekcja 8.4. Detekcja twarzy - podejście strukturalne

Detekcja twarzy - podejście strukturalne (ang. feature based approach)

metody wykorzystanie wiedzy dotyczącej struktury twarzy (ang. knowledge-based), np związków między częściami twarzy wykorzystanie obecności cech niezmienniczych twarzy feature-invariant approches, niezależnych od pozycji, oświetlenia, mimiki etc. dopasowywanie wzorców (ang. template matching) twarzy lub części twarzy metody wykorzystujące appearance-based

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

23 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

8.5: Detekcja twarzy - podejście holistyczne 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

24 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

Detekcja twarzy - podejście holistyczne

konstrukcja cech z wykorzystaniem twarzy i “nie twarzy” cechy typu “czarnej skrzynki” (np. falki Haara) rozkłady warunkowe P(cechy | twarz), P(cechy | nie-twarz) inne modele probabilistyczne (np. mieszaniny Gaussowskie)

klasyfikatory decyzje na podstawie odległości (Euklidesa, Mahalanobisa) pomiędzy obrazem i klastrami “twarzy” lub “nie-twarzy” naiwny klasyfikator bayesowski sieci neuronowe boosting i metoda Violi i Jonesa

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

25 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

⊛ Sieci neuronowe wykrywające twarz (1) ⊛ Przykład (Rowley, Baluja i Kanade 1998): piramida obrazów (ang. image pyramid) umożliwia detekcję dla różnych skal (skalowanie 1.2) okno (np. 20 × 20) przesuwane przez każdy obraz piramidy korekcja niejednolitego oświetlenia, wyrównywanie histogramu wartości każdego okna są wejściem sieci neuronowej

H.A. Rowley, S. Baluja, T. Kanade, “Neural Network-Based Face Detection”, IEEE Trans. on PAMI, vol. 20, N. 1, 1998

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

26 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

⊛ Sieci neuronowe wykrywające twarz (2) ⊛ Przykład (Rowley, Baluja i Kanade 1998):

sieć neuronowa rozpoznająca twarz wejścia podzielone na 26 pól recepcyjnych 4 pola 10 × 10 - wykrywanie oczu, nosa 16 pól 5 × 5 6 pól 20 × 5 (przecinające się) - wykrywanie ust, pary oczu

jedno pole zasila 1 lub więcej odpowiadających mu neuronów ukrytych wyjście sieci 0 lub 1 H.A. Rowley, S. Baluja, T. Kanade, “Neural Network-Based Face Detection”, IEEE Trans. on PAMI, vol. 20, N. 1, 1998

funkcja logiczna wyników wszystkich sieci redukuje liczbę fałszywych twarzy dla twarzy frontalnych 320 × 240 pikseli wykrycie 77.9% do 90.3% twarzy rozpoznawanie: przetwarzanie obrazu 70 sek., z dodatkowymi usprawnieniami 2-4 sek. procesor 200 MHz, 1999 rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

27 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

AdaBoost i metoda Violi-Jonesa Charakterystyka metody Violi-Jonesa

Paul Viola, Michael Jones, “Robust real-time object detection”, 2-nd Int. Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing and Sampling, Vancouver CA, 2001

analiza obrazu w oknach o różnych położeniach i rozmiarach dla każdego rozmiaru i położenia okna: zastosowanie kaskady detektorów (na każdym stopniu decyzja “nie-twarz” lub przejście do następnego stopnia) dla każdego stopnia kaskady: konstrukcja silnego klasyfikatora na podstawie niewielkiej liczby słabych klasyfikatorów – wykorzystanie metody AdaBoost ⋆ słabe klasyfikatory wykorzystują cechy typu Haara cech)

(dla okna 24×24 ok. 180K

⋆ wykorzystywany jest obraz zintegrowany

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

28 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

AdaBoost i metoda Violi-Jonesa Cechy typu Haara

u: obraz M × N pikseli, o jasności u( x, y), x = 1, . . . , M, y = 1, . . . , N cechy typu falek Haara: 5 typów przyległych prostokątów “białych” (W ) i “czarnych” (B) (różne wielkości, boki równoległe do osi obrazu)

  

     

(dla okna 24×24 ponad 160K klasyfikatorów) cecha X X φi (u) = ux,y − ux,y (x,y)∈Wi

(x,y)∈Bi

obliczenie wartości cechy: do 576 dodawań ale: obrazy zintegrowane

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

29 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

AdaBoost i metoda Violi-Jonesa Obraz zintegrowany

obraz zintegrowany u¯ x0 ,y0 przykład  1 3 u =  1 2

=

P

x≤x0 )

P

y≤y0

ux,y dla dowolnych x0 , y0

 4 2  2 1  1 1 2 1

  7 1 5 4 10 13  u¯ =  5 12 16 7 16 21

obliczanie sumy jasności dla dowolnego prostokąta Pj sprowadza się do czterech dodawań p(x,y)∈P = u¯ x′ ,y′ − u¯ x′ ,y′′ − u¯ x′′ ,y′ + u¯ x′′ ,y′′ gdzie (x ′ , y′ ) i (x ′′ , y′′ ) są współrzędnymi, odpowiednio, “lewego górnego” i “prawego dolnego” wierzchołka obliczenie cechy: co najwyżej 9 dodawań

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

30 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

AdaBoost i metoda Violi-Jonesa Idea algorytmu boosting

słaby klasyfikator: klasyfikator dowolnie niewiele lepszy od losowego silny klasyfikator: klasyfikator o dowolnie dobrej jakości Michael Kearns, 1988: hipoteza boosting ze zbioru słabych klasyfikatorów można skonstruować silny klasyfikator Robert E. Schapire (1990): hipoteza jest prawdziwa typowy algorytm boosting iteracyjne uczenie słabych klasyfikatorów silny klasyfikator tworzony poprzez kombinację liniową słabych klasyfikatorów po dodaniu słabego klasyfikatora obrazy źle sklasyfikowane zwiększają wagę, a dobrze sklasyfikowane zmniejszają wagę - uczenie “skupia się” na obrazach źle klasyfikowanych

algorytm AdaBoost: Schapire and Freund, nagroda Gödla 2003

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

31 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

AdaBoost i metoda Violi-Jonesa Detekcja kaskadowa -idea

kaskada (silnych) detektorów (ang. attentional cascade) AdaBoost nie-twarze wykryte w poprzednich stopniach są odrzucane i dalej analizowane są tylko pozostałe obrazy w kolejnych stopniach i kaskady coraz trudniej akceptowane są twarze do następnego etapu zwiększana jest liczba słabych klasyfikatorów w silnych klasyfikatorach w rezultacie rośnie częstość DRi = 1 − FRRi prawidłowej detekcji twarzy po i stopniach kaskady

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

32 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

AdaBoost i metoda Violi-Jonesa Algorytm Violi i Jonesa - Struktura

Algorytm Violi i Jonesa inicjalizacja: zbiór cech, początkowe: rozmiar okna (typowo 24×24 piksele), przesunięcie, skala przesunięcia i skalowanie okna • dla każdego okna: kaskada (mocnych) klasyfikatorów • dla każdego stopnia kaskady: dobór cech typu Haara i konstrukcja mocnego klasyfikatora techniką AdaBoost ze słabych klasyfikatorów typu Haara

• składanie wyników detekcji dla wszystkich okien

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

33 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

AdaBoost i metoda Violi-Jonesa Przykładowe działanie przykładowe wyniki (Viola, Jones 2001) uczenie: 4916 twarzy i ok. 10K nie-twarzy test: baza MIT+CMU 130 obrazów, 507 twarzy, rozdzielczość 24 × 24 piksele zmiana skali 1.25, przesunięcie 1.5 aktualnej skali 38 stopni kaskady łącznie 6061 cech: w kolejnych stopniach kaskady 1, 10, 25, 25, 50, ... , 200 (ostatnie 20 stopni) pierwszy stopień kaskady odrzuca 60% nie-twarzy długi trening rozpoznanie obrazu 384 × 288 pikseli: 67 msec DR≈ 99%, FAR≈ 0, 3% 15 razy szybszy niż detektor Rowleya-Baluja-Kanade, 600 razy szybszy niż detektor Schneidermana-Kanade rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

34 / 74

8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne

Weryfikacja i identyfikacja podejście strukturalne – bazujące na cechach strukturalnych twarzy (ang. feature based) indeksy antropometryczne lokalne wzorce binarne (ang. local binary patterns) LBP transformacja cech niezmienniczych w skali (ang. Scale Invariant Feature Transform) SIFT strukturalne cechy podprzestrzeni próbkowane spektralnie (ang. Spectrally Sampled Structural Subspace Features) 4SF

podejście holistyczne – bazujące na całościowym wyglądzie (ang. appearance based) twarze własne twarze Fishera

podejście hybrydowe bardziej odporne na zmiany pozy i oświetlenia

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

35 / 74

8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne

8.6: Weryfikacja i identyfikacja - podejście strukturaln 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

36 / 74

8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne

Metody antropometryczne (1) 44 punkty charakterystyczne 74 pomiary antropometryczne: odległości między punktami charakterystycznymi 58 indeksów antropometrycznych: proporcje odległości

W. Storage, L. Maish, Craniofacial Anthropometry of some Julio-Claudian Portraits (Summary of initial investigation), 2007, 2009 1. v vertex najwyższy punkt twarzy 2. g glabella najbardziej wystający punkt pomiędzy brwiami 3. op opisthocranion punkt na potylicy najbardziej odległy od punktu najbardziej wysuniętego do przodu ··· ··· ··· 44. sba subaurale najniższy punkt płatka ucha rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

37 / 74

8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne

Metody antropometryczne (2) Punkty charakterystyczne twarzy wg ISO 19704-5

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

38 / 74

8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne

⊛ Lokalizacja punktów twarzy modele deformowalne komponentów twarzy (ang. component based deformable model) kaskada kształtów deformowalnych (ang. cascade deformable shape model) ograniczone lokalne pola neuronowe (ang. constrained local neural field model) kaskada sieci splotowych zgrubne-do-dokładnych (ang. coarse-to-fine convolutional network cascade) kaskada splotowych sieci głębokich (ang. deep convolutional network cascade) bezpośrednie rozpoznawanie kształtu (ang. explicit shape recognition) ograniczone modele lokalne (ang. constrained local models) parametryzowana jądrowa analiza składowych głównych (ang. parameterized kernel PCA) uczenie wielokrotnych jąder (ang. multiple kernel learning) pół-nadzorowane uczenie (ang. semi-supervised learning) podejście Bayesa warunkowe lasy regresyjne (ang. conditional regressional forests) wielo-widoki (ang. multi view) przeszukanie kombinatoryczne i regresja kształtu (ang. combinatorial search and shape regression) rAndrzej metody Pacut (IAiIS drzew EiTI PW) (ang. tree-structured BIT: Semestr models) letni 2014/2015 18 czerwca 2015 39 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

8.7: Weryfikacja i identyfikacja - podejście holistyczne 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

40 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

Twarze własne Twarz średnia

baza n obrazów twarzy J × K; twarze reprezentowane przez wektory x1 , …, xn ∈ Rm , m = JK zbiór obrazów scharakteryzujemy przez ich centrum i rozrzut wokół centrum wykorzystując średnią i sumę kwadratów odchyłek P centrum określone jest przez średnią (wektor średnich) x = 1n ni=1 xi  T  x˜ 1    odchyłka od średniej x˜ i = xi − x, macierz odchyłek X˜ = . . . ∈Rn×m  T x˜ n

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

41 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

Twarze własne Rozrzut wokół średniej suma kwadratów SS (ang. sum of squares) odległości od średniej SS = s2 =

n X

kxi − xk2 =

i=1

n X

kx˜i k2 =

i=1

n X

x˜i T x˜i =

i=1

n X m X

x˜i k 2

i=1 k=1

macierz rozrzutu (ang. scatter matrix) wokół średniej  n  n   X X     T T S= x˜i x˜i = X˜ X˜ =  x˜i k x˜i ℓ  ∈ Rm×m     i=1 k,ℓ=1,...,m |i=1{z } n· empiryczna macierz kowariancji obrazu

SS można zapisać jako SS = s2 =

m X

Sk,k = tr S

k=1

empiryczna macierz kowariancji jest równa 1n S rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

42 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

⊛ Własności rozrzutu podprzestrzeń p-wymiarowa maksymalizująca rozrzut jest podprzestrzenią rozpiętą na p ortonormalnych wektorach własnych macierzy rozrzutu odpowiadających jej p (uwzględniając krotności) wartościom własnym rozrzut ten jest sumą p największych wartości własnych macierzy rozrzutu xT S−1 x = const: hiperelipsoida o osiach vi (wektory własne macierzy S) i długościach osi proporcjonalnych do λi (wartości własne S) rozrzut w kierunku k-tej osi ortogonalnego układu współrzędnych (ak - wersor k-tej osi) s2ak = Sk,k zatem rozrzut całkowity jest sumą rozrzutów w kierunku osi ortogonalnego układu współrzędnych rozrzut całkowity zdefiniowany jest niezależnie od układu współrzędnych, więc obrót układu współrzędnych (liniowa izometryczna zamiana zmiennych) nie zmienia rozrzutu (choć może zmieniać rozrzuty dla każdej współrzędnej) rozrzut w kierunku jako funkcja g(a) kierunku: wykres jest hiperelipsoidą (elipsą dla m = 2) rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

43 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

Twarze własne Szkic metody (1)

wyodrębnienie twarzy, normalizacja oświetlenia (jasność, kontrast) lokalizacja oczu dla standaryzacji położenia i skalowania P obliczyć twarz średnią x = 1n ni=1 xi   x1 − mT    utworzyć macierz twarzy centrowanych X˜ =  ...  ∈ Rn×m i macierz rozrzutu   xn − mT wokół średniej n X T S= x˜i x˜i T = X˜ X˜ ∈ Rm×m i=1

obliczyć wektory własne i wartości własne macierzy rozrzutu

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

44 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

Twarze własne Szkic metody (2)

odrzucić wektory własne odpowiadające najmniejszym wartościom własnym; nieodrzucone wektory własne to twarze własne (ok. 100-150 twarzy własnych) obliczyć współczynniki względem bazy twarzy własnych nowe twarze: rzutować na podprzestrzeń twarzy własnych, obliczyć współczynniki rozwinięcia względem bazy twarzy własnych klasyfikować metodą najbliższego sąsiada modyfikacje: cechy własne (ang. eigenfeatures): analiza składowych głównych dla parametrów twarzy, odległości elementów charakterystycznych (ang. eigeneyes, eigennoses, eigenmouths) podstawowa zaleta: szybkość (redukcja do 1/1000 pełnej bazy) wrażliwość na pozycję twarzy, oświetlenie, deformacje, zranienia, nakrycie głowy, broda, ręce w pobliżu twarzy, makijaż, etc.

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

45 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

E Twarze własne

E Przykład: Elementy bazy danych

www.geop.ubc.ca/CDSST/eigenfaces.html rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

46 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

E Twarze własne

E Przykład: Twarze własne i pozostałe wektory własne

0,1-10, 91-100, 2567-2576, 46 × 56 = 2576 pikseli, 3655 twarzy rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

47 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

⊛ Twarze Fishera ⊛ Rozrzut wewnątrz klas i między klasami n obrazów w Rm klasy obrazów C1 , . . . , Cc (np. klasa = osoba); nk obrazów w klasie Ck P średnie wewnątrz klas xk = n1k i∈Ck xi macierz rozrzutu wewnątrzklasowego c X X

Sw =

(xi − xk )(xi − xk )T

k=1 i∈Ck

macierz rozrzutu międzyklasowego Sb =

c X

nk (xk − x)(xk − x)T = S − Sw

k=1

nk jest wagą związaną z liczbą elementów w klasie k znaleźć przekształcenie liniowe W ∗ do przestrzeni r-wymiarowej maksymalizujące rozrzut międzyklasowy minimalizujące rozrzut wewnątrzklasowy rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

48 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

⊛ Twarze Fishera ⊛ Liniowa analiza dyskryminacyjna stopień separacji klas

det(Sb ) det(Sw )

(dla Sw > 0)

liniowa analiza dyskryminacyjna LDA (ang. linear discriminant analysis): znaleźć przekształcenie liniowe W ∗ ∈Rn×r do podprzestrzeni rzędu r maksymalizujące stopień separacji klas W ∗ = arg max n×r W∈R

det(W T Sb W) det(W T Sw W)

przy założeniu że Sw > 0 uogólnione wektory własne w i uogólnione wartości własne β spełniają równanie Sb w = β Sw w kolumnami macierzy W ∗ jest r uogólnionych wektorów własnych macierzy Sb , Sw odpowiadających r największym uogólnionym wartościom własnym rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

49 / 74

8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne

⊛ Twarze Fishera ⊛ Przykład przykłady różnic między-klasowych

kilka pierwszych kierunków największej zmienności między-klasowej

Kucharski 2006 rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

50 / 74

8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania

8.8: Jakość rozpoznawania 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

51 / 74

8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania

Rozwój metodologii

P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

52 / 74

8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania

Rozrzut jakości

P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007

FRR dla FAR=0.001 zbiory danych: rozdzielczość bardzo duża, duża, niska rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

53 / 74

8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania

Rozpoznawanie maszynowe a rozpoznanie przez człowieka

P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007

ROC dla rozpoznawania maszynowego i przez człowieka przy zmiennym oświetleniu rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

54 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

8.9: Problemy biometrii twarzy 2D 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

55 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Biometria twarzy 2D Czynniki jakościowe (1)

wrażliwość metod na czynniki fotometryczne położenie twarzy: nachylenie/przechylenie płaszczyzny twarzy (położenie twarzy): nachylenie w osi ramion, obrót wokół osi szyi obrót w płaszczyźnie twarzy modele morficzne (morphable models) przetwarzają obraz na frontalny - wzrost jakości z 26% do 84%

inne czynniki fotometryczne: położenie źródeł, spektrum światła, intensywność, charakterystyka kamery, rozdzielczość dla oświetlenia naturalnego spadek jakości do 50%

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

56 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Biometria twarzy 2D Czynniki jakościowe (2)

wrażliwość metod na modyfikacje bodźców optycznych czynniki psychofizyczne mimikę twarzy wiek: starsi lepiej rozpoznawalni od młodszych (wzrost jakości 5% na każde 10 lat) płeć: mężczyźni łatwiej (6-9%) rozpoznawalni od kobiet

modyfikacje i deformacje twarzy: okulary, broda, wąsy, biżuteria, rany, blizny “typowość” twarzy

wrażliwość na czynniki subiektywne: wpływ bazy danych

mimo szybkiego rozwoju metodologii, jakość rozpoznawania automatycznego ustępuje rozpoznawaniu przez człowieka

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

57 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Standardowe obrazy twarzy

obraz frontalny twarzy (ang. frontal face image) pełny obraz frontalny twarzy (ang. full frontal image) token twarzy (ang. token face)

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

58 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Standardowe obrazy twarzy Obraz frontalny - wymagana kompozycja obrazu (1) położenie głowy (ang. frontal face image) przekręcenie głowy (ang. yaw) - obrót wokół osi pionowej: do ±5◦ C pochylenie głowy (ang. pitch) - obrót wokół osi poziomej równoległej do ramion (ruch góra/dół): do ±5◦ C przechylenie głowy (ang. roll) - obrót wokół osi poziomej prostopadłej do ramion (ruch na boki): do ±5◦ C

przekręcenie

pochylenie

przechylenie

ISO 19794-5: 2011

ISO 19794-5: 2011

ramiona: w płaszczyźnie obrazu rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

59 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Standardowe obrazy twarzy Obraz frontalny - wymagana kompozycja obrazu (2)

oczy: brwi nie mogą zacieniać oczodołów, widoczne tęczówki i źrenice przesłonięcia: obszar twarzy widoczny i wolny od cieni; jeśli ze względów religijnych twarz ma być przesłonięta, osłony nie mogą zakrywać cech twarzy lub tworzyć cieni okulary: przejrzyste (z wyjątkiem powodów medycznych), oprawki nie mogą przesłaniać oczu, bez odbłysków na szkłach

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

60 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Standardowe obrazy twarzy Obraz frontalny - wymagania techniczne

oświetlenie: jednostajne, bez prześwietleń czy niedoświetleń ostrość: obraz twarzy powinien być ostry kolor: nasycenie koloru obrazu 24-bitowego (RGB, 8 bitów na kolor) takie, by po konwersji do szarości zmienność intensywności w obszarze twarzy była co najmniej 7-bitowa, kolor skóry powinien być “naturalny”, „czerwone oczy” niedopuszczalne skala: dla obrazów cyfrowych liczba pikseli na cal w kierunku pionowym i poziomym powinny być identyczne

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

61 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Standardowe obrazy twarzy Obraz pełny frontalny

ISO 19794-5:2011

wymagania twarzy frontalnej środki ust i nosa na osi symetrii 0.5 ≤ BB 0.6 ≤ DD B ≤ 0.7, B ≤ 0.9*, CC ≥ 180 pikseli rAndrzej Pacut (IAiIS EiTI PW)

0.5 ≤

CC A

BIT: Semestr letni 2014/2015

≤ 0.75* 18 czerwca 2015

62 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Obraz twarzy Token twarzy szerokość / wysokość W/H = 0.75 szerokość minimalna W ≤ 240 pikseli (wysokość ok. 320 pikseli) współrzędne środków oczu (0.6W, 0.375W), (0.6W, 0.625W − 1) (y mierzone od góry obrazu; odległość środków oczu 0.25W) ISO 19794-5:2011

wymiary w pikselach

tworzenie tokena o szerokości 240 pikseli: obrót do poziomej linii oczu; skalowanie do 60 pikseli między środkami oczu; translacja i przycięcie do współrzędnych lewego oka (89,144) (w pikselach); uzupełnienie tła ISO 19794-5:2011 rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

63 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Obraz twarzy Dokumenty podróży (1) zdjęcie o szerokości 35-40 mm obejmujące głowę i górę ramion, twarz zajmuje ok. 70-80% powierzchni

! twarz zbyt blisko / zbyt daleko

! twarz zamazana / ślady atramentu, załamania

zdjęcie ostre, bez zaznaczeń czy załamań

! spojrzenie nie na wprost / nienaturalna tonacja barwna

wzrok skierowany w obiektyw zdjęcie o właściwej jasności, kontraście i tonacji skóry

! zdjęcie zbyt ciemne / zbyt jasne

wydruk o wysokiej rozdzielczości na papierze wysokiej jakości

! wyblakłe kolory / zamazanie rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

64 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Obraz twarzy Dokumenty podróży (2)

! włosy przysłaniają oczy / oczy przymknięte

oczy muszą być otwarte i nieprzesłonięte

! styl portretowy / twarz pochylona

nie należy przechylać lub pochylać głowy, krawędzie twarzy muszą być widoczne tło musi być gładkie i jasne

! zatłoczone tło / twarz niecentryczna

! odbicie flesza na twarzy / “czerwone oczy”

oświetlenie powinno być równomierne, bez cieni, odbić flesza czy “czerwonych oczu”

! cień za głową / cień na twarzy rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

65 / 74

8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D

Obraz twarzy Dokumenty podróży (3) ! ciemne okulary / odbicia flesza szkłach

oczy muszą być widoczne, bez odbić flesza na szkłach; oprawki nie mogą przesłaniać oczu i być zbyt grube

! oprawki zbyt grube / oprawki przesłaniają oczy

głowa musi być odsłonięta chyba, że religia tego zabrania; twarz zawsze jednak musi być w całości widoczna

! założony kapelusz / czapka

! twarz zakryta / cienie na twarzy

zdjęcie musi pokazywać jedną osobę (bez osób i przedmiotów w tle), patrzącą w obiektyw i mającą neutralny wyraz twarzy

! druga osoba w tle / otwarte usta, zabawki zbyt blisko twarzy rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

66 / 74

8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D

8.10: Metody 3D 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

67 / 74

8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D

Od technik 2D do technik 3D 2D: geometria twarzy reprezentowana przez strukturę światła odbitego 3D: techniki “shape from stereo”: użycie więcej niż 1 kamery informacja o głębokości każdego punktu wyznaczana z modelu geometrycznego; niski koszt, łatwość implementacii laserowe czujniki odległości; problem bezpieczeństwa światło strukturalne (widzialne lub podczerwień): projekcja znanego wzorca na twarz + triangulacja aproksymacja ze wzorców 2D

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

68 / 74

8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D

Rozrzut jakości - techniki 3D

P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007 rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

69 / 74

8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D

Wrażliwość metod 3D

+ mniejsza wrażliwość na położenie głowy, oświetlenie + mniejszy wpływ mimiki, makijażu + łatwiejsza detekcja żywotności + coraz niższy koszt − wątpliwa możliwość wykorzystania baz obrazów 2D (brak “backcompatibility”) − problemy z rozdzielczością dla większych odległości

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

70 / 74

8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D

Systemy komercyjne Przykłady

R. Kimmel and G. Sapiro, SIAM News, Vol. 36, N.3, 2003

weryfikacja: FAR 1%, FRR 10% identyfikacja: 85% dla 800 twarzy, typowo 77% (odciski: 90 %) producenci: Cognitec Systems (Face VACS), L-1 (Identix + Viisage) G6FaceTools, A4Vision (3D), Neven Vision (Google), Neurotechnologija, MIT Artificial Intelligence Laboratory (Face Pass), Miros (True Face, True Face Cyber Watch), Crossmatch rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

71 / 74

8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D

Komercyjna rola biometrii twarzy

na podstawie Biometrics Market and Industry Report 2007-2012, IBG 2007

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

72 / 74

8. Rozpoznawanie twarzy - Detekcja 8.11.

Zagadnienia, pytania, zadania

Z8.1. Z8.2. Z8.3. Z8.4. Z8.5. Z8.6.

Czynniki wpływające na rozpoznawanie twarzy przez człowieka Własności systemów wykrywania i rozpoznawania twarzy AdaBoost, klasyfikatory słabe a klasyfikator silny Klasyfikatory słabe w metodzie Violi-Jonesa Struktura algorytmu Violi-Jonesa Wykorzystanie obrazu zintegrowanego w metodzie Violi-Jonesa

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

73 / 74

8. Rozpoznawanie twarzy - Detekcja 8.11.

Zagadnienia, pytania, zadania

Z8.7. Z8.8. Z8.9. Z8.10.

Co to są twarze własne Weryfikacja tożsamości metodą twarzy własnych Podstawowe czynniki jakościowe biometrii twarzy Podstawowe techniki 3D rozpoznawania twarzy

rAndrzej Pacut (IAiIS EiTI PW)

BIT: Semestr letni 2014/2015

18 czerwca 2015

74 / 74