8. Rozpoznawanie twarzy - Detekcja
8: Rozpoznawanie twarzy - Detekcja
8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
1 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
8.1: Rozpoznawanie twarzy przez człowieka 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
2 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Zdolności rozpoznawania twarzy
dziecko rozpoznaje twarz matki w 3. dobie życia człowiek może zidentyfikować setki lub tysiące twarzy możliwość ślepej identyfikacji twarzy: twarz “znana” czy “nieznana”, bez identyfikacji osoby możliwość ślepej identyfikacji kategorii takich jak płeć, wiek, rasa, emocje (złość, radość etc.) specyficzna reakcja na nietypowe cechy twarzy (zob. “iluzja Thatcher” ⇓) wykrywanie twarzy nawet tam gdzie ich nie ma (zob. iluzje optyczne ⇓)
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
3 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Iluzja Thatcher (1)
y P. Thompson (1980). Margaret Thatcher: A new illusion. Perception, 9, 483-484. rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
4 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie przez człowieka Iluzja Thatcher (2)
P. Thompson (1980). Margaret Thatcher: A new illusion. Perception, 9, 483-484.
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
5 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Wpływ obrazu: Iluzje optyczne
www.newopticalillusions.com, opticalillusion.wordpress.com/2007/12/27/face-or-a-tree-illusion, www.moillusions.com/2007/12/ accidental-smileys-optical-illusion-set.html rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
6 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Czynniki wpływające na rozpoznawanie
czynniki stymulacyjne, związane z wyglądem twarzy czynniki fotometryczne, związane z pozyskaniem obrazu czynniki subiektywne, związane z osobą rozpoznającą
powyższe czynniki różnicują również automatyczne rozpoznawanie twarzy
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
7 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Czynniki stymulacyjne
czynniki stymulacyjne (ang. stimulus factors) - zróżnicowanie siły bodźca w zależności od wyglądu twarzy czynniki psychofizyczne: emocje, starzenie, choroba ◮ dla znanych twarzy - słaby wpływ na jakość rozpoznania
modyfikacje twarzy: makijaż, okulary, ubranie ◮ dla znanych twarzy - słaby wpływ na jakość rozpoznania
“typowość” twarzy ◮ twarze nietypowe są łatwiej rozpoznawane co to znaczy “typowe”, “nietypowe”? prototyp twarzy np. “twarz średnia” → subiektywne czy istotne dla rozpoznania jest odchylenie od prototypu twarzy? → subiektywne
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
8 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Czynniki fotometryczne czynniki fotometryczne oświetlenie pozycja, odległość, przesłonięcia obrazu
◮
dla zapamiętanych twarzy - czynniki fotometryczne mają słaby wpływ na jakość rozpoznania jaki sposób zapamiętywania twarzy umożliwia taką generalizację ? koncepcje zapamiętywania twarzy
mózg nie działa bezpośrednio na obrazie twarzy, lecz bazuje na cechach strukturalnych obrazu twarzy (wzorce lokalne, histogramy gradientu orientacji, …) teorie strukturalne - reprezentacja 3D w mózgu (David Marr, Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. New York: Freeman)
teorie interpolacyjne - mózg pamięta szereg obrazów 2D i interpoluje obrazy 3D (Poggio, Edelman, A network that learn to recognize 3D objects, Nature 343, pp. 263-266, 1991)
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
9 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Czynniki subiektywne
czynniki subiektywne - zależne od rozpoznającego efekt “innej rasy” - słabe rozpoznawanie ludzi innych ras: twarze dalekie od prototypu słabiej rozróżnialne pomiędzy sobą jakość wzroku prototyp twarzy jest subiektywny i zależy od doświadczenia
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
10 / 74
8. Rozpoznawanie twarzy - Detekcja 8.1. Rozpoznawanie twarzy przez człowieka
Rozpoznawanie twarzy przez człowieka Aspekty neurofizjologiczne prosopagnosia: niemożność identyfikacji na podstawie twarzy (możliwa przez wykorzystanie innych cech np. głosu; działa rozpoznawanie wyrazu twarzy) fMRI (ang. functional magnetic resonance imaging), PET (ang. positron emission tomography) różne pobudzenie mózgu obrazami twarzy i nie-twarzy obszar najsilniej pobudzany: zakręt wrzecionowaty płatu skroniowego FFA (ang. fusiform face area), głównie w prawej półkuli
Thomson 1980
rAndrzej Pacut (IAiIS EiTI PW)
Karen Pierce, UC San Diego School of Medicine, http://autism-center.ucsd.edu/ whatcauses-autism/Pages/fmri.aspx BIT: Semestr letni 2014/2015
18 czerwca 2015
11 / 74
8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy
8.2: Automatyczne wykrywanie i rozpoznawanie twarzy 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
12 / 74
8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy
Automatyczne rozpoznawanie twarzy Czynniki wpływające na rozpoznawanie czynniki stymulacyjne, związane z cechami charakterystycznymi twarzy czynniki psychofizyczne ◮ silny wpływ na jakość rozpoznania automatycznego modyfikacje twarzy ◮ silny wpływ na jakość rozpoznania automatycznego “typowość” twarzy: ◮ silny wpływ na jakość rozpoznania automatycznego
czynniki fotometryczne ◮ zasadniczy wpływ na jakość rozpoznania automatycznego czynniki subiektywne, związane z algorytmem rozpoznającym i bazą danych maszynowy prototyp twarzy zależy od algorytmu i zbioru uczącego
podstawowy problem: słaba generalizacja dla maszynowego rozpoznawania twarzy rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
13 / 74
8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy
Automatyczne wykrywanie i rozpoznawanie twarzy Cechy charakteryzujące systemy automatyczne
koszt oprzyrządowania: niski (2D), średni, malejący (3D) nieinwazyjność łatwy pomiar bez zgody osoby: monitoring, śledzenie (w zasadzie jedyna metoda) (zaleta i wada) przyzwyczajenie (kamery wideo w miejscach publicznych) ale czy akceptacja? możliwość tworzenia i wykorzystywania listy obserwacyjnej (ang. watch list) słaba generalizacja - inaczej niż przy rozpoznawaniu przez człowieka efektywność obliczeniowa zastosowania: lotniska, służby graniczne, więzienia, szpitale (w tym dziecięce, psychiatryczne), banki, centra obliczeniowe, hotele, kluby sportowe, kasyna
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
14 / 74
8. Rozpoznawanie twarzy - Detekcja 8.2. Automatyczne wykrywanie i rozpoznawanie twarzy
Główne zadania składowe 1
2
pozyskanie obrazu twarzy (skanowanie istniejącego obrazu, fotografia/filmowanie) detekcja twarzy: określić czy na obrazie jest twarz/twarze
jeśli tak: 3
segmentacja obrazu: określić lokalizację twarzy i region jaki zajmują
4
wyznaczenie cech obrazu twarzy
5
rozpoznawanie weryfikacja identyfikacja identyfikacja negatywna (weryfikacja listy obserwacyjnej) (ang. watch-list screening)
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
15 / 74
8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy
8.3: Przestrzeń obrazów, przestrzeń twarzy 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
16 / 74
8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy
Przestrzeń obrazów Obrazy a zbiory
JĘZYK OBRAZÓW
JĘZYK ZBIORÓW
zbiór (przestrzeń) obrazów obraz piksel liczba pikseli obrazu m obraz czarno-biały o m pikselach obraz o m pikselach w k-stopniowej skali szarości
zbiór punktów U wektor (punkt) element wektora liczba elementów wektora wektor w U = {0, 1}m (2m wektorów binarnych) wektor w U = {1, . . . , k}m ⊂ Rm , (k m wektorów) punkt w U = {1, . . . , 2K }m , (2Km wektorów) wektor w U = [0, 1]m ⊂ Rm krzywa T 7→ U podzbiór rozbicie zbioru U rozbicie na dwa podzbiory
obraz o m pikselach, głębia koloru K bpp obraz o m pikselach w ciągłej skali szarości obraz ruchomy (film) klasa klasyfikacja elementów U klasyfikacja binarna, dychotomia
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
17 / 74
8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy
Przestrzeń obrazów Przykłady
zbiór wszystkich obrazów o 1 pikselu zbiór wszystkich obrazów zbiór wszystkich obrazów zbiór wszystkich obrazów o 2 pikselach o 3 pikselach o 4 pikselach
zbiór wszystkich obrazów zbiór wszystkich obrazów w skali szarości o 2 w skali szarości o 3 pikselach pikselach rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
obrazy ruchome 18 czerwca 2015
18 / 74
8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy
Twarze w przestrzeni obrazów przestrzeń obrazów U zawiera wszystkie możliwe obrazy o zadanym rozmiarze 7 (gigantyczny wymiar rzędu 1010 ) liczba “interesujących obszarów” (twarzy) w tej przestrzeni jest na ogół niewielka (przestrzeń jest “pusta”) - szukanie igieł w gigantycznym stogu siana czy obrazy twarzy (obrazy na jeśli nie: jak scharakteryzować których jest twarz/twarze) są podzbiór w którym się znajdują bezładnie rozrzucone w całym U ?
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
19 / 74
8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy
Twarze w przestrzeni obrazów Hipotezy lokalizacji
hipoteza liniowości: zbiór obrazów twarzy tworzy podprzestrzeń afiniczną, tzn. każda twarz jest sumą stałego wektora twarzy średniej i kombinacji liniowej wektorów (twarzy) bazowych problemy: jak określić rząd podprzestrzeni, twarz średnią i twarze bazowe hipoteza rozmaitości: obrazy twarzy {x1 , . . . , xn } nie są rozrzucone bezładnie w U, ale leżą w pewnej rozmaitości X rozmaitość (ang. manifold): podzbiór przestrzeni topologicznej, który lokalnie “przypomina” przestrzeń Euklidesową)
problem: jak znaleźć tę funkcję?
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
20 / 74
8. Rozpoznawanie twarzy - Detekcja 8.3. Przestrzeń obrazów, przestrzeń twarzy
Poszukiwanie zbioru twarzy Koncepcje lokalizacji twarzy w zbiorze obrazów
koncepcja strukturalna (analityczna) – wykorzystanie cech strukturalnych twarzy: człowiek z łatwością rozpoznaje twarze zatem istnieją cechy twarzy niezależne od oświetlenia, wyrazu twarzy, pozycji etc. metody bazujące na kolorze i geometrii twarzy (ang. (geometric) feature based approach): kontur twarzy, położenie oczu, nosa, ust, kształt oczu, nosa, ust, etc.
koncepcja holistyczna: rozpoznanie twarzy bazuje na całościowym obrazie twarzy (ang. appearance-based) bez wyodrębnianie cech strukturalnych utworzenie podprzestrzeni o (znacznie) mniejszej liczbie wymiarów przy zachowaniu istotnych własności obrazów twarzy analiza przykładów twarzy i nie-twarzy
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
21 / 74
8. Rozpoznawanie twarzy - Detekcja 8.4. Detekcja twarzy - podejście strukturalne
8.4: Detekcja twarzy - podejście strukturalne 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
22 / 74
8. Rozpoznawanie twarzy - Detekcja 8.4. Detekcja twarzy - podejście strukturalne
Detekcja twarzy - podejście strukturalne (ang. feature based approach)
metody wykorzystanie wiedzy dotyczącej struktury twarzy (ang. knowledge-based), np związków między częściami twarzy wykorzystanie obecności cech niezmienniczych twarzy feature-invariant approches, niezależnych od pozycji, oświetlenia, mimiki etc. dopasowywanie wzorców (ang. template matching) twarzy lub części twarzy metody wykorzystujące appearance-based
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
23 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
8.5: Detekcja twarzy - podejście holistyczne 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
24 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
Detekcja twarzy - podejście holistyczne
konstrukcja cech z wykorzystaniem twarzy i “nie twarzy” cechy typu “czarnej skrzynki” (np. falki Haara) rozkłady warunkowe P(cechy | twarz), P(cechy | nie-twarz) inne modele probabilistyczne (np. mieszaniny Gaussowskie)
klasyfikatory decyzje na podstawie odległości (Euklidesa, Mahalanobisa) pomiędzy obrazem i klastrami “twarzy” lub “nie-twarzy” naiwny klasyfikator bayesowski sieci neuronowe boosting i metoda Violi i Jonesa
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
25 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
⊛ Sieci neuronowe wykrywające twarz (1) ⊛ Przykład (Rowley, Baluja i Kanade 1998): piramida obrazów (ang. image pyramid) umożliwia detekcję dla różnych skal (skalowanie 1.2) okno (np. 20 × 20) przesuwane przez każdy obraz piramidy korekcja niejednolitego oświetlenia, wyrównywanie histogramu wartości każdego okna są wejściem sieci neuronowej
H.A. Rowley, S. Baluja, T. Kanade, “Neural Network-Based Face Detection”, IEEE Trans. on PAMI, vol. 20, N. 1, 1998
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
26 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
⊛ Sieci neuronowe wykrywające twarz (2) ⊛ Przykład (Rowley, Baluja i Kanade 1998):
sieć neuronowa rozpoznająca twarz wejścia podzielone na 26 pól recepcyjnych 4 pola 10 × 10 - wykrywanie oczu, nosa 16 pól 5 × 5 6 pól 20 × 5 (przecinające się) - wykrywanie ust, pary oczu
jedno pole zasila 1 lub więcej odpowiadających mu neuronów ukrytych wyjście sieci 0 lub 1 H.A. Rowley, S. Baluja, T. Kanade, “Neural Network-Based Face Detection”, IEEE Trans. on PAMI, vol. 20, N. 1, 1998
funkcja logiczna wyników wszystkich sieci redukuje liczbę fałszywych twarzy dla twarzy frontalnych 320 × 240 pikseli wykrycie 77.9% do 90.3% twarzy rozpoznawanie: przetwarzanie obrazu 70 sek., z dodatkowymi usprawnieniami 2-4 sek. procesor 200 MHz, 1999 rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
27 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
AdaBoost i metoda Violi-Jonesa Charakterystyka metody Violi-Jonesa
Paul Viola, Michael Jones, “Robust real-time object detection”, 2-nd Int. Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing and Sampling, Vancouver CA, 2001
analiza obrazu w oknach o różnych położeniach i rozmiarach dla każdego rozmiaru i położenia okna: zastosowanie kaskady detektorów (na każdym stopniu decyzja “nie-twarz” lub przejście do następnego stopnia) dla każdego stopnia kaskady: konstrukcja silnego klasyfikatora na podstawie niewielkiej liczby słabych klasyfikatorów – wykorzystanie metody AdaBoost ⋆ słabe klasyfikatory wykorzystują cechy typu Haara cech)
(dla okna 24×24 ok. 180K
⋆ wykorzystywany jest obraz zintegrowany
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
28 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
AdaBoost i metoda Violi-Jonesa Cechy typu Haara
u: obraz M × N pikseli, o jasności u( x, y), x = 1, . . . , M, y = 1, . . . , N cechy typu falek Haara: 5 typów przyległych prostokątów “białych” (W ) i “czarnych” (B) (różne wielkości, boki równoległe do osi obrazu)
(dla okna 24×24 ponad 160K klasyfikatorów) cecha X X φi (u) = ux,y − ux,y (x,y)∈Wi
(x,y)∈Bi
obliczenie wartości cechy: do 576 dodawań ale: obrazy zintegrowane
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
29 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
AdaBoost i metoda Violi-Jonesa Obraz zintegrowany
obraz zintegrowany u¯ x0 ,y0 przykład 1 3 u = 1 2
=
P
x≤x0 )
P
y≤y0
ux,y dla dowolnych x0 , y0
4 2 2 1 1 1 2 1
7 1 5 4 10 13 u¯ = 5 12 16 7 16 21
obliczanie sumy jasności dla dowolnego prostokąta Pj sprowadza się do czterech dodawań p(x,y)∈P = u¯ x′ ,y′ − u¯ x′ ,y′′ − u¯ x′′ ,y′ + u¯ x′′ ,y′′ gdzie (x ′ , y′ ) i (x ′′ , y′′ ) są współrzędnymi, odpowiednio, “lewego górnego” i “prawego dolnego” wierzchołka obliczenie cechy: co najwyżej 9 dodawań
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
30 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
AdaBoost i metoda Violi-Jonesa Idea algorytmu boosting
słaby klasyfikator: klasyfikator dowolnie niewiele lepszy od losowego silny klasyfikator: klasyfikator o dowolnie dobrej jakości Michael Kearns, 1988: hipoteza boosting ze zbioru słabych klasyfikatorów można skonstruować silny klasyfikator Robert E. Schapire (1990): hipoteza jest prawdziwa typowy algorytm boosting iteracyjne uczenie słabych klasyfikatorów silny klasyfikator tworzony poprzez kombinację liniową słabych klasyfikatorów po dodaniu słabego klasyfikatora obrazy źle sklasyfikowane zwiększają wagę, a dobrze sklasyfikowane zmniejszają wagę - uczenie “skupia się” na obrazach źle klasyfikowanych
algorytm AdaBoost: Schapire and Freund, nagroda Gödla 2003
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
31 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
AdaBoost i metoda Violi-Jonesa Detekcja kaskadowa -idea
kaskada (silnych) detektorów (ang. attentional cascade) AdaBoost nie-twarze wykryte w poprzednich stopniach są odrzucane i dalej analizowane są tylko pozostałe obrazy w kolejnych stopniach i kaskady coraz trudniej akceptowane są twarze do następnego etapu zwiększana jest liczba słabych klasyfikatorów w silnych klasyfikatorach w rezultacie rośnie częstość DRi = 1 − FRRi prawidłowej detekcji twarzy po i stopniach kaskady
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
32 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
AdaBoost i metoda Violi-Jonesa Algorytm Violi i Jonesa - Struktura
Algorytm Violi i Jonesa inicjalizacja: zbiór cech, początkowe: rozmiar okna (typowo 24×24 piksele), przesunięcie, skala przesunięcia i skalowanie okna • dla każdego okna: kaskada (mocnych) klasyfikatorów • dla każdego stopnia kaskady: dobór cech typu Haara i konstrukcja mocnego klasyfikatora techniką AdaBoost ze słabych klasyfikatorów typu Haara
• składanie wyników detekcji dla wszystkich okien
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
33 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
AdaBoost i metoda Violi-Jonesa Przykładowe działanie przykładowe wyniki (Viola, Jones 2001) uczenie: 4916 twarzy i ok. 10K nie-twarzy test: baza MIT+CMU 130 obrazów, 507 twarzy, rozdzielczość 24 × 24 piksele zmiana skali 1.25, przesunięcie 1.5 aktualnej skali 38 stopni kaskady łącznie 6061 cech: w kolejnych stopniach kaskady 1, 10, 25, 25, 50, ... , 200 (ostatnie 20 stopni) pierwszy stopień kaskady odrzuca 60% nie-twarzy długi trening rozpoznanie obrazu 384 × 288 pikseli: 67 msec DR≈ 99%, FAR≈ 0, 3% 15 razy szybszy niż detektor Rowleya-Baluja-Kanade, 600 razy szybszy niż detektor Schneidermana-Kanade rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
34 / 74
8. Rozpoznawanie twarzy - Detekcja 8.5. Detekcja twarzy - podejście holistyczne
Weryfikacja i identyfikacja podejście strukturalne – bazujące na cechach strukturalnych twarzy (ang. feature based) indeksy antropometryczne lokalne wzorce binarne (ang. local binary patterns) LBP transformacja cech niezmienniczych w skali (ang. Scale Invariant Feature Transform) SIFT strukturalne cechy podprzestrzeni próbkowane spektralnie (ang. Spectrally Sampled Structural Subspace Features) 4SF
podejście holistyczne – bazujące na całościowym wyglądzie (ang. appearance based) twarze własne twarze Fishera
podejście hybrydowe bardziej odporne na zmiany pozy i oświetlenia
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
35 / 74
8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne
8.6: Weryfikacja i identyfikacja - podejście strukturaln 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
36 / 74
8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne
Metody antropometryczne (1) 44 punkty charakterystyczne 74 pomiary antropometryczne: odległości między punktami charakterystycznymi 58 indeksów antropometrycznych: proporcje odległości
W. Storage, L. Maish, Craniofacial Anthropometry of some Julio-Claudian Portraits (Summary of initial investigation), 2007, 2009 1. v vertex najwyższy punkt twarzy 2. g glabella najbardziej wystający punkt pomiędzy brwiami 3. op opisthocranion punkt na potylicy najbardziej odległy od punktu najbardziej wysuniętego do przodu ··· ··· ··· 44. sba subaurale najniższy punkt płatka ucha rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
37 / 74
8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne
Metody antropometryczne (2) Punkty charakterystyczne twarzy wg ISO 19704-5
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
38 / 74
8. Rozpoznawanie twarzy - Detekcja 8.6. Weryfikacja i identyfikacja - podejście strukturalne
⊛ Lokalizacja punktów twarzy modele deformowalne komponentów twarzy (ang. component based deformable model) kaskada kształtów deformowalnych (ang. cascade deformable shape model) ograniczone lokalne pola neuronowe (ang. constrained local neural field model) kaskada sieci splotowych zgrubne-do-dokładnych (ang. coarse-to-fine convolutional network cascade) kaskada splotowych sieci głębokich (ang. deep convolutional network cascade) bezpośrednie rozpoznawanie kształtu (ang. explicit shape recognition) ograniczone modele lokalne (ang. constrained local models) parametryzowana jądrowa analiza składowych głównych (ang. parameterized kernel PCA) uczenie wielokrotnych jąder (ang. multiple kernel learning) pół-nadzorowane uczenie (ang. semi-supervised learning) podejście Bayesa warunkowe lasy regresyjne (ang. conditional regressional forests) wielo-widoki (ang. multi view) przeszukanie kombinatoryczne i regresja kształtu (ang. combinatorial search and shape regression) rAndrzej metody Pacut (IAiIS drzew EiTI PW) (ang. tree-structured BIT: Semestr models) letni 2014/2015 18 czerwca 2015 39 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
8.7: Weryfikacja i identyfikacja - podejście holistyczne 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
40 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
Twarze własne Twarz średnia
baza n obrazów twarzy J × K; twarze reprezentowane przez wektory x1 , …, xn ∈ Rm , m = JK zbiór obrazów scharakteryzujemy przez ich centrum i rozrzut wokół centrum wykorzystując średnią i sumę kwadratów odchyłek P centrum określone jest przez średnią (wektor średnich) x = 1n ni=1 xi T x˜ 1 odchyłka od średniej x˜ i = xi − x, macierz odchyłek X˜ = . . . ∈Rn×m T x˜ n
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
41 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
Twarze własne Rozrzut wokół średniej suma kwadratów SS (ang. sum of squares) odległości od średniej SS = s2 =
n X
kxi − xk2 =
i=1
n X
kx˜i k2 =
i=1
n X
x˜i T x˜i =
i=1
n X m X
x˜i k 2
i=1 k=1
macierz rozrzutu (ang. scatter matrix) wokół średniej n n X X T T S= x˜i x˜i = X˜ X˜ = x˜i k x˜i ℓ ∈ Rm×m i=1 k,ℓ=1,...,m |i=1{z } n· empiryczna macierz kowariancji obrazu
SS można zapisać jako SS = s2 =
m X
Sk,k = tr S
k=1
empiryczna macierz kowariancji jest równa 1n S rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
42 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
⊛ Własności rozrzutu podprzestrzeń p-wymiarowa maksymalizująca rozrzut jest podprzestrzenią rozpiętą na p ortonormalnych wektorach własnych macierzy rozrzutu odpowiadających jej p (uwzględniając krotności) wartościom własnym rozrzut ten jest sumą p największych wartości własnych macierzy rozrzutu xT S−1 x = const: hiperelipsoida o osiach vi (wektory własne macierzy S) i długościach osi proporcjonalnych do λi (wartości własne S) rozrzut w kierunku k-tej osi ortogonalnego układu współrzędnych (ak - wersor k-tej osi) s2ak = Sk,k zatem rozrzut całkowity jest sumą rozrzutów w kierunku osi ortogonalnego układu współrzędnych rozrzut całkowity zdefiniowany jest niezależnie od układu współrzędnych, więc obrót układu współrzędnych (liniowa izometryczna zamiana zmiennych) nie zmienia rozrzutu (choć może zmieniać rozrzuty dla każdej współrzędnej) rozrzut w kierunku jako funkcja g(a) kierunku: wykres jest hiperelipsoidą (elipsą dla m = 2) rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
43 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
Twarze własne Szkic metody (1)
wyodrębnienie twarzy, normalizacja oświetlenia (jasność, kontrast) lokalizacja oczu dla standaryzacji położenia i skalowania P obliczyć twarz średnią x = 1n ni=1 xi x1 − mT utworzyć macierz twarzy centrowanych X˜ = ... ∈ Rn×m i macierz rozrzutu xn − mT wokół średniej n X T S= x˜i x˜i T = X˜ X˜ ∈ Rm×m i=1
obliczyć wektory własne i wartości własne macierzy rozrzutu
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
44 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
Twarze własne Szkic metody (2)
odrzucić wektory własne odpowiadające najmniejszym wartościom własnym; nieodrzucone wektory własne to twarze własne (ok. 100-150 twarzy własnych) obliczyć współczynniki względem bazy twarzy własnych nowe twarze: rzutować na podprzestrzeń twarzy własnych, obliczyć współczynniki rozwinięcia względem bazy twarzy własnych klasyfikować metodą najbliższego sąsiada modyfikacje: cechy własne (ang. eigenfeatures): analiza składowych głównych dla parametrów twarzy, odległości elementów charakterystycznych (ang. eigeneyes, eigennoses, eigenmouths) podstawowa zaleta: szybkość (redukcja do 1/1000 pełnej bazy) wrażliwość na pozycję twarzy, oświetlenie, deformacje, zranienia, nakrycie głowy, broda, ręce w pobliżu twarzy, makijaż, etc.
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
45 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
E Twarze własne
E Przykład: Elementy bazy danych
www.geop.ubc.ca/CDSST/eigenfaces.html rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
46 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
E Twarze własne
E Przykład: Twarze własne i pozostałe wektory własne
0,1-10, 91-100, 2567-2576, 46 × 56 = 2576 pikseli, 3655 twarzy rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
47 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
⊛ Twarze Fishera ⊛ Rozrzut wewnątrz klas i między klasami n obrazów w Rm klasy obrazów C1 , . . . , Cc (np. klasa = osoba); nk obrazów w klasie Ck P średnie wewnątrz klas xk = n1k i∈Ck xi macierz rozrzutu wewnątrzklasowego c X X
Sw =
(xi − xk )(xi − xk )T
k=1 i∈Ck
macierz rozrzutu międzyklasowego Sb =
c X
nk (xk − x)(xk − x)T = S − Sw
k=1
nk jest wagą związaną z liczbą elementów w klasie k znaleźć przekształcenie liniowe W ∗ do przestrzeni r-wymiarowej maksymalizujące rozrzut międzyklasowy minimalizujące rozrzut wewnątrzklasowy rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
48 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
⊛ Twarze Fishera ⊛ Liniowa analiza dyskryminacyjna stopień separacji klas
det(Sb ) det(Sw )
(dla Sw > 0)
liniowa analiza dyskryminacyjna LDA (ang. linear discriminant analysis): znaleźć przekształcenie liniowe W ∗ ∈Rn×r do podprzestrzeni rzędu r maksymalizujące stopień separacji klas W ∗ = arg max n×r W∈R
det(W T Sb W) det(W T Sw W)
przy założeniu że Sw > 0 uogólnione wektory własne w i uogólnione wartości własne β spełniają równanie Sb w = β Sw w kolumnami macierzy W ∗ jest r uogólnionych wektorów własnych macierzy Sb , Sw odpowiadających r największym uogólnionym wartościom własnym rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
49 / 74
8. Rozpoznawanie twarzy - Detekcja 8.7. Weryfikacja i identyfikacja - podejście holistyczne
⊛ Twarze Fishera ⊛ Przykład przykłady różnic między-klasowych
kilka pierwszych kierunków największej zmienności między-klasowej
Kucharski 2006 rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
50 / 74
8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania
8.8: Jakość rozpoznawania 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
51 / 74
8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania
Rozwój metodologii
P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
52 / 74
8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania
Rozrzut jakości
P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007
FRR dla FAR=0.001 zbiory danych: rozdzielczość bardzo duża, duża, niska rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
53 / 74
8. Rozpoznawanie twarzy - Detekcja 8.8. Jakość rozpoznawania
Rozpoznawanie maszynowe a rozpoznanie przez człowieka
P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007
ROC dla rozpoznawania maszynowego i przez człowieka przy zmiennym oświetleniu rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
54 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
8.9: Problemy biometrii twarzy 2D 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
55 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Biometria twarzy 2D Czynniki jakościowe (1)
wrażliwość metod na czynniki fotometryczne położenie twarzy: nachylenie/przechylenie płaszczyzny twarzy (położenie twarzy): nachylenie w osi ramion, obrót wokół osi szyi obrót w płaszczyźnie twarzy modele morficzne (morphable models) przetwarzają obraz na frontalny - wzrost jakości z 26% do 84%
inne czynniki fotometryczne: położenie źródeł, spektrum światła, intensywność, charakterystyka kamery, rozdzielczość dla oświetlenia naturalnego spadek jakości do 50%
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
56 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Biometria twarzy 2D Czynniki jakościowe (2)
wrażliwość metod na modyfikacje bodźców optycznych czynniki psychofizyczne mimikę twarzy wiek: starsi lepiej rozpoznawalni od młodszych (wzrost jakości 5% na każde 10 lat) płeć: mężczyźni łatwiej (6-9%) rozpoznawalni od kobiet
modyfikacje i deformacje twarzy: okulary, broda, wąsy, biżuteria, rany, blizny “typowość” twarzy
wrażliwość na czynniki subiektywne: wpływ bazy danych
mimo szybkiego rozwoju metodologii, jakość rozpoznawania automatycznego ustępuje rozpoznawaniu przez człowieka
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
57 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Standardowe obrazy twarzy
obraz frontalny twarzy (ang. frontal face image) pełny obraz frontalny twarzy (ang. full frontal image) token twarzy (ang. token face)
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
58 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Standardowe obrazy twarzy Obraz frontalny - wymagana kompozycja obrazu (1) położenie głowy (ang. frontal face image) przekręcenie głowy (ang. yaw) - obrót wokół osi pionowej: do ±5◦ C pochylenie głowy (ang. pitch) - obrót wokół osi poziomej równoległej do ramion (ruch góra/dół): do ±5◦ C przechylenie głowy (ang. roll) - obrót wokół osi poziomej prostopadłej do ramion (ruch na boki): do ±5◦ C
przekręcenie
pochylenie
przechylenie
ISO 19794-5: 2011
ISO 19794-5: 2011
ramiona: w płaszczyźnie obrazu rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
59 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Standardowe obrazy twarzy Obraz frontalny - wymagana kompozycja obrazu (2)
oczy: brwi nie mogą zacieniać oczodołów, widoczne tęczówki i źrenice przesłonięcia: obszar twarzy widoczny i wolny od cieni; jeśli ze względów religijnych twarz ma być przesłonięta, osłony nie mogą zakrywać cech twarzy lub tworzyć cieni okulary: przejrzyste (z wyjątkiem powodów medycznych), oprawki nie mogą przesłaniać oczu, bez odbłysków na szkłach
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
60 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Standardowe obrazy twarzy Obraz frontalny - wymagania techniczne
oświetlenie: jednostajne, bez prześwietleń czy niedoświetleń ostrość: obraz twarzy powinien być ostry kolor: nasycenie koloru obrazu 24-bitowego (RGB, 8 bitów na kolor) takie, by po konwersji do szarości zmienność intensywności w obszarze twarzy była co najmniej 7-bitowa, kolor skóry powinien być “naturalny”, „czerwone oczy” niedopuszczalne skala: dla obrazów cyfrowych liczba pikseli na cal w kierunku pionowym i poziomym powinny być identyczne
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
61 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Standardowe obrazy twarzy Obraz pełny frontalny
ISO 19794-5:2011
wymagania twarzy frontalnej środki ust i nosa na osi symetrii 0.5 ≤ BB 0.6 ≤ DD B ≤ 0.7, B ≤ 0.9*, CC ≥ 180 pikseli rAndrzej Pacut (IAiIS EiTI PW)
0.5 ≤
CC A
BIT: Semestr letni 2014/2015
≤ 0.75* 18 czerwca 2015
62 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Obraz twarzy Token twarzy szerokość / wysokość W/H = 0.75 szerokość minimalna W ≤ 240 pikseli (wysokość ok. 320 pikseli) współrzędne środków oczu (0.6W, 0.375W), (0.6W, 0.625W − 1) (y mierzone od góry obrazu; odległość środków oczu 0.25W) ISO 19794-5:2011
wymiary w pikselach
tworzenie tokena o szerokości 240 pikseli: obrót do poziomej linii oczu; skalowanie do 60 pikseli między środkami oczu; translacja i przycięcie do współrzędnych lewego oka (89,144) (w pikselach); uzupełnienie tła ISO 19794-5:2011 rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
63 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Obraz twarzy Dokumenty podróży (1) zdjęcie o szerokości 35-40 mm obejmujące głowę i górę ramion, twarz zajmuje ok. 70-80% powierzchni
! twarz zbyt blisko / zbyt daleko
! twarz zamazana / ślady atramentu, załamania
zdjęcie ostre, bez zaznaczeń czy załamań
! spojrzenie nie na wprost / nienaturalna tonacja barwna
wzrok skierowany w obiektyw zdjęcie o właściwej jasności, kontraście i tonacji skóry
! zdjęcie zbyt ciemne / zbyt jasne
wydruk o wysokiej rozdzielczości na papierze wysokiej jakości
! wyblakłe kolory / zamazanie rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
64 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Obraz twarzy Dokumenty podróży (2)
! włosy przysłaniają oczy / oczy przymknięte
oczy muszą być otwarte i nieprzesłonięte
! styl portretowy / twarz pochylona
nie należy przechylać lub pochylać głowy, krawędzie twarzy muszą być widoczne tło musi być gładkie i jasne
! zatłoczone tło / twarz niecentryczna
! odbicie flesza na twarzy / “czerwone oczy”
oświetlenie powinno być równomierne, bez cieni, odbić flesza czy “czerwonych oczu”
! cień za głową / cień na twarzy rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
65 / 74
8. Rozpoznawanie twarzy - Detekcja 8.9. Problemy biometrii twarzy 2D
Obraz twarzy Dokumenty podróży (3) ! ciemne okulary / odbicia flesza szkłach
oczy muszą być widoczne, bez odbić flesza na szkłach; oprawki nie mogą przesłaniać oczu i być zbyt grube
! oprawki zbyt grube / oprawki przesłaniają oczy
głowa musi być odsłonięta chyba, że religia tego zabrania; twarz zawsze jednak musi być w całości widoczna
! założony kapelusz / czapka
! twarz zakryta / cienie na twarzy
zdjęcie musi pokazywać jedną osobę (bez osób i przedmiotów w tle), patrzącą w obiektyw i mającą neutralny wyraz twarzy
! druga osoba w tle / otwarte usta, zabawki zbyt blisko twarzy rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
66 / 74
8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D
8.10: Metody 3D 8.1 Rozpoznawanie twarzy przez człowieka 8.2 Automatyczne wykrywanie i rozpoznawanie twarzy 8.3 Przestrzeń obrazów, przestrzeń twarzy 8.4 Detekcja twarzy - podejście strukturalne 8.5 Detekcja twarzy - podejście holistyczne 8.6 Weryfikacja i identyfikacja - podejście strukturalne 8.7 Weryfikacja i identyfikacja - podejście holistyczne 8.8 Jakość rozpoznawania 8.9 Problemy biometrii twarzy 2D 8.10 Metody 3D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
67 / 74
8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D
Od technik 2D do technik 3D 2D: geometria twarzy reprezentowana przez strukturę światła odbitego 3D: techniki “shape from stereo”: użycie więcej niż 1 kamery informacja o głębokości każdego punktu wyznaczana z modelu geometrycznego; niski koszt, łatwość implementacii laserowe czujniki odległości; problem bezpieczeństwa światło strukturalne (widzialne lub podczerwień): projekcja znanego wzorca na twarz + triangulacja aproksymacja ze wzorców 2D
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
68 / 74
8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D
Rozrzut jakości - techniki 3D
P.J. Phillips e.a., FRVT 2006 and ICE 2006 Large-Scale Results, March 29, 2007 rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
69 / 74
8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D
Wrażliwość metod 3D
+ mniejsza wrażliwość na położenie głowy, oświetlenie + mniejszy wpływ mimiki, makijażu + łatwiejsza detekcja żywotności + coraz niższy koszt − wątpliwa możliwość wykorzystania baz obrazów 2D (brak “backcompatibility”) − problemy z rozdzielczością dla większych odległości
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
70 / 74
8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D
Systemy komercyjne Przykłady
R. Kimmel and G. Sapiro, SIAM News, Vol. 36, N.3, 2003
weryfikacja: FAR 1%, FRR 10% identyfikacja: 85% dla 800 twarzy, typowo 77% (odciski: 90 %) producenci: Cognitec Systems (Face VACS), L-1 (Identix + Viisage) G6FaceTools, A4Vision (3D), Neven Vision (Google), Neurotechnologija, MIT Artificial Intelligence Laboratory (Face Pass), Miros (True Face, True Face Cyber Watch), Crossmatch rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
71 / 74
8. Rozpoznawanie twarzy - Detekcja 8.10. Metody 3D
Komercyjna rola biometrii twarzy
na podstawie Biometrics Market and Industry Report 2007-2012, IBG 2007
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
72 / 74
8. Rozpoznawanie twarzy - Detekcja 8.11.
Zagadnienia, pytania, zadania
Z8.1. Z8.2. Z8.3. Z8.4. Z8.5. Z8.6.
Czynniki wpływające na rozpoznawanie twarzy przez człowieka Własności systemów wykrywania i rozpoznawania twarzy AdaBoost, klasyfikatory słabe a klasyfikator silny Klasyfikatory słabe w metodzie Violi-Jonesa Struktura algorytmu Violi-Jonesa Wykorzystanie obrazu zintegrowanego w metodzie Violi-Jonesa
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
73 / 74
8. Rozpoznawanie twarzy - Detekcja 8.11.
Zagadnienia, pytania, zadania
Z8.7. Z8.8. Z8.9. Z8.10.
Co to są twarze własne Weryfikacja tożsamości metodą twarzy własnych Podstawowe czynniki jakościowe biometrii twarzy Podstawowe techniki 3D rozpoznawania twarzy
rAndrzej Pacut (IAiIS EiTI PW)
BIT: Semestr letni 2014/2015
18 czerwca 2015
74 / 74