Intelligent Video Surveillance Systems

Intelligent Video Surveillance Systems

Edited by

Jean-Yves Dufour

First published 2013 in Great Britain and the United States by ISTE Ltd and John Wiley & Sons, Inc. Apart from any fair dealing for the purposes of research or private study, or criticism or review, as permitted under the Copyright, Designs and Patents Act 1988, this publication may only be reproduced, stored or transmitted, in any form or by any means, with the prior permission in writing of the publishers, or in the case of reprographic reproduction in accordance with the terms and licenses issued by the CLA. Enquiries concerning reproduction outside these terms should be sent to the publishers at the undermentioned address: ISTE Ltd 27-37 St George’s Road London SW19 4EU UK

John Wiley & Sons, Inc. 111 River Street Hoboken, NJ 07030 USA

www.iste.co.uk

www.wiley.com

© ISTE Ltd 2013 The rights of Jean-Yves Dufour to be identified as the author of this work have been asserted by him in accordance with the Copyright, Designs and Patents Act 1988. Library of Congress Control Number: 2012946584 British Library Cataloguing-in-Publication Data A CIP record for this book is available from the British Library ISBN: 978-1-84821-433-0 Printed and bound in Great Britain by CPI Group (UK) Ltd., Croydon, Surrey CR0 4YY

Table of Contents

Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Jean-Yves DUFOUR and Phlippe MOUTTOU

xiii

Chapter 1. Image Processing: Overview and Perspectives . . . . . . . . . . . Henri MAÎTRE

1

1.1. Half a century ago . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2. The use of images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3. Strengths and weaknesses of image processing. . . . . . . . . . . . 1.3.1. What are these theoretical problems that image processing has been unable to overcome? . . . . . . . . . . . . . . . . . . . . . . . 1.3.2. What are the problems that image processing has overcome?. 1.4. What is left for the future? . . . . . . . . . . . . . . . . . . . . . . . . 1.5. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . .

1 3 4

. . . .

. . . .

5 5 6 9

Chapter 2. Focus on Railway Transport . . . . . . . . . . . . . . . . . . . . . . Sébastien AMBELLOUIS and Jean-Luc BRUYELLE

13

2.1. Introduction. . . . . . . . . . . . . . . . . . . . . 2.2. Surveillance of railway infrastructures . . . . . 2.2.1. Needs analysis. . . . . . . . . . . . . . . . . 2.2.2. Which architectures? . . . . . . . . . . . . . 2.2.3. Detection and analysis of complex events 2.2.4. Surveillance of outside infrastructures . . 2.3. Onboard surveillance . . . . . . . . . . . . . . . 2.3.1. Surveillance of buses. . . . . . . . . . . . . 2.3.2. Applications to railway transport. . . . . . 2.4. Conclusion . . . . . . . . . . . . . . . . . . . . . 2.5. Bibliography . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . .

. . . . . . . . . . .

. . . . . . . . . . .

13 15 15 16 17 20 21 22 23 28 30

vi

Intelligent Video Surveillance Systems

Chapter 3. A Posteriori Analysis for Investigative Purposes . . . . . . . . . . Denis MARRAUD, Benjamin CÉPAS, Jean-François SULZER, Christianne MULAT and Florence SÈDES 3.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . 3.2. Requirements in tools for assisted investigation . . . 3.2.1. Prevention and security . . . . . . . . . . . . . . . 3.2.2. Information gathering . . . . . . . . . . . . . . . . 3.2.3. Inquiry . . . . . . . . . . . . . . . . . . . . . . . . . 3.3. Collection and storage of data . . . . . . . . . . . . . . 3.3.1. Requirements in terms of standardization . . . . 3.3.2. Attempts at standardization (AFNOR and ISO) . 3.4. Exploitation of the data . . . . . . . . . . . . . . . . . . 3.4.1. Content-based indexing . . . . . . . . . . . . . . . 3.4.2. Assisted investigation tools . . . . . . . . . . . . . 3.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . 3.6. Bibliography . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

33 34 34 35 36 36 37 37 39 39 43 44 45

Chapter 4. Video Surveillance Cameras . . . . . . . . . . . . . . . . . . . . . . Cédric LE BARZ and Thierry LAMARQUE

47

4.1. Introduction. . . . . . . . . . . . . . . 4.2. Constraints . . . . . . . . . . . . . . . 4.2.1. Financial constraints . . . . . . . 4.2.2. Environmental constraints. . . . 4.3. Nature of the information captured . 4.3.1. Spectral bands . . . . . . . . . . . 4.3.2. 3D or “2D + Z” imaging. . . . . 4.4. Video formats . . . . . . . . . . . . . 4.5. Technologies . . . . . . . . . . . . . . 4.6. Interfaces: from analog to IP. . . . . 4.6.1. From analog to digital . . . . . . 4.6.2. The advent of IP . . . . . . . . . 4.6.3. Standards . . . . . . . . . . . . . . 4.7. Smart cameras . . . . . . . . . . . . . 4.8. Conclusion . . . . . . . . . . . . . . . 4.9. Bibliography . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

65

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

Chapter 5. Video Compression Formats . . . . . . . . . . . . . . . . . . . . . . Marc LENY and Didier NICHOLSON . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

47 48 48 49 49 50 51 53 55 57 57 59 60 61 62 63

. . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

5.1. Introduction. . . . . . . . . . . . . . . . 5.2. Video formats . . . . . . . . . . . . . . 5.2.1. Analog video signals . . . . . . . . 5.2.2. Digital video: standard definition

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

33

. . . .

. . . . . . . . . . . . . . . .

. . . .

. . . .

65 66 66 67

Table of Contents

5.2.3. High definition . . . . . . . . . . . . . . . . . . . . . . 5.2.4. The CIF group of formats . . . . . . . . . . . . . . . . 5.3. Principles of video compression . . . . . . . . . . . . . . 5.3.1. Spatial redundancy . . . . . . . . . . . . . . . . . . . . 5.3.2. Temporal redundancy . . . . . . . . . . . . . . . . . . 5.4. Compression standards . . . . . . . . . . . . . . . . . . . . 5.4.1. MPEG-2 . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.2. MPEG-4 Part 2 . . . . . . . . . . . . . . . . . . . . . . 5.4.3. MPEG-4 Part 10/H.264 AVC. . . . . . . . . . . . . . 5.4.4. MPEG-4 Part 10/H.264 SVC . . . . . . . . . . . . . . 5.4.5. Motion JPEG 2000 . . . . . . . . . . . . . . . . . . . . 5.4.6. Summary of the formats used in video surveillance 5.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

68 69 70 70 73 74 74 75 77 79 80 82 83 84

Chapter 6. Compressed Domain Analysis for Fast Activity Detection . . . Marc LENY

87

6.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2. Processing methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2.1. Use of transformed coefficients in the frequency domain . . 6.2.2. Use of motion estimation . . . . . . . . . . . . . . . . . . . . . 6.2.3. Hybrid approaches . . . . . . . . . . . . . . . . . . . . . . . . . 6.3. Uses of analysis of the compressed domain . . . . . . . . . . . . . 6.3.1. General architecture . . . . . . . . . . . . . . . . . . . . . . . . 6.3.2. Functions for which compressed domain analysis is reliable 6.3.3. Limitations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.4. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.5. Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.6. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

87 88 88 90 91 93 94 96 97 100 101 101

Chapter 7. Detection of Objects of Interest . . . . . . . . . . . . . . . . . . . . Yoann DHOME, Bertrand LUVISON, Thierry CHESNAIS, Rachid BELAROUSSI, Laurent LUCAT, Mohamed CHAOUCH and Patrick SAYD

103

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . .

7.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . 7.2. Moving object detection . . . . . . . . . . . . . . . 7.2.1. Object detection using background modeling 7.2.2. Motion-based detection of objects of interest 7.3. Detection by modeling of the objects of interest . 7.3.1. Detection by geometric modeling . . . . . . . 7.3.2. Detection by visual modeling. . . . . . . . . . 7.4. Conclusion . . . . . . . . . . . . . . . . . . . . . . . 7.5. Bibliography . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . . . .

vii

. . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

103 104 104 107 109 109 111 117 118

viii

Intelligent Video Surveillance Systems

Chapter 8. Tracking of Objects of Interest in a Sequence of Images . . . . Simona MAGGIO, Jean-Emmanuel HAUGEARD, Boris MEDEN, Bertrand LUVISON, Romaric AUDIGIER, Brice BURGER and Quoc Cuong PHAM 8.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2. Representation of objects of interest and their associated visual features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2.1. Geometry. . . . . . . . . . . . . . . . . . . . . . . . . . . 8.2.2. Characteristics of appearance . . . . . . . . . . . . . . . 8.3. Geometric workspaces . . . . . . . . . . . . . . . . . . . . . 8.4. Object-tracking algorithms. . . . . . . . . . . . . . . . . . . 8.4.1. Deterministic approaches . . . . . . . . . . . . . . . . . 8.4.2. Probabilistic approaches . . . . . . . . . . . . . . . . . . 8.5. Updating of the appearance models . . . . . . . . . . . . . 8.6. Multi-target tracking . . . . . . . . . . . . . . . . . . . . . . 8.6.1. MHT and JPDAF . . . . . . . . . . . . . . . . . . . . . . 8.6.2. MCMC and RJMCMC sampling techniques . . . . . . 8.6.3. Interactive filters, track graph. . . . . . . . . . . . . . . 8.7. Object tracking using a PTZ camera . . . . . . . . . . . . . 8.7.1. Object tracking using a single PTZ camera only . . . 8.7.2. Object tracking using a PTZ camera coupled with a static camera. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.8. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.9. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . .

123

. . . . . . . .

123

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

124 124 125 127 127 127 128 132 135 135 136 138 138 139

. . . . . . . . . . . . . . . . . . . . . . . .

139 141 142

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

Chapter 9. Tracking Objects of Interest Through a Camera Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Catherine ACHARD, Sébastien AMBELLOUIS, Boris MEDEN, Sébastien LEFEBVRE and Dung Nghi TRUONG CONG 9.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2. Tracking in a network of cameras whose fields of view overlap. 9.2.1. Introduction and applications . . . . . . . . . . . . . . . . . . . 9.2.2. Calibration and synchronization of a camera network . . . . 9.2.3. Description of the scene by multi-camera aggregation . . . . 9.3. Tracking through a network of cameras with non-overlapping fields of view . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.1. Issues and applications. . . . . . . . . . . . . . . . . . . . . . . 9.3.2. Geometric and/or photometric calibration of a camera network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.3. Reidentification of objects of interest in a camera network . 9.3.4. Activity recognition/event detection in a camera network . . 9.4. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.5. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

147 148 148 150 153

. . . . . . . .

155 155

. . . . .

156 157 160 161 161

. . . . .

. . . . .

147

. . . . .

. . . . .

Table of Contents

Chapter 10. Biometric Techniques Applied to Video Surveillance . . . . . . Bernadette DORIZZI and Samuel VINSON 10.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . 10.2. The databases used for evaluation. . . . . . . . . . 10.2.1. NIST-Multiple Biometrics Grand Challenge (NIST-MBGC) . . . . . . . . . . . . . . . . . . . . . . . 10.2.2. Databases of faces. . . . . . . . . . . . . . . . . 10.3. Facial recognition . . . . . . . . . . . . . . . . . . . 10.3.1. Face detection . . . . . . . . . . . . . . . . . . . 10.3.2. Face recognition in biometrics . . . . . . . . . 10.3.3. Application to video surveillance. . . . . . . . 10.4. Iris recognition . . . . . . . . . . . . . . . . . . . . . 10.4.1. Methods developed for biometrics . . . . . . . 10.4.2. Application to video surveillance. . . . . . . . 10.4.3. Systems for iris capture in videos. . . . . . . . 10.4.4. Summary and perspectives . . . . . . . . . . . 10.5. Research projects. . . . . . . . . . . . . . . . . . . . 10.6. Conclusion . . . . . . . . . . . . . . . . . . . . . . . 10.7. Bibliography . . . . . . . . . . . . . . . . . . . . . .

ix

165

. . . . . . . . . . . . . . . . . . . . . . . .

165 166

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

167 167 168 168 169 170 173 173 174 176 177 177 178 179

Chapter 11. Vehicle Recognition in Video Surveillance. . . . . . . . . . . . . Stéphane HERBIN

183

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

11.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2. Specificity of the context . . . . . . . . . . . . . . . . . . . . . . . 11.2.1. Particular objects . . . . . . . . . . . . . . . . . . . . . . . . . 11.2.2. Complex integrated chains. . . . . . . . . . . . . . . . . . . . 11.3. Vehicle modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3.1. Wire models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3.2. Global textured models. . . . . . . . . . . . . . . . . . . . . . 11.3.3. Structured models . . . . . . . . . . . . . . . . . . . . . . . . . 11.4. Exploitation of object models . . . . . . . . . . . . . . . . . . . . 11.4.1. A conventional sequential chain with limited performance 11.4.2. Improving shape extraction . . . . . . . . . . . . . . . . . . . 11.4.3. Inferring 3D information. . . . . . . . . . . . . . . . . . . . . 11.4.4. Recognition without form extraction. . . . . . . . . . . . . . 11.4.5. Toward a finer description of vehicles. . . . . . . . . . . . . 11.5. Increasing observability. . . . . . . . . . . . . . . . . . . . . . . . 11.5.1. Moving observer . . . . . . . . . . . . . . . . . . . . . . . . . 11.5.2. Multiple observers . . . . . . . . . . . . . . . . . . . . . . . . 11.6. Performances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.7. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.8. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

183 184 184 185 185 186 187 188 189 189 190 191 192 193 194 194 195 196 196 197

x

Intelligent Video Surveillance Systems

Chapter 12. Activity Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . Bernard BOULAY and François BRÉMOND 12.1. Introduction . . . . . . . . . . . . . . . . . . . . 12.2. State of the art . . . . . . . . . . . . . . . . . . 12.2.1. Levels of abstraction . . . . . . . . . . . . 12.2.2. Modeling and recognition of activities. . 12.2.3. Overview of the state of the art . . . . . . 12.3. Ontology. . . . . . . . . . . . . . . . . . . . . . 12.3.1. Objects of interest . . . . . . . . . . . . . . 12.3.2. Scenario models . . . . . . . . . . . . . . . 12.3.3. Operators . . . . . . . . . . . . . . . . . . . 12.3.4. Summary . . . . . . . . . . . . . . . . . . . 12.4. Suggested approach: the ScReK system . . . 12.5. Illustrations . . . . . . . . . . . . . . . . . . . . 12.5.1. Application at an airport . . . . . . . . . . 12.5.2. Modeling the behavior of elderly people 12.6. Conclusion . . . . . . . . . . . . . . . . . . . . 12.7. Bibliography . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

201 202 202 203 206 206 207 208 209 210 210 212 213 213 215 215

Chapter 13. Unsupervised Methods for Activity Analysis and Detection of Abnormal Events . . . . . . . . . . . . . . . . . . . . . . . . . Rémi EMONET and Jean-Marc ODOBEZ

219

13.1. Introduction . . . . . . . . . . . . . . . . . . . 13.2. An example of a topic model: PLSA . . . . 13.2.1. Introduction . . . . . . . . . . . . . . . . 13.2.2. The PLSA model . . . . . . . . . . . . . 13.2.3. PLSA applied to videos . . . . . . . . . 13.3. PLSM and temporal models . . . . . . . . . 13.3.1. PLSM model . . . . . . . . . . . . . . . . 13.3.2. Motifs extracted by PLSM. . . . . . . . 13.4. Applications: counting, anomaly detection 13.4.1. Counting . . . . . . . . . . . . . . . . . . 13.4.2. Anomaly detection . . . . . . . . . . . . 13.4.3. Sensor selection . . . . . . . . . . . . . . 13.4.4. Prediction and statistics . . . . . . . . . 13.5. Conclusion . . . . . . . . . . . . . . . . . . . 13.6. Bibliography . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

201

. . . . . . . . . . . . . . .

. . . . . . . . . . . . . . .

219 221 221 221 223 226 226 228 230 230 230 231 233 233 233

Chapter 14. Data Mining in a Video Database . . . . . . . . . . . . . . . . . . Luis PATINO, Hamid BENHADDA and François BRÉMOND

235

14.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.2. State of the art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

235 236

Table of Contents

14.3. Pre-processing of the data . . . . . . . . . . . . 14.4. Activity analysis and automatic classification. 14.4.1. Unsupervised learning of zones of activity 14.4.2. Definition of behaviors . . . . . . . . . . . . 14.4.3. Relational analysis . . . . . . . . . . . . . . 14.5. Results and evaluations . . . . . . . . . . . . . . 14.6. Conclusion . . . . . . . . . . . . . . . . . . . . . 14.7. Bibliography . . . . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

237 238 239 242 243 245 248 249

Chapter 15. Analysis of Crowded Scenes in Video . . . . . . . . . . . . . . . . Mikel RODRIGUEZ, Josef SIVIC and Ivan LAPTEV

251

15.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.2. Literature review . . . . . . . . . . . . . . . . . . . . . . . . 15.2.1. Crowd motion modeling and segmentation . . . . . . 15.2.2. Estimating density of people in a crowded scene . . 15.2.3. Crowd event modeling and recognition . . . . . . . . 15.2.4. Detecting and tracking in a crowded scene . . . . . . 15.3. Data-driven crowd analysis in videos. . . . . . . . . . . . 15.3.1. Off-line analysis of crowd video database . . . . . . 15.3.2. Matching . . . . . . . . . . . . . . . . . . . . . . . . . . 15.3.3. Transferring learned crowd behaviors . . . . . . . . . 15.3.4. Experiments and results . . . . . . . . . . . . . . . . . 15.4. Density-aware person detection and tracking in crowds . 15.4.1. Crowd model. . . . . . . . . . . . . . . . . . . . . . . . 15.4.2. Tracking detections . . . . . . . . . . . . . . . . . . . . 15.4.3. Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 15.5. Conclusions and directions for future research . . . . . . 15.6. Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . 15.7. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . .

273

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . .

Chapter 16. Detection of Visual Context . . . . . . . . . . . . . . . . . . . . . . Hervé LE BORGNE and Aymen SHABOU . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . .

251 253 253 254 255 256 257 258 258 260 260 262 263 264 265 268 268 269

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . . . . . . . . . . . .

16.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 16.2. State of the art of visual context detection . . . . . . . . . 16.2.1. Overview . . . . . . . . . . . . . . . . . . . . . . . . . . 16.2.2. Visual description . . . . . . . . . . . . . . . . . . . . . 16.2.3. Multiclass learning . . . . . . . . . . . . . . . . . . . . 16.3. Fast shared boosting . . . . . . . . . . . . . . . . . . . . . . 16.4. Experiments. . . . . . . . . . . . . . . . . . . . . . . . . . . 16.4.1. Detection of boats in the Panama Canal . . . . . . . . 16.4.2. Detection of the visual context in video surveillance 16.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 16.6. Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . .

xi

. . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

273 275 275 276 278 279 281 281 283 285 286

xii

Intelligent Video Surveillance Systems

Chapter 17. Example of an Operational Evaluation Platform: PPSL . . . . Stéphane BRAUDEL 17.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . 17.2. Use of video surveillance: approach and findings . 17.3. Current use contexts and new operational concepts 17.4. Requirements in smart video processing . . . . . . . 17.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . .

. . . . .

289 290 292 293 294

Chapter 18. Qualification and Evaluation of Performances . . . . . . . . . . Bernard BOULAY, Jean-François GOUDOU and François BRÉMOND

297

18.1. Introduction . . . . . . . . . . . . . . 18.2. State of the art . . . . . . . . . . . . 18.2.1. Applications . . . . . . . . . . . 18.2.2. Process . . . . . . . . . . . . . . 18.3. An evaluation program: ETISEO . 18.3.1. Methodology . . . . . . . . . . . 18.3.2. Metrics . . . . . . . . . . . . . . 18.3.3. Summary . . . . . . . . . . . . . 18.4. Toward a more generic evaluation 18.4.1. Contrast . . . . . . . . . . . . . . 18.4.2. Shadows . . . . . . . . . . . . . 18.5. The Quasper project . . . . . . . . . 18.6. Conclusion . . . . . . . . . . . . . . 18.7. Bibliography . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

. . . . . . . . . . . . . .

. . . . .

289

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

297 298 298 299 303 303 305 307 309 310 312 312 313 314

List of Authors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

315

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

321

Introduction

I.1. General presentation Video surveillance consists of remotely watching public or private spaces using cameras. The images captured by these cameras are usually transmitted to a control center and immediately viewed by operators (real-time exploitation) and/or recorded and then analyzed on request (a posteriori exploitation) following a particular event (an accident, an assault, a robbery, an attack, etc.), for the purposes of investigation and/or evidence gathering. Convenience stores, railways and air transport sectors are, in fact, the largest users of video surveillance. These three sectors alone account for over 60% of the cameras installed worldwide. Today, even the smallest sales points have four cameras per 80 m2 of the shop floor. Surveillance of traffic areas to help ensure the smooth flow of the traffic and the capacity for swift intervention in case of an accident brings the figure upto 80%, in terms of the number of installations. The protection of other critical infrastructures accounts for a further 10% of installations. The proliferation of cameras in pedestrian urban areas is a more recent phenomenon, and is responsible for the rest of the distribution. Over the past 30+ years, we have seen a constant increase in the number of cameras in urban areas. In many people’s minds, the reason behind this trend is a concern for personal protection, sparked first by a rise in crime (a steady increase in assaults in public areas) and then by the increase in terrorism over the past 10 years. However, this aspect cannot mask the multiplication of cameras in train stations, airports and shopping centers. The defense of people and assets, which states are so eager to guarantee, has benefited greatly from two major technological breakthroughs: first, the advent of very high capacity digital video recorders (DVRs) and, second, the development of