Computer Vision for Human-Computer Interaction

  • Type: Vorlesung (V)
  • Semester: WS 15/16
  • Time: 2015-10-19
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten


    2015-10-23
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-10-26
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-10-30
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-02
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-06
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-09
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-13
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-16
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-20
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-23
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-27
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-11-30
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-12-04
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-12-07
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-12-11
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-12-14
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-12-18
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2015-12-21
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-01-08
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-01-11
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-01-15
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-01-18
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-01-22
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-01-25
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-01-29
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-02-01
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-02-05
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-02-08
    14:00 - 15:30 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten

    2016-02-12
    09:45 - 11:15 wöchentlich
    50.34 Raum -120 50.34 INFORMATIK, Kollegiengebäude am Fasanengarten
  • Lecturer: Dr.-Ing. Muhammad Saquib Sarfraz
    Prof.Dr.Ing. Rainer Stiefelhagen
  • SWS: 4
  • Lv-No.: 24180
Links
DescriptionIn this lecture current projects of the field of image processing will be presented which deal with the visual perception of persons re. human-computer interaction.
In respect of the individual topics we will discuss various methods and algorithms, their pros and cons and state of the art:
• Face detection and localisation
• Facial expression
• Assessment of head turns and viewing direction
• Person tracking and localisation
• Articulated body tracking
• Gesture recognition
• Audio-visual speech recognition
• Multi-camera environments
• Tools and libraries
BibliographyWeiterführende Literatur

Wissenschaftliche Veröffentlichungen zum Thema, werden auf der VL-Website bereitgestellt.

Content of teachingThe student acquires a basic understanding of computer vision topics within the context of human-computer interaction and learns how to apply them.
WorkloadBesuch der Vorlesungen: ca. 40 Stunden

Vor- und Nachbereitung der Vorlesung: ca. 40 Stunden

Durchführung der Programmierprojekte: ca. 30 Stunden

Klausurvorbereitung: ca. 70 h

Summe: ca. 180 Stunden

Aim
  • Die Studierenden bekommen einen Überblick über grundlegende und aktuelle Bildverarbeitungsverfahren zur Erfassung von Menschen in Bildern und Bildfolgen sowie deren verschiedene Anwendungen im Bereich der Mensch-Maschine-Interaktion.
  • Die Studierenden verstehen grundlegende Konzepte und aktuelle Verfahren zur Erfassung von Menschen in Bildern und Bildfolgen, deren Möglichkeiten und Grenzen und kann diese anwenden
Exam descriptionDie Erfolgskontrolle erfolgt in Form einer mündlichen Prüfung im Umfang von i.d.R. 30 Minuten[R1] nach § 4 Abs. 2 Nr. 2 SPO.

Vorlesungsplan und Materialien

19.10.15     Introduction, Applications [pdf]

23.10.15     Pattern Recognition Basics [pdf]

26.10.15     Face Detection I: Color [pdf]

30.10.15     Face Detection II: ANNs, Viola & Jones [pdf]

02.11.15     Face Recognition I: Traditional Approaches: Eigenface, Fisherface, .. [pdf]

06.11.15     Hands-On Projects: Introduction - all three projects [pdf]

09.11.15     Face Recognition II: Features: LBP, DCT, Gabor, SIFT, Morphable Models (Pose Problem) [pdf]

13.11.15     Deep Learning - Basics [pdf]

16.11.15     Hands-On Projects: Practice and questions day I [pdf]

20.11.15     Face Recognition III: In the Wild, Deep Learning, FR Wrap Up [pdf]

23.11.15     Facial Feature Detection / Statistical Face Models [pdf]

27.11.15     Facial Expression Recognition [pdf]

30.11.15     Head Pose Estimation [pdf]

04.12.15     People Detection I - Holistic models [pdf]

07.12.15     People Detection II - Part-based models [pdf]

11.12.15     People Detection III (Part-Based models) [pdf]

14.12.15     Hands-On Projects: Practice and questions day II

18.12.15     No lecture

21.12.15     No lecture

                  Weihnachtsferien

08.01.16     Tracking I : Kalman, Particle Filter & Applications (AV-Tracking, Body pose) [pdf]

11.01.16     No Lecture - Time for Hands-On Projects

15.01.16     Tracking II: Articulated Body Tracking [pdf]

18.01.16     Hands-On Projects: Presentations

22.01.16     Gesture Recognition: Taxonomy, Neill, Starner (ASL), Nickel, ... [pdf]

25.01.16     Activity Analysis / Action recognition I [pdf]

29.01.16     Activity Analysis / Action recognition II [pdf]

01.02.16     MS Kinect, Kinect-based body part detection & Programming [pdf]

05.02.16     Wrap-Up: What have we learnt [pdf]

08.02.16     No lecture

12.02.16     Laborbesuch (9:45)

 

 

 

 

Ergänzende Literatur

  • Face Detection
  • Phung et al., Skin Segmentation Using Color Pixel Classification: Analysis and Comparison, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 1, January 2005. [pdf]
  • H. A. Rowley, S. Baluja, and T. Kanade, Neural Network-Based Face Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, January 1998. [pdf]
  • Paul Viola and Michael Jones, Rapid Object Detection Using a boosted cascade of simple features, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 2001 [pdf]
  • Paul Viola and Michael Jones. Robust real-time object detection, Cambridge Research Laboratory, Technical Report, February 2001, CRL 2001/01 [pdf]

  • Face Recognition

  • Yaniv Taigman Ming Yang Marc’Aurelio Ranzato, DeepFace: Closing the Gap to Human-Level Performance in Face Verification, Facebook AI Research, Menlo Park, CA, USA [pdf]

  • Parkhi et al.: Deep Face Recognition, Visual Geometry Group, Department of Engineering Science, University of Oxford, 2015 [pdf]

  • Florian Schroff, Dmitry Kalenichenko, James Philbin, FaceNet: A Unified Embedding for Face Recognition and Clustering, June 2015 [pdf]

  • Person Detection

  • Person Detection I

  • N. Dalal, B. Triggs, Histogram Of Oriented Gradients for Human Detection, CVPR 2005 [pdf].
  • N. Dalal, B. Triggs, C. Schmid, Human Detection Using Oriented Histograms of Flow and Appearance, ECCV 2006 [pdf].
  • D. Gavrila, Multi-feature Hierarchical Template Matching Using Distance Transforms, ICPR 1998 [pdf].
  • D. Gavrila, Real-Time Object Detection for Smart Vehicles, ICCV 1999 [pdf].
  • D. Gavrila (2000), Pedestrian Detection from a Moving Vehicle, ECCV 2000 [pdf].

  • Person Detection II

  • A. Mohan, C. Papageorgiu, T. Poggio, Example-Based Object Detection in Images by Componentes, PAMI 2001 [pdf].
  • K. Mikolajczyk, C. Schmid, A Performance Evaluation of Local Descriptors, PAMI 2005 [pdf].
  • E. Seemann, B. Leibe, K. Mikolajczyk, B. Schiele, An Evaluation of Local Shape-Based Features for Pedestrian Detection, BMVC 2005 [pdf].
  • B. Leibe, A. Leonardis, B. Schiele, Combined Object Categorization and Segmentation with an Implicit Shape Model, ECCV 2004 [pdf].
  • B. Leibe, A. Leonardis, B. Schiele, Robust Object Detection with Interleaved Categorization and Segmentation, IJCV [pdf].

  • Person Detection III

  • R. Benenson, M. Mathias, R. Timofte, L. van Gool, Pedestrian Detection at 100 Frames per Second, CVPR 2012 [pdf]
  • P. Dollar, Z. Tu, P. Perona, S. Belonige, Integral Channel Features, BMVC 2009 [pdf]
  • L. Bourdev, J. Brandt, Robust Object Detection via Soft Cascades, CVPR 2005 [pdf]
  • P. Dollar, S. Belongie, P. Perona, The Fastest Pedestrian Detector in the West, BMVC 2010 [pdf]
  • A. Angelova, A. Krizhevsky, V. Vanhoucke, A. Ogale, D. Ferguson, Real-Time Pedestrian Detection With Deep Network Cascades, BMVC 2015 [pdf]
  • N. Srivastava et al., Dropout: A Simple Way to Prevent Neural Networks from Overfitting, Journal of Machine Learning Research, 2014 [pdf]
  • R. Benenson, R.Timofte, L. van Gool, Stixels Estimation Without Depth Map Computation, ICCV Workshop 2011 [pdf]
  • R. Benenson, M. Omran, J. Hosang, B. Schiele, Ten Years of Pedestrian Detection, What Have We Learned?, ECCV 2014 [pdf]
  • J. Hosang, M.Omran, R. Benenson, B. Schiele, Taking a Deeper Look at Pedestrians, CVPR 2015 [pdf]

Archiv

Vorlesung Computer Vision für Mensch-Maschine-Schnittstellen WS 2014/15

Vorlesung Computer Vision für Mensch-Maschine-Schnittstellen WS 2013/14

Vorlesung Computer Vision für Mensch-Maschine-Schnittstellen WS 2012/13