Real-Time Computer Vision

Dealing with the topic of efficient computer vision, our group has a long and successful history at the chair. Our current focus lies on the technologies for driver assistance systems, which represent an important and challenging field of application. These intelligent systems analyse the vehicle´s environment via different types of sensors, for instance video and radar, thus, increasing safety and comfort for the driver.

Driver assistance systems have to provide reliable results within natural, and therefore, complex and highly dynamic environments. At the same time mobile computers suffer from limited resources. These circumstances make the given tasks very demanding.

In the presented research areas our group is able to look back on numerous projects in cooperation with companies from the automotive industry. The group has excellent know-how in computer vision using an own development framework for scene representations for the integration of a large set of modules. Particularly, in the fields of machine learning, cognitive systems and optimization we benefit from the institute´s interdisciplinary character.

Recent Cooperations

Audi AG Athlens GmbH BMW AG
Bosch Continental AG DFL
FZD Nisys GmbH Volkswagen AG

Available resources

Theses

► Completed:

  • Vincent Asakura, Jens Hegenbarth, Stefan Kippert, Dominic Spata, Shervin Tayeran. Entwicklung einer komplexen Fahrzeug-KI mithilfe der Unreal Engine zur Interaktion mit einem kamera-basierten Parkleitsystem. Studienprojekt, 2017.
  •  Alek Zarovinskyy. Entwicklung eines Tools zur Kalibrierung von Kameras anhand von online Kartendaten. Bachelorarbeit.
  • Christian Bröcheler. Dichter Fluss für Bewegungssegmentierung: Portierung und Evaluation von Flownet, EpicFlow und EPPN. Bachelorarbeit.
  • Ben Pruß. Entwicklung einer realitätsnahen und echtzeitfähigen virtuellen Kamera in der Unreal Engine und Etablierung einer Schnittstelle zum Bildverarbeitungsframework YAF. Bachelorarbeit, 2017.
  • Daniela Horn. Building a Simulated Environment for the Evaluation of Image Processing Algorithms in the Context of On-Site Parking Guidance Systems. Masterarbeit, 2017
  • Vincent Asakura. Detektion der Körperorientierung von Fußgängern über stationäre Videokameras für automatisierte Fahrfunktionen im Parkhaus. Bachelorarbeit in Kooperation mit der Audi AG, 2016.
  • Jens Hegenbarth. Robuste Detektion von abnormalen Gruppenverhalten unter Verwendung einer Kombination von Particle Advection und Social Force Model. Bachelorarbeit, 2016.
  • Stefan Kippert. Echtzeitfähige Personenerkennung mit einem Deformable Part Modell (DPM) unter Berücksichtigung von Verdeckungen. Bachelorarbeit, 2016.
  • Dominic Spata. Action Classification Using a Combination of Hough Voting and Random Forest. Bachelorarbeit, 2016.
  • Vincent Asakura, Shervin Tayeran, Jens Hegenbarth, Stefan Kippert, Dominic Spata. Video-basierte Klassifikation von Gruppenverhalten. Studienprojekt, 2016.
  • Mohamed Sangaré. Verwendung von Texturanalyse zur Zuordnung von Objekten unter großer Perspektive. Masterarbeit, 2016.
  • Thomas Barowski. Spatial Temporal Integral Channel Features: Effiziente GPU-Implementierung für das Viola-Jones-Detektor-Framework. Masterarbeit, 2015
  • Arif Gömleksiz. Effiziente Multiklassen-Klassifikation des Belegungsstatus von Parkplätzen unter Berücksichtigung von Verdeckung. Bachelorarbeit, 2015.
  • Daniela Horn, Manuel Brüggenthies. Video-basierte Parkplatzerkennung: Marker-basierte Lokalisierung von Fahrzeugen und Aufbau der Infrastruktur für ein Leitsystem. Studienprojekt, 2015
  • Andreas Lexy. Parameteroptimierung eines echtzeitfähigen Bildverarbeitungsalgorithmus zur Erkennung von Parkplatzrandmarkierungen. Masterarbeit, 2014
  • Daniela Horn. Development of a smart phone user interface for a sensor-based car park routeing system. Bachelorarbeit, 2014
  • Steven Heitmeier. Analyse von Bewegungsmustern eines Tennisspielers
    durch videobasiertes Tracking der Fußpositionen
    . Bachelorarbeit, 2014
  • Marcel Neuhausen. Tracking von Fahrbahnmarkierungen zur Kalibrierung einer videobasierten Umfelderfassung. Masterarbeit, 2014.
  • Emanuel Wolff. Tracking eines Kalibriermusters zur automatischen Schätzgune von intrinsischen Kameraparametern. Bachelorarbeit, 2013.
  • Georgiy Mühlig. Entwicklung eines echtzeitfähigen Stereokamerasystems zur 3D-Szenenrekonstruktion mit CUDA und OpenGL. Masterarbeit, 2013.
  • Marcel Patzschke. Region-based Tracking of Multiple Targets in Real-time Using Spatiograms. Bachelorarbeit, 2013.
  • Claudia Rudolph. Videobasierte Bestimmung des Nickwinkels für Motorräder anhand einer Fluchtpunktschätzung, Bachelorarbeit, 2013.
  • Lukas Caup. Echtzeitfähiges Überwachen eines KFZ-Anhängers mit einer Fischaugen-Kamera, Masterarbeit, 2013.
  • Alexander Steinhaus. Automatische Zählerablesung aus Digitalbildern mithilfe eines Smartphones, Bachelorarbeit, 2013.
  • André Janowicz. Echtzeitfähiges Erkennen von KFZ-Kennzeichen in Videobildern. Bachelorarbeit, 2013.
  • Turgut Kalkan. Kamerabasiertes Verfolgen und Überwachen eines Baustellenkrans. Masterarbeit, 2012.
  • Marc Tschentscher. Evaluation von Monocular inverse depth SLAM zur Stützung von Fahrzeugodometrie, Masterarbeit, 2012.
  • Marcel Neuhausen, Marc Tschentscher. Video-basierte Freiraumerkennung für Parkplatzleitsysteme, Studienprojekt, 2012.
  • Matthias Michael. GPU-Implementierung des Semi-Global-Matching Algorithmus für Stereo-Bildverarbeitung. Bachelorarbeit, 2012.
  • Stefan Tenbült. Flugbahnschätzung aus Videobildern in der Sportanalyse. Masterarbeit, 2012.
  • Mehmet Emre Subasi. Vergleich von Verfahren zur echtzeitfähigen Verkehrszeichendetektion, 2012. Bachelorarbeit
  • Jasmin Boukercha, Alexander Jungmann, Matthias Privett. Traffic Sign Crawler, 2011. Studienprojekt
  • Alexander Herrmann. Super-resolution aus Bildfolgen für rigide und nicht-rigide Objekte, 2011. Bachelorarbeit
  • Bastian Petzka. Mehr-Benutzer-Webanwendung zur Evaluierung von Klassifikationsverfahren im Rahmen eines Multiklassen-Benchmarks, 2011. Bachelorarbeit
  • Jakob Schepanek. Fahrerassistenzsysteme für Motorräder: Videobasierte Rollwinkelschätzung, 2011. Masterarbeit
  • Martin Gernhard, Sebastian Köhlert, Benjamin Meis, Marcel Neuhausen, Marc Tschentscher, Niels Sommer, Stefan Tenbült. Echtzeitfähige Bildverarbeitung für Computer-gestützte Sportanalyse, 2010. Studienprojekt
  • HoangChuong NgoNguyen. Local interactions in the HMAX model for robust object classification, 2010. Studienarbeit
  • Marc Tschentscher. Effiziente Berechnung von 3D-Flussvektoren (Scene Flow), 2010. Bachelorarbeit
  • Stefan Tenbült. Echtzeitfähige Klassifikation von Farbbildern zur Anwendung in der Sportanalyse, 2010. Bachelorarbeit
  • Michael Bierkant, Lukas Kubik, Bastian Petzka, Martin Raabe, Georgi Varsanov, Mehmet Yilmaz. Design eines öffentlichen Benchmarks zur Evaluierung von Multiklassen-Objekterkennungsverfahren, 2010. Studienprojekt
  • Martin Gernhard. Stereo-Verarbeitung mit Haar-Merkmalen als Grundlage für die Kostenberechnung, 2010. Bachelorarbeit
  • Kateryna Shapir. Optimierung der Erkennung von Spieler-Trajektorien in der Sportanalyse, 2009. Bachelorarbeit
  • Kai Brügge, Martin Gernhard, Dennis Haufe, Meral Karadag, Oswin Krause, Daniel Rempe, Stefan Tenbült. Echtzeitfähige Erkennung bewegter Objekte für Fahrerassistenzsysteme, 2009. Studienprojekt
  • Lukas Caup. Bestimmung von optischem Fluss mit einem featurebasierten, echtzeitfähigen Algorithmus, 2009. Bachelorarbeit
  • Sven Bergman. Untersuchung einer autonomen, lernfähigen Fahrzeugführung in Bildkoordinaten, 2008. Diplomarbeit
  • Marc Schlipsing. Echtzeitfähige und robuste Erkennung von Verkehrszeichen in Videosequenzen mit Hilfe von Haar-Merkmalen, 2007. Diplomarbeit
  • Sebastian Noth. Development of an approach to component based object classification, 2007. Diplomarbeit
  • Christian Schwede. Entwicklung und Untersuchung von Verfahren zur hierarchischen Erkennung von Verkehrszeichen in Videobildern, 2007. Diplomarbeit
  • Jan Salmen. Entwicklung und Optimierung eines echtzeitfähigen Systems zur Verkehrszeichenerkennung, 2006. Diplomarbeit
Computer-aided Sports Analysis

Die Rolle von statistischer Sportanalyse gewinnt stetig an Bedeutung. Der Nutzen sportwissenschaftlicher Daten, etwa zur Unterstützung professioneller Trainingsmethoden, wird allgemein anerkannt. Interessante Kenngrößen zu Fußballspielen (beispielsweise Laufwege, Passspiel und Zweikämpfe) lassen sich jedoch entweder nur subjektiv abschätzen oder manuell sehr aufwändig bzw. deutlich zeitversetzt bestimmen.

Emotion. Eskalation. Gewalt. Entwicklung eines video-basierten Verfahrens zur Früherkennung von Emotionsprozessen bei Großveranstaltungen.

Wenn Menschen in großer Zahl in der Öffentlichkeit zusammenkommen, sei es bei Fußballspielen, Rockkonzerten oder Demonstrationen, entstehen oft Gruppenemotionen (angenehme wie konfliktäre). Die zentrale grundlagentheoretische Fragestellung des Projekts lautet: Lassen sich emotionale Prozesse (i.e. emotionale Eskalationsprozesse) auch automatisch mittels einer beobachtenden Kamera erkennen und in einem entsprechenden bildgebenden Verfahren, mit dem Zweck einer möglichst frühzeitigen Erkennung eskalierender Emotionsprozesse in Großveranstaltungen, darstellen?

Parking Space Detection

The search for a parking space in urban areas is often time-consuming and nerve-racking. Efficient car park guidance systems could support drivers in their search for an available parking space. Video-based systems are a reasonably priced alternative to systems employing other sensor types and their camera input can be used for various tasks within the system.

Horn, D., Ibisch, A., & Tschentscher, M.. (2018). Automatisierte Videoanalyse. In C. Moritz & Corsten, M. (Eds.), Handbuch Qualitative Videoanalyse (pp. 1–17). Springer VS Verlag.
Tschentscher, M., Pruß, B., & Horn, D.. (2017). A simulated car-park environment for the evaluation of video-based on-site parking guidance systems. In Proceedings of the IEEE Intelligent Vehicles Symposium (IV) (pp. 1571–1576).
Michael, M., Feist, C., Schuller, F., & Tschentscher, M.. (2016). Fast Change Detection for Camera-based Surveillance Systems. In Proceedings of the IEEE International Conference on Intelligent Transportation Systems (Vol. 19, pp. 1–8).
Horn, D., & Brüggenthies, M. (2015). Video-based Parking Space Detection: Localisation of Vehicles and Development of an Infrastructure for a Routeing System. In Proceedings of the Forum Bauinformatik (pp. 175–182).
Houben, S., Neuhausen, M., Michael, M., Kesten, R., Mickler, F., & Schuller, F. (2015). Park marking-based vehicle self-localization with a fisheye topview system. Journal of Real-Time Image Processing, 1–16.
Ibisch, A., Houben, S., Michael, M., Kesten, R., & Schuller, F. (2015). Arbitrary object localization and tracking via multiple-camera surveillance system embedded in a parking garage. In SPIE/IS&T Electronic Imaging. International Society for Optics and Photonics.
Michael, M., & Schlipsing, M.. (2015). Extending Traffic Light Recognition: Efficient Classification of Phase and Pictogram. In Proceedings of the IEEE International Joint Conference on Neural Networks.
Tschentscher, M., Koch, C., König, M., Salmen, J., & Schlipsing, M.. (2015). Scalable real-time parking lot classification: An evaluation of image features and supervised learning algorithms. In Proceedings of the IEEE International Joint Conference on Neural Networks.
Houben, S. (2014). Towards the intrinsic self-calibration of a vehicle-mounted omni-directional radially symmetric camera. In Proceedings of the IEEE Intelligent Vehicles Symposium Proceedings (pp. 878–883).
Ibisch, A., Houben, S., Schlipsing, M., Kesten, R., Reimche, P., Schuller, F., & Altinger, H. (2014). Towards highly automated driving in a parking garage: General object localization and tracking using an environment-embedded camera system. In Proceedings of the IEEE Intelligent Vehicles Symposium Proceedings (pp. 426–431).
Schlipsing, M., Salmen, J., Tschentscher, M., & Igel, C. (2014). Adaptive pattern recognition in real-time video-based soccer analysis. Journal of Real-Time Image Processing, 1–17.
Caup, L., Salmen, J., Muharemovic, I., & Houben, S.. (2013). Video-based trailer detection and articulation estimation. In Proceedings of the IEEE Intelligent Vehicles Symposium (IV) (pp. 1179–1184).
Houben, S., Komar, M., Hohm, A., Luke, S., Neuhausen, M., & Schlipsing, M.. (2013). On-vehicle video-based parking lot recognition with fisheye optics. In 16th International IEEE Conference on Intelligent Transportation Systems (ITSC) (pp. 7–12).
Houben, S., Stallkamp, J., Salmen, J., Schlipsing, M., & Igel, C. (2013). Detection of traffic signs in real-world images: The German Traffic Sign Detection Benchmark. In Proceedings of the IEEE International Joint Conference on Neural Networks (IJCNN) (pp. 1–8).
Ibisch, A., Stümper, S., Altinger, H., Neuhausen, M., Tschentscher, M., Schlipsing, M., et al. (2013). Autonomous Driving in a Parking Garage: Vehicle Localization and Tracking Using Environment-embedded LIDAR Sensors. In Proceedings of the IEEE Intelligent Vehicles Symposium (pp. 829–934).
Michael, M., Salmen, J., Stallkamp, J., & Schlipsing, M.. (2013). Real-Time Stereo Vision: Optimizing Semi-Global Matching. In Proceedings of the IEEE Intelligent Vehicles Symposium (pp. 1197–1202).
Tschentscher, M., Neuhausen, M., Koch, C., König, M., Salmen, J., & Schlipsing, M.. (2013). Comparing Image Features and Machine Learning Algorithms for Real-time Parking-space Classifiaction. In Proceedings of the ASCE International Workshop on Computing in Civil Engineering (pp. 363–370).
Salmen, J., Houben, S., & Schlipsing, M.. (2012). Google street view images support the development of vision-based driver assistance systems. In Proceedings of the Intelligent Vehicles Symposium (IV), 2012 IEEE (pp. 891–895). IEEE.
Tschentscher, M. (2012). Evaluation von Monocular Inverse Depth SLAM zur Stützung von Fahrzeugodometrie (Masterarbeit).
Tschentscher, M., & Neuhausen, M. (2012). Video-based Parking-space Detection. In Proceedings of the Forum Bauinformatik (pp. 159–166).
Houben, S. (2011). A single target voting scheme for traffic sign detection. In Proceedings of the Intelligent Vehicles Symposium (IV) (pp. 124–129).
Tschentscher, M. (2010). Effiziente Berechnung von 3D-Flußvektoren (Scene Flow) (Bachelorarbeit).
Various Bachelor/Master Thesis

Bachelor/Master Thesis Real-time Computer Vision