Real-Time Computer Vision

Dealing with the topic of efficient computer vision, our group has a long and successful history at the chair. Our current focus lies on the technologies for driver assistance systems, which represent an important and challenging field of application. These intelligent systems analyse the vehicle´s environment via different types of sensors, for instance video and radar, thus, increasing safety and comfort for the driver.

Driver assistance systems have to provide reliable results within natural, and therefore, complex and highly dynamic environments. At the same time mobile computers suffer from limited resources. These circumstances make the given tasks very demanding.

In the presented research areas our group is able to look back on numerous projects in cooperation with companies from the automotive industry. The group has excellent know-how in computer vision using an own development framework for scene representations for the integration of a large set of modules. Particularly, in the fields of machine learning, cognitive systems and optimization we benefit from the institute´s interdisciplinary character.


Benchmarks

GTSRB

In 2011, the Real-Time Computer Vision group published The German Traffic Sign Recognition Benchmark at the International Joint Conference on Neural Networks (IJCNN). The benchmark covers a single-image, multi-class classification problem, offering a large, lifelike database. The data set comprises more than 40 classes in more than 50,000 traffic images and has been used for testing and evaluation by research teams around the world.

The German Traffic Sign Recognition Benchmark

Reference

Stallkamp, J., Schlipsing, M., Salmen, J., & Igel, C. (2011). The German Traffic Sign Recognition Benchmark: A multi-class classification competition. In Proceedings of the IEEE International Joint Conference on Neural Networks (pp. 1453–1460).


GTSDB

In 2013, The German Traffic Sign Detection Benchmark was presented at the International Joint Conference on Neural Networks (IJCNN). It proposes a single-image detection problem. The data set includes 900 images, divided into 600 training images and 300 evaluation images, which have been sorted into one of three categories in order to suit the properties of various detection approaches with different properties. The given online evaluation system provides an immediate analysis and ranking of the submitted results. The benchmark has been used by researchers worldwide to test and evaluate their algorithms on the given task.

The German Traffic Sign Detection Benchmark

Reference

Houben, S., Stallkamp, J., Salmen, J., Schlipsing, M., & Igel, C. (2013). Detection of traffic signs in real-world images: The German Traffic Sign Detection Benchmark. In Proceedings of the IEEE International Joint Conference on Neural Networks (IJCNN) (pp. 1–8).


Tutorials

This tutorial was designed for students who are neither familiar with image processing nor C++. A brief introduction to both topics (in combination) is given in the .pdf file provided below. Alternatively, a .zip-folder including the .pdf, demo code and image samples can be downloaded.

Downloads

(Version 2.0, 19th August 2010)


Former Cooperations

Audi AG Athlens GmbH BMW AG
Bosch Continental AG DFL
FZD Nisys GmbH Volkswagen AG

Parking Space Detection

The search for a parking space in urban areas is often time-consuming and nerve-racking. Efficient car park guidance systems could support drivers in their search for an available parking space. Video-based systems are a reasonably priced alternative to systems employing other sensor types and their camera input can be used for various tasks within the system.

Emotion. Eskalation. Gewalt. Entwicklung eines video-basierten Verfahrens zur Früherkennung von Emotionsprozessen bei Großveranstaltungen.

Wenn Menschen in großer Zahl in der Öffentlichkeit zusammenkommen, sei es bei Fußballspielen, Rockkonzerten oder Demonstrationen, entstehen oft Gruppenemotionen (angenehme wie konfliktäre). Die zentrale grundlagentheoretische Fragestellung des Projekts lautet: Lassen sich emotionale Prozesse (i.e. emotionale Eskalationsprozesse) auch automatisch mittels einer beobachtenden Kamera erkennen und in einem entsprechenden bildgebenden Verfahren, mit dem Zweck einer möglichst frühzeitigen Erkennung eskalierender Emotionsprozesse in Großveranstaltungen, darstellen?

Computer-aided Sports Analysis

Die Rolle von statistischer Sportanalyse gewinnt stetig an Bedeutung. Der Nutzen sportwissenschaftlicher Daten, etwa zur Unterstützung professioneller Trainingsmethoden, wird allgemein anerkannt. Interessante Kenngrößen zu Fußballspielen (beispielsweise Laufwege, Passspiel und Zweikämpfe) lassen sich jedoch entweder nur subjektiv abschätzen oder manuell sehr aufwändig bzw. deutlich zeitversetzt bestimmen.

    2018

  • Fine-Grained Vehicle Representations for Autonomous Driving
    Barowski, T., Szczot, M., & Houben, S.
    In Accepted for IEEE International Conference on Intelligent Transportation Systems (ITSC)
  • Evaluation of Synthetic Video Data in Machine Learning Approaches for Parking Space Classification
    Horn, D., & Houben, S.
    In Proceedings of the IEEE Intelligent Vehicles Symposium (IV) (pp. 2157–2162)
  • Erste Ansätze zur automatischen Erkennung von Gruppenverhalten mithilfe des Computersehens
    Horn, D., Houben, S., & Schöner, G.
    In J. Reichertz & Keysers, V. (Eds.), Emotion. Eskalation. Gewalt. (pp. 130–147) Beltz Juventa
  • Automatisierte Videoanalyse
    Horn, D., Ibisch, A., & Tschentscher, M.
    In C. Moritz & Corsten, M. (Eds.), Handbuch Qualitative Videoanalyse (pp. 445–456) Springer VS Verlag
  • 2017

  • A simulated car-park environment for the evaluation of video-based on-site parking guidance systems
    Tschentscher, M., Pruß, B., & Horn, D.
    In Proceedings of the IEEE Intelligent Vehicles Symposium (IV) (pp. 1571–1576)
  • 2016

  • Fast Change Detection for Camera-based Surveillance Systems
    Michael, M., Feist, C., Schuller, F., & Tschentscher, M.
    In Proceedings of the IEEE International Conference on Intelligent Transportation Systems (Vol. 19, pp. 1–8)
  • 2015

  • Video-based Parking Space Detection: Localisation of Vehicles and Development of an Infrastructure for a Routeing System
    Horn, D., & Brüggenthies, M.
    In Proceedings of the Forum Bauinformatik (pp. 175–182)
  • Park marking-based vehicle self-localization with a fisheye topview system
    Houben, S., Neuhausen, M., Michael, M., Kesten, R., Mickler, F., & Schuller, F.
    Journal of Real-Time Image Processing, 1–16
  • Arbitrary object localization and tracking via multiple-camera surveillance system embedded in a parking garage
    Ibisch, A., Houben, S., Michael, M., Kesten, R., & Schuller, F.
    In SPIE/IS&T Electronic Imaging International Society for Optics and Photonics
  • Extending Traffic Light Recognition: Efficient Classification of Phase and Pictogram
    Michael, M., & Schlipsing, M.
    In Proceedings of the IEEE International Joint Conference on Neural Networks
  • Scalable real-time parking lot classification: An evaluation of image features and supervised learning algorithms
    Tschentscher, M., Koch, C., König, M., Salmen, J., & Schlipsing, M.
    In Proceedings of the IEEE International Joint Conference on Neural Networks
  • 2014

  • Towards the intrinsic self-calibration of a vehicle-mounted omni-directional radially symmetric camera
    Houben, S.
    In Proceedings of the IEEE Intelligent Vehicles Symposium Proceedings (pp. 878–883)
  • Towards highly automated driving in a parking garage: General object localization and tracking using an environment-embedded camera system
    Ibisch, A., Houben, S., Schlipsing, M., Kesten, R., Reimche, P., Schuller, F., & Altinger, H.
    In Proceedings of the IEEE Intelligent Vehicles Symposium Proceedings (pp. 426–431)
  • Adaptive pattern recognition in real-time video-based soccer analysis
    Schlipsing, M., Salmen, J., Tschentscher, M., & Igel, C.
    Journal of Real-Time Image Processing, 1–17
  • 2013

  • Video-based trailer detection and articulation estimation
    Caup, L., Salmen, J., Muharemovic, I., & Houben, S.
    In Proceedings of the IEEE Intelligent Vehicles Symposium (IV) (pp. 1179–1184)
  • On-vehicle video-based parking lot recognition with fisheye optics
    Houben, S., Komar, M., Hohm, A., Luke, S., Neuhausen, M., & Schlipsing, M.
    In 16th International IEEE Conference on Intelligent Transportation Systems (ITSC) (pp. 7–12)
  • Detection of traffic signs in real-world images: The German Traffic Sign Detection Benchmark
    Houben, S., Stallkamp, J., Salmen, J., Schlipsing, M., & Igel, C.
    In Proceedings of the IEEE International Joint Conference on Neural Networks (IJCNN) (pp. 1–8)
  • Autonomous Driving in a Parking Garage: Vehicle Localization and Tracking Using Environment-embedded LIDAR Sensors
    Ibisch, A., Stümper, S., Altinger, H., Neuhausen, M., Tschentscher, M., Schlipsing, M., et al.
    In Proceedings of the IEEE Intelligent Vehicles Symposium (pp. 829–934)
  • Real-Time Stereo Vision: Optimizing Semi-Global Matching
    Michael, M., Salmen, J., Stallkamp, J., & Schlipsing, M.
    In Proceedings of the IEEE Intelligent Vehicles Symposium (pp. 1197–1202)
  • Comparing Image Features and Machine Learning Algorithms for Real-time Parking-space Classifiaction
    Tschentscher, M., Neuhausen, M., Koch, C., König, M., Salmen, J., & Schlipsing, M.
    In Proceedings of the ASCE International Workshop on Computing in Civil Engineering (pp. 363–370)
  • 2012

  • Google street view images support the development of vision-based driver assistance systems
    Salmen, J., Houben, S., & Schlipsing, M.
    In Proceedings of the Intelligent Vehicles Symposium (IV), 2012 IEEE (pp. 891–895) IEEE
  • Evaluation von Monocular Inverse Depth SLAM zur Stützung von Fahrzeugodometrie (Masterarbeit)
  • Video-based Parking-space Detection
    Tschentscher, M., & Neuhausen, M.
    In Proceedings of the Forum Bauinformatik (pp. 159–166)
  • 2011

  • A single target voting scheme for traffic sign detection
    Houben, S.
    In Proceedings of the Intelligent Vehicles Symposium (IV) (pp. 124–129)
  • 2010

  • Effiziente Berechnung von 3D-Flußvektoren (Scene Flow) (Bachelorarbeit)

    2018

  • Entwicklung eines erweiterbaren grafischen Frameworks für Klassifikationsalgorithmen
    Bönnighausen, N.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Implementierung und Evaluation einer Methode zur bildbasierten Erkennung von Fahrzeugen und deren Posen mittels kaskadierender Entscheidungsbäume
    Hegenbarth, J.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Evaluation der Übertragbarkeit monokularer Tiefenschätzungsverfahren mit konvolutionalen neuronalen Netzwerken auf untrainierte Anwendungsdomänen
    Kippert, S.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Generation of Natural Traffic Sign Images Using Domain Translation with Cycle-Consistent Generative Adversarial Networks
    Spata, D.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Sensorbasiertes Parkleitsystem mit Umfelderfassung zur Navigation und Belegungserkennung einzelner Parkplätze
    Tschentscher, M. P.
    Doctoral thesis, Electrical Engineering, Ruhr University Bochum, Germany
  • 2017

  • Entwicklung eines Tools zur Kalibrierung von Kameras anhand von online Kartendaten
    Zarovinskyy, A.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Entwicklung einer komplexen Fahrzeug-KI mithilfe der Unreal Engine zur Interaktion mit einem kamerabasierten Parkleitsystem
    Asakura, V., Hegenbarth, J., Kippert, S., Spata, D., & Tayeran, S.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Dichter Fluss für Bewegungssegmentierung: Portierung und Evaluation von Flownet, EpicFlow und EPPN
    Bröcheler, C.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Building a Simulated Environment for the Evaluation of Image Processing Algorithms in the Context of On-Site Parking Guidance Systems
    Horn, D.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Künstliche Wahrnehmung auf Basis ortsfester Sensoren
    Ibisch, A.
    Doctoral thesis, ETIT, Ruhr University Bochum, Germany
  • Entwicklung einer realitätsnahen und echtzeitfähigen virtuellen Kamera in der Unreal Engine und Etablierung einer Schnittstelle zum Bildverarbeitungsframework YAF
    Pruß, B.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • 2016

  • Detektion der Körperorientierung von Fußgängern über stationäre Videokameras für automatisierte Fahrfunktionen im Parkhaus
    Asakura, V.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Videobasierte Klassifikation von Gruppenverhalten
    Asakura, V., Hegenbarth, J., Kippert, S., Spata, D., & Tayeran, S.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Robuste Detektion von abnormalen Gruppenverhalten unter Verwendung einer Kombination von Particle Advection und Social Force Model
    Hegenbarth, J.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Echtzeitfähige Personenerkennung mit einem Deformable Part Modell (DPM) unter Berücksichtigung von Verdeckungen
    Kippert, S.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Verwendung von Texturanalyse zur Zuordnung von Objekten unter großer Perspektive
    Sangaré, M.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Action Classification Using a Combination of Hough Voting and Random Forest
    Spata, D.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • 2015

  • Spatial Temporal Integral Channel Features: Effiziente GPU-Implementierung für das Viola-Jones-Detektor-Framework
    Barowski, T.
    Master’s thesis, ETIT, Ruhr University Bochum, Germany
  • Effiziente Multiklassen-Klassifikation des Belegungsstatus von Parkplätzen unter Berücksichtigung von Verdeckung
    Gömleksiz, A.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Videobasierte Parkplatzerkennung: Markerbasierte Lokalisierung von Fahrzeugen und Aufbau der Infrastruktur für ein Leitsystem
    Horn, D., & Brüggenthies, M.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Bildverarbeitende Algorithmen zur Fahrerassistenz mit Weitwinkelkameras
    Houben, S.
    Doctoral thesis, ETIT, Ruhr University Bochum, Germany
  • 2014

  • Framework zur Entwicklung, Bewertung und Analyse von Computer-Vision-Anwendungen im Kontext umfelderfassender Fahrerassistenzsysteme
    Stallkamp, J.
    Doctoral thesis, Electrical Engineering, Univ. of Bochum, Germany
  • Analyse von Bewegungsmustern eines Tennisspielers durch videobasiertes Tracking der Fußpositionen
    Heitmeier, S.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Development of a smart phone user interface for a sensor-based car park routeing system
    Horn, D.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Parameteroptimierung eines echtzeitfähigen Bildverarbeitungsalgortihmus zur Erkennung von Parkplatzmarkierungen
    Lexy, A.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Tracking von Fahrbahnmarkierungen zur Kalibrierung einer videobasierten Umfelderfassung
    Neuhausen, M.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Videobasierte Leistungserfassung im Fußball
    Schlipsing, M.
    Doctoral thesis, Ruhr-Universität Bochum
  • 2013

  • Echtzeitfähiges Überwachen eines KFZ-Anhängers mit einer Fischaugen-Kamera
    Caup, L.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Echtzeitfähiges Erkennen von KFZ-Kennzeichen in Videobildern
    Janowicz, A.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Entwicklung eines echtzeitfähigen Stereokamerasystems zur 3D-Szenenrekonstruktion mit CUDA und OpenGL
    Mühlig, G.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Region-based Tracking of Multiple Targets in Real-time Using Spatiograms
    Patzschke, M.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Videobasierte Bestimmung des Nickwinkels für Motorräder anhand einer Fluchtpunktschätzung
    Rudolph, C.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Automatische Zählerablesung aus Digitalbildern mithilfe eines Smartphones
    Steinhaus, A.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Tracking eines Kalibriermusters zur automatischen Schätzung von intrinsichen Kameraparametern
    Wolff, E.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • 2012

  • Kamerabasiertes Verfolgen und Überwachen eines Baustellenkrans
    Kalkan, T.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • GPU-Implementierung des Semi-Global-Matching Algorithmus für Stereo-Bildverarbeitung
    Michael, M.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Videobasierte Freiraumerkennung für Parkplatzleitsysteme
    Neuhausen, M., & Tschentscher, M.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Vergleich von Verfahren zur echtzeitfähigen Verkehrszeichendetektion
    Subasi, M. E.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Flugbahnschätzung aus Videobildern in der Sportanalyse
    Tenbült, S.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Evaluation von Monocular inverse depth SLAM zur Unterstützung von Fahrzeugodometrie
    Tschentscher, M.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • 2011

  • Traffic Sign Crawler
    Boukercha, J., Jungmann, A., & Privett, M.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Super-resolution aus Bildfolgen für rigide und nicht-rigide Objekte
    Herrmann, A.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Mehr-Benutzer-Webanwendung zur Evaluierung von Klassifikationsverfahren im Rahmen eines Multiklassen-Benchmarks
    Petzka, B.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Fahrerassistenzsysteme für Motorräder: Videobasierte Rollwinkelschätzung
    Schepanek, J.
    Master’s thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • 2010

  • Design eines öffentlichen Benchmarks zur Evaluierung von Multiklassen-Objekterkennungsverfahren
    Bierkant, M., Kubik, L., Petzka, B., Raabe, M., Varsanow, G., & Yilmaz, M.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Stereo-Verarbeitung mit Haar-Merkmalen als Grundlage für die Kostenberechnung
    Gernhard, M.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Echtzeitfähige Bildverarbeitung für computergestützte Sportanalyse
    Gernhard, M., Köhlert, S., Meis, B., Neuhausen, M., Tschentscher, M., Sommer, N., & Tenbült, S.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Local interactions in the HMAX model for robust object classification
    Ngo Nguyen, H. C.
    Study project, Electrical Engineering, Ruhr University Bochum, Germany
  • Echtzeitfähige Klassifikation von Farbbildern zur Anwendung in der Sportanalyse
    Tenbült, S.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Effiziente Berechnung von 3D-Flussvektoren (Scene Flow)
    Tschentscher, M.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • 2009

  • Echtzeitfähige Erkennung bewegter Objekte für Fahrerassistenzsysteme
    Brügge, K., Gernhard, M., Haufe, D., Karadag, M., Krause, O., Rempe, D., & Tenbült, S.
    Study project, Applied Computer Science, Ruhr University Bochum, Germany
  • Bestimmung von optischem Fluss mit einem featurebasierten, echtzeitfähigen Algorithmus
    Caup, L.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • Optimierung der Erkennung von Spieler-Trajektorien in der Sportanalyse
    Shapir, K.
    Bachelor's thesis, Applied Computer Science, Ruhr University Bochum, Germany
  • 2008

  • Untersuchung einer autonomen, lernfähigen Fahrzeugführung in Bildkoordinaten
    Bergman, S.
    Ruhr University Bochum, Germany
  • 2007

  • Development of an approach to component based object classification
    Noth, S.
    Ruhr University Bochum, Germany
  • Echtzeitfähige und robuste Erkennung von Verkehrszeichen in Videosequenzen mit Hilfe von Haar-Merkmalen
    Schlipsing, M.
    Ruhr University Bochum, Germany
  • Entwicklung und Untersuchung von Verfahren zur hierarchischen Erkennung von Verkehrszeichen in Videobildern
    Schwede, C.
    Ruhr University Bochum, Germany
  • 2006

  • Entwicklung und Optimierung eines echtzeitfähigen Systems zur Verkehrszeichenerkennung
    Salmen, J.
    Ruhr University Bochum, Germany

The Institut für Neuroinformatik (INI) is a central research unit of the Ruhr-Universität Bochum. We aim to understand the fundamental principles through which organisms generate behavior and cognition while linked to their environments through sensory systems and while acting in those environments through effector systems. Inspired by our insights into such natural cognitive systems, we seek new solutions to problems of information processing in artificial cognitive systems. We draw from a variety of disciplines that include experimental approaches from psychology and neurophysiology as well as theoretical approaches from physics, mathematics, electrical engineering and applied computer science.

Universitätsstr. 150, Building NB, Room 3/32
D-44801 Bochum, Germany

Tel: (+49) 234 32-28967
Fax: (+49) 234 32-14210