Computer-aided Sports Analysis Real-Time Computer Vision
Funding:

Gefördert durch: Bundesministerium für Wirtschaft und Technologie aufgrund eines Beschlusses des Deutschen Bundestages


Motivation

 

Die Rolle von statistischer Sportanalyse gewinnt stetig an Bedeutung. Der Nutzen sportwissenschaftlicher Daten, etwa zur Unterstützung professioneller Trainingsmethoden, wird allgemein anerkannt. Interessante Kenngrößen zu Fußballspielen (beispielsweise Laufwege, Passspiel und Zwei"-kämpfe) lassen sich jedoch entweder nur subjektiv abschätzen oder manuell sehr aufwändig bzw. deutlich zeitversetzt bestimmen.

 

Bei der automatischen Auswertung von Videomaterial zum Erhalt valider Statistiken müssen jedoch große Datenmengen gefiltert und aufbereitet werden. Ein auf Videokameras basierendes mobiles Computer-System eröffnet neue Möglichkeiten zur Analyse - von der Verfügbarkeit objektiver Daten zur Laufzeit eines Spiels bis zur umfangreichen computergestützten Auswertung über mehrere Spiele.

 

Ziel des Projekts ist die Entwicklung eines modularen Systems, welches die Gewinnung statistischer Daten zeitgleich zu Fußballspielen automatisiert, die sofortige Auswertung ermöglicht und schließlich das langfristige Verwalten und die weitere komfortable Nutzung gewonnener Statistiken unterstützt.

 

Arbeitsgebiete

 

Am Institut für Neuroinformatik werden primär die bildverarbeitenden Komponenten des Analysesystems entwickelt. Diese reichen von der Erzeugung des Panoramavideos über eine geeignete Objektsegmentierung und -klassifikation bis hin zum Tracking und damit schließlich zu einer automatischen Szenenrepräsentation.

 

HD-Panorama

 

Die Berechnung hochauflösender Panoramabilder des gesamten Spielfelds ist nicht nur die Grundlage für die automatische Objekterkennung. Vielmehr eröffnet es auch neue Möglichkeiten der Sportanalyse - "Live" und in der Nachbetrachtung. Zu jedem Zeitpunkt das gesamte Spielfeld beobachten zu können, lässt bereits verbesserte taktische Analysen zu und ist bislang durch kein System erfasst.

 

Auf Basis der erhobenen Daten kann zusätzlich eine Vielzahl individueller Kameraansichten generiert werden. Dem Angebot "nackter" Statistiken, wie andere Systeme sie bieten, steht hier das Konzept gegenüber, zu jedem beliebigen statistischen Datum auch die entsprechende Spielsequenz zur Verfügung stellen zu können. Bislang noch manuell aufgezeichnetes Videomaterial mit Fokus z.B. auf den Ball, einzelne Spieler, Mannschaftsteile, etc. - sogenannte Scouting Feeds - zukünftig automatisch erzeugen zu können, ist eines unserer ambitionierten Ziele.

 

Um dies technisch zu realisieren, ist eine entsprechend hohe Bildauflösung nötig. Die Berechnung des Panoramas durch das sogenannte Stitching umfasst die Kompensation der radialen Linsenverzerrung, die homographische Abbildung in die virtuelle Kameraebene und die damit verbundene bilineare Interpolation und erfordert somit nicht-lineare Operationen für jedes einzelne Pixel. Dabei ist die Echtzeitfähigkeit des Gesamtsystems bei einer minimalen Bildfrequenz von 25Hz, zu berücksichtigen. Dies ist mit einer CPU-basierten Implementierung sicherlich nicht zu leisten, sodass spezielle parallele Algorithmen entworfen und auf hochgradig parallel-verarbeitender Hardware implementiert werden müssen. Die Parallelisierung mit Hilfe des Grafikprozessors ist eine moderne und vielversprechende Technik zur effizienten Lösung von Bildverarbeitungsproblemen, im Zusammenhang mit Video-Stitching allerdings noch völlig neu.

 

Objekterkennung

 

Bei der Objekterkennung handelt es sich um ein mehrschrittiges Verfahren aus Detektion, Klassifikation und Tracking. Das Klassifikationsmodul weist im laufenden Betrieb jedem segmentieren Bildbereich seine entsprechende Klasse zu. Um dies leisten zu können, muss eine Repräsentation der Klassen im Eingaberaum (z.B. Farbhistogramm, Kantenfilter) bekannt sein. Typischerweise lernt der Klassifikator diese in einer Trainingsphase auf Basis von manuell klassifizierten Beispielen. Dies ist offensichtlich für das geplante System nicht möglich, da zum einen die Trainingsbeispiele aufgrund nicht notwendigerweise bekannter Trikots und individueller lokaler Gegebenheiten erst vor Ort ermittelt werden können und somit zu anderen nur einen kurze Trainingsphase möglich ist.

 

Alternativ zum beschriebenen überwachten Lernen kommen Methoden des unüberwachten Lernens im Training ohne Klassenlabel aus. Dazu zählen beispielsweise Clusterverfahren, wie der k-Means-Algorithmus. Jedoch stellt die stark variierende Anzahl der Beispiele je Klasse beim Clustern ein sehr großes Problem dar, was ein vollautomatisches Training wenig erfolgversprechend macht.

 

Zur Beherrschung des Lernproblems soll daher ein hybrider Ansatz aus überwachtem und unüberwachtem Lernen entwickelt und erprobt werden. Das sogenannte semi-supervised learning ist Gegenstand aktuellster Forschung im Bereich des maschinellen Lernens und bietet in Kombination mit problemspezifischen Methoden erfolgversprechende Lösungen: Durch Interaktion mit dem Benutzer soll der Lernprozess iterativ gesteuert und optimiert werden. Die Integration von äußerem Feedback ermöglicht die Identifikation und exaktere Abgrenzung der zu findenden Klassen. Es bleibt zu erforschen, auf welche Weise der Bediener, in Hinblick auf Komfort und Klassifikationserfolg, optimal integriert werden sollte.

 

Online-Parameter-Adaption

 

Während des Betriebs sind äußere Störungen zu erwarten, die die ständige Anpassung und Korrektur der initialen Systemkonfiguration notwendig machen. Da während des Spiels keine größeren zeitlichen Verzögerungen entstehen dürfen und Störungen nicht notwendigerweise offensichtlich erkennbar sind, ist dieses Nachführen von Parametern nicht manuell durchführbar.

 

Konkret besteht der Bedarf einer automatischen Adaption von Parametern in den Modulen Kamerakalibrierung und Segmentierung. Durch die angestrebte Mobilität des Aufnahmesystems muss damit gerechnet werden, dass es im Verlauf eines Spiels zu geringen Veränderungen der Kameraposen kommen kann. Dies würde bei Nichtbeachtung zu Ungenauigkeiten bei der Panorama-Berechnung und Fehlern in den statistischen Daten führen. Die bildbasierte Objektsegmentierung wiederum ist sehr stark abhängig von äußeren Bedingungen. Änderungen der Lichtverhältnisse, des Wetters oder der Bodenbeschaffenheit spielen hier die Hauptrolle.

 

Unter den Begriff der Online-Parameter-Adaption werden Konzepte gefasst, parameterbehaftete intelligente Systeme im laufenden Betrieb durch Anpassung bzw. Austausch von Parametersätzen im Hinblick auf ihre Leistungsfähigkeit innerhalb einer dynamischen Umwelt zu regulieren. Diese Anpassungsfähigkeit spielt in vielen Anwendungsbereichen der digitalen Bildverarbeitung eine wichtige Rolle und ist daher auch Gegenstand aktueller Forschung.

 

Am Beispiel der Vordergrundsegmentierung kann die Problematik und ein entsprechendes Konzept veranschaulicht werden: Die zum "Vordergrund" gehörigen Pixel zeichnen sich dadurch aus, dass sie sich deutlich vom geschätzten "Hintergrund" unterscheiden. Um dabei eine gewisse Robustheit zu gewährleisten, wird die Repräsentation des Hintergrundes zeitlich integriert. Diese Art der Adaption ist jedoch nur mit einer geringfügigen Dynamik möglich, da sonst auch größere Änderung in einer Hintergrundanpassung resultieren und somit kein Vordergrund herausgefiltert werden kann. An dieser Stelle kann die Anpassung auch nicht mehr lokal stattfinden, sondern muss durch die Erkennung bestimmter systemrelevanter Situationen global gelenkt werden. Als Beispiel für die Adaption von Helligkeitsbereichen steht die Detektion der Wetterbedingungen Sonne, Wolken, Nebel oder Regen und die anschließende Auswahl eines entsprechenden Parametersatzes.

 


Publications

    2014

  • Videobasierte Leistungserfassung im Fußball
    Schlipsing, M.
    Doctoral thesis, Ruhr-Universität Bochum
  • Adaptive pattern recognition in real-time video-based soccer analysis
    Schlipsing, M., Salmen, J., Tschentscher, M., & Igel, C.
    Journal of Real-Time Image Processing, 1–17
  • 2013

  • Echtzeit-Videoanalyse im Fußball
    Schlipsing, M., Salmen, J., & Igel, C.
    KI - Künstliche Intelligenz, 27(3), 235–240

The Institut für Neuroinformatik (INI) is a central research unit of the Ruhr-Universität Bochum. We aim to understand the fundamental principles through which organisms generate behavior and cognition while linked to their environments through sensory systems and while acting in those environments through effector systems. Inspired by our insights into such natural cognitive systems, we seek new solutions to problems of information processing in artificial cognitive systems. We draw from a variety of disciplines that include experimental approaches from psychology and neurophysiology as well as theoretical approaches from physics, mathematics, electrical engineering and applied computer science, in particular machine learning, artificial intelligence, and computer vision.

Universitätsstr. 150, Building NB, Room 3/32
D-44801 Bochum, Germany

Tel: (+49) 234 32-28967
Fax: (+49) 234 32-14210