Live Motion Capturing

Auf Basis eines Konzepts der Berliner Werbeagentur "Heimat", haben wir uns in den vergangenen beiden Wochen erneut mit dem Thema Live Motion Capturing und Object Tracking beschäftigt. Das, für uns als Developer, höchst interessante Konzept der Berliner zeigt ein weiteres, spannendes Einsatzgebiet für automatische Erkennung von Objekten und Bewegungen für Werbekampagnen und Promotions. (Leider können wir in unserem Blog nicht auf weitere Details des Konzepts eingehen.)

 

Ziel unseres Experiments war es herauszufinden, ob es mit unserem System möglich ist, einen Ball auf einem Spielfeld automatisch zu Verfolgen und die Bewegungen des Balles mit Soundeffekten zu untermalen. Das Beispielvideo zeigt, wie beim Aufprall des Balles am Boden ein "fetter" Bass abgespielt und der Ball im Live Videobild farblich markiert wird. In Kombination mit einem Video Projektor und Video Mapping eröffnen sich unzählige Möglichkeiten um Zuschauer sowie Spieler mit außergewöhnlichen Effekten zu begeistern.

 

 

Umgesetzt wurde unser Proof of Concept auf Basis von Visual C++ und OpenCV. Neu für uns war die Kombination von zwei verschiedenen Tracking Techniken. Einerseits basiert das Motion Capturing auf einem Live Videobild in dem der Ball aufgrund seiner Form und Farbe automatisch erkannt wird. Weiters wurden mehrere Mikrofone am Court installiert. Diese Kombination von optischem und akustischem Tracking ermöglicht es, den Aufprall des Balles am Boden zu erkennen, obwohl der Ball von einer Person verdeckt und dadurch für die Kamera unsichtbar wird.

 

Das Proof of Concept Video gibt es unter: https://vimeo.com/50532935