KonSensData

Mobile Sensortechnologie zur Erhebung, Analyse und Übertragung von Verkehrsdaten

Intelligente Verkehrssysteme benötigen eine umfassende Sensorik zur Umweltwahrnehmung, um das assistierte bzw. autonome Fahren effizienter, sicherer und nachhaltiger zu gestalten. In absehbarer Zukunft kommunizieren nicht nur Fahrzeuge untereinander, sondern auch die Infrastruktur wird eingebunden, so dass eine bessere Einschätzung der Verkehrssituation gewährleistet werden kann. Dabei tritt die Verkehrs- und Gefahrenanalyse immer mehr in den Fokus und ist fester Bestandteil des Konzepts der vernetzen Mobilität. Fraunhofer-Wissenschaftlerinnen und -Wissenschaftler haben eine auf Künstlicher Intelligenz (KI) basierende, mobile Sensoreinheit zur Datenerhebung und -analyse entwickelt, die die Grundlage der intelligenten Infrastruktur bildet. Diese erlaubt es, Vorhersagen von Verkehrsflüssen durch Pkw, Lkw, Radfahrende sowie Fußgänger*innen zu treffen oder eine Echtzeit-Kommunikation mit autonomen Fahrzeugen oder Fahrassistenzsystemen zu ermöglichen. Echtzeit-Kommunikation eignet sich auch als ein wichtiges Mittel im Verkehrsmanagement – beispielsweise für Ampelschaltungen – oder zur Ermittlung freier Verkehrsrouten für Einsatzkräfte. Das System lässt sich sehr flexibel einsetzen: Die Sensorbox kann entweder direkt an die bestehende Infrastruktur gekoppelt werden oder als mobiler Sensormast über einen langen Zeitraum hinweg autark arbeiten. Bereits Ende 2022 soll die Technologie in mehreren Städten Deutschlands installiert sein.

Die Arbeiten erfolgen in enger Zusammenarbeit mit dem Fraunhofer IAIS und FHR unter Leitung des Fraunhofer IVI. Das Forschungsvorhaben wird im Rahmen des CCIT-Clusters gefördert.

Robustheit durch Kombination von Radar- und Infrarotdaten

Im Gegensatz zu herkömmlichen Formen von KI-Modellen für die Erkennung von Personen und Fahrzeugen beruht der Fraunhofer-Ansatz auf der Verknüpfung zweier unterschiedlicher Modalitäten zur Datenerfassung: Durch die Kombination von Radar- und Infrarotdaten wird ein robustes Analysesystem geschaffen, für das selbst temporäre Verdeckungen von Verkehrsteilnehmenden kein Problem darstellt – die Datenerfassung ist auch bei schwierigen Lichtverhältnissen sehr zuverlässig und dadurch tageszeitunabhängig und bei fast jedem Wetter einsetzbar. Die Objekterkennung wird zudem durch ein Tracking-Verfahren ergänzt, das zusätzliche Robustheit schafft und die Analyse von Verkehrsteilnehmer*innen in Bildsequenzen und 3D ermöglicht.

Bei der Erfassung und Auswertung der sensiblen Daten aus dem öffentlichen Raum wird besonderer Wert auf den Datenschutz gelegt.

Algorithmus und KI-Modell – Warum ist der Ansatz so innovativ?

Verschiedene Sensoren liefern multimodale Daten, die sich gegenseitig ergänzen können. Durch die Fusion der 4D-Radarpunktwolke (3D-Punkte mit Geschwindigkeit) und der Infrarotbilder werden die Vorteile der jeweiligen Sensoren zusammengeführt. Da die Qualität der Objekterkennung von der Fusionsarchitektur abhängt, wird die Fusion der Daten in zwei Stufen durchgeführt und ausgewertet. Auf der einen Seite wird der Prozess wie im Vorgängerprojekt (KonSens) auf Objektebene fortgesetzt, wobei die Objekte separat von der IR-Kamera und dem Radarsensor erkannt und zugeordnet werden. Dabei werden ein Unsupervised-Learning-Algorithmus zum Clustern der Radarpunktwolken und ein Deep-Learning-Ansatz mit zugehörigem Convolutional-Neural-Network (CNN) zur IR-Bilderkennung verbessert. Dank der Fusion profitiert die finale Detektion von den Attributen, die beide Sensoren liefern (z. B. die Entfernung und die Geschwindigkeit der Objekte vom Radar und die Objektklasse von der IR-Kamera). Andererseits wird die Fusion auf der Feature-Ebene erforscht. Dabei liefern die Sensoren die Merkmale der Objekte, die z. B. mit CNN-Backbones erzeugt werden. Diese Merkmale werden fusioniert und als Input für ein neuronales Netzwerk zur endgültigen Objekterkennung verwendet. Auf diese Weise lässt sich die Qualität der Objekterkennung verbessern.

Licht- und Witterungsunabhängigkeit – Warum funktioniert die Technologie auch bei schwieriger Witterung und Dunkelheit?

Weder bei Infrarot- noch bei Radarsensoren besteht eine direkte Abhängigkeit von der Sonne oder anderen Beleuchtungen. Vereinfacht gesagt »strahlen« die meisten Objekte im Infrarotbereich in einem gewissen Verhältnis zu ihrer Temperatur. Dieses Eigenemissionsvermögen macht Objekte, aber auch Menschen und (fahrende) motorisierte Fahrzeuge unabhängig von der Beleuchtung sichtbar. Zudem sind ungünstige Wetterlagen wie Nebel im Langenwellen-Infrarotbandbereich durchsichtiger. Ergänzt wird die Technologie durch ein aktives Sensorsystem: Radar. Radar strahlt sein eigenes Signal aus und erfasst darauf die Antwort aus der Umgebung – unabhängig von vorherrschenden Licht- und Sichtverhältnissen. Des Weiteren ist das Radarsystem aufgrund seiner Funktionsweise robust gegenüber Beeinträchtigungen, wie temporären Verdeckungen von Verkehrsteilnehmenden.

Datenschutz – Wie sind datenschutzkonforme Aufzeichnungen und Auswertungen möglich?

Keiner der beiden Sensoren eignet sich für die Identifizierung von Personen, was das Risiko von Datenschutzproblemen in der Datenerfassungsphase verringert. Darüber hinaus werden weder Bilder noch Videos aufgezeichnet, um sicherzustellen, dass die Privatsphäre der Verkehrsteilnehmenden geschützt ist.

Die Vorteile des mobilen Sensormasts in Kürze

• Kombination von Radar- und Infrarotdaten für mehr Robustheit
• Künstliche Intelligenz zur Analyse von Verkehrsdaten: Detektion und Tracking von Verkehrsteilnehmer*innen
• tageszeit- und witterungsunabhängige Erfassung
• individuelle Anpassung für Ihren Anwendungsfall
• mobiler und flexibel einsetzbarer Sensormast/-box
• Datenschutzkonformität

Einsatzbereiche

• Automatisiertes und autonomes Fahren
• Verkehrsmanagement
• Smart Cities

Branchen

• Sensorhersteller
• Infrastrukturausstatter im Verkehrsbereich
• Städte und Gemeinden