Der Beitrag von Radarsensoren zum autonomen Fahren Von Dr. Jürgen Dickmann, Daimler Forschung und Vorentwicklung, Wilhelm-Runge Str.11, 89081 Ulm

Selbstfahrende Autos sind ein Traum, seitdem es Automobile gibt. Mit dem S 500 Forschungsfahrzeug zum „INTELLIGENT DRIVE“ (von den DAIMLER Forschern kurz “Bertha” genannt), das im August 2013 entlang des historischen Weges von Bertha Benz fuhr, wurde Mercedes-Benz der erste Autohersteller, der das autonome Fahren sowohl auf Überlandstraßen-als auch in der Innenstadt demonstrierte. Der Weg umfasst die ca. 100 Kilometer von Mannheim bis Pforzheim, die Bertha Benz vor genau 125 Jahren mit dem Fahrzeug ihres Mannes Carl Benz fuhr. Dieses historische Ereignis wird heutzutage als das Geburtsdatum des modernen Automobils betrachtet. Während Bertha Benz die Reife des von ihrem Mann entwickelten Benzinmotors hat demonstrieren wollen, war die Absicht des 2013er Experimentes zu zeigen, dass das autonome Fahren auf Autobahnen und ähnlich strukturierter Umgebung möglich ist. Auf ihrem Weg musste die selbstfahrende S-Klasse autonom mehrere hoch komplizierte Situationen wie Kreisverkehr, Kreuzung, Verengungen, Stopplicht, Fußgänger, Radfahrer und Straßenbahnen beherrschen. Für diejenigen, die mit Bertha gefahren sind, wirkt die Fahrt irgendwie rätselhaft. Als ob von einer unsichtbaren Hand gesteuert, findet Bertha ihren Weg durch den Verkehr. Sie findet schmale Straßen, scheint zu wissen, wo man sich in den Kreisverkehr einfädelt und wann man die Fahrspur wechselt. Wie von Geisterhand hält sie an und weiß, wann wieder anzufahren ist. Wie sieht Bertha die Verkehrssituation? Die Außenansicht offenbart das Geheimnis nicht. Es sind keine Unterschiede im Vergleich zur Serien S-Klasse zu sehen. Das Geheimnis von Bertha ist hinter der Windschutzscheibe und den Stoßstangen verborgen. Die Augen von Bertha sind ein Stereo-Kamerasystem für die Erkennung der Umgebung in Fahrtrichtung, zwei weitwinkelige Mono-Kamerasysteme für die Verkehrszeichen- und Ampelerkennung und acht modernste Hochleistungs-Radarsensoren. In Anlehnung an die Lebensweisheit, „Man kann nur auf das reagieren, was man gesehen hat“, sind die Radarsensoren so angeordnet worden, dass sie eine Art elektronische Schutzhülle 360 ° um das Fahrzeug herum abdecken. Die elektronische Hülle arbeitet in einem Abstand von wenigen Zentimetern bis zu 200 m. Heutige Automobile-Serienradare repräsentieren bewegte Ziele wie z.B. Autos und Fußgänger als Punkt. Mehr oder weniger vergleichbar mit dem, was in Hollywoodfilmen zu sehen ist. Dieser Punkt wird mit x und Y-Koordinaten und entsprechender Dopplergeschwindigkeit beschrieben. Dimensionen wie Länge und Breite, oder umfassende Information über den Bewegungsstatus des bewegten Ziels werden nicht zur Verfügung gestellt. Somit war relativ schnell nach Start des Projektes „Bertha“ klar, dass die traditionelle Automobilradarhardware und ihre Algorithmenkonzepte nicht ausreichen würden. Um Bertha sehen zu lassen, haben die Daimler Forscher vom Team aktive Sensorik von ihren Radaren mehr gefordert als bloße Detektionsfähigkeit. Sie suchten nach einer umfassenden Darstellung der stationären als auch der bewegten Autoumgebung. Einfach die Umgebungsinformation, die ein Mensch auch verwendet, um eine Verkehrssituation einzuschätzen.

1

Insgesamt hat das Team Aktive Sensorik von Daimler dem Radar eine Menge an Fähigkeiten verliehen, die selbst Experten von Radaren so schnell nicht erwartet hätten. Unter anderem, wie man Kreisverkehre und Kreuzungen beschreibt um das Ein-und Ausfädeln zu meistern. Oder, die Umgebung zu beschreiben, um rechtzeitig Spurwechsel einzuleiten. Sie haben die ersten prototypischen Algorithmen eingeführt, um Dimensionen und Bewegungszustände von ausgedehnten Zielen wie Fahrzeuge abzuleiten und wie man Fußgänger als solche klassifiziert. Zur Verdeutlichung was erkannt werden muss, betrachten wir das Beispiel eines Kreisverkehr den das autonom fahrende Fahrzeug erreicht hat. Die sich nähernden Fahrzeuge sollten detektiert werden, wenn sie weit genug entfernt sind, um keine Bedrohung zu sein. Um den optimalen Zeitpunkt zum Ein- oder Ausfädeln zu bestimmen, muss das Fahrzeug nicht nur durch seine Länge und Breite charakterisiert sein, sondern auch durch die Trajektorie (Bewegungsrichtung) die die Information enthält, wo sich das Fahrzeug innerhalb der folgenden Millisekunden hinbewegt. Die Zeit- und Raumlücke zwischen zwei sich nähernden bzw. gerade vorbeifahrenden Fahrzeugen innerhalb des Kreisverkehrs müssen auch beschrieben werden um den geeigneten Moment zum Ein- oder Ausfädeln zu bestimmen. Seit vielen Jahren arbeiten Regierungseinrichtungen, Universitäten und verschiedene Automobilhersteller an der Vision vom autonomen Fahren. Die „Grand Challenge“ der DARPA 2004/2005 und das Google-Auto in 2012 sind einige prominente neuere Beispiele. Ein früherer Meilenstein war das Forschungsprojekt der EU –„EUREKA-PROMETHEUS“-, das1986 startete, und dessen Testfahrzeuge Schlagzeilen machten, als sie 1994, im normalen Verkehr weitestgehend autonom im Pariser Gebiet fuhren und dann 1995 ungefähr 1000 Kilometer von München nach Kopenhagen die Strecke autonom bewältigten. Gestützt auf die on-bord Sensordaten und dem Wissen über die eigene Position des Fahrzeugs aus einer digitalen Karte, analysiert das Fahrzeug den verfügbaren Freiraum auf der Basis dessen was es sieht, um seinen eigenen Weg zu planen. Folglich, ist in all diesen Projekten die Hauptherausforderung für das autonom fahrende Fahrzeug gewesen, zu wissen, wo es ist, was es sieht, und in welcher Weise es angepasst autonom reagiert. Auf die Herausforderung, abzusichern, dass zu sehen was notwendig ist, reagierte die weltweite Forschergemeinschaft des autonomen Fahren durch den Einsatz einer Kombination von verschiedensten Sensortypen und durch den Verbau sehr vieler von ihnen in einem Versuchsfahrzeug. Die Sensoren, die verwendet wurden, reichen von Ultraschall-über diverse Typen von Infrarotsensoren, verschiedenen Varianten von Kamerasystemen, Laserscannern bis zu Radarsensoren. Das Ziel ist eine 360° Rundumabdeckung unter möglichst vielen Witterungs- und Beleuchtungsbedingungen bereitzustellen. Das berühmte und gut dokumentierte Google-Auto verwendet einen auf dem Dach des Autos befestigten 360° schauenden Laserscanner. Den weiten Blick nach vorne leisten Weitbereichs-Radare. Für die Stopplichterkennung verwendet es eine hochauflösende Monokamera. Mit dieser um eine digitale Karte erweiterten Ausrüstung ist das Fahrzeug von Google vollautomatisch durch den Innenstadtverkehr gefahren.

2

Die Analyse der Sensorausstattungen der autonomen Forschungsfahrzeuge weist eine Konstante auf: Radarsensoren. Dafür gibt es eine Reihe von technischen Gründen. Wenn ihre Abstrahlfläche beheizt wird, arbeiten Radare unter allen Licht und Wetterbedingungen. Mit 40 Millisekunden (ms) Aktualisierungszeit erlaubt das Radar eine ultraschnelle Aktualisierung der der Beobachtung der Verkehrssituation. Somit ist man sozusagen immer im Bilde, auch bei hochdynamischen Situationen mit hohen Relativgeschwindigkeiten. Mit ihren großen Sichtweiten und Öffnungswinkeln, decken Radare ein riesiges Beobachtungsfeld in Quadratmetern ab. Dabei erfolgt die Messung immer mit konstanten Fehlern im gesamten Beobachtungsfeld. Und, ganz wichtig, die Parameter Ort und Geschwindigkeit werden direkt gemessen und müssen nicht aus anderen Messgrößen berechnet werden. Im Hinblick auf einen späteren Serieneinsatz kommen weitere Vorteile hinzu, ein unsichtbarer und designverträglicher Verbau. Die Sensoren können hinter der Stoßstange oder dem Firmen Emblem (bei uns der Mercedes-Stern) montiert werden und ermöglichen so weiterhin außergewöhnliche ästhetische Designs. Die Sensoren können durch die Verwendung höherer Frequenzen wie z.B. 76GHz klein in der Größe entworfen werden. Besonders für die Automobilanwendung sind das sehr wichtige Argumente, wo Bauraumraum in zunehmend skulpturartigen Fahrzeugdesigns selten wird. Die Erfindung des Radars erfolgte Anfang der 1930er Jahre. Seitdem hat die Radartechnologie das tägliche Leben der Menschen beeinflusst. Redewendungen wie, “Etwas auf dem Radar zu haben“, oder “Etwas auf dem Schirm zu haben”, offenbaren den positiv belegten Einfluss des Radars auf unser tägliches Leben. Folglich hat Radar selbst eine lange Tradition in Automobilanwendungen. Eines der Ergebnisse des Prometheus-Projektes war die DISTRONIC, ein intelligenter Abstandsregler, der seit 1998 in der S-Klasse in Serie eingeführt wurde. Das System wird gestützt durch ein Fernbereichsradar hinter dem Mercedes-Stern und zwei Nahbereichsradaren in der Mitte der vorderen Stoßstange. Basierend auf der DISTRONIC hat Mercedes-Benz eine Reihe von Assistenzsystemen entwickelt, die dazu fähig sind, gefährliche Situationen zu entdecken, den Fahrer zu warnen und auch automatisch mit einer Notbremsung zu reagieren. Eine Ausbaustufe ist der „Speed Limit Assist“, der 2005 in Serie ging. „Pre-Safe Brake“ (2006) baute auf diesem System auf und bremst automatisch das Fahrzeug, bei der Gefahr eines Auffahrunfalles (autonome Teil-/Notbremsung). Jedoch sind diese Systeme im Wesentlichen ausgelegt für gut strukturierte Umgebungen wie Autobahnen. Mit „Advanced Pre-Safe Brake“ wurde das System 2009 ausgebaut zu einem Pre-Crash System. Basierend auf den zwei vorne in der Stoßstange montierten Nahbereichsradaren, reagiert das Fahrzeug auf unvermeidbare Unfallsituationen circa 100-200ms bevor der Unfall geschieht unabhängig davon, aus welcher Richtung der Aufprall auf die Fahrzeugfront erfolgt. Damit gewinnt das Fahrzeug wichtige Zeit um die Insassen auf den Unfall vorzubereiten. In 2013, mit dem Start der neuen S-Klasse, wurde begonnen, einen 360° Sicherheitskokon aufzubauen, um auch sicherheitskritische Situationen wie Heckaufprall in städtischen Situationen abzudecken. Dieser Kokon verwendet mehrere Radare, die nach vorne und hinten schauen und eine Front-Stereokamera. Es ist wichtig zu betonen, dass in allen diesen Systemen der Fahrer System übersteuern kann. Er ist immer der letzte Entscheider.

3

Im Gegensatz zu den oben erwähnten autonomen Forschungsfahrzeugen, verwendet das Roboter Fahrzeug „Bertha“ von Mercedes mit ausschließlich Videokameras und Radarsensoren, seriennahe Sensortechnologien, die bereits in ihrer Grundform in der neuen S-Klasse eingesetzt werden. Diese Sensoren werden auch in ähnlicher Form in anderen Serienfahrzeugen von Ford, Volvo, BMW, Audi oder Lexus verwendet. Der Schritt ist wichtig, um die Sensorplattform von Bertha realistischer bezüglich späterer Serienfertigbarkeit auszulegen. Um Bertha sehen zu lassen, wurden Verbesserungen zur Anzahl und Anordnung der Sensoren durchgeführt, um eine nun vollständige und homogene 360° Rundumsicht von der Umgebungen des Fahrzeugs in jeder Richtung zu erreichen. Wir haben die Konfiguration der Sensorplattform der Serienproduktion modifiziert, indem wir Radare hinzugefügt und neue Ansätze zur Umgebungserkennung ergänzt haben, so dass nun Kreisverkehr, Kreuzungen, Fahrbahnwechsel und Gegenverkehrssituationen abgedeckt und Fußgänger klassifiziert werden. Im Detail wurden zwei zusätzliche in der Detektionsleistung modifizierte Fernbereichsradare von Continental-Automotive an den Seiten der linken und rechten Vorderstoßstange installiert, um eine frühe Entdeckung von Fahrzeugen bis zu 200m zur Verfügung zu stellen, die sich seitlich an Verbindungspunkten nähern. Ein zusätzliches Fernbereichsradar wurde installiert, um den sich von hinten nähernden Verkehr zu beobachten. Schließlich haben wir vier Nahbereichsradare an den Ecken des Fahrzeugs ergänzt, um bis zu 60m eine 360° Rundumabdeckung zu erreichen. Diese Radare wurden zusammen mit Delphi-Automotive in der Hardware so modifiziert, dass sie erheblich mehr Detektionspunkte pro Ziel messen, als die Serienradare. Mit dieser erhöhten Anzahl an Messpunkten ist es den Daimler Forschern der Aktiven Sensorik möglich geworden, die erforderlichen Erweiterungen der Umgebungsrepräsentation bereitzustellen um Spurwechsel und das Ein-und Ausfahren im Kreisverkehr zu ermöglichen. Dies und weitere Erweiterungen waren und sind in Zukunft notwendig, da städtische Szenen im Vergleich zu denen auf Autobahnen durch dramatische Unterschiede in den Situationen charakterisiert sind, die ein Radarsensor behandeln muss. Auf Autobahnen, besonders deutschen Autobahnen, ist die Hauptherausforderung eine hohe Relativgeschwindigkeiten oder Relativbewegungen zwischen Fahrzeugen zu beschreiben. In der Innenstadt und den ländlichen Gebieten ändert sich das zu kürzeren Abständen und einer deutlich erhöhten Anzahl an Bewegungsmanövern und Unterschiedlichkeit an Verkehrsteilnehmern. In der Folge zu kürzeren Reaktions- und Beobachtungszeiten um Entfernungen zwischen dem eigenen Fahrzeug und anderen Verkehrsteilnehmern oder Genauigkeit der Abstände zu Hindernissen wie parkende Fahrzeuge oder Mülltonnen zu bestimmen. Um Pre-Crash Situationen und den Freiraum/Bewegungspfad richtig im dichten Verkehr besonders in schmalen Straßen einschließlich des Gegenverkehrs vorauszusagen, ist es notwendig, die 2D-Dimension (Länge und Breite) und die Bewegungstrajektorie (wohin bewegt er sich in den kommenden Millisekunden) der Verkehrsteilnehmer in der Fahrzeugumgebung genau zu bestimmen. Dasselbe ist in obligatorisch bei Kreisverkehren oder Einmündungen in langgezogene Innenstadtstraßen. Ohne diese Information hätte Bertha Stunden an den Eingängen von Kreisverkehren gewartet, um sich sicher einzufädeln.

4

Ein wesentlicher Schritt auf der Radarseite war die Einführung des „Digital Beam Forming“ (DBF), der digitalen Strahlformung. Der Vorteil im Vergleich zu gegenwärtigen Standardlösungen ist, dass die Information die das Radar von der Umgebung erhält, direkt an jedem Element der Antenne in die digitale Welt transformiert wird und dort ausgewertet werden kann. Das erlaubt sogar die Berechnung synthetisch verschiedener Antennenkonstellationen. Auf diese Weise können diese DBF-Radare virtuell mit der passenden Auflösung und Genauigkeit in verschiedene Raumrichtungen schauen. Das in der Kombination mit einer drastisch erhöhten Geschwindigkeits- und räumlichen Auflösung des Radars ist es jetzt möglich, eine Vielzahl an Reflektionen von einem Gegenstand aus der Umgebung zu bekommen. Dieser Vorgang ist vergleichbar zu einer erhöhten Auflösung bei einer Kamera, die auf diese Weise auch mehr Pixel pro Raumsegment erhält. Gestützt auf diesen dichteren Daten, angereichert mit der Doppplergeschwindigkeit pro datenpunkte, haben wir Cluster- und Segmentierungskonzepte weiterentwickelt, die ursprünglich für Laserscanner oder in der Bildverarbeitung zur Umgebungsrepräsentation entwickelt wurden. Eine weitere Herausforderung gegenüber Autobahnsituationen ist eine große Vielfalt von verschiedenen Objektarten wie Fußgänger und Radfahrer, oder Gebäudereflexionen die in Betracht gezogen werden müssen. Früh genug qualifizierte Information dem Fahrzeug zur Verfügung zu stellen, damit es richtig reagieren kann, ist die Schlüsselaufgabe. Als Beispiel reicht ggfs. die frühzeitige Entdeckung von Fußgängern nicht aus, sondern es ist auch ihre Klassifikation als Fußgänger erforderlich. Es ist leicht sich vorzustellen, welche Herausforderung eine alltägliche Situation auf einer belebten Straße ist. Bewegende Autos sowie Fußgänger werden Reflexionen erzeugen, die im Radarnetzwerk sortiert, klassifiziert und bezüglich der Bewegungsrichtung richtig vorausgesagt werden muss. Unsere Antwort darauf war die drastisch Erhöhung der Dopplerauflösung, um sogar die kleinste Differenz in der Geschwindigkeit der Reflexionen aufzulösen und zu segmentieren. Die Einführung der Micro-Doppler Analyse in Kombination mit verbesserter Kalmanfilterung (Tracking) ermöglicht charakteristische Geschwindigkeitsprofile herauszufiltern, um z.B. festzustellen “Ja, es ist ein Fußgänger, der sich in dieser Richtung mit dieser Geschwindigkeit bewegt”. Zusätzlich dazu wurden die Radare mit einem gleichzeitig größeren Blickwinkel entworfen, um ein viel breiteres Umfeld beobachten zu können. Mit ungefähr 140 ° pro Radar sind wir mit vier Radaren in der Lage, eine homogene 360°Abdeckung im Nahbereich bis zu 60m zu erreichen, die für die frühe Entdeckung von z.B. Fußgängern obligatorisch ist, die sich von der Seite nähern. Dazu entwickelten die aktiven Sensoriker von Daimler einen neuen Fusionsansatz um die Radare wie ein Radarnetzwerk zusammenarbeiten zu lassen. Auf diese Weise entsteht eine global konsistente Information, auch wenn unterschiedliche Radare aus unterschiedlichen Positionen ein und dasselbe Ziel detektieren. Als Beispiel sei auf einen Überholvorgang verwiesen. Der Überholer von Bertha wird erst von dem hinteren Fernbereichsradar in 200m gesehen, bevor es das linke seitliche Nahbereichsradar erfasst und dann das linke vordere. In den wenigen Sekunden die dieser Vorgang dauert, muss es immer klar sein, dass es ein und dasselbe Fahrzeug ist. Das Gleiche bei sehr dichtem Verkehr auf einer mehrspurigen Autobahn bei der Bertha in einen „Schwarm“ von Nachbarfahrzeugen eingebunden ist. Hier müssen alle Informationen zu einer verlässlichen Beschreibung der Einscherlücke kombiniert werden.

5

Spurenentdeckung und Vorhersage auf Autobahnen und ländlichen Straßen sind die Standardaufgabe von Videosystemen und obligatorisch für das autonome Fahren. Die Überbrückung von Ausfällen bei ungünstigen Licht- und Wetterbedingungen muss u.a. durch das Radarsystem erfolgen. Dazu wurde eine Schätzung des Fahrbahnverlaufs entwickelt. Es ist einfach, sich vorzustellen, dass bei leichtem oder dichtem Schneebelag oder starkem Sonnenlicht, das Videosystem es schwer hat, seine Aufgabe, eine weiße Linie zu detektieren, aufrechtzuerhalten. Radare können keine Art der Farbe sehen, aber sie können Reflektionen von Reflektoren an der Straßenseite wie Leitplanken oder Kies detektieren. Um diese Reflektionen auszunutzen und den Fahrbahnverlauf auch in schmalen gekrümmten Alpenstraßen vorauszusagen, sind von den Daimler Forschern neue Algorithmenkonzepte entwickelt worden. Ein zusätzliches Ziel des Bertha-Experimentes war, Situationen zu identifizieren die noch weiterhin Probleme verursachen, um weitere Forschungsrichtungen zu identifizieren. Für Daimler liegt der Erfolg der autonomen Fahrtests vor allem darin, jene Gebiete identifiziert zu haben, auf die sich die gesamte Entwicklungsmannschaft eines autonom fahrenden Forschungsfahrzeug in der Zukunft konzentrieren muss. Mit unseren Radartätigkeiten haben wir viele tägliche Situationen gelöst und so die Chance zum völlig autonomen Fahren in der Zukunft vergrößert. Überdies wissen wir jetzt, wo wir die Radare weiter optimieren und somit die radarbasierte Umweltwahrnehmung ausbauen können, um das Repertoire an autonom zu fahrenden Manövern bis hin zum völlig automatisierten Fahren zu unterstützen. An den Arbeiten der Radartechnologie für das autonome Fahren und Manövrieren sind die Mitglieder des Teams „Aktive Sensorik“ der Daimler Forschung- und Vorentwicklung beteiligt: Nils Appenrodt, Dr. Hans-Ludwig Blöcher, Carsten Brenk, Dr. Thomas Hackbarth, Dr. Markus Hahn, Dr. Jens Klappstein, Dr. Marc Muntzinger, Alfons Seiler und Dr. Jürgen Dickmann

6