Autonomous Driving with Generative Pre-trained Transformers

Das Forschungsprojekt ADRIVE-GPT widmet sich der Erforschung und Anwendung von verankerten Sprachmodellen (Large Language Models, LLMs) im Kontext des automatisierten Fahrens. Bisherige Studien haben LLMs nur für einfache Aufgaben in der stationären Robotik betrachtet. In ADRIVE-GPT soll untersucht werden, wie multimodale Sensorwahrnehmungen von Kamera- und Lidarsensorik mit natürlicher Sprache kombiniert werden können, um Aktionspläne für ein unfallfreies und menschenähnliches autonomes Fahren zu generieren. Darüber hinaus wird untersucht, ob der Lernprozess durch bereits prozessiertes Wissen über statische und dynamische Objekte unterstützt werden kann. Weiter wird erforscht, ob Verkehrsregeln oder detaillierte Karteninformationen explizit eingegeben werden müssen oder ob das Modell diese Informationen implizit erlernen kann. Letzteres würde dem Modell ermöglichen, unabhängiger von festen Regeln und Informationen zu agieren, und das Modell insgesamt skalierbarer machen. Ein weiterer Fokus von ADRIVE-GPT liegt auf der Erforschung und Bewertung von Self-Prompting-Verfahren im Kontext des automatisierten Fahrens. Hier soll das Modell in die Lage versetzt werden selbstständig weitere Prompts zu generieren und Aktionssequenzen zu erstellen. Durch Feedback-Schleifen und Reflexion kann das Modell sich selbst korrigieren, Alternativen identifizieren und seine Leistung auf neuen Szenarien überwachen und verbessern. Im Laufe des Projektes soll die Integration der oben beschriebenen Innovationen zur Validierung der Ziele in mindestens einem Fahrzeugdemonstrator erfolgen und auf großen Datensätzen der Industriepartner evaluiert werden. ADRIVE-GPT trägt mit mehreren Innovationen zur Weiterentwicklung einer hochskalierbaren Mobilitätstechnologien bei und stärkt die Position Deutschlands auf dem Gebiet des automatisierten Fahrens und der künstlichen Intelligenz.