DriveU Traffic Light Dataset (DTLD)

Herzlich Willkommen!

Herzlich Willkommen auf der Homepage des DriveU Traffic Light Datasets (DTLD). Wir präsentieren einen handannotierten Datensatz, welcher an Forscher im Bereich der Erkennung von Lichtsignalanlagen adressiert ist. Die Hauptbeiträge des Datensatzes zum Stand der Technik sind:

  • Quantität: Der Datensatz übertrifft bisherige Stichproben zur Lichtsignalerkennung in der Anzahl an gelabelten Objekten (11/2018).
  • Qualität: Dank eines eigenen Annotationstools werden sehr exakt und konsistent annotierte Objekte veröffentlicht. Darüber hinaus sind alle Objekte mit weiteren Attributen wie Orientierung, Piktogramm- und Relevanzinformation versehen. Des Weiteren gibt es Trackidentitätsnummern, welche eindeutige Lichtsignalinstanzen gruppieren.
  • Weitere Sensordaten: Zusätzlich zu Kamerabildern werden Disparitätsdaten, Kalibrierung sowie weitere Fahrzeugdaten wie GPS, Geschwindigkeit und Gierrate veröffentlicht.
Einblick in den Datensatz

Übersicht zum Datensatz

DTLD enthält mehr als 230 000 annotierte Lichtsignalanlagen in Kamerabildern mit 2 Megapixeln Auflösung. Der Datensatz wurde in 11 deutschen Städten mit einer Bildfrequenz von 15 Hz aufgenommen. Durch eine Vielzahl an annotierten Lichtsignalattributen wie Orientierung, Relevanz, Zustand oder Piktogramm existieren insgesamt 344 unterschiedliche Labelklassen. Zusätzlich zu den Kamerabildern werden Disparitätsbilder veröffentlicht, durch welche eine tiefenbasierte Detektion und tiefenabhängige Auswertungen möglich sind.

Annotation an der Auflösungsgrenze

Das verwendete Annotationstool ermöglicht eine Annotation von Objekten der Breite 5 Pixel oder weniger. Aus diesem Grund besteht DTLD aus einer sehr hohen Anzahl an sehr kleinen Objekten (siehe Abbildung 2). Daher ist der Datensatz auch für Forschungen im Bereich der Objekterkennung bei sehr geringen Auflösungen gut geeignet.

Hohe Varianz des Lichtsignalseitenverhältnisses

Im Datensatz gbt es eine Vielzahl an annotierten Lichtsignalanlagen mit einer, zwei (z.B. Fußgängerpiktogramm), drei oder vier (Bus/Tram) aktiven Lichtelementen. Dadurch ist die Seitenverhältnisvarianz wesentlich höher als in bisherigen Stichproben, welche sich meist auf Lichtsignalanlagen mit 3 aktiven Lichtelementen fokussiert haben.

Hohe örtliche Varianz

Eine bedeutende Eigenschaft von DTLD ist die hohe örtliche Varianz (siehe Bild 4). Örtliche Varianz beschreibt die örtliche Verteilung (Position) der Annotationen im Kamerabild. Dies konnte durch Herausfiltern von statischen Szenen erreicht werden. Es wurden nur statische Szenen hinzugefügt, in denen sich der Zustand von mindestens einer Ampel geändert hat.

Statistiken des Datensatzes
Häufigkeit wichtiger Klassen in DTLD
Label width distribution
Verteilung der Objektseitenverhältnisse
Örtliche Verteilung der Objekte

Labels

Es werden Annotationen in Form von Bounding Box Koordinaten (linke obere Ecke, Breite, Höhe) aber auch weitere Attribute veröffentlicht, wie:

  • Perspektivische Orientierung
  • Relevanz
  • Orientierung
  • Anzahl an Lichteinheiten
  • Zustand
  • Piktogramm

Diese Attribute werden durch eine sechsstellige Klassenidentitätsnummer zusammengefasst (Anmerkung 04/21: nur DTLD v1.0!). Ab 04/21, DTLD v2.0, wird die Klassenidentitätsnummer durch ein Attribut-Dictionary ersetzt. Zusätzlich zu den bislang annotierten Attributen wird Reflektion beigefügt. Dies gibt an, ob das Lichtsignal lediglich eine Reflektion, z. B. in Schaufenstern, ist Darüber hinaus besitzt jedes Label eine Trackidentitätsnummer (nützlich für die Auswertung von Trackingverfahren). Für jedes Bild exisiert ein Zeitstempel und einige Fahrzeugdaten (GPS Position, Geschwindigkeit, Gierrate).

Klassenidentitätsnummer

Digit I: Perspektivische Orientierung

Beschreibt die Orientierung einer Lichtsignalanlage im Bezug auf das Ego-Fahrzeug. Es gibt vier verschiedene Klassen:

  • Front: Lichtsignalanlage ist gültig für das Ego-Fahrzeug. Zustand und Piktogramm sind meist gut erkennbar.
  • Back: Lichtsignalanlage ist gültig für den entgegenkommenden Verkehr und meist komplett um 180° gedreht.
  • Left: Lichtsignalanlage ist um ca 90 ° nach links gedreht. Gilt meist für Fußgänger.
  • Right: Lichtsignalanlage ist um ca 90 ° nach rechts gedreht. Gilt meist für Fußgänger.

Digit II: Relevanz/Verdeckung

  • Relevant: Eine Lichtsignalanlage ist relevant wenn es für die geplante Route des Ego-Fahrzeugs gültig ist.
  • Occlusion: Fasst verdeckte und abgeschnittene (Bildrand) Lichtsignalanlagen zuammen.

Digit III: Orientierung

  • Horizontal: Horizontal orientierte Lichtsignalanlagen, häufig in Asien.
  • Vertical: Vertikal orientierte Lichtsignalanlagen.

Digit IV: Anzahl an Leuchteinheiten

Selbsterklärend.

Digit V: Zustand

Selbsterklärend.

Digit VI: Piktogramm

Beschreibt die Maske des aktiven Lichts (kreisförmig, pfeilförmig, Fußgänger, Fahrrad ...).

Trackidentitätsnummer

Jede Instanz einer Lichtsignalanlage erhält eine Trackidentitätsnummer während einer Sequenz. Eine Sequenz besteht aus allen Bildern einer Kreuzungsanfahrt bis zum Passieren der Haltelinie.

Fahrzeugdaten

DTLD stellt zeitliche Informationen in Form eines Zeitstempels sowie örtliche Informationen in Form von GPS zur Verfügung. Geschwindigkeit und Gierrate sind jedem Bild beigefügt.

Annotierte Attribut-Klassen (DTLD v2.0)
Sechsstellige Klassenidentitätsnummer (DTLD v1.0)
Klassenbeispiele
Digit II: Beide Lichtsignalanlagen die für das Ego-Fahrzeug relevant sind wurden markiert.

Nutzung des Datensatzes

Wir stellen Tools und Skripte in C++, Python und MATLAB zur Nutzung des Datensatzes zur Verfügung. Eine Dokumentation ist beigelegt.

Download

Information

Klicken Sie hier zum Registrieren und Download der Daten

Zitierung

Falls Sie das DTLD für Ihre wissenschaftliche Arbeit genutzt haben, zitieren Sie bitte unsere Veröffentlichung auf der ICRA2018.

https://doi.org/10.1109/ICRA.2018.8460737

Hier geht es zur Formularseite

Feedback/Fragen/Probleme jeglicher Art

Feedback? Fragen? Probleme rund um/mit dem Datensatz? Kontaktieren Sie uns!

Reporting Labeling Errors

We are currently still working on improving our dataset. You can help us by reporting not labeled traffic lights, inaccurate labels,  or wrong class identities. We would appreciate a json file with the following structure:

[

{"path": "./Berlin/Berlin1/2015-04-17_10-50-05/DE_BBBR667_2015-04-17_10-50-13-633939_k0.tiff", "objects": [{"y": 313, "x": 1353, "height": 19, "comment": ["error", "object_error"], "width": 6}]},

{"path": "./Berlin/Berlin1/2015-04-17_10-50-41/DE_BBBR667_2015-04-17_10-50-46-968138_k0.tiff", "objects": [{"y": 285, "x": 1306, "height": 25, "comment": ["error", "classid_error"], "width": 7}]}

]