Machine Learning für Edge Computing im Weltraum
Gemeinsam mit armasuisse W+T und dem Institut für Sensorik und Elektronik der FHNW hat Ateleris ein fortschrittliches Modell zur Objekterkennung entwickelt, das in der Lage ist, kleine Objekte wie z.B. Schiffe in Satellitenbildern zu identifizieren. Es läuft auf einem Embedded System mit Hardware-Beschleunigung, das speziell für Raumfahrtanwendungen konzipiert wurde, aber auch für viele andere Anwendungen wie Drohnen oder autonome Fahrzeuge einsetzbar ist. Eine Demo ist online verfügbar. Ebenfalls online verfügbar ist eine Publikation zum Projekt im Geomatik Schweiz.
Edge Computing im Weltraum bietet erhebliche Vorteile, die über die traditionellen Datenverarbeitungsmöglichkeiten an Bord hinausgehen. Es bedeutet, dass komplexe bodengestützte Verarbeitungs- und autonome Entscheidungsfindungsalgorithmen auf Raumfahrtsysteme verlagert werden, was zu einer optimierten Übertragung von Telemetriedaten führt und Echtzeitanwendungen wie der Erkennung von Naturkatastrophen aus dem Orbit ermöglicht.
Die Implementierung von Edge Computing im Weltraum ist jedoch aufgrund der begrenzten Hardwareressourcen, insbesondere Energie, Rechenkapazität, Speicher und Bandbreite, mit Herausforderungen verbunden. Ein Fehler bei der autonomen Entscheidungsfindung oder der Datenverarbeitung an Bord kann schwerwiegende Folgen haben und den Erfolg der Mission sowie die Datenintegrität gefährden.
In diesem gemeinsamen Forschungsprojekt mit armasuisse W+T und dem Institut für Sensorik und Elektronik haben wir uns zum Ziel gesetzt, unsere frühere Studie auszuweiten und ein effizientes maschinelles Lernmodell zu entwickeln, das in der Lage ist, kleine Objekte wie Schiffe in Satellitenbildern zu erkennen und es auf einer Embedded-Plattform mit Hardwarebeschleunigung auszuführen.
Um die Leistung unserer Modelle zu bewerten, haben wir einen benutzerdefinierten Datensatz von Satellitenbildern mit Schiffen mit einer Auflösung von 0.1m/Pixel und 0.5m/Pixel von swisstopo zusammengestellt.
Die Studie wurde auf einem Xilinx UltraScale+ System-on-Chip (SoC) durchgeführt, da dieser eine konfigurierbare Deep Learning Processor Unit (DPU) bietet. Diese DPU erlaubt es, ein Objekterkennungsmodell innerhalb des FPGAs effizient auszuführen. Wir haben verschiedene DPU-Konfigurationen (klein, mittel und gross) konfiguriert und getestet, um verschiedene Geschwindigkeits- und Energieprofile zu vergleichen.
Da die aktuellen DPUs nur 8-Bit-Modellgewichte unterstützen, erwiesen sich mehrere YOLO-basierte Modelle (YOLO steht für You Only Look Once) als ineffektiv. Durch unseren Evaluierungsprozess haben wir herausgefunden, dass ein sogenanntes Quantization-Aware-Training die Auswirkungen der Quantisierung in zufriedenstellendem Umfang reduziert.
Langfristig kann die Kombination aus Onboard-Bildverarbeitung und Computer-Vision-Funktionen zur Identifizierung und Lokalisierung von Objekten direkt an Bord eines eingebetteten Geräts verwendet werden, um umsetzbare Warnungen zu generieren und zu übermitteln.
Schlüsseltechnologien / -begriffe
- Machine Learning mit Pytorch
- YOLO Objekterkennung
- Xilinx UltraScale+ SoC
- Xilinx VitisAI
- Erdobservation
armasuisse Wissenschaft und Technologie (W+T) ist das Technologiezentrum des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport VBS. Der Bereich Weltraumforschung (Forschungsprogramm 8 (Weltraum)) entwickelt und erprobt die neusten Technologien zur Nachrichtengewinnung, Führungsunterstützung, Präzisionsnavigation und Synchronisation.
Das Institut für Sensorik und Elektronik der Fachhochschule Nordwestschweiz (FHNW) ist das Kompetenzzentrum für Sensorik mit den Schwerpunkten Aerosolmessung, Mikroelektronik, Signalverarbeitung und Kommunikationstechnik.
