Bildverarbeitungspipeline für Edge Computing im Weltraum
Zusammen mit armauisse W+T entwickelte und evaluierte Ateleris eine Bildverarbeitungspipeline für die Verwendung auf Embedded-Plattformen, z.B. eines Payloads im Erd-Orbit oder einer Drohne. Ziel war es, die notwendigen Prozessschritte für die Kalibration, Rekonstruktion, Geokorrektur und Geoprojektion von Rohdaten eines optischen Sensors zu untersuchen, damit das Bild in einem anschliessenden Schritt mit Machine Learning analysiert werden kann.
Die Generierung eines kalibrierten Bildes von einem optischen Sensor erfordert mehrere Verarbeitungsschritte, wie Debayering, Pixelkalibrierung, Objektivkorrektur und mehr. Diese Vorverarbeitung wird in der Regel direkt von einer sensornahen Hardwarekomponente auf die Rohdaten angewendet. In bestimmten Szenarien ist jedoch eine bessere Kontrolle über die Verarbeitung erwünscht, z. B. wenn die Daten für die Wissenschaft von hoher Qualität sein müssen oder wenn die Daten geokorrigiert werden müssen (Georektifizierung, Orthorektifizierung und Georeferenzierung).
Die von Erdbeobachtungssatelliten gesammelten Daten werden daher traditionell zur Verarbeitung an den Boden gesendet, was erhebliche Übertragungsbudgets erfordert und eine längere Reaktionszeit auf interessante Beobachtungen mit sich bringt. Insbesondere in zeitkritischen Szenarien wie der Erkennung und Bewältigung von Katastrophen in Quasi-Echtzeit ist eine Vorverarbeitung und Analyse der Daten an Bord erwünscht, um das Übertragungsbudget und die Reaktionszeit für die Entscheidungsfindung zu reduzieren.
In diesem gemeinsamen Forschungsprojekt mit armasuisse W+T haben wir eine auf Graphen basierende Bildverarbeitungspipeline mit TensorFlow entwickelt. Wir haben uns für TensorFlow entschieden, um die Möglichkeit zu erhalten, die Pipeline flexibel umzugestalten, verschiedene Verarbeitungsschritte zu ändern und zu evaluieren und deren Ergebnisse zu vergleichen. Wir haben auch eine Trade-Off-Analyse anderer Methoden und Hardwarekombinationen erstellt, inklusive Bildkalibrierung, Geokorrektur und Geoprojektion.
>
Wir wählten eine RISC-V-Architektur als Testplattform, um die TensorFlow-basierte Verarbeitungspipeline auszuführen. Wir bauten eine vollständig virtualisierte RISC-V-basierte Nutzlast mit QEMU, um wiederholbare Tests zu haben, und integrierten sie in eine mehrstufige CI/CD-Pipeline. Diese CI/CD-Pipeline automatisierte den Build-Prozess, indem sie das TensorFlow-Modell mit der Buildroot-Linux-basierten Onboard-Software verknüpfte und die integrierte Pipeline in der virtualisierten RISC-V-Plattform auf QEMU laufen liess.
Siehe auch das Nachfolgeprojekt zu Machine Learning in Space.
Schlüsseltechnologien / -begriffe
- Tensorflow Lite für Mobile und Edge Devices
- Buildroot Linux
- QEMU
- RISC-V Architektur
- CI/CD Pipeline
- Bildverarbeitung
- Erdobservation
armasuisse Wissenschaft und Technologie (W+T) ist das Technologiezentrum des Eidgenössischen Departements für Verteidigung, Bevölkerungsschutz und Sport VBS. Der Bereich Weltraumforschung (Forschungsprogramm 8 (Weltraum)) entwickelt und erprobt die neusten Technologien zur Nachrichtengewinnung, Führungsunterstützung, Präzisionsnavigation und Synchronisation.
