Orientieren mit 3D-Kameras, KI und Edge Devices

Am Anfang jeder Bildverarbeitungslösung steht die Kamera, die quasi das Auge des Systems ist. Auflösung, Geschwindigkeit, Lichtempfindlichkeit, 3D-Informationen – die technische Entwicklung bei den industriellen Kameras liefern immer bessere Ergebnisse und erzeugen dabei immer größere Datenmengen. Die nachfolgende Hardware muss aber auch in der Lage sein, diese teilweise sehr große Datenmenge zu verarbeiten. Ziel ist es, die für den Prozess benötigten Informationen zu extrahieren. Eine entsprechende Leistungsfähigkeit der Hardware ist für diese Aufgabe unabdingbar. Bei der Verarbeitung der Daten muss entschieden werden, wo genau diese erfolgen soll. Ein Ansatz, der in den vergangenen Jahren häufig verwendet wurde, war die Vorverarbeitung der Daten direkt in der Kamera. Die Menge der Daten, die dann übertragen werden muss, nimmt dadurch enorm ab. Dieser Vorteil wird allerdings mit einem vergleichsweise hohen Preis der Kameras „erkauft“. Wenn für eine Anwendung mehrere Kamerasysteme eingesetzt werden, wird eine solche Lösung schnell unwirtschaftlich. Zudem kommt es beim Engineering der Applikation oft zu Schwierigkeiten, denn die Informationen aus den verschiedenen Kameras müssen ja sinnvoll kombiniert werden. Typisches Beispiel für solche Applikationen sind Mehrkamerasysteme für die Umfelderkennung in der Logistik bzw. Fördertechnik.

Spezialisierte Edge-Architektur

Einer der wichtigsten Anwendungsfälle sind autonom agierende Förderfahrzeuge in der Intralogistik – oder noch allgemeiner gefasst: Anwendungen der mobilen Robotik. In solchen Anwendungen zeigt sich sehr schnell, wie komplex und umfangreich die Anforderungen sind. Ziel in der Intralogistik sind autonom agierende Fahrzeuge, die Waren selbstständig von Punkt A zu Punkt B transportieren. Die Vorteile liegen auf der Hand: Es wird weniger Personal benötigt und die Systeme können praktisch rund um die Uhr im Einsatz sein. Automated Guided Vehicles (AGV) verwenden in der Regel mehrere Sensoren, die mit unterschiedlichen Prinzipien arbeiten. Neben RGB-Kameras und 3D-Kameras, wie die aus der O3R-Serie von ifm, kommen auch Laserscanner, Radar- oder Ultraschallsensoren zum Einsatz. Diese stellen quasi die Sinnesorgane der mobilen Maschine dar. Verwendet wird hier die sogenannte Sensordatenfusion, bei der zusätzliche Informationen aus der Kombination der Daten der verschiedenen Sensoren gewonnen wird. Die Synchronisation der Sensoren und Fusion der Sensordaten stellen allerdings Anwender und Hardware vor große Herausforderungen.

ifm bietet mit der speziell für diesen Bereich entwickelten Hardware-Plattform O3R eine ideale Lösung und erleichtert Entwicklern sowohl die Vorentwicklung als auch die Serienentwicklung durch eine ausgeklügelte Software-Umgebung und eine umfangreiche Auswahl an Software-Tools und Schnittstellen. Zentrale Komponente ist ein Edge-Device, das sowohl eine hohe Rechenleistung zu Verfügung stellt als auch die Möglichkeit, unterschiedlichste Sensoren einfach anzubinden. Insgesamt können bis zu sechs 3D-Kameras und zahlreiche weitere Sensoren angeschlossen werden. Der Kamera-Anschluss geschieht über FPD-Link (Flat Panel Display Link), für die anderen Sensoren stehen GigE-Schnittstellen zur Verfügung. CAN-Schnittstellen sorgen für die einfache Einbindung in die Architektur eines mobilen Roboters. Ein leistungsfähiges Linux-System, das mit einer Nvidia Video Processing Unit ausgerüstet ist, bildet die Hardware-Basis. Die Leistungsfähigkeit dieser GPU ist skalierbar und kann so auf die jeweilige Applikation angepasst werden. Mit den verfügbaren ROS2-Treibern lässt sich das System einfach in Robotik-Applikationen integrieren. Da die Bildverarbeitung bei dem neuen O3R-Konzept in das Edge-Gerät wandert, ist in der Kamera kaum Datenverarbeitung notwendig. Es können daher auch mehrere verschiedene Kameras eingesetzt werden, die entsprechend günstig sind. ifm bietet passend dazu Kamera-Köpfe, die 3D-Sensoren oder eine Kombination aus 3D- und 2D-Sensoren mit verschiedenen Öffnungswinkeln und Auflösungen enthalten.

Hohe Rechenleistung für KI-Anwendungen

Da das Edge-Device auf Linux-Basis sehr viel Rechenleistung bietet, können auch anspruchsvolle Applikationen umgesetzt werden. Speziell Anwendungen von Künstlicher Intelligenz (KI), die in der industriellen Bildverarbeitung eine immer größere Rolle spielen, sind auf diese Leistungsfähigkeit angewiesen. So lassen sich etwa neuronale Netze für Bildverarbeitungs-Anwendungen implementieren, die mit herkömmlichen algorithmischen Methoden nicht möglich wären. Diese Methoden des Deep Learnings lassen sich zum Beispiel einsetzen, um eine verbesserte Orientierung von autonomen mobilen Robotern (AMR) zu realisieren. Durch das dazu verwendete Verfahren, Simultaneous Localization and Mapping (Slamming), weiß der AMR, wie seine Umgebung aussieht und wo er sich innerhalb dieser Umgebung befindet (Localization). Wenn er sich in dieser Umgebung bewegt, kann er zusätzlich eine Karte seiner Umgebung anfertigen (Mapping). Durch den Einsatz von neuronalen Netzen und anderen Methoden der KI lassen sich solche Aufgaben lösen. Damit simuliert ein solches System genau die Methode, mit der ein Mensch diese Aufgabe auch löst. Mit unseren Sinnesorganen nehmen wir die Daten aus unserer Umgebung auf, und das neuronale Netz in unserem Gehirn erstellt daraus eine abstrakte Vorstellung einer Karte der Umgebung, in der wir uns bewegen.

Bildverarbeitung wird kostengünstiger

Die neue O3R-Plattform macht nicht nur sehr innovative Bildverarbeitungs-Anwendungen möglich, sondern gleichzeitig verringern sich auch die Kosten für solche Lösungen. Dadurch eröffnen sich neue Perspektiven, autonome mobile Roboter in Anwendungen einzusetzen, die bisher aus Kostengründen ausgeschlossen waren. In der Zukunft wird auf Basis der O3R-Plattform eine komplette Suite von Lösungen für die unterschiedlichsten Bereiche entstehen.

www.ifm.com