Der roboterbasierte Griff-in-die-Kiste gilt als Königsdisziplin der Robotik und wird am Fraunhofer IPA schon lange richtungsweisend bearbeitet. Dank Maschinellem Lernen hat er nun seine hervorragende Performance ausbauen können und wurde um innovative Fähigkeiten erweitert.
Eine Robotertechnologie am Fraunhofer IPA mit Historie – das ist beispielsweise der »Griff-in-die-Kiste«, auch »Bin Picking« genannt. Schließlich ist die Vereinzelung von Schüttgut, das in fast allen industriellen Produktionen anfällt, prädestiniert für eine roboterbasierte Ausführung. Die Aufgabe ist monoton, körperlich belastend und kostenintensiv. Zwar gibt es Automatisierungslösungen für die Vereinzelung, wie beispielsweise Vibrationswendelförderer, sie sind jedoch meist nicht ausreichend flexibel. Und dennoch ist der Robotereinsatz beim Griff-in-die-Kiste alles andere als flächendeckend umgesetzt – ganz im Gegenteil! Genau deshalb forschen die Expertinnen und Experten daran bereits seit vielen Jahren, optimieren die Technologie und lösen insbesondere anwenderspezifische Probleme.
Schon 2007 gab es vom Fraunhofer IPA die erste Patentanmeldung für die entwickelten Objektlageschätzungsverfahren. Und auch 2023 sind noch nicht alle Herausforderungen gelöst. Denn selbst wenn die Aufgabe für Außenstehende simpel klingen mag, so ist sie für einen Roboter anspruchsvoll. Das hohe wirtschaftliche Potenzial der Anwendung – eine Amortisation nach zwei Jahren im Dreischichtbetrieb ist gängig – steht dementsprechend noch konträr zu den Anforderungen, die die Serienproduktion an einen roboterbasierten Griff-in-die-Kiste stellt. Und so führt von den jährlich weltweit über 200 000 verkauften neuen Robotern nur ein Anteil im Promillebereich diese Aufgabe aus. Das Gros der Roboter dagegen greift blind oder nutzt maximal eine 2D-Bildverarbeitung für semichaotische Anlieferung wie beispielsweise beim Depalletieren.
Künstliche Intelligenz (KI) und genauer das titelgebende »AI Picking« haben der Anwendung nun einen beachtlichen Technologieschub verliehen, dank dem sich bekannte Probleme überwinden lassen. Zellen mit dem Griff-in-die-Kiste sind das erste Glied einer verketteten Produktions- oder Montagelinie. Die Austaktung solch einer verketteten Linie basiert darauf, dass jede Station eine garantierte Leistung erbringt.
Der »typische« Griff-in-die-Kiste bringt hier zwei Unsicherheiten mit. So ist zum einen noch immer nicht garantiert, dass ein Roboter alle Teile aus der Kiste entnehmen kann. Die letzten verbleibenden Teile müssen dann händisch vereinzelt werden. Zum anderen steigt mit zunehmender Kistenentleerung auch die Taktzeit deutlich an. Das liegt daran, dass die Objekterkennung mitunter Probleme hat, am Kistenboden liegende Teile zuverlässig erkennen zu können. Die daraus resultierenden Schwankungen in der Taktzeit können entweder über Worst-Case-Auslegung oder Puffer ausgeglichen werden. Die ganze Linie passt sich also einer möglicherweise hohen Taktzeit an oder der Griff-in-die-Kiste startet früher und erarbeitet sich einen »Vorsprung«, um Stillstände zu vermeiden. Diese Unsicherheiten verhindern aktuell den breiten Einsatz des Griff-in-die-Kiste in der Praxis.
Mehr Autonomie, bessere Taktzeiten, größere Robustheit: Das sind die Mehrwerte, die der Einsatz des Maschinellen Lernens (ML), eines Teilgebiets der KI, dem Griff-in-die-Kiste bietet. Die aktuelle Anwendung AI Picking hat dabei einige Vorstufen durchlaufen. Die Integration von ML in die vorhandenen Technologien erfolgt am Fraunhofer IPA seit 2017 mit dem Startprojekt »Deep Grasping«. Dessen Ziel war es, dem Robotersystem mehr Selbstkonfiguration zu ermöglichen, also die Nutzerfreundlichkeit zu erhöhen und es gleichzeitig weniger fehleranfällig zu machen. Hierfür entstand eine virtuelle Simulationsumgebung, in der neuronale Netze für die Objekterkennung trainiert werden konnten. Diese Netze wurden dann im Anschluss auf den realen Roboter übertragen.
Die Projektergebnisse ermöglichten weitere erfolgreiche Meilensteine. So richtete das Fraunhofer IPA auf der Konferenz IROS 2019 die »Object Pose Estimation Challenge for Bin-Picking« aus. Ziel der Challenge war es, die Position und Orientierung von chaotisch gelagerten Objekten mithilfe verschiedener Trainingsdaten und Methoden zu schätzen und diese zu vergleichen. IPA-seitig wurde auch ein Trainingsdatenset zur Verfügung gestellt. Im nächsten Forschungsprojekt »Deep Picking« entstand eine ganz neue Enthakungstechnologie, mit der das Robotersystem in der Lage ist, verhakte Bauteile zu erkennen und das Greifen so zu planen, dass eine Enthakung möglich wird.
Und schließlich entsteht im Forschungsprojekt »Sim4Dexterity« eine Simulationsumgebung, in der Roboter mithilfe von KI wirtschaftlich und zeiteffizient Manipulationsfähigkeiten für Handhabung und Montage lernen können. Im Laufe der Forschungsarbeiten ist es den IPA-Expertinnen und -Experten zudem gelungen, die entwickelten Technologien nicht nur für den Griff-in-die-Kiste zu nutzen, sondern auch für die Gebindelageschätzung weiterzuentwickeln, was für Logistikanwendungen wie das Palettieren und Depalettieren relevant ist.
AI Picking wurde bereits erfolgreich in vielfältigsten Anwendungsfällen auf dem IPA-Labordemonstrator sowie mit ersten Pilotkunden evaluiert. Der Demonstrator fusioniert die genannten Vorarbeiten und bringt so das Bin Picking auf ein neues Niveau. Im vergangenen Jahr wurde die Technologie erstmals auf zwei Messen gezeigt, mehrere industrielle Realisierungen sind gerade in der Planung. Weitere Partner für eine Umsetzung sind willkommen.
Rund um den Griff-in-die-Kiste hat sich in den letzten etwa 15 Jahren am Fraunhofer IPA also eine Menge getan. Der aktuelle Stand ist dabei ein entscheidender Schritt im Kontext einer »Automatisierung der Automatisierung«, die das Institut strategisch anstrebt, also von sich selbst flexibel anpassenden und konfigurierenden Automatisierungssystemen.
Mit dem vorgestellten AI Picking bietet das Institut eine sich selbst konfigurierende Lösung in der Simulation, beispielsweise in Bezug auf die Lageschätzung oder die automatische Greifposendefinition und Greiferauswahl, basierend auf dem CAD-Modell. Das bedeutet, dass für die Einrichtung der Anwendung bzw. das Einlernen eines neuen Objekts deutlich weniger Expertenwissen erforderlich ist. Die Einrichtungszeit reduziert sich um bis zu 84 Prozent. Die Datenverarbeitungszeit für die Objektlokalisierung, Greiferauswahl und die Greifposenbestimmung ist mit 20 Millisekunden sehr schnell. Auch gemischte Kisten sind automatisiert entleerbar und Spezialfunktionen wie die Segmentierung von Verpackungsmaterial oder die genannte Enthakung von Bauteilen sind ebenfalls Teil des Angebots.
Ganz aktuell stehen virtuelle Machbarkeitsanalysen im Fokus der Forschungsarbeiten. Diese lassen sich rein simulativ durchführen und ermöglichen Anwendern so, bereits sehr früh im Planungsstadium eine Aussage über die Automatisierbarkeit einer Vereinzelungslösung zu erhalten. So möchte das Team um Gruppenleiter Richard Bormann kostengünstige Machbarkeitsanalysen für eine Vielzahl an Bin-Picking-Szenarien anbieten und perspektivisch auch eine automatische Optimierung sowie das automatische Design des Greifers ins Portfolio aufnehmen. Ebenso ist ein objektiver Industrie-Benchmark für Bin-Picking-Systeme in Planung.
Machen Sie mit – Challenge auf der ICRA 2023!
Auf der renommierten Konferenz ICRA 2023 organisiert das Fraunhofer IPA wie bereits 2019 auf der IROS eine Challenge. Diese »Virtual Manipulation Challenge« hat das Ziel, die Kluft (auch »Sim2Real gap« genannt) zwischen der simulierten und der realen Roboteranwendung zu verringern. Die Teilnehmerinnen und Teilnehmer können das Roboterverhalten zunächst in der Simulation trainieren. Die Leistungsfähigkeit der entwickelten Methoden wird anschließend ebenfalls in Simulation in reichhaltigen Standard- und Ausnahme-Szenarien geprüft. Die Challenge umfasst drei Anwendungsszenarien: (1) die Entnahme einzelner Bauteile aus chaotisch befüllten Kisten, (2) Schrauben und Stecken für die Montage und (3) das Stapeln von Kisten sowie das Packen von 3D-Freiformobjekten. Dadurch, dass renommierte Industriepartner die Anwendungsfälle bereitstellen, haben die Teilnehmenden die Möglichkeit, ihre Ansätze anhand von realen und anspruchsvollen Szenarien umzusetzen und zu testen.
Die Teilnahme ist bis 7.Mai 2023 möglich.
Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA