Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA
Das Exponat zum Anfassen und spielerischen Interagieren verdeutlicht anhand eines einfachen Sortierspiels: Aufgaben, die dem Menschen sehr leicht fallen, sind für den Roboter sehr anspruchsvoll.
»Sortier mit mir!« – Ein interaktiver, selbstlernender Handhabungsroboter
In Kürze
Der am Fraunhofer IPA entwickelte Sortierroboter stellt neue und mitunter komplexe KI-Technologien für Handhabungsaufgaben in Form eines einfachen interaktiven Spiels für Jung und Alt rund um das Sortieren von Gegenständen dar. Der Demonstrator kann mittels natürlicher Sprache gesteuert werden, ist mobil und daher flexibel einsetzbar.
Im Detail
»Sortier mit mir!« ist ein interaktives Sortierspiel mit einem selbstlernenden und interaktiven Handhabungsroboter. Mithilfe seiner Sensoren erkennt der Roboter vor ihm abgelegte Gegenstände und sortiert sie nach unterschiedlichen, dem menschlichen Spieler unbekannten Kriterien. Der Mensch muss diese erraten und weitere Gegenstände anhand der gleichen Kriterien korrekt sortieren. Wer die geheime Sortierregel zuerst erkennt und sie dem Roboter mitteilt, gewinnt. Ziel des Spiels ist es, verschiedene alltägliche Herausforderungen aufzuzeigen, die intelligente Roboter heute und in Zukunft meistern müssen – darunter die visuelle Objekterkennung, die Handhabung von Objekten aller Art und die Sprachinteraktion mit Nutzern.
Bei der visuellen Objekterkennung besteht die Herausforderung für den Roboter darin, neue Gegenstände in Echtzeit zu »lernen« und bestimmte Objekteigenschaften wie Farbe, Oberfläche oder Form zu erkennen. Der Demonstrator wertet diese Eigenschaften aus und verwendet sie, um Sortierregeln im Spiel festzulegen. Damit dies gelingt, wenden die Forscher des Fraunhofer IPA Methoden des Maschinellen Lernens wie Siamesische Netze an und nutzen die Integration verschiedener Sensoren.
Auch das Greifen unbekannter Objekte ist für den Roboter, im Gegensatz zum Menschen, keine selbstverständliche Aufgabe. Die Experten haben dafür eine modellfreie, also ohne vorher bereitgestellte Datengrundlage funktionierende, Greiftechnik für den Sortierroboter entwickelt, die die Greifqualität verschiedener Zugriffspunkte anhand eines Convolutional Neural Networks (CNN) bewertet. Somit kann der Demonstrator auch unbekannte, vom Nutzer ins Spiel eingebrachte, Objekte in allen Lagen problemlos greifen.
Ein solches Spiel macht zudem vor allem dann Spaß, wenn man mit seinem Gegenspieler direkt interagieren kann. Mithilfe neuronaler Netze und einer geeigneten Sprachausgabe erkennt der Sortierroboter die Sprache automatisch. So stellt er Fragen, gibt Anweisungen und kann frei auf Fragen des Nutzers antworten.
Einblicke ins Projekt
Der Nutzer kann mit dem Roboter mittels natürlicher Sprache interagieren.
Das könnte Sie auch interessieren
- Roboter für die Einzelhandelslogistik (ipa.fraunhofer.de)
- 3D-Bildverarbeitung (ipa.fraunhofer.de)
- Vereinzeln mit Robotern: Griff-in-die-Kiste (ipa.fraunhofer.de)
- Entertainmentroboter (ipa.fraunhofer.de)
- Mobile Manipulation (ipa.fraunhofer.de)