FollowMeCooler

Verwendete Bauteile

Kurz nach der Gründung des CampusTechTeam im Jahr 2019, kamen die Schüler Linus von Maltzan und Leander Neubronner auf die Idee, ein selbstfahrendes Fahrzeug bauen zu wollen.

Um eine gewisse Umsetzbarkeit im Rahmen eines Schulprojektes zu erreichen und ein auch für Laien beeindruckendes Ergebniss anzustreben, entschieden sich die Schülerinnen und Schüler des TechTeam dazu, ein aus Holz gebautes, Batteriebetriebes, Selbstfahrendes, Gefährt mit einem aktivem Kühlschrank zu bauen. Hierbei sollten möglichst viele Kompetenzbereiche abgedeckt werden, sodass eine gute und lehrreiche Zusammenarbeit möglich ist.

Bei der Intel Realsense D435 handelt es sich um eine 3D-Kamera. Sie besitzt eine HD-Kamera und scannt mithilfe von Ultraschall und Laser ihre Umgebung und kann so für jeden Bildpunkt auf dem Farbbild eine Entfernung in Metern berechnen.

Der beschriebene Mapping-Algorithmus nutzt die Entfernungsmessungen von Hindernissen und die Positionsdaten der Tracking Kamera vom Roboter um eine virtuelle Karte zu zeichnen

Bei der Intel Realsense T265 handelt es sich um eine Tracking Kamera. Sie misst mit einer 1-5% Genauigkeit die Position, Drehung, Beschleunigung und Geschwindigkeit der Kamera bei allen Achsen (3D) relativ zum Startpunkt.

Das ist nützlich um die genaue Position im Raum von den durch die 3D-Kamera erkannten Objekten zu bestimmen und laufend zu prüfen ob die vom Jetson angeordneten Bewegungen richtig ausgeführt werden.

Der Nvidia Jetson Xavier NX ist der Zentrale Prozessor des FollowMeCooler: Er verarbeitet die Daten der Intel Realsense Kameras und trifft Fahrentscheidungen die er an den Arduino Mega weiterleitet.

Im Vergleich zu Geräten wie dem Raspberry Pi, besitzen die Nvidia Jetson eine leistungsstarke Grafikeinheit mit NVIDIA CUDA/CUDNN Grafikbeschleunigung. Diese sorgt dafür, dass von Künstlicher Intelligenz unterstützte Algorithmen wie Gesichts/Objekterkennung effizienter ausgeführt werden können.

Der nVidia Jetson Xavier NX besitzt 6 Kerne à 1,9Ghz (nVidia Caramel) sowie 384 CUDA-Kerne in der Grafikkarte und 8GB Arbeitsspeicher.

Der Arduino Mega regelt die Kommunikation zwischen der Sensorik und den Motoren des FollowMeCooler. Zur Steuerung der Motoren wird machinelles Lernen verwendet.

Auf dem angeschlossenem Display werden die wichtigsten Statusinformationen zum FollowMeCooler angezeigt.

Durch das angeschlossene LAN-Modul, verwaltet er das MQTT-Kommunikationssystem des FollowMeCooler.

Genutzte Funktionen

Objekterkennung im Farbbild der Intel Realsense 3D-Kamera

Visuelle Darstellung der 3D-Entfernungsdaten der Intel Realsense 3D-Kamera

Rot = Sehr Nah, Blau = Sehr Fern

Eigenentwickelte Rekonstruktion von Objekten anhand eines erkannten Punktes (Hellrot) mithilfe des Abgleiches der Entfernungen.

z.B. Wird anhand eines Punktes vom Stuhl der gesamte Bereich des Stuhls markiert

Pfadfinder-Algorithmus basierend auf A*.

Auf der durch die Daten der Realsense Kameras erstellten virtuellen Karte, wird mithilfe eines Pfadfinder-Algorithmus der beste Weg zum Ziel gefunden.

Software

Der beginn der FollowMeCooler Softwareentwicklung ist aufgrund des neuartigen Coronavirus verzögert. Der offizielle beginn ist im August nach den Sommerferien 2020. Eine Deadline gibt es nicht. Interessierte können sich unser Projekt auf unserem GitLab anschauen!