Digitaler Zwilling trifft auf Apple Vision Pro – AR/VR-Lösung von NTT DATA Business Solutions

Das Ziel war klar definiert: die Entwicklung innovativer virtueller Zwillingsszenarien unter Verwendung von Apple-Hard- und Software, ohne auf externe Plattformen wie NVIDIA Omniverse oder Unreal Engine zurückzugreifen. Stattdessen wollten wir die Vorteile der Apple-eigenen Funktionen und Merkmale in Vision Pro voll ausschöpfen und die Grenzen des Möglichen erweitern, ohne das Rad neu zu erfinden.

Die zentralen Herausforderungen

1. Beherrschung von Robotik und Bewegungsdynamik

Da unser Team keine klassischen 3D- oder Spieleentwickler umfasst, war es entscheidend, sich intensiv mit Robotik und Bewegungsdynamik auseinanderzusetzen:

• Komplexität der Gelenkbewegungen verstehen: Die Analyse mathematischer Einschränkungen und physikalischer Grundlagen war essenziell.
• Integration in Apples AR/VR/MR-Umgebungen: Die physikalischen Dynamiken wurden erfolgreich auf visionOS übertragen.

2. Navigation im neuen visionOS 2-Framework

Die Arbeit mit der neu veröffentlichten visionOS 2-Beta stellte uns vor folgende Herausforderungen:

• Begrenzte Dokumentation: Unser Team musste mit Experimenten und Innovationen kreative Lösungen entwickeln.
• Immersive AR-Erlebnisse: Ziel war es, eine für Apple-Geräte massgeschneiderte, überzeugende AR-Erfahrung zu schaffen.

3. Dualer Ansatz zur Bewegungssteuerung

Für die Steuerung von Robotergelenken verfolgten wir zwei fortschrittliche Ansätze:

• Inverse Kinematik: Durch die Nutzung von undokumentierten Funktionen in visionOS 2 konnten wir Pionierarbeit mit dieser neuen API leisten.
• Individuelle Gelenksteuerung: Dies erforderte höchste Präzision bei der Rotation jedes Gelenks im AR-Raum – eine Herausforderung, die ein tiefes Verständnis von linearer Algebra und die Nutzung von Blender als unterstützendes 3D-Modellierungstool verlangte.

4. Integration der realen Welt

Die Verbindung von virtuellen und physischen Umgebungen, insbesondere über IoT-Daten, stellte eine Schlüsselkomponente dar:

• IoT-Datenintegration: Echtzeitdaten des physischen Zwillings wurden über Microsoft Azure IoT aufgenommen und auf dem Apple Vision Pro visualisiert.
• SAP-Geschäftsfunktionen aktivieren: Die nahtlose Integration ermöglichte es, Wartungsmeldungen direkt im SAP-System auszulösen.
• Synchronisierung von digitalen und physischen Zwillingen: Bewegungen des digitalen Zwillings, die durch Gesten in VR ausgelöst wurden, mussten präzise auf den physischen Zwilling übertragen werden.
• Multi-Device-Kommunikation: Die Koordination mehrerer Apple Vision Pros erforderte eine zuverlässige Verwaltung der Steuerungs- und Empfangsmodi, um eine reibungslose Interaktion sicherzustellen.

Unser Team hat zwei Hauptszenarien entwickelt, um die leistungsstarken Fähigkeiten von Apple Vision Pro bei der Synchronisierung digitaler und physischer Assets zu demonstrieren:

1. Live-Steuerung eines Roboterarms mit digitalem Zwilling

Mit Apple Vision Pro können Benutzer:innen intuitiv mit dem digitalen Zwilling eines Roboterarms im virtuellen Raum interagieren. Bewegungen, die im virtuellen Modell vorgenommen werden, werden präzise vom physischen Roboterarm gespiegelt. Diese nahtlose Integration ermöglicht eine reaktionsschnelle Steuerung des realen Objekts und eröffnet neue Möglichkeiten für die Arbeit in virtuellen Umgebungen.

2. Integration von Anlagenwartungsmeldungen in SAP

Durch unser Event-2-Business-Framework auf der SAP Business Technology Platform (BTP) können Benutzer:innen direkt aus der virtuellen Umgebung heraus Anlagenwartungsmeldungen in ihrem lokalen SAP-System erstellen. Diese Funktionalität optimiert Betriebsabläufe, ermöglicht eine schnelle Reaktion auf Wartungsanforderungen und sorgt für die effiziente Lösung potenzieller Probleme.

3. Fundierte Entscheidungen durch Live-Telemetriedaten

Echtzeit-Telemetriedaten, die über Microsoft Azure IoT bereitgestellt werden, liefern entscheidungsrelevante Kennzahlen wie Temperatur und Energieverbrauch. Die grafische Darstellung dieser Daten bietet klare Einblicke und unterstützt ein proaktives Management sowie die Steigerung der betrieblichen Effizienz.

Arbeiten mit digitalem Zwilling über mehrere Apple Vision Pro

In dieser Konfiguration dient Apple Vision Pro #1 als primärer Controller, während Vision Pro #2 bis #99 als Empfänger fungieren. Über Vision Pro #1 können Benutzer:innen den digitalen Zwilling aktiv manipulieren, wobei Gelenkkoordinaten an den MQTT Broker übertragen werden. Diese Bewegungen werden dann über die zusätzlichen Apple Vision Pro-Geräte gespiegelt, indem die entsprechenden Koordinaten und Gelenkinformationen empfangen werden.

Darüber hinaus können alle im Ausgangsszenario verfügbaren Funktionen auch in dieser Konfiguration konfiguriert werden, wodurch eine vollständig synchronisierte, kollaborative virtuelle Umgebung entsteht.

Optimierung und Erweiterung von Szenarien

Unser Ziel ist es, aktuelle Szenarien zu verfeinern und neue Funktionalitäten zu erforschen, wie z.B. die sprachgesteuerte Bewegung von digitalen und physischen Zwillingen. Auf diese Weise wollen wir das Potenzial von AR/VR-Anwendungen für den realen Einsatz in Unternehmen erweitern.

Wir haben bereits mit unseren Kund:innen und Partner:innen Gespräche über die Integration von Produktionsmaschinen, Produktionslinien und fahrerlosen Transportsystemen (FTS) geführt. In diesen Gesprächen wurde auch die Erstellung von Szenarien für den Betrieb in der Werkstatt und für Simulationen erörtert. Darüber hinaus kann AR/VR die Schulung neuer Mitarbeiter:innen erheblich erleichtern. Im Bereich Design und Konstruktion prüfen wir, wie AR/VR die Entwurfs- und Bauphase verbessern kann, insbesondere durch die Verbesserung der Interaktion mit Kund:innen.

Aufbau eines Rahmens für die flexible Verwaltung von Szenarien

In unserer aktuellen Iteration haben wir für jedes digitale Zwillingsszenario eine separate Anwendung entwickelt. Wir planen den Aufbau eines umfassenden Frameworks zur Verwaltung verschiedener Arten von physischen und digitalen Zwillingen (z.B. Roboter, Maschinen und Produktionslinien) sowie eines zentralen Objekt-Repositorys für VR-Modelldaten mit geringer Latenz, das auf der Microsoft Azure-Plattform basiert. Der gesamte IoT-Verkehr wird innerhalb eines IoT-Hubs mit SAP-Integration verwaltet. Dieses System wird mit dem Apple Vision Pro über eine Master-App mit einer harmonisierten Benutzeroberfläche sowie einheitlichen Dashboards und Steuerungsebenen bedient. Unser Ziel ist es, den Onboarding-Prozess zu industrialisieren und zu optimieren.

Eingebettete KI

Simulationen sind für die Optimierung der Routenführung von Robotern oder fahrerlosen Transportsystemen unerlässlich. Änderungen der Fertigungsbereichsaufteilung, die Verlagerung von Maschinen oder Neubauten machen es erforderlich, diese Anpassungen zu simulieren, bevor physische Änderungen vorgenommen werden. Wir wollen dies durch die Integration von KI-Funktionen unterstützen.

Bei der Nutzung des Apple Vision Pro für Service und Wartung werden oft zusätzliche Informationen benötigt, z.B. das Heranzoomen, um tiefere Schichten eines Modells zu betrachten, oder der Zugriff auf detaillierte Anweisungen aus einem Handbuch. Generative KI verbessert diesen Prozess, indem sie die Kommunikation erleichtert und Informationen durch Vektorisierung und intelligente Abfrage effizient abruft.

Während sich die AR/VR-Technologie weiterentwickelt, bleibt NTT DATA Business Solutions dem Ziel verpflichtet, Innovationen voranzutreiben und die reale Welt zu verbessern. Wir laden Sie ein, uns auf dieser Reise zu begleiten und die Arbeitsweise von Unternehmen durch bahnbrechende digitale Zwillingsintegrationen und immersive Erfahrungen zu verändern.

Erfahren Sie mehr über unsere Innovations- und Technologiedienstleistungen