NTT DATA Business Solutions
Wolfgang Möller | Januar 9, 2025 | 6 min

Digitaler Zwilling trifft auf Apple Vision Pro – AR/VR-Lösung von NTT DATA Business Solutions

In diesem Blogbeitrag erfahren Sie, wie NTT DATA Business Solutions AR- und VR-Technologien für praxisnahe Anwendungen weiterentwickelt und dabei die leistungsstarken Funktionen digitaler Zwillinge nutzt, die in Apples Vision Pro integriert sind. Wir geben Ihnen spannende Einblicke in unseren innovativen Ansatz zur Lösung komplexer Entwicklungsherausforderungen, wie etwa der Beherrschung von Bewegungsdynamiken oder der Integration von IoT-Daten – stets mit dem Ziel, virtuelle und physische Umgebungen nahtlos zu synchronisieren. Darüber hinaus zeigt der Beitrag konkrete Anwendungsbeispiele, darunter die Echtzeitsteuerung von Roboterarmen und die Integration von SAP-Systemen, und gibt einen Ausblick auf unsere zukunftsweisende Strategie zur erweiterten Nutzung von AR/VR in geschäftlichen Kontexten.

Smart factory robotic arm.
Digital twins on Apple Vision Pro at the TNOW.

Von der Vision zur Realität: Praktische AR/VR-Innovationen

NTT DATA Business Solutions setzt sich seit Jahren für die Weiterentwicklung von Augmented-Reality- (AR) und Virtual-Reality-Lösungen (VR) ein, mit dem Ziel, innovative Technologien in praxisnahen Anwendungen nutzbar zu machen. Bereits seit 2018 realisieren wir zukunftsweisende Projekte, darunter:

  • AR-gestützte Visualisierung von Rechenzentren: Über das iPad mit SAP-Integration.
  • Maschinenerkennung durch Bildanalyse: Mit Live-Dashboards für eine nahtlose Datenverarbeitung.
  • Drohnenanwendungen: Zur Identifizierung invasiver Pflanzenarten in der Umwelt.

Unser frühzeitiges Verständnis für das Potenzial des Apple-Ökosystems hat uns dazu befähigt, im letzten Jahr neue Wege zu gehen. Wir haben Metaverse-Szenarien erkundet und virtuelle Workshops, Schulungen sowie Onboarding-Massnahmen erfolgreich umgesetzt. Dabei blieb jedoch eine entscheidende Herausforderung bestehen: die nahtlose Integration dieser Lösungen in die reale Welt.

Mit der Einführung von Apple Vision Pro eröffneten sich neue Möglichkeiten. Die leistungsstarken immersiven Funktionen dieses Geräts ermöglichten es uns, bestehende AR/VR-Konzepte zu überdenken und weiterzuentwickeln. Unser Fokus lag darauf, digitale Zwillinge – virtuelle Abbildungen physischer Vermögenswerte – in Echtzeit mit Apple Vision Pro zu verknüpfen. Dabei wurden zentrale Geschäftsanwendungen wie SAP und Microsoft Azure IoT integriert, um eine noch engere Verbindung zwischen digitaler und physischer Welt zu schaffen.

Die Mission: Digitale Zwillingsszenarien auf der Apple Vision Pro

Das Ziel war klar definiert: die Entwicklung innovativer virtueller Zwillingsszenarien unter Verwendung von Apple-Hard- und Software, ohne auf externe Plattformen wie NVIDIA Omniverse oder Unreal Engine zurückzugreifen. Stattdessen wollten wir die Vorteile der Apple-eigenen Funktionen und Merkmale in Vision Pro voll ausschöpfen und die Grenzen des Möglichen erweitern, ohne das Rad neu zu erfinden.

Die zentralen Herausforderungen

1. Beherrschung von Robotik und Bewegungsdynamik

Da unser Team keine klassischen 3D- oder Spieleentwickler umfasst, war es entscheidend, sich intensiv mit Robotik und Bewegungsdynamik auseinanderzusetzen:

  • Komplexität der Gelenkbewegungen verstehen: Die Analyse mathematischer Einschränkungen und physikalischer Grundlagen war essenziell.
  • Integration in Apples AR/VR/MR-Umgebungen: Die physikalischen Dynamiken wurden erfolgreich auf visionOS übertragen.

2. Navigation im neuen visionOS 2-Framework

Die Arbeit mit der neu veröffentlichten visionOS 2-Beta stellte uns vor folgende Herausforderungen:

  • Begrenzte Dokumentation: Unser Team musste mit Experimenten und Innovationen kreative Lösungen entwickeln.
  • Immersive AR-Erlebnisse: Ziel war es, eine für Apple-Geräte massgeschneiderte, überzeugende AR-Erfahrung zu schaffen.

3. Dualer Ansatz zur Bewegungssteuerung

Für die Steuerung von Robotergelenken verfolgten wir zwei fortschrittliche Ansätze:

  • Inverse Kinematik: Durch die Nutzung von undokumentierten Funktionen in visionOS 2 konnten wir Pionierarbeit mit dieser neuen API leisten.
  • Individuelle Gelenksteuerung: Dies erforderte höchste Präzision bei der Rotation jedes Gelenks im AR-Raum – eine Herausforderung, die ein tiefes Verständnis von linearer Algebra und die Nutzung von Blender als unterstützendes 3D-Modellierungstool verlangte.

4. Integration der realen Welt

Die Verbindung von virtuellen und physischen Umgebungen, insbesondere über IoT-Daten, stellte eine Schlüsselkomponente dar:

  • IoT-Datenintegration: Echtzeitdaten des physischen Zwillings wurden über Microsoft Azure IoT aufgenommen und auf dem Apple Vision Pro visualisiert.
  • SAP-Geschäftsfunktionen aktivieren: Die nahtlose Integration ermöglichte es, Wartungsmeldungen direkt im SAP-System auszulösen.
  • Synchronisierung von digitalen und physischen Zwillingen: Bewegungen des digitalen Zwillings, die durch Gesten in VR ausgelöst wurden, mussten präzise auf den physischen Zwilling übertragen werden.
  • Multi-Device-Kommunikation: Die Koordination mehrerer Apple Vision Pros erforderte eine zuverlässige Verwaltung der Steuerungs- und Empfangsmodi, um eine reibungslose Interaktion sicherzustellen.

Anwendungsszenarien aus der Praxis

Unser Team hat zwei Hauptszenarien entwickelt, um die leistungsstarken Fähigkeiten von Apple Vision Pro bei der Synchronisierung digitaler und physischer Assets zu demonstrieren:

1. Live-Steuerung eines Roboterarms mit digitalem Zwilling

Mit Apple Vision Pro können Benutzer:innen intuitiv mit dem digitalen Zwilling eines Roboterarms im virtuellen Raum interagieren. Bewegungen, die im virtuellen Modell vorgenommen werden, werden präzise vom physischen Roboterarm gespiegelt. Diese nahtlose Integration ermöglicht eine reaktionsschnelle Steuerung des realen Objekts und eröffnet neue Möglichkeiten für die Arbeit in virtuellen Umgebungen.

2. Integration von Anlagenwartungsmeldungen in SAP

Durch unser Event-2-Business-Framework auf der SAP Business Technology Platform (BTP) können Benutzer:innen direkt aus der virtuellen Umgebung heraus Anlagenwartungsmeldungen in ihrem lokalen SAP-System erstellen. Diese Funktionalität optimiert Betriebsabläufe, ermöglicht eine schnelle Reaktion auf Wartungsanforderungen und sorgt für die effiziente Lösung potenzieller Probleme.

3. Fundierte Entscheidungen durch Live-Telemetriedaten

Echtzeit-Telemetriedaten, die über Microsoft Azure IoT bereitgestellt werden, liefern entscheidungsrelevante Kennzahlen wie Temperatur und Energieverbrauch. Die grafische Darstellung dieser Daten bietet klare Einblicke und unterstützt ein proaktives Management sowie die Steigerung der betrieblichen Effizienz.

Fall 1: Live-Steuerung eines Roboterarms (physischer Zwilling) mit beweglichem digitalem Zwilling im virtuellen Raum

Arbeiten mit digitalem Zwilling über mehrere Apple Vision Pro

In dieser Konfiguration dient Apple Vision Pro #1 als primärer Controller, während Vision Pro #2 bis #99 als Empfänger fungieren. Über Vision Pro #1 können Benutzer:innen den digitalen Zwilling aktiv manipulieren, wobei Gelenkkoordinaten an den MQTT Broker übertragen werden. Diese Bewegungen werden dann über die zusätzlichen Apple Vision Pro-Geräte gespiegelt, indem die entsprechenden Koordinaten und Gelenkinformationen empfangen werden.

Darüber hinaus können alle im Ausgangsszenario verfügbaren Funktionen auch in dieser Konfiguration konfiguriert werden, wodurch eine vollständig synchronisierte, kollaborative virtuelle Umgebung entsteht.

Fall 2: Arbeiten mit digitalem Zwilling über mehrere Apple Vision Pros hinweg

Der Weg in die Zukunft

Optimierung und Erweiterung von Szenarien

Unser Ziel ist es, aktuelle Szenarien zu verfeinern und neue Funktionalitäten zu erforschen, wie z.B. die sprachgesteuerte Bewegung von digitalen und physischen Zwillingen. Auf diese Weise wollen wir das Potenzial von AR/VR-Anwendungen für den realen Einsatz in Unternehmen erweitern.

Wir haben bereits mit unseren Kund:innen und Partner:innen Gespräche über die Integration von Produktionsmaschinen, Produktionslinien und fahrerlosen Transportsystemen (FTS) geführt. In diesen Gesprächen wurde auch die Erstellung von Szenarien für den Betrieb in der Werkstatt und für Simulationen erörtert. Darüber hinaus kann AR/VR die Schulung neuer Mitarbeiter:innen erheblich erleichtern. Im Bereich Design und Konstruktion prüfen wir, wie AR/VR die Entwurfs- und Bauphase verbessern kann, insbesondere durch die Verbesserung der Interaktion mit Kund:innen.

Aufbau eines Rahmens für die flexible Verwaltung von Szenarien

In unserer aktuellen Iteration haben wir für jedes digitale Zwillingsszenario eine separate Anwendung entwickelt. Wir planen den Aufbau eines umfassenden Frameworks zur Verwaltung verschiedener Arten von physischen und digitalen Zwillingen (z.B. Roboter, Maschinen und Produktionslinien) sowie eines zentralen Objekt-Repositorys für VR-Modelldaten mit geringer Latenz, das auf der Microsoft Azure-Plattform basiert. Der gesamte IoT-Verkehr wird innerhalb eines IoT-Hubs mit SAP-Integration verwaltet. Dieses System wird mit dem Apple Vision Pro über eine Master-App mit einer harmonisierten Benutzeroberfläche sowie einheitlichen Dashboards und Steuerungsebenen bedient. Unser Ziel ist es, den Onboarding-Prozess zu industrialisieren und zu optimieren.

Eingebettete KI

Simulationen sind für die Optimierung der Routenführung von Robotern oder fahrerlosen Transportsystemen unerlässlich. Änderungen der Fertigungsbereichsaufteilung, die Verlagerung von Maschinen oder Neubauten machen es erforderlich, diese Anpassungen zu simulieren, bevor physische Änderungen vorgenommen werden. Wir wollen dies durch die Integration von KI-Funktionen unterstützen.

Bei der Nutzung des Apple Vision Pro für Service und Wartung werden oft zusätzliche Informationen benötigt, z.B. das Heranzoomen, um tiefere Schichten eines Modells zu betrachten, oder der Zugriff auf detaillierte Anweisungen aus einem Handbuch. Generative KI verbessert diesen Prozess, indem sie die Kommunikation erleichtert und Informationen durch Vektorisierung und intelligente Abfrage effizient abruft.

Während sich die AR/VR-Technologie weiterentwickelt, bleibt NTT DATA Business Solutions dem Ziel verpflichtet, Innovationen voranzutreiben und die reale Welt zu verbessern. Wir laden Sie ein, uns auf dieser Reise zu begleiten und die Arbeitsweise von Unternehmen durch bahnbrechende digitale Zwillingsintegrationen und immersive Erfahrungen zu verändern.

Erfahren Sie mehr über unsere Innovations- und Technologiedienstleistungen

Sprechen Sie uns an

Sind Sie auf der Suche nach Antworten oder möchten Sie mehr Informationen über das Thema erhalten?

Nehmen Sie noch heute Kontakt mit uns auf und lassen Sie uns besprechen, wo Ihre Probleme liegen, was Sie erreichen wollen und wie wir Ihnen dabei helfen können.

Wir helfen Ihnen gerne weiter!

Das könnte Sie ebenfalls interessieren