Digitaalinen kaksonen ja Apple Vision Pro AR/VR-ympäristössä

Tässä artikkelissa kerrotaan, miten NTT DATA Business Solutions kehittää AR/VR-teknologioita käytännön sovelluksiin hyödyntämällä digitaalisten kaksosten ja Apple Vision Pron yhdistettyjä ominaisuuksia. Saat tietoa lähestymistavastamme kehityshaasteiden ratkaisemiseen, kuten liikedynamiikan hallintaan ja IoT-datan integrointiin, sekä virtuaalisten ja fyysisten ympäristöjen synkronointiin. Artikkelissa kuvataan myös käytännön esimerkkejä, kuten robottikäsivarsien reaaliaikainen ohjaus ja SAP-järjestelmäintegraatio, sekä esitellään strategia AR/VR-ratkaisujen käytön laajentamiseksi liiketoimintaympäristöissä.

Wolfgang Möller | 21 marraskuun, 2024

Digital twins on Apple Vision Pro at the TNOW.

NTT DATA Business Solutions on sitoutunut kehittämään lisätyn todellisuuden (AR) ja virtuaalitodellisuuden (VR) ratkaisuja käytännön sovelluksiin. Vuodesta 2018 lähtien olemme toteuttaneet AR/VR-hankkeita, kuten AR-tuettua datakeskusten visualisointia iPadilla SAP-integraation kanssa, koneiden tunnistamista kuvantunnistuksen ja reaaliaikaisten hallintapaneelien avulla sekä droonien hyödyntämistä vieraslajien tunnistamiseen.

Tunnistimme varhain Applen ekosysteemin potentiaalin ja olemme viimeisen vuoden aikana kehittäneet metaverse-skenaarioita sekä toteuttaneet virtuaalisia työpajoja, koulutuksia ja perehdytyksiä. Yksi merkittävä haaste kuitenkin säilyi: reaaliaikainen integraatio fyysiseen ympäristöön.

Apple Vision Pron julkaisun myötä näimme mahdollisuuden kehittää ja laajentaa olemassa olevia AR/VR-viitekehyksiämme hyödyntämällä Vision Pron immersiivisiä ominaisuuksia. Tavoitteena oli yhdistää digitaaliset kaksoset – fyysisten kohteiden virtuaaliset esitykset – reaaliaikaiseen vuorovaikutukseen Apple Vision Pron sekä keskeisten liiketoimintasovellusten, kuten SAP:n ja Microsoft Azure IoT:n, kanssa.

Keskeinen tavoite oli selkeä: kehittää virtuaalisia kaksoisskenaarioita Applen laitteistoa ja ohjelmistoa hyödyntäen ilman ulkoisia alustoja, kuten NVIDIA Omniversea tai Unreal Engineä. Halusimme hyödyntää täysimääräisesti Applen omia ominaisuuksia ja toiminnallisuuksia Vision Prossa ja laajentaa mahdollisuuksien rajoja ilman, että ratkaisua rakennetaan kokonaan uudelleen.

Keskeiset kehityshaasteet

1. Robotiikan ja liikedynamiikan hallinta

Koska emme ole 3D- tai pelikehittäjiä, tiimimme perehtyi syvällisesti robotiikan ja liikkeen perusteisiin:

Ymmärtämään nivelten liikkeiden monimutkaisuutta ja matemaattisia rajoitteita.
Siirtämään nämä fyysiset dynamiikat Applen AR/VR/MR-ympäristöihin.

2. Uuden visionOS 2 -alustan hyödyntäminen

Työskentely juuri julkaistun visionOS 2 -betaversion kanssa toi omat haasteensa:

Rajallinen dokumentaatio edellytti kokeilua ja uuden kehittämistä.
Aidosti immersiivisen AR-kokemuksen rakentaminen Apple-laitteille.

3. Kaksijakoinen lähestymistapa liikkeen ohjaukseen

Toteutimme kaksi edistynyttä lähestymistapaa robotin nivelten ohjaukseen:

Käänteinen kinematiikka: Hyödynsimme dokumentoimattomia visionOS 2 -ominaisuuksia ja kokeilimme kehittyneitä toiminnallisuuksia kehittyvässä API-ympäristössä.
Yksittäisten nivelten ohjaus: Tämä edellytti tarkkaa nivelten kierron hallintaa AR-tilassa, mikä vaati vahvaa lineaarialgebran osaamista. Avoimen lähdekoodin 3D-mallinnusohjelmisto Blender oli keskeinen alkuperäisten mallien muokkaamisessa näitä vaatimuksia vastaaviksi.

4. ”Reaalimaailman” integrointi

IoT-datan integrointi ja virtuaalisten sekä fyysisten ympäristöjen vuorovaikutuksen synkronointi toi omat erityishaasteensa:

IoT-datan vastaanotto ja visualisointi: Kuinka vastaanottaa robotilta (fyysinen kaksonen) reaaliaikaista dataa Microsoft Azure IoT:n kautta ja visualisoida se Apple Vision Prossa.
SAP-liiketoimintatoimintojen käynnistäminen: Kuinka aktivoida liiketoimintatoimintoja, kuten kunnossapitoilmoituksia, suoraan SAP-järjestelmässä.
Digitaalisen ja fyysisen kaksosen synkronointi: Kuinka synkronoida VR-eleillä käynnistetyt digitaalisen kaksosen liikkeet fyysisen kaksosen kanssa siten, että se peilaa virtuaalisia komentoja.
Usean laitteen välinen viestintä: Kuinka mahdollistaa useiden Apple Vision Pro -laitteiden kommunikointi saman digitaalisen kaksosen kanssa hallinta- ja vastaanottotilojen koordinoinnissa.

Tiimimme kehitti kaksi pääskenaariota, jotka havainnollistavat Apple Vision Pron kykyä synkronoida digitaalisia ja fyysisiä kohteita:

Robottikäsivarren (fyysisen kaksosen) reaaliaikainen ohjaus virtuaalitilassa liikkuvan digitaalisen kaksosen avulla

Apple Vision Pron avulla käyttäjät voivat olla suoraan vuorovaikutuksessa robottikäsivarren digitaalisen kaksosen kanssa tarttumalla malliin ja liikuttamalla sitä virtuaalitilassa. Nämä digitaaliset liikkeet heijastuvat tarkasti fyysiseen robottikäsivarteen, mikä mahdollistaa todellisen kohteen sujuvan ja responsiivisen ohjauksen virtuaaliympäristöstä.

Kunnossapitoilmoitusten integrointi SAP-järjestelmään

Event-2-Business Framework -ratkaisumme avulla SAP Business Technology Platformilla (BTP) käyttäjät voivat luoda kunnossapitoilmoituksia on-prem SAP -järjestelmäänsä. Integraatio mahdollistaa nopean reagoinnin kunnossapitotarpeisiin, tehostaa toimintaa ja tukee mahdollisten ongelmien viivytyksetöntä käsittelyä.

Päätköksenteko reaaliaikaisen telemetriadatan perusteella

Päätöksentekoa tukee Microsoft Azure IoT:sta välittyvä reaaliaikainen telemetriadata. Keskeiset mittarit, kuten lämpötila ja energiankulutus, esitetään graafisesti, mikä tarjoaa ajantasaisen näkymän toiminnan tehostamiseen ja ennakoivaan hallintaan.

Live control of robot arm with moving digital twin in virtual space — NTT DATA Business Solutions showcases the powerful capabilities of Apple Vision Pro in synchronizing digital and physical assets.

Digitaalisen kaksosen käyttö useilla Apple Vision Pro -laitteilla

Tässä kokoonpanossa Apple Vision Pro #1 toimii ensisijaisena ohjaimena, kun taas Vision Pro #2–#99 toimivat vastaanottimina. Vision Pro #1:n kautta käyttäjät voivat aktiivisesti ohjata digitaalista kaksosta, ja nivelten koordinaatit välitetään MQTT Brokerille. Nämä liikkeet heijastuvat muihin Apple Vision Pro -laitteisiin vastaanottamalla vastaavat koordinaatit ja niveltiedot.

Lisäksi kaikki ensimmäisessä skenaariossa käytettävissä olevat toiminnallisuudet voidaan määrittää myös tässä kokoonpanossa, mikä mahdollistaa täysin synkronoidun ja yhteistyöhön perustuvan virtuaaliympäristön.

Working with digital twin across several Apple Vision Pros. — NTT DATA Business Solutions has developed several virtual twin scenarios using Apple's hardware and software.

Skenaarioiden optimointi ja laajentaminen

Seuraavassa vaiheessa tavoitteemme on kehittää nykyisiä skenaarioita ja tutkia uusia toiminnallisuuksia, kuten digitaalisten ja fyysisten kaksosten ääniohjattua liikuttamista. Näin pyrimme laajentamaan AR/VR-sovellusten käyttömahdollisuuksia liiketoiminnassa.

Olemme jo käyneet keskusteluja asiakkaidemme ja kumppaneidemme kanssa tuotantokoneiden, tuotantolinjojen ja automaattisesti ohjattujen ajoneuvojen (AGV) integroinnista. Keskusteluissa on käsitelty myös skenaarioiden rakentamista tuotantoympäristöihin ja simulointeihin. Lisäksi AR/VR voi tukea merkittävästi uusien työntekijöiden koulutusta. Suunnittelu- ja rakennusalalla arvioimme, miten AR/VR voi tehostaa suunnittelu- ja toteutusvaiheita erityisesti asiakasvuorovaikutuksessa.

Viitekehyksen rakentaminen skenaarioiden joustavaan hallintaan

Nykyisessä toteutuksessa olemme kehittäneet erillisen sovelluksen kullekin digitaalisen kaksosen skenaariolle. Tavoitteena on rakentaa kattava viitekehys erilaisten fyysisten ja digitaalisten kaksosten (kuten robotit, koneet ja tuotantolinjat) hallintaan sekä keskitetty objektivarasto VR-mallidatalle matalalla viiveellä Microsoft Azure Platformin avulla. Kaikki IoT-liikenne hallitaan IoT Hubissa, johon on integroitu SAP. Järjestelmää käytetään Apple Vision Pron kautta pääsovelluksella, jossa on yhtenäinen käyttöliittymä sekä yhtenäiset hallintapaneelit ja ohjausnäkymät. Tavoitteena on teollistaa ja sujuvoittaa käyttöönottoa.

Sulautettu tekoäly (Embedded AI)

Simuloinnit ovat keskeisiä robotin tai AGV-järjestelmän reitityksen optimoinnissa. Muutokset tuotantotilan layoutissa, koneiden siirrot tai uudet rakennushankkeet edellyttävät simulointia ennen fyysisiä muutoksia. Tavoitteena on tukea tätä integroimalla tekoälyominaisuuksia.

Apple Vision Prota käytettäessä huolto- ja kunnossapitotilanteissa tarvitaan usein lisätietoja, kuten mallin syvempien kerrosten tarkastelua tai yksityiskohtaisten ohjeiden hakemista käyttöohjeista. Generatiivinen tekoäly tukee tätä mahdollistamalla tehokkaan viestinnän ja tiedonhaun vektoroinnin ja älykkään hakulogiikan avulla.

AR/VR-teknologian kehittyessä NTT DATA Business Solutions jatkaa innovaatioiden edistämistä ja käytännön liiketoimintavaikutusten tuottamista. Kutsumme sinut mukaan tälle matkalle kehittämään yritysten toimintaa digitaalisten kaksosten integraatioiden ja immersiivisten ratkaisujen avulla.

Lue lisää