Projectinformatie

Sector Innovating Virtual & Augmented Reality project

Dankzij de omvangrijke investering van de entertainmentsector in Virtual en Augmented Reality worden deze technologieën nu ook beschikbaar voor een breder publiek. Het demonstreren van reeds ontwikkelde toepassingen aan organisaties uit verscheidene sectoren leidt telkens tot het genereren van tal van casussen waarbij het gebruik van VR of AR gevaloriseerd kan worden binnen hun domein. Wanneer bestaande technologieën op een doelgerichte manier gecombineerd worden kan de vertaalslag van entertainment naar andere sectoren resulteren in een verhoging van kostenefficiëntie en productiviteit.

Specifiek binnen de maakindustrie, zijn er voor de volledige waardeketen van de machinebouw, steeds terugkerende casussen waar de implementatie van VR of AR in hun domein een duidelijke meerwaarde kan bieden.

Met dit “Sector Innovating Virtual & Augmented Reality” project worden partners en externe organisaties begeleid bij het definiëren van deze meerwaarde in hun huidige workflow. Het project bestaat uit twee luiken: een eerste luik gericht op het ontwikkelen van concrete proofs of concept waar VR- en AR-technologie toegepast wordt binnen de industriële sector en een tweede luik gericht op een bredere kennistransfer voor partners uit andere sectoren.

Projectpartners


Mechatronica & Machinebouw

Softwareontwikkelaars

Andere sectoren

Kennisinstellingen en koepelorganisaties

Ontwikkelde prototypes door middel van het project


Hieronder vindt u informatie terug over de ontwikkelde Virtual en Augmented Reality prototypes binnen het Sector Innovating Virtual & Augmented Reality project. Verschillende onderzoeksvragen met betrekking tot deze technologie werden in samenspraak met de doelgroep aan de hand van prototypes gevalideerd.

Virtual Reality Training: Dana Case


Samen met Dana, Picanol, CNH industrial, Barco en Cronos aan de Leie werd game technologie ingeschakeld om een nieuwe vorm van opleiding te onderzoeken. Een combinatie van een gescande werkomgeving, aangeleverde cad modellen en een interactieve game engine maakte het mogelijk om een virtual reality training framework te prototypen. Hierbij kunnen werknemers virtueel leren assembleren aan de hand van een digital twin van de productielijn.

Virtual Reality Training: Picanol Case


Samen met Dana, Picanol, CNH industrial, Barco en Cronos aan de leie werd game technologie ingeschakeld om een nieuwe vorm van training te onderzoeken. Een combinatie van een gescande werkomgeving, cad modellen en een interactieve game engine maakte het mogelijk om een Virtual Reality Training framework te prototypen. Hierbij kunnen werknemers virtueel leren assembleren aan de hand van een 'digital twin' van de productielijn. Hier ziet u een video van het VR training framework in actie op basis van een onderdeel van een weefgetouw bij Picanol.

Augmented Reality indoor wayfinding


Bij indoor wayfinding vormt het gebrek aan een gps signaal en/of bruikbare wifi signalen een uitdaging om iemand van punt A naar punt B te helpen navigeren zonder daarvoor extra hardware zoals beacons te gebruiken. Hiervoor werd commerciële hardware zoals de Samsung S8 gebruikt, gecombineerd met het ARcore framework, waarmee een prototype ontwikkeld werd die indoor wayfinding mogelijk maakt. Hierbij kan de gebruiker vanuit een centraal punt zijn doellocatie selecteren, waarna hij stap voor stap visueel begeleid wordt.

Virtuele link: cross-platform meekijken in VR


We ontwikkelden een collaboratief platform met de Unity game engine waarmee een begeleider de persoon die een virtual reality headset op heeft kan ondersteunen met zijn tablet of smartphone. Hierbij hebben we de mogelijkheid om mee te kijken vanuit eerste persoonsperspectief of zelf een positie te kiezen in de virtuele ruimte. Dit prototype toont hoe we binnen een geïsoleerde beleving zoals virtual reality ook eenvoudig met meerdere gebruikers kunnen interageren, zelf zonder daarvoor een headset te moeten voor aanhebben.

Augmented Reality “program by example”


Met behulp van projectie en een digitale replica van de fysieke onderdelen (digital twin) kan een operator handsfree worden begeleid in een assemblage. De innovatieve insteek van deze werkwijze is de manier waarop de geprojecteerde procedures worden gecapteerd. Ze worden dynamisch gegenereerd door binnen een teaching modus de assemblage eerst zelf uit te voeren - program by example. Elke stap in deze proof-of-concept is gelinkt aan CAD matching en/of image processing integratie om te kunnen garanderen dat ook de onderdelen afzonderlijk correct worden georiënteerd bij de assemblage.

Virtueel opleiden: 360°video versus interactieve VR


Naast de ontwikkelingen die gebeuren op vlak van interactieve virtual reality, is het ook mogelijk om een omgeving te capteren aan de hand van 360° foto en video. De gebruiker kan in beide gevallen de virtuele omgeving bekijken aan de hand van een virtual reality headset. In samenwerking met Thomas More en hun parallel lopend TETRA project rond 360° video werden twee prototypes ontwikkeld waar de gebruiker digitaal de assemblage van een motorblok kan volgen. In het eerste prototype kan de gebruiker de assemblage volgen aan de hand van een 360° video, in het tweede kan de gebruiker de assemblage virtueel zelf uitvoeren in een interactieve virtual reality trainingsomgeving. De bedoeling is om deze twee prototypes uit te testen en beide methodieken te vergelijken met elkaar binnen het nieuwe gezamenlijke TETRA project rond ‘Immersive Training’ die vanaf september 2018 van start gaat.

Augmented Reality Model Based Tracking


Model based tracking maakt het mogelijk om augmented reality te projecteren op fysieke objecten zonder dat daar nog trackers of QR codes voor nodig zijn. Dit brengt het grote voordeel met zich mee dat de ruimte of fysieke objecten niet aangepast moeten worden om AR te kunnen projecteren, maar ook dat we de digitale informatie nauwkeurig kunnen vastpinnen op de fysieke elementen. Dit prototype toont het potentieel van model based tracking in kader van virtuele training op fysieke onderdelen. De gebruiker wordt stap per stap begeleid in het real life scenario wat de juiste assemblagestappen zijn.

 Model Based Tracking als communicatietool


Voor dit prototype werd de model based tracking technologie gebruikt om aan te tonen wat het nut van de applicatie kan zijn als communicatietool binnen een productieomgeving. Ter vervanging van een geschreven boomstructuurlijsten kunnen verschillende departementen zoals quality check en repair op een heel visuele manier de tekortkomingen op unieke assemblagestukken weergeven. Zo kunnen operatoren veel sneller overgaan tot herstel in plaats van de quality check lijst handmatig te overlopen en de fouten op te moeten sporen.

Virtual Reality Training 1.0 - Mixed Reality


De eerste iteratie van het Virtual Reality Training framework waarmee de gebruiker een wiel-as kon assembleren. Omdat Virtual Reality een redelijk individuele beleving is, werd dit prototype ook gekoppeld met de technologie die het mogelijk maakt om de persoon in de virtuele ruimte te visualiseren. Dit werd verwezenlijkt met de hulp van DAE student Giuliano de Luca.

Virtual Reality  Collaboratieve omgeving


Met dit concept willen we de meerwaarde van collaboratieve training aantonen. We maken opnieuw gebruik van de Unity game engine en kunnen twee spelers, onafhankelijk van hun fysieke locatie, laten samenwerken in één virtuele wereld. Voor het prototype werd er gekozen om de gebruikers samen een LEGO auto te laten assembleren aan de hand van een stappenplan en productiviteitstools. Binnen professionele context zou er via deze methode, onafhankelijk van de fysieke locatie van de gebruikers, een opleiding vanop afstand kunnen worden gegeven.

Instructievideo's werkstromen


Rekening houdende met de pijler ‘Knowledge Transfer’ binnen TETRA projecten, wordt op vraag van de gebruikers de opgebouwde kennis rond Virtual en Augmented Reality werkstromen gecapteerd. Hierdoor krijgt u een beter overzicht op wat er komt kijken bij de ontwikkeling van VR/AR applicaties, en voor welke doeleinden deze werkstromen gebruikt kunnen worden. Van onderstaande werkstromen kunt u de video bekijken om meer inzicht te verkrijgen in het proces. Klik op de titel van de instructievideo en geef het onderstaande wachtwoord in. Gelieve deze instructievideo's niet te verspreiden naar externen toe.

Video interviews met Machinebouwers


Picanol group

Vyncke

CNH industrial