News from GDC 2018

We can't begin a post about GDC without mentioning that Howest DAE was there, as usual, but this time as part of a Flemish gaming delegation led by Flemish Minister for Culture, Media, Youth and Brussels Sven Gatz, Flanders DC, FLEGA (Flemish Games Association) and about 30 Belgian gaming developers.

If you missed the recent VRT series about the GDC visit, you can read about it and watch a video from it here.

You can also see Howest Digital Arts & Entertainment Coordinator and "master chief," Rik Leenknegt talking about his favorite games and about Howest being the number one game school in the world via this article and video from the recent VRT series on gaming in Belgium.

Minister Gatz took the GDC visit opportunity to announce hopes to create a kind of tax shelter for the game industry in Flanders to encourage growth in the sector and undoubtedly to avoid brain drain of all of the talent here. Gatz also said he wants there to be a Flemish stand and more representation at next year's GDC. You can read more about it and the Flemish GDC delegation's adventures via the Flega blog.

If you want to know 5 facts about the Flemish Gaming Industry, make sure to check out the article inspired by the GDC visit from Flanders Investment and Trade.

The article mentions the following:

"Novel technologies – such as virtual and augmented realityare changing the face of the gaming industry. Luckily, Flanders provides a haven for companies trying to find their way in today’s digital maze. The region unites industrial, academic and governmental players for cross-sector collaborative projects that help shape digital society, and the gaming industry with it. Imec, Flanders’ research center for nano- and digital technology, has proven to be a particularly innovative force in these fields."

Another handy reference to get you up to date on the gaming industry as well as the current trends in VR and AR is this Game Industry Report based on as survey of 4000 game developers as a lead up to GDC 2018.

As a summary, the report states: "Significant trends revealed by the survey results include a notable uptick in interest in the Nintendo Switch, game makers’ waning opinions of VR, and a move away from mobile to focus on PC and home consoles."

Howest DAE's Rik Leenknegt agreed, saying that those he spoke with at GDC expressed that the gaming market is decreasing its focus on VR entertainment - but that the focus is now really shifting to B2B when it comes to the VR sector.

With that said, have a look at this video report from The Grid VR to see some of the GDC VR entertainment news. You'll hear about upcoming headsets with various improvements, such as the Vive Pro (due out April 3rd); the HTC Vive Focus (coming here later this year); the Oculus Go (low priced, with USB support) and the Santa Cruz. The video will also introduce you to some new games (Space Heroes) and a new VR series (Silicon Valley) and to some peeks through Leap Motion glasses. You'll hear lots of references to improved lighting, which can make a real impact on VR content. Have a look!

We'll continue with news from GDC soon but in the meantime, if you prefer text to video, you can find a detailed roundup of the highlights from GDC in this article from the "virtual reality, start up and stuff" blog The Ghost Howls.

We'll leave you with what so many have mentioned as the stand-out demo at GDC; the "live captured digital human" called "Siren". You have to see it to believe it - or maybe believe it to see it. In any case, make sure to have a look at the video. It might creep you out or excite you, depending on just how much of a futurist you are. Enjoy!

And for a little more background on Siren, watch this one too!

by Sarah Markewich – SIVAR project intern spring 2018


GDC show vloer - Whirlwind VR

Warm en koud blazen is het unieke verkooppunt van het bedrijf Whirlwind VR met hun randapparaat VORTX. Het toestel is in staat om warme/koude lucht te blazen in een continue stroom of in schokken. In de demo van het spel Battlefield 1 dat we konden testen werd op die manier snelheid van een voertuig, de warmte van een vlammenwerper en de terugslagen van een machinegeweer gesimuleerd. Met de overvloed aan randapparatuur die op de markt komt valt het te betwijfelen of dit product een grote markt kan aanboren, maar voor de echte VR enthousiastelingen bied de VORTX een extra graad aan immersie aan.


GDC show vloer - Bend Labs' tracking handschoen

De tracking handschoen van Bend Labs is een van de nieuwe input controllers voor VR zoals er wel meerdere werden voorgesteld. Het verschil zijnde dat Bend eerder focust op de sensoren die de tracking in hun handschoen en andere randapparatuur mogelijk maakt. Hieronder zien we een ontwikkelingscyclus van de sensoren.

Bend heeft al enkele andere apparaten met de sensoren uitgerust maar heeft nu dus ook de stap gezet naar de VR markt. Wat we van de demo op het scherm konden volgen en de reactie van de testpersonen werkt de handschoen zeer goed in een Unity/Unreal omgeving.

 


GDC show vloer - Van room tot building scale met OptiTrack Active Tracking VR

Optitrack VR is ondertussen al een gekende partner als het gaat over lichaam en positie tracking op grote schaal. Verschillende bedrijven hebben al samengewerkt met Optitrack om large scale VR ervaringen te verwezenlijken.  Ook op deze editie van GDC stond het bedrijf in de kijker, deze keer met de mededeling van hun "active VR tracking". De nieuwe vorm van tracking is bedoeld voor massieve VR ervaringen in de grote orde van een pretpark. Het grote verschil met de passieve tracking die voorheen werd gebruikt is dat objecten en mensen kunnen toegevoegd worden via een generieke infra-rood LED in plaats een uniek geconfigureerde reflectieve marker. Deze manier van tracken zorgt ervoor dat productiekosten en tijd voor randapparatuur drastisch daalt.

De showcase op GDC was een shooter demo die mogelijk werd gemaakt door de MSI VR One rugzakken, een Oculus Rift en de geweren van StrikerVR.

 


GDC show vloer: Xenoma gebruikt e-skin als input controller

E-skin, smart shirt, ... De technologie van Xenoma kreeg al meerdere benaming opgekleeft. Hoe het ook benoemd word, de slimme tshirt stond op GDC om spelontwikkelaars te overtuigen om de, toch wel substantiële, investering van 5000$ te maken. Wat krijg je daar juist voor? Het shirt neemt bewegingen en gebaar informatie waar en verstuurd die naar de centrale "e-skin Hub" die zich vooraan op de borstkas bevind. Daar worden inkomende bewegingen dan geïnterpreteerd en vertaald naar data. Ontwikkelaars kunnen dan via de bijgeleverde SDK (software development kit) dan in verschillende toepassingen gebruiken.

Op de stand van Xenoma werd het shirt voorgesteld als inputcontroller voor een demo spel, de gebruiker kan via arm en torso bewegingen het virtuele karakter vooruit sturen, laten springen en hurken.

Of dit de toekomst van gebruikers input is lijkt ons eerder vergezocht. Eerder lijkt het een truc om game ontwikkelaars warm te maken voor de e-skin technologie met use cases waar ze altijd mee worden geconfronteerd. Veel belangrijker lijken de toepassingen die mogelijk worden voor de sport, gezondheidssector en zelfs veiligheid. Enkele voorbeelden die door het bedrijf zelf worden aangehaald:

  • Veiligheid: Data kan opgenomen worden en gecombineerd met externe apparaten (gps toestel, ....) om zo waarschuwingen uit te sturen wanneer het systeem gevaarlijk gedrag voorspelt.
  • Gezondheid: Medische data kan continu opgenomen worden en verstuurd worden naar een arts die zo patiënten kan opvolgen vanop afstand.
  • Sport: Tijdens training kan biometrische data opgenomen en weergegeven worden zodat sporter en trainer in detail kunnen kijken naar de prestaties.

GDC show vloer - Pico Neo gaat als losstaande HMD de concurrentie aan

Met namen als HTC, Microsoft en Facebook die constant de voorgrond van de nieuwspagina's opeisen kunnen concurrenten al snel in de vergetelheid terechtkomen. Een van die andere spelers is het Chinese bedrijf Pico Interactive.

Maar wat maakt van de Pico Neo Cv dan een uitschieter? Kort samengevat: 1.5k displays met 90Hz, 6 graden van vrijheid, positie tracking en vooral: geen draden of smartphone. Het volwaardig alleenstaand HMD toestel word aangedreven door een Qualcomm Snapdragon chip, dezelfde chip die momenteel vele mobiele toestellen gebruiken, zoals bijvoorbeeld de nieuwe Samsung flagship smartphones.

Al die specificaties zien er zeer indrukwekkend uit, maar dan is natuurlijk de vraag waarom dit toestel niet meer in het nieuws komt. Momenteel is er nog geen release datum of prijs bekend, maar nog belangrijker is het feit dat inhoud koning is. Sinds er niet word gekoppeld aan een externe smartphone of pc draait de Pico Neo CV op een eigen uniek ecosysteem van content, waar voorlopig nog niet veel over bekend is. Zeker een toestel om niet uit het oog te verliezen als software ontwikkelaars mee in het project stappen.


Chevrolet, EPIC en The Mill maken real-time visual effects mogelijk

Augmented reality staat niet zo vaak in de spotlight als virtual reality, maar daar brengt de samenwerking tussen Chevrolet, EPIC en The Mill mogelijk snel een einde aan. De drie grote spelers hebben in samenwerking een real-time visual effect kortfilm gemaakt. De film, "The Human Race", maakt gebruik van de Blackbird, een aanpasbare AR wagen van het VFX bedrijf The Mill.

Tijdens het filmen is, door het tracken van de ingekleurde vlakken, de positie en rotatie van de Blackbird altijd bekend. Wanneer de opnames dan geïmporteerd worden naar de Unreal Engine kan die data aan een 3D model worden gekoppeld. In het geval van "The human race" betekent dit dat de Blackbird in real-time kan vervangen worden door een digitaal Chevrolet model. Hieronder kan je zien hoe het achter de schermen werd verwezelijkt.

Zo kan regisseur dus live de CGI auto in de opnames waarnemen, en aanpassingen doorvoeren. Bijvoorbeeld de kleur van de auto tijdens het afspelen aanpassen.


GDC show vloer - Miraisens en hun haptische VR controller

Het Japanse bedrijf Miraisens brengt al enige tijd "3DHaptics" technologie op de markt. Dit zijn actuatoren die geïntegreerd kunnen worden in verschillende apparaten om zo haptische terugkoppeling te creëren. Het bedrijf stap nu mee in de VR markt met hun versie van een controller. Met een "standaard" layout en het plastiek uiterlijk springt het prototype van de controller nu niet in het oog, maar dat is natuurlijk niet de core business.
HET verkooppunt is natuurlijk de integratie van 2 actuatoren in de controller. De joystick is voorzien van een 2D actuator waardoor die in staat is om kracht links/rechts of boven/onder te geven. In het handvat van de controller zit een "Z-actuator" die rumble kan voorzien. Met een combinatie van die twee worden er verschillende sensatie gecreëerd.
Tijdens de demonstratie konden we de volgende feedback aan het werk voelen:

  • Touwen: In deze demo word de gebruiker enkele verschillende soorten "touw" voorgeschoteld. De actuatoren onder de joysticks van beide controllers worden gebruikt om te laten voelen alsof het touw met toenemende weerstand uitgerokken word. Wanneer bij een ander touw te hard word "getrokken" kan ook de breuk gevoeld worden.
  • Rollende bal: Hier word een bal getoond die een vooraf vastgelegd traject afgaat. De bal gaat op en neer, rolt over hobbelig terrein, en botst tegen zijkanten. Het gevoel van richting en hoogte word gekaderd door de joysticks te verplaatsen. Impact van botsingen tegen de muren word gesimuleerd door de Z-actuator in het handvat.
  • Voeling: Deze demo toont de verschillende grote ordes waarmee de Z-actuator kan presteren. Verschillende materialen, wol, textiel , ... kunnen zo nagebootst worden.
  • Zwaardvechten/Schietstand: Bij deze demo word de impact van een zwaardslag of de variabele terugslag van verschillende soorten geweren.

Onze conclusie? Controllers zijn niet de primaire markt van Miraisens en dat valt op bij de motion tracking van de handen. Dat valt te vergeven doordat het hier nog steeds over een prototype gaat en de haptische terugkoppeling goed uitgevoerd is. De controllers zijn wel nog niet in staan om feedback te geven in de grote orde van de Novint Falcon, een bekend input apparaat dat ook haptische terugkoppeling kan leveren.


GDC show vloer - CaptoGlove

De CaptoGlove neemt de handbewegingen van de gebruiker op en vertaald deze naar input voor de computer. De handschoen kan met draad aangesloten worden of via bluetooth connectoren met mobiele apparaten, waar het meld een batterijleven van wel 10 uur lang te hebben.

Op GDC werd deze technologie getoond met een first person shooter en een helikopter simulator. Tijdens het vliegen leek de handschoen zeer goed te vertalen naar de virtuele wereld. Als "piloot" ben je in staat om schakelaars om te gooien en de handschoen als stick te gebruiken en zo de helikopter geloofwaardig over te nemen. Terwijl met een helikopter vliegen vertaalde naar een vloeiende ervaring, kwamen bij de first person shooter demo enkele minpunten naar boven.

Zo leek tijdens de demonstratie bij de proefpersoon beweging en mikken moeilijk te combineren. het is natuurlijk mogelijk dat dit met een groteren inlooptijd wel verbeterd. Wij denken dat de CaptoGlove zeker een meerwaarde kan creëren voor een applicatie, maar het lijkt ons niet bruikbaar voor alle gevallen. In de segmenten naast gaming lijkt het duidelijk dat deze invoermogelijkheid zeker een rol kan spelen voor de input.

 


Acer start verdeling van eerste developer edition mixed reality HMD voor windows

Microsoft heeft geen dedicated windows HMD, daar doet het bedrijf momenteel beroep op maar liefst vijf verschillende fabrikanten: Acer, Asus, Dell, HP en Lenovo. Nu Acer de eerste developer editions zal beginnen verschepen komt er meer informatie vrij over hoe Microsoft de HMD's wil gebruiken.

Microsoft stelt dat de HMD's die gecreëerd worden voor het windows platform in staat zullen zijn om mixed reality te tonen. Door het gebruik van cameras zal de omgeving kunnen ingescand worden waarna ontwikkelaars dan met de data aan de slag kunnen. Trackers in de apparaten zullen ervoor zorgen dat er 6 degrees of freedom worden ondersteunt.

In tegenstelling tot de Hololens zal het Acer apparaat wel aangesloten moeten worden op een Windows PC  of XBOX. Dit zal de use cases van de HMD beperken maar lost het field of view probleem van de Hololens grotendeels op. De ACER Windows HMD is volledig gericht op gamers. Gebruikers zullen hun favoriete spellen kunnen spelen in een digitaal theater. Doordat Microsoft een eigen ecosysteem voor apps en games creeerd, gebaseerd op wat momenteel beschikbaar is in de hololens, word ondersteuning van Steam en Vive VR spellen niet gegarandeerd. Het apparaat is gericht op een consumentenprijs 300 dollar. Op GDC konden we de nieuwe HMD al even bekijken:

(Bron: GDC, CNET)


GDC show vloer - SprintR, input met de voeten

Met de opkomst van VR verschijnen er veel varianten van de standaard gamepad controller op de markt. Een nieuw hoofdstuk in die evolutie is de visie van het bedrijf SprintR. Door de linker of rechter voet te plaatsen op de SprintR controller kan een karakter in een virtuele omgeving bewegen, ronddraaien en is er ook nog een "klik" voorzien, wat geactiveerd word door de voorkant van de controller in te drukken, waar verschillende functionaliteiten aan kunnen worden gekoppeld. Het grote voordeel van deze controller is het feit dat de handen volledig vrij zijn om een andere controller (zoals gamepad, Oculus Touch, VIVE controllers) te hanteren waardoor de input mogelijkheden groeien.We hadden de mogelijkheid om de SprintR te testen op de showvloer en hier zijn onze bevindingen. Na een zeer korte aanpassingsperiode gaat het vlot om een karakter te controleren. Bewegen en rondkijken voelen gemakkelijk aan. Na de demo die ongeveer 10 minuten duurde voelde ons "controller been" ook nog niet vermoeid aan. Of de houding voor een langere tijdsperiode aangenaam blijft kunnen we niet bevestigen. Het probleem dat echter wel opkwam tijdens het ervaren van de demo was simulatie misselijkheid. Dit was hoofdzakelijk te wijten aan de snelheid waarmee het karakter bewoog. Nu is die bewegingssnelheid aan te passen voor elke toepassing, is al veel onderzoek gebeurd en zijn er veel tips vrijgegeven omtrent dit probleem. Maar op de moment zelf was het alleszins geen aangenaam gevoel.