2 AUGMENTED REALITY
In het vorige hoofdstuk hebben we gezien dat het interessant is om nieuwe manieren van leren te onderzoeken. In dit onderzoek willen we dit doen door het ontwikkelen van een op Augmented Reality gebaseerde Toolkit (‘AR-Toolkit’). Daarom gaan we nu kijken naar de inhoud en mogelijkheden van deze techniek.
2.1 DEFINITIE
Augmented Reality (AR), of toegevoegde realiteit, heeft als doel om het idee te creëren dat virtuele objecten in de echte wereld aanwezig zijn. Om dit effect te bereiken wordt er software gebruikt die virtual reality (VR) elementen met de echte wereld combineert. Augmented Reality komt het meest tot zijn recht wanneer virtuele objecten real-time worden weergegeven (Cawood &Fiala, 2007). Ronald T. Azuma schrijft in zijn artikel ‘A Survey of Augmented Reality’ uit 1997, dat een AR-systeem altijd voldoet aan drie kenmerken:
- Het combineert echt(reëel) met virtueel
- Real-time interactiviteit
- Geregistreerd in 3D
Augmented Reality is dus niet zoals Virtual Reality een vervanging van de realiteit, maar een toevoeging daaraan. In het meest ideale geval ervaart de gebruiker de combinatie van de reële wereld met de virtuele aspecten als één geheel.
2.2 GESCHIEDENIS
Door de aandacht die de media op dit moment aan Augmented Reality geven, lijkt het alsof het een onlangs ontwikkelde technologie betreft. Dit is zeker niet zo, aangezien de geschiedenis van Augmented Reality ver terug gaat in het verleden. In 1968 ontwikkelde Ivan Sutherland al een prototype dat algemeen gezien wordt als het eerste VR-systeem en AR-systeem. Het prototype had als doel om de gebruiker te omringen met driedimensionale informatie, welke zichtbaar werd wanneer de gebruiker in de juiste richting keek. De driedimensionale objecten bestonden echter alleen uit wireframes3.2) was zo zwaar dat deze aan het plafond moest worden opgehangen (Sutherland, 1968). Door de evolutie van de personal computer en het steeds beter en goedkoper worden van technologie, heeft Augmented Reality zich de laatste jaren echter sterk kunnen ontwikkelen.
|
|
|
Figuur 14: Ivan Sutherland |
Hierna een overzicht van enkele belangrijke mijlpalen in de ontwikkeling van Augmented Reality op basis van een lijst samengesteld door het Christian Doppler Laboratory (2009). 5, en de gebruikte HMD (zie ook §
|
Jaar |
|
|
|
1968 |
|
|
|
1982 |
|
|
|
1992 |
|
|
|
1994 |
|
|
|
1995 |
|
|
|
1996 |
|
|
|
1997 |
|
|
|
1999 |
|
|
|
2001 |
|
|
|
2003 |
|
|
|
2004 |
|
|
|
2005 |
|
|
|
2007 |
|
|
|
2008 |
|
|
|
2009 |
|
|
De volledige lijst van het Christian Doppler Laboratory gaat in meer detail in op de geschiedenis van Augmented Reality en specifiek op de geschiedenis van de mobiele Augmented Reality. Om een globale indruk te krijgen is het bovenstaande schema voor nu echter voldoende. Hierna kijken we naar een aantal voorbeelden van recente ontwikkelingen rondom Augmented Reality.
2.3 AUGMENTED REALITY VOORBEELDEN
|
Figuur 26: Proto zwaait naar de gebruiker. ‘Leuk’, maar verder niet erg nuttig. |
|
|
Momenteel wordt Augmented Reality op tal van gebieden toegepast. Vooral de mobiele toepassingen winnen steeds meer aan populariteit. Waar de toepassingen in het begin vooral ‘eye candy’ (zie Figuur 2) waren, zien we nu steeds meer praktische toepassingen. In deze paragraaf bekijken we een aantal interessante toepassingen van Augmented Reality.
2.3.1 AUGMENTED REALITY IN RECLAME
Door het sterke visuele aspect van Augmented Reality, waardoor het lijkt alsof virtuele objecten in de echte wereld aanwezig zijn, is het gebruik van de techniek ook interessant voor reclamemakers. Dit blijkt uit de hoeveelheid voorbeelden die er zijn te vinden van AR-reclame. Vooral autofabrikanten maken dankbaar gebruik van Augmented Reality, door hun nieuwste modellen in 3D aan de potentiële koper te presenteren. Zo hebben onder andere Mini, Toyota, Nissan en BMW al Augmented Reality reclame-uitingen. De advertentie van Mini (zie
Figuur 3) is relatief eenvoudig en toont enkel een Augmented Reality 3D model van de auto. Toyota breidt dit verder uit door het vertonen van animaties (zie Figuur 4) en Nissan gaat nog een stap verder door de gebruiker de mogelijkheid te geven om kleuren te kiezen en delen van het interieur te bekijken (zie Figuur 5). Als laatste voorbeeld geeft BMW de gebruiker de mogelijkheid om het Z4 model te besturen, als AR-model met het toetsenbord. Door de ‘kleursporen’ die de wielen van de auto op de ondergrond achterlaten, kan er ‘kunst’ worden gemaakt (zie Figuur 6).
|
Figuur 37: Mini demonstreert hun auto als AR-model op de advertentie. |
Maar het zijn uiteraard niet alleen de autofabrikanten die het potentieel van Augmented Reality zien. Ook bijvoorbeeld filmmakers laten filmpersonages met Augmented Reality tot leven komen. Als voorbeeld de film Night At The Museum 2, waar onderdelen van de film in Augmented Reality tot leven komen (zie Figuur 7). Ook Lego heeft met Augmented Reality een manier gevonden om potentiële kopers de mogelijkheid te geven het product ‘live’ te zien alvorens dit te kopen. Door de bouwdoos voor een installatie met display en camera te houden, krijgt de gebruiker een 3D voorbeeld van het uiteindelijke model te zien (zie Figuur 8).
Figuur 48: De Toyota IQ, links rijdend en rechts in onderdelen.
Figuur 59: Nissen - Het kiezen van kleuren en ook het bekijken van interieuronderdelen is mogelijk
Figuur 610: Het AR model van BMW laat virtuele sporen achter op het bureau van de gebruiker.
Figuur 711: AR-applicatie van de film Night At The Museum 2, waarbij personages en objecten uit de film tot leven komen.
Figuur 812: Lego laat met Augmented Reality een voorbeeld zien van het model in de bouwdoos
Dit waren slechts enkele voorbeelden van de vele Augmented Reality reclame-uitingen die er momenteel zijn te vinden. We bekijken nu nog een paar meer praktische voorbeelden van het gebruik van Augmented Reality.
2.3.2 PRAKTISCHE TOEPASSINGEN VAN AUGMENTED REALITY
In de vorige paragraaf zagen we al enkele situaties waarin Augmented Reality naast het puur visuele aspect, ook echt een praktisch nut had. Augmented Reality was hier echter meestal nog iets ‘extra’s’. Nu bekijken we enkele voorbeelden waarin Augmented Reality zelf centraal staat.
Plaats, tijd & informatie: Layar
Een van de meer bekende voorbeelden van een (mobiele) Augmented Reality toepassing is de AR-browser Layar.
“The Layar Reality Browser shows what is around you by displaying real time digital information on top of the real world as seen through the camera of your mobile phone. This technology is called Augmented Reality. We augment the real world as seen through your mobile phone, based on your location.”(layar.com) 
De Layar AR-browser geeft real-time informatie over de omgeving waar de gebruiker zich op dat moment bevindt. Dit wordt gedaan door gebruik te maken van de ingebouwde camera, kompas en GPS van een mobiele telefoon. Naast tekstuele informatie is Layar ook in staat om 2D afbeeldingen, 3D objecten en audio en video weer te geven. Gebruikers kunnen ook zelf informatie toevoegen of hun eigen ‘Layar’ ontwikkelen. De kern van Layar is het geven van nuttige informatie op het juiste tijdstip op de juiste plaats.
Figuur 913: Layar AR-browser screenshots
Koopervaring verbeteren
Naast het geven van op plaats en tijd gebaseerde informatie kan Augmented Reality er ook voor zorgen dat de (online) koopervaring wordt verbeterd. Zo geven IKEA en Ray Ban de koper de mogelijkheid om het product eerst te ‘passen’. Ray Ban doet dit in de vorm van en Virtual Mirror (zie Figuur 10), waarin de klant verschillende brillen kan passen en in real-time kan zien hoe deze staan (Ray Ban, 2010).
Figuur 1014: Ray Ban Virtual Mirror
IKEA geeft klanten de mogelijkheid om meubels eerst te ‘passen’ met behulp van een mobiele applicatie (zie Figuur 11). Eerst maakt de klant een foto van een gewenste locatie (in bijvoorbeeld zijn huis) en daarna kan er een object uit de IKEA collectie worden gekozen. De applicatie voegt deze twee samen om de klant zo een beeld te geven hoe het object zal staat in zijn interieur (Mobiadnews.com, 2009).
Figuur 1115: Ikea AR-applicatie
Onderwijs
Veel van de voorgaande voorbeelden zouden ook in het onderwijs kunnen worden toegepast. Augmented Reality kan abstracte stof beter inzichtelijk maken, door deze visueel weer te geven en ‘tastbaar’ te maken. Dit zien we ook terug in het volgende voorbeeld, waarin Augmented Reality wordt gebruikt in de scheikundeles.
Het bedrijf Larngear Technologies heeft een concept ontwikkeld waarmee leerlingen in real-time kunnen experimenteren met Augmented Reality 3D moleculen. De moleculen verschijnen wanneer kaartjes (AR-markers) op tafel worden gelegd. Door ‘eigenschapkaartjes’ (Figuur 12 links) bij een molecuul te houden wordt er extra (AR) informatie weergegeven. Wanneer er meerdere atomen, bijvoorbeeld twee waterstof atomen en één zuurstofatoom (Figuur 12 midden), op tafel liggen, vormen deze samen een watermolecuul (AR-animatie, Figuur 12 rechts). Op deze manier krijgen leerlingen real-time inzicht in de werking van atomen en moleculen.
Figuur 1216: AR-moleculen concept.
De voorbeelden in deze paragraaf zijn slechts enkele van de vele voorbeelden die er momenteel zijn te vinden. Augmented Reality kan dan ook op veel gebieden worden toegepast, denk naast de hier beschreven voorbeelden ook aan medische toepassingen, games, onderhoudswerkzaamheden, militaire toepassingen, navigatie, architectuur, etc. Nu we een beeld hebben van de mogelijkheden en werking van Augmented Reality gaan we hierna kijken naar de manier waarop dit technisch mogelijk is.
2.4 WERKING VAN AUGMENTED REALITY
Zoals we ondertussen weten heeft Augmented Reality als doel om virtuele objecten (zo realistisch mogelijk) in de fysieke wereld te plaatsen. Om dit te bewerkstelligen moet de computer grip krijgen op deze fysieke wereld. Dit wordt gedaan door het definiëren van herkenningspunten in de vorm van ‘markers’.
2.4.1 MARKERS
|
Figuur 1317: Marker met assenstelsel |
Markers zijn een belangrijk onderdeel van Augmented Reality. Zonder deze herkenningspunten is de computer niet in staat om virtuele objecten (juist) te plaatsen. Elke marker vertegenwoordigt een coördinatenstelsel, met een x-, y-, en z-as (zie Figuur 13). Een marker bestaat in praktijk doorgaans uit een abstract vierkant patroon in zwart en wit. Door de marker af te drukken op bijvoorbeeld papier, kan deze in de fysieke wereld worden gebruikt. Wanneer deze nu in het zicht van een (web)camera komt, is de computer in staat om hier met behulp van software een virtueel object op te plaatsen. Het herkennen van de marker
door de computer wordt ook wel ‘tracking’ genoemd. Voor een goede ‘tracking’ van de marker dient het contrast optimaal te zijn (vandaar ook zwart/wit). Een goede belichting speelt ook een belangrijke rol.
|
Figuur 1418: Verschillende markers gebruikt voor testdoeleinden in dit project. |
Naast de abstracte zwart/wit markers is het ook mogelijk om afbeeldingen als marker te gebruiken. Echter is niet elke afbeelding geschikt voor gebruik als marker, aangezien er voldoende duidelijke herkenningspunten, moeten zijn. Voor het gebruik van afbeeldingen geeft Metaio (ontwikkelaar van Unifeye Design, zie §4.5) ondermeer de volgende richtlijnen:
- Het beeld moet duidelijk herkenbare kenmerken hebben
- Kleurverloop in de afbeelding beïnvloed tracking positief
- Enkel tekst beïnvloedt tracking negatief
- Enkel wit beïnvloedt tracking negatief
Goede tracking resultaten zullen niettemin sneller worden behaald met het gebruik van abstracte zwart/wit markers, aangezien deze optimaal zijn qua contrast en herkenningspunten. In sommige concepten is het echter wenselijk om gebruik te maken van afbeeldingen, aangezien abstracte markers hier moeilijk zijn in te passen. Zie bijvoorbeeld het lego voorbeeld (Figuur 8), waarbij een abstracte marker het ontwerp van de doos niet ten goede zou komen. Hierna bekijken we hoe het proces van ‘marker tracking’ precies in zijn werk gaat.
2.4.2 HET ‘TRACKING’ PROCES
Kato, Billinghurst & Poupyrev (2000) geven in hun tekst uitleg over de werking van ARToolkit. Met deze uitleg wordt ook het algemene principe van Augmented Reality duidelijk beschreven. In het schema hierna (Figuur 15) zien we het verloop van het ‘tracking’ proces:
|
Figuur 1519: Het ‘tracking’ proces |
Als eerste wordt het live camerabeeld omgezet naar zwart/wit. In dit zwart/wit beeld wordt vervolgens gezocht naar vierkante patronen (mogelijke markers). Wanneer de software een patroon denkt te herkennen, wordt dit vergeleken met de vooraf gedefinieerde markers. Indien er een match is kan de positie van de marker in het beeld worden berekend, en kan daarop een 3D model worden geplaatst (Kato, Billinghurst & Poupyrev, 2000). Het eindresultaat is dat de gebruiker op zijn scherm (in dit geval een HMD zie ook §3.2) een beeld krijgt waarin de fysieke- en reële wereld zijn gecombineerd tot een geheel. De realiteit kan met Augmented Reality worden aangepast aan de wensen van de gebruiker. Hiermee komen we al snel terecht bij sciencefictionachtige concepten zoals het ‘StarTrek holodeck’. Maar de vraag is hoe lang dit nog sciencefiction blijft? In de volgende paragraaf kijken we naar wat we in de toekomst van Augmented Reality kunnen verwachten.
2.5 TOEKOMSTVERWACHTINGEN
Augmented Reality zal zich in de komende jaren verder blijven ontwikkelen, dat is iets dat zeker is. Er wordt op veel gebieden interesse getoond in de techniek en men beseft steeds meer dat Augmented Reality meer heeft te bieden dan louter visuele ‘eye candy’ (zie ook de voorbeelden in paragraaf 2.3). Momenteel zijn er speciale ‘Augmented Reality devices’ in ontwikkeling (zie §3.1, kader ‘Quidoo Scene’), welke ervoor moeten zorgen dat de gebruiker Augmented Reality 2.0 kan ervaren in plaats van Augmented Reality 1.0 met de huidige apparaten, aldus de fabrikant. Dit soort mobiele apparaten is echter een indirecte manier om Augmented Reality te zien. Voor een optimale Augmented Reality ervaring, zal er gebruik moeten worden gemaakt van geoptimaliseerde HMD’s (zie §3.2). We schrijven hier extra ‘geoptimaliseerde’, aangezien de huidige HMD’s nog te onpraktisch zijn. Een ideale uitwerking zou bestaan uit een soort ‘AR-contactlenzen’ waarmee de gebruiker Augmented Reality kan zien alsof hij met zijn eigen ogen kijkt. Dit lijkt ver weg, maar Parviz (2009) beschrijft in zijn artikel ‘A new generation of contact lenses built with very small circuits and LEDs promises bionic eyesight’ een toekomstige lens waarmee dit mogelijk zou kunnen worden. Er is reeds een basale uitvoering van deze lens gerealiseerd en getest bij dieren. Er wordt wel opgemerkt dat er nog veel onderzoek nodig is, om de uiteindelijke lens te realiseren. Met de uiteindelijke lens zou de gebruiker in staat zijn om extra digitale informatie tot zich te nemen, bijvoorbeeld Augmented Reality. Futuroloog en erkend pionier op het gebied van mobiele Augmented Reality Robert Rice (2009), ziet AR-contactlenzen echter niet voor 2018-2020 verschijnen, zie punt 7 verderop.
Een andere ontwikkeling die we in de toekomst gaan zien is het verdwijnen van de AR-markers. Eerder (zie §2.4.1 ) beschreven we al dat de taak van de traditionele zwart/wit markers over kan worden genomen door normale afbeeldingen. In de toekomst zullen markers waarschijnlijk helemaal niet meer nodig zijn voor het toepassen van Augmented Reality. Dit is ook de mening van Frahm et al. (2005) in het artikel ‘Markerless Augmented Reality with Light Source Estimation for Direct Illumination’, waarin een ‘markerless’ Augmented Reality systeem wordt beschreven. Door het gebruik van twee camera’s (TV-camera en fish-eye camera) kunnen virtuele objecten zonder het gebruik van markers in de scène worden geplaatst. Daarnaast worden de virtuele objecten realistisch belicht, door de lichtbronnen in de omgeving te analyseren. Wanneer dit soort nieuwe technologieën bestaande obstakels (onpraktische hardware, markers,etc. ) vervangen, zijn we een stap dichter bij het utopische ‘StarTrek Holodeck’.
Robert Rice doet op zijn website een aantal voorspellingen over de toekomst van Augmented Reality. Hieronder enkele interessante daarvan:
- 1. “Marketing, Advertising, and Entertainment will be the early industry leaders to adopt and monetize augmented reality. More practical uses in visualization, training, education, medical, manufacturing, etc. will follow closely, but take longer for adoption as some technology requirements will be more stringent.”
- 2. “Mobile devices combined with wearable displays will prove to be the ultimate combination for the full potential of augmented reality.”
- 3. “Mobile Augmented Reality will likely be a contributing factor to economic recovery with the creation of wealth (revenues), new industries, many new companies and jobs, as well as entirely new professions. Artists, designers, developers, educators, trainers, interior decorators, architects, and others will all find new opportunities and job titles.”
- 4. “Augmented Reality content (virtual objects) will be referred to as Holograms by the general public, changing the definition of the word. [Personally, I’d prefer to call them holons]”
- 5. “Tight registration and body tracking from any angle will also be accomplished, enabling users to anchor 3D objects such as clothing, armor, rabbit ears, masks, and animated textures/tattoos to themselves. The Cosplay, Furry, Trek, D&D, and SCA nerds will spend more money on this than the height of the Magic the Gathering industry.”
- 6. “Telepresence, using life sized avatars in remote locations, will become useful, and not be a gimmick.”
- 7. “No, still no AR contact lenses. Maybe 2018-2020. No mind reading devices either.”
- 8. “It will take longer than 3 years for AR to become ubiquitous in education, medicine, and therapy, although early experimental applications and research will gain a lot of ground.”
Bovenstaande zijn slechts enkele punten uit de complete voorspelling van Rice, maar het is duidelijk dat hij verwacht dat Augmented Reality in de toekomst een grote invloed gaat hebben op ons leven. Zijn voorspelling is op sommige punten echter redelijk gewaagd, vooral als we kijken naar de evolutie van Augmented Reality in het verleden. Er is immers meer dan 40 jaar nodig geweest om te komen tot het punt waar Augmented Reality nu is. Rice op zijn beurt verwacht echter binnen enkele jaren grote ontwikkelingen op het gebied van Augmented Reality. Het is wel zo dat de overige technologische ontwikkelingen ook niet hebben stil gestaan, en daarom is er nu meer draagvlak voor Augmented Reality dan in het verleden. Maar de mate van penetratie van deze techniek zal vooral afhankelijk zijn van de toegankelijkheid voor het grote publiek. Met ‘toegankelijkheid’ bedoelen we dan ook vooral de toegankelijkheid van mobiele apparatuur waarmee Augmented Reality kan worden toegepast. Het gaat hier dan niet om ‘handhelds’ zoals smartphones, aangezien de kleine schermpjes van deze apparaten de immersiviteit niet ten goede komen. Voor een optimale ervaring van Augmented Reality (het gevoel onderdeel uit te maken van de AR-wereld, of het gevoel dat AR onderdeel is van de fysieke wereld), zullen handzame HMD’s of beter AR-contactlenzen (zie eerder) noodzakelijk zijn. We spreken hier nu wel over de doorbraak van een utopische vorm van Augmented Reality. Wanneer we kijken naar AR-browsers zoals Layar, zien we dat immersiviteit hier minder van belang is, en daarmee ook de eisen van de hardware. Het ligt voor de hand dat dit soort AR-concepten als eerste zullen opkomen en dat later de meer geavanceerde concepten zullen volgen. De snelheid waarmee een technologie als Augmented Reality kan doorbreken is van vele factoren afhankelijk, en we kunnen dan ook niet meer doen dan afwachten om te zien in hoeverre de voorspellingen gaan uitkomen.
In het volgende hoofdstuk doen we onderzoek naar iets minder futuristische stof, namelijk welke hardware en technologie momenteel praktisch zouden zijn voor gebruik in dit project.
4 Bron: Sutherland, 1968
5 Het ‘skelet’ van een object, de buitenste lijnen.
6 Bron: AR-demo van www.boffswana.com .
7 Bron: http://mini-cabrio.ar-live.de/video.html
8 Bron: http://www.inition.co.uk/iqreality
9 Bron: http://nissan.t-immersion.com/
10 Bron: http://www.magicsymbol.com/casestudies.php
11 Bron: http://www.youtube.com/watch?v=Kdx8x-FQRbU&feature=player_embedded
12 Bron: www.Metaio.com
13 Bron: www.layar.com
14 Bron: http://www.ray-ban.com/netherland/science/virtual-mirror
15 Bron: http://www.kontain.com/cmerigo/entries/58517/ikea-augmented-reality-catalogue
16 Bron: http://www.youtube.com/watch?v=iT2ek8N0VlY
17 Bron: eigen afbeelding
18 Bron: eigen afbeelding.
19 Bron: Kato, Billinghurst & Poupyrev (2000)
