Create your own awesome maps

Even on the go

with our free apps for iPhone, iPad and Android

Get Started

Already have an account?
Log In

Augmented Reality (AR) by Mind Map: Augmented Reality
(AR)
5.0 stars - 5 reviews range from 0 to 5

Augmented Reality (AR)

I created this map as part of my research at my university (in 2-2010). The information is largely based on the sources listed below. I would like to upgrade it from time to time. So please feel free to send me suggestions or information about changes/mistakes: mail@marcel-knust.de or @knust (twitter). Current AR examples in my blog: http://knust.posterous.com/ Notice the hyperlinks on many branches for more information. Sources used: Azuma, Ronald T.(1997): A Survey of Augmented Reality.     Azuma, Ronald T.; Yohan Baillot; Reinhold Behringer; Steven Feiner; Simon Julier; Blair MacIntryre (2001): Recent Advances in Augmented Reality     Bertelsen, Olav W.; Christina Nielsen (2000): Augmented Reality as a Design Tool for Mobile Interfaces     Billinghurst, Mark; Hirokazu Kato (2002): Collaborative Augmented Reality. In: Communications of the ACM, vol. 45, no. 7     Bimber, Oliver; Ramesh Raskar (2005): Spatial Augmented Reality. Merging Real and Virtual Worlds.     Jacob, Robert J.K.; Audrey Girouard; Leanne M. Hirshfield; Michael S. Horn, Orit Shaer; Erin Treacy Solovey; Jamie Zigelbaum (2008): Reality-Based Interaction: A Framework for Post-WIMP Interfaces     Kan, Tai-Wei; Ching-Hung Teng; Wen-Shou Chou (2009): Applying QR Code in Augmented Reality Applications.     Milgram, Paul; Haruo Takemura, Akira Utsumi, Fumio Kishino (1994): Augmented Reality. A class of displays on the reality-virtuality continuum.     Nilsson, Susanna; Bjön Johansson; Arne Jönsson (2009): Using AR to support cross-organisational collaboration in dynamic tasks.     Obst, Benjamin; Ludwig Tröller (2009): Augmented Reality. Ausarbeitung zum Seminar „Innovationsforum“. SoSe 2009. Humboldt-Universität zu Berlin     Sairo, Mikko (2001): Augmented Reality. Helsinki University of Technology     Pair, Jarell; Laboratory 4 (2010): The Reality of Augmented Reality.   Wen, Howard; Computerworld.com (2010): Augmented reality: Pure hype or Next Big Thing in mobile? White, Sean; David Fend; Steven Feiner (2009): Interaction and Presentation Techniques for Shake Menus in Tangible Augmented Reality Zhou, Feng; Henry Been-Lirn Duh, Mark Billinghurst (2008): Trends in Augmented Reality Tracking, Interaction and Display. A Review of Ten Years of ISMAR.  

Business Models

User pays

to see

subscriptions

AR content stores

Corporate Pays

Advertising free content

to loyal customers

Education, Sports, cultural venues

Sponsor or Reseller

Local & Hyper Local

retailers pay for walk-in

Definitons

by Milgram

Real environment enhanced with virtual objects (optic, acustic, haptic, olfactoric)

on the RVC between VE (virt. Environm.), AV and Real Environment

3 characteristics by Azuma

Combination of reality and virtuality (Reality augmented)

Realt-time interaction with virtual objects

Registration of real and virtual objects (ideal: seamless)

Technologie that creates superimposing/precisely overlaying computergenerated objects on physical objects to suport functions and tasks in real-time (HCI for case-based support).

Related Fields

Virtual Reality (VR)

comp. generated, interactive 3D-environment, by which a person is surrounded

Environment ist mostly fiction

Real environment invisible

User interaction determines the creation of stimuli

Mixed Reality (MR)

full spectrum of variations between VR and real Environment

Classification attributes, World Knowledge (how much knows the system of the real world), metaphor of presence/Immersion (wie stark ist der Benutzer eingetaucht) > subjective, Degree of reality (reproduction fidelity, picture quality)

Reality-Virtuality Continuum (Milgram 94)

Real Environment > Augmented Reality > Augmented Virtuality > Virtual Environment

Augmented Virtuality (AV)

augmented virtual environment with multiple sensors/objects of the real world, Example: smell/sounds at the right position in the AV-world

History

1960 - Ivan Sutherland - first HMD (Head Mounted Display)

usage in HUDs for militray purposes (jets) + research program

'90 usage for maintenance and repair

today: consumer market reached, hype

1990 - Term coined by Thomas Caudell (Boeing)

Added Value + Visions

Cognitive Advantages

hiding oder overlaying real objects

view information hard to perceive with own senses

get information which is not availabe on other channels (tv, newspapers, ...)

Providing experiences

Alleviation of taks (support of real challenges)

Collaboration (CSCW)

closer to Face-to-face with virtual objects and individual views

Präsenzgefühl u. nonverb. Komm. wahrnehmen (vs. Videokonf.) feeling of presence + recognition of nonverbal communication (vs. Videoconference)

Remote Collaboration

interactive advertising

creating natural, immersive metaphors/easy to understand (vs. e.g. bluetooth advertising)

Multimodal UI + AR

tactile control (connection of physical and virtual objects), most frequent AR input method

intuitive and direct Interaction (no WIMP UI , small gulf of execution)

based on experiences and world knowledge of the users

encourages learning, explorative, low mental loadlern

multimodel = combination of modalities like language, keyboard, gestures, touch,..

coexisting perception of real and virtual objects

cost reduction (training, print, time,...)

long-term objective: perfect mixture/connection of reality and virtuality

New source of revenue for publishers?

Application

Industry

Maintenance, Tracking Keys/Marker create 3d-animated guides

Development, Architectural planing and preview of consequences

Remote control

Entertainment

Sport broadcasting (Infos+Advertisement)

Acting (Blue Screen)

AR Games, AR Quake

Art and installations

Marketing

3D-Product-view, Terminals/Kiosk

furnishing/testing/fitting with virtual models of real world objects

commercial overlays, Banner, virtual object models, layers for different target groups/viewers, combined with coupons

stationary

mobile

Education

interactive learning

Edutainment + Tourism, historical information overlays

Health

Training (inexperienced doctors)

support for operations, 3d-x-ray-modell of the patient, minimal-invasive surgery

Annotation of real world objects

Libraries and museums (Informationen to the exhibits)

Navigational support, e.g.: Traffic view (nightvision +infrared)

on Buildings, Machines, ..., e.g.: farm performance reporting, e.g.: Restaurant info outdoor, e.g.: construction maps

PIM (with post-it like information dropping)

Personal/Commercial Data Presention (like websites attached to real world objects)

Path planing for robots

indirect control and advance planing (lag of reaction, no direkt control possible)

Military

targeting and navigation, HUDs in air traffic

Training, with Bots

Crisis management group

Koordination- u. Einsatzplanung, Beispiel: Waldbrand (Missverständnisse Terminologie)

Use Cases

USPS Priority Mail Virtual Box Simulator

find the right size for your packet

Topps 3D Live Trading Cards

3D-Animationen of sport stars

Zugara Webcam-based shopping

virtual fitting of clothes

mobile AR Browser

Wikitude, Layar, NextTube

QR Codes for fiducials

Quick Response Code as markers

Remote control and guide with PDA

Barcodescanner

Sixth Sense Project

Pico-Projector+Camera+colored markers (visual tracking fiducials)

SAP BMW Supply Chain

Picker support with HMD

Make-up Kiosk Fujitsu Tokio

Face Recognition

Domestic Robocop

Trends + Future

Mobile AR

Prozessoren, Sensoren, Grafikkarten, Linsen, RFID besser u. Massenmarkt

shift of basic to product research (Interaction technologies, Mobile AR,...)

Ubiquitous Tracking combined with new sensors

dynamic network of allocated sensors (GPS, RFID, WLAN,..)

miniturization of technology in objects of the daily life

high bandwidth networks (UMTS, LTE)

HMD improvements

Speed, flexibility, resolution (AMOLED (organic light emitting diodes), weight, egornomics, cost, wireless

form factor sunglasses would be a break-through, e.g.: Skishades by Zeal Optics (GPS, Sensoren), different opinions concerning feasibility

Pico-Projectors

cellphone integration, mini projectors in the size of a matchbox are in production

Stronger immersion

smell, taste, feeling,..

react on user behaviour

when is it disturbing?

usage for cooperative work

AR at the mass market + embedded in various systems

developers, investors, analysts and consumers notice the possibilities and create solutions

Higher realism

cf. animations in movies (25 years to reach photo-realism)

See-through displays can become the sony walkman of the early 21th century (Feiner 96)

market potential mobile AR (2009: 1 Mill; 2010: over 700 Mill $ Jupiter Research)

multimodal interaction

AR continous what the internet started (Perey Research & Consulting)

Enabling Technologies

Basis structure

Scene Generator (Hard- u. Software zum Rendern)

Display Device ()

Tracking u. Sensing

Interaktionstechnik (IO)

Trackinggerät mit Comp. verbunden, der Umgebungsdaten verarbeitet u. Rückmeldung an das UI liefert, das Informationen einblendet

Tracking + Registration

sichtbasiert (visual-based), feature-based, Marker-based, künstl.: fiducials, 2D-barcodes, LEDs, Magnetfelder,.., sehr genau, Kalibrierung/Registrierung nötig, natural features, natürl Umgebungseigenschaften: Texturen, Linien,..., Trend, Übereinstimmung von Bildeigenschaften, model-based, Abgleich gespeicherter Objektmodelle (2d/3d CAD), erkennen von Kanten (Licht, Farbverlauf), keine Kalibrierung, masch. Lernen, Nachteil bei Beleuchtung, Bewegung, Nachteile, langsamer als sensoren, Bildverarbeitung zur Positionsbestimmung, Vorteile, dynamische Fehlerkontrolle

Sensoren (sensor-based), magnetische, akustische, optische, mechanische, infrarot, rfid, geschwindigk., gewicht, ..., Nachteile, Störeinflüsse, ungenau

hybrid, Kombi aus visual+sensor robuster, Beispiel: GPS + Bewegungssensoren für Outdoor-Tracking, Höhere Genauigkeit

Tracking = Position+Perspektivische Orientierung Nutzer

Registration= Referenzierung/Ausrichugn virtueller an realen Objekten

größte AR Herausforderung

Visualization

HMDs (head mounted/worn displays), Optical see-through (OST), Vorteile, Einblendung in normale Sicht, kostengünstiger als VST, keine Verzögerung, Sicht auch bei Stormausfall, Nachteile, keine realisitische Synchronization der Overlay-Objekte (Schatten...), Festlegung der Lichtdurchlässigkeit/Blende, benutzerabhängige Kalibrierung/Head-tracking, halbtransparente Overlays, teildurchsichtige Spiegel, die Licht des Monitor reflektieren, Video see-through (VST), Closed-View HMD, in den meisten aktuellen Systemen, Vorteile, Bildkombinationsmöglichkeiten/Blenden, Konsistenz künstl.+realer Ansicht, Verzerrungen am Bildrand einfacher zu berechnen (wide field of view), Verzögerungsausgleich virt. u. Realbild, Nachteile, Zeitverzögerung (Premixing Videostreams), Geringere Auflösung der Umgebung (Kameraabhängig), Einschränkung durch Kamerabewegungsfeld, Videobild der Realwelt mit Einblendungen kombinieren (Chroma-Keying oder Tiefeninformation), Retinale HMDs, Zukunftspotential bei Weiterentwicklung, Vorteile, hell, energieeffizeint u. höhere Auflösung, weitere Sichtfeld als Displays, Tiefenschärfe u. Wahrnehmung besser, Nachteile, meist monochrome (rot) - Farblaser teuer, nicht dreidimensional (stereoskopisch), Bilder mit schwachem Laser über Splitter/Combiner auf Retina des Auges projiziert, Head mounted projective displays (HMPDs), Vorteil, breiteres Sichtfeld, gekrümmte Oberflächen möglich, paar kleiner Projektoren, das auf Reflexionsobj. der Umgebung projiziert, Nachteil, Helligkeit, Auflösung gering, Umgebungslicht, teilw. Projektionsoberflächen nötig, Nachteile HMDs, limitiertes Sichtfeld, wenig Tiefenwahrnehmung, limitierte Auflösung, Größe u. Gewicht, Simulatorübelkeit, Multi-user Anwendung nur eingeschränkt möglich, Kalibrierung aufwending, meist genutzte AR-Technik (Helme > Brillen), mobile/wearable systems (tragbare Tech.)

Spatial /spatially aligned Displays, Projektoren (projecton-based spatial displays), Beamer auf die Umgebung, Nachteil: Schattenwurf, nur auf Objekten darstellbar, OST (Spatial), fixierte OST Variante, Kombinierer kann gekrümt sein, Hologramme, VST (Screen-Base), fester Bildschirm mit HCI-Eingabe, Window of the World, in Umgebung eingebette Anzeigetechn. mit gleichen Komp. wie HMD, Nachteile, nicht mobil, Beleuchtung, meist keine direkte Interaktion mit Obj. hinter Optik, Vorteile, günstig, Sichtfeldgröße (bei Projektor), Ergonomie, Gewöhnung + weniger Übelkeit, höherer Realismus zu HMDs

Handheld Displays, HMDs ersetzen?, Displaymedium mit AR-Overlay (alles in einem Gerät), PDA, Tablet, Handy, meist VST, Vorteile, wenig störend, sozial akzeptiert, Massenmarkt, Nachteile, schwache Hardware (Bildberechnung), wenig Trackingvarianten, begrenztes Sichtfeld, wirkt größer durch Bewegung (Parks Effekt), in der Hand gehalten, weniger immersiv

case specific technology selection

Problems

User Interface

Kollab.Teilnehmer gemeinsames Veständnis des virt. Raums trotz verschied. Sichten

welche Bewegung welche Funktion (tangible), Visuelle Hinweise/Anleitung

Information Overload, Filter Solutions, Frown!, Personal Filter Layers

usability (sozialem, emotionale, kulturelle Unterschiede)

Evaluation meist traditionelle UX Methoden für GUI, AR verändert die Aufgabe > Iteration nötig (Envisioned World Problem)

Objektauswahl fehleranfällig (mensch u. maschine)

GUI-Optionen, Glove/Hand-Based (Beispiel: Pinching), Prob-Based/Phyisisch (Beispiel: fiducial marker), Auswahl: schütteln, kippen, Zeigen, Nähe,...

Natural Usage

Bewegungseinschränkung

schwere Ausrüstung

Tracking

Kalibrierung (Hardware)

Genauigkeit (Millimeter u. wenige Grad)

Mobilität

Beleuchtungsunterschiede

Registration

Statische Fehler, optische Verzerrung (kompensierbar), Trackingfehler (schwierig), mechanische Fehler (Hardwarekonstruktion), Kalibrierungsfehler (Pupillendistanz, Abstände, Marker..)

Dynamische Fehler, Latenzzeiten/Systemverzögerung bei Bewegung (Positionsvorhersage)

Creating Added Value

keine Spielereien

Bedarfe u. Nutzensanreiz

Displays

Farbe (monochrom-Farben

Sichtfeld

Auflösung

Okklusion (Verdeckung/Überlagerung)

Kontrast, hohes Farbspektrum der Realität schwer zu erreichen

Tiefenschärfe, Distanzwahrnehmung virtueller Objekte

Hardware Costs

Energy consumption

Standard data formats

Entwicklung bei AR Browsern (.KML)(ARML=augmented reality markup language)

AR Consortium

Social + Political Problems

Gesundheitsgefährdung, Arbeitsplatzersatz, Effizienz,..

Ethikfragen (Abhängigkeit, Privatsphäre)

mobile computing performance

calculation of graphics

Software/Frameworks

Browser based

ARML (Augmented Reality Markup Language)

Wikitude API

Mixare, Open Source Augmented Reality Engine

Image Recognition

kooaba API

meatio Junaio API

Fern

tracking libraries

AR Toolkit, for ActionScript(AS3), FLARToolkit (for AS3), ARTisan (for AS3)

AR ToolkitPlus

ARTag

this branch is growing...

marker-based

metaio Unifeye

CyberCode