Augmented Reality (AR)

Summary on the field of augmented reality (AR). State-of-the-art 2010.

Get Started. It's Free
or sign up with your email address
Rocket clouds
Augmented Reality (AR) by Mind Map: Augmented Reality (AR)

1. Business Models

1.1. User pays

1.1.1. to see

1.1.2. subscriptions

1.1.3. AR content stores

1.2. Corporate Pays

1.2.1. Advertising free content

1.2.2. to loyal customers

1.3. Education, Sports, cultural venues

1.3.1. Sponsor or Reseller

1.4. Local & Hyper Local

1.4.1. retailers pay for walk-in

2. Definitons

2.1. by Milgram

2.1.1. Real environment enhanced with virtual objects (optic, acustic, haptic, olfactoric)

2.1.2. on the RVC between VE (virt. Environm.), AV and Real Environment

2.2. 3 characteristics by Azuma

2.2.1. Combination of reality and virtuality (Reality augmented)

2.2.2. Realt-time interaction with virtual objects

2.2.3. Registration of real and virtual objects (ideal: seamless)

2.3. Technologie that creates superimposing/precisely overlaying computergenerated objects on physical objects to suport functions and tasks in real-time (HCI for case-based support).

3. Related Fields

3.1. Virtual Reality (VR)

3.1.1. comp. generated, interactive 3D-environment, by which a person is surrounded

3.1.2. Environment ist mostly fiction

3.1.3. Real environment invisible

3.1.4. User interaction determines the creation of stimuli

3.2. Mixed Reality (MR)

3.2.1. full spectrum of variations between VR and real Environment

3.2.2. Classification attributes

3.2.2.1. World Knowledge (how much knows the system of the real world)

3.2.2.2. metaphor of presence/Immersion (wie stark ist der Benutzer eingetaucht) > subjective

3.2.2.3. Degree of reality (reproduction fidelity, picture quality)

3.3. Reality-Virtuality Continuum (Milgram 94)

3.3.1. Real Environment > Augmented Reality > Augmented Virtuality > Virtual Environment

3.4. Augmented Virtuality (AV)

3.4.1. augmented virtual environment with multiple sensors/objects of the real world

3.4.1.1. Example: smell/sounds at the right position in the AV-world

4. History

4.1. 1960 - Ivan Sutherland - first HMD (Head Mounted Display)

4.2. usage in HUDs for militray purposes (jets) + research program

4.3. '90 usage for maintenance and repair

4.4. today: consumer market reached, hype

4.5. 1990 - Term coined by Thomas Caudell (Boeing)

5. Added Value + Visions

5.1. Cognitive Advantages

5.1.1. hiding oder overlaying real objects

5.1.2. view information hard to perceive with own senses

5.1.3. get information which is not availabe on other channels (tv, newspapers, ...)

5.1.4. Providing experiences

5.2. Alleviation of taks (support of real challenges)

5.3. Collaboration (CSCW)

5.3.1. closer to Face-to-face with virtual objects and individual views

5.3.2. Präsenzgefühl u. nonverb. Komm. wahrnehmen (vs. Videokonf.) feeling of presence + recognition of nonverbal communication (vs. Videoconference)

5.3.3. Remote Collaboration

5.4. interactive advertising

5.4.1. creating natural, immersive metaphors/easy to understand (vs. e.g. bluetooth advertising)

5.5. Multimodal UI + AR

5.5.1. tactile control (connection of physical and virtual objects)

5.5.1.1. most frequent AR input method

5.5.2. intuitive and direct Interaction (no WIMP UI , small gulf of execution)

5.5.3. based on experiences and world knowledge of the users

5.5.4. encourages learning, explorative, low mental loadlern

5.5.5. multimodel = combination of modalities like language, keyboard, gestures, touch,..

5.6. coexisting perception of real and virtual objects

5.7. cost reduction (training, print, time,...)

5.8. long-term objective: perfect mixture/connection of reality and virtuality

5.9. New source of revenue for publishers?

6. Application

6.1. Industry

6.1.1. Maintenance

6.1.1.1. Tracking Keys/Marker create 3d-animated guides

6.1.2. Development

6.1.2.1. Architectural planing and preview of consequences

6.1.3. Remote control

6.2. Entertainment

6.2.1. Sport broadcasting (Infos+Advertisement)

6.2.2. Acting (Blue Screen)

6.2.3. AR Games

6.2.3.1. AR Quake

6.2.4. Art and installations

6.3. Marketing

6.3.1. 3D-Product-view

6.3.1.1. Terminals/Kiosk

6.3.2. furnishing/testing/fitting with virtual models of real world objects

6.3.3. commercial overlays

6.3.3.1. Banner

6.3.3.2. virtual object models

6.3.3.3. layers for different target groups/viewers

6.3.3.4. combined with coupons

6.3.4. stationary

6.3.5. mobile

6.4. Education

6.4.1. interactive learning

6.4.2. Edutainment + Tourism

6.4.2.1. historical information overlays

6.5. Health

6.5.1. Training (inexperienced doctors)

6.5.2. support for operations

6.5.2.1. 3d-x-ray-modell of the patient

6.5.2.2. minimal-invasive surgery

6.6. Annotation of real world objects

6.6.1. Libraries and museums (Informationen to the exhibits)

6.6.2. Navigational support

6.6.2.1. e.g.: Traffic view (nightvision +infrared)

6.6.3. on Buildings, Machines, ...

6.6.3.1. e.g.: farm performance reporting

6.6.3.2. e.g.: Restaurant info outdoor

6.6.3.3. e.g.: construction maps

6.6.4. PIM (with post-it like information dropping)

6.6.5. Personal/Commercial Data Presention (like websites attached to real world objects)

6.7. Path planing for robots

6.7.1. indirect control and advance planing (lag of reaction, no direkt control possible)

6.8. Military

6.8.1. targeting and navigation

6.8.1.1. HUDs in air traffic

6.8.2. Training

6.8.2.1. with Bots

6.9. Crisis management group

6.9.1. Koordination- u. Einsatzplanung

6.9.1.1. Beispiel: Waldbrand (Missverständnisse Terminologie)

7. Use Cases

7.1. USPS Priority Mail Virtual Box Simulator

7.1.1. find the right size for your packet

7.2. Topps 3D Live Trading Cards

7.2.1. 3D-Animationen of sport stars

7.3. Zugara Webcam-based shopping

7.3.1. virtual fitting of clothes

7.4. mobile AR Browser

7.4.1. Wikitude, Layar, NextTube

7.5. QR Codes for fiducials

7.5.1. Quick Response Code as markers

7.6. Remote control and guide with PDA

7.6.1. Barcodescanner

7.7. Sixth Sense Project

7.7.1. Pico-Projector+Camera+colored markers (visual tracking fiducials)

7.8. SAP BMW Supply Chain

7.8.1. Picker support with HMD

7.9. Make-up Kiosk Fujitsu Tokio

7.9.1. Face Recognition

7.10. Domestic Robocop

8. Trends + Future

8.1. Mobile AR

8.1.1. Prozessoren, Sensoren, Grafikkarten, Linsen, RFID besser u. Massenmarkt

8.2. shift of basic to product research (Interaction technologies, Mobile AR,...)

8.3. Ubiquitous Tracking combined with new sensors

8.3.1. dynamic network of allocated sensors (GPS, RFID, WLAN,..)

8.3.2. miniturization of technology in objects of the daily life

8.3.3. high bandwidth networks (UMTS, LTE)

8.4. HMD improvements

8.4.1. Speed, flexibility, resolution (AMOLED (organic light emitting diodes), weight, egornomics, cost, wireless

8.4.2. form factor sunglasses would be a break-through

8.4.2.1. e.g.: Skishades by Zeal Optics (GPS, Sensoren)

8.4.2.2. different opinions concerning feasibility

8.5. Pico-Projectors

8.5.1. cellphone integration, mini projectors in the size of a matchbox are in production

8.6. Stronger immersion

8.6.1. smell, taste, feeling,..

8.7. react on user behaviour

8.7.1. when is it disturbing?

8.8. usage for cooperative work

8.9. AR at the mass market + embedded in various systems

8.9.1. developers, investors, analysts and consumers notice the possibilities and create solutions

8.10. Higher realism

8.10.1. cf. animations in movies (25 years to reach photo-realism)

8.11. See-through displays can become the sony walkman of the early 21th century (Feiner 96)

8.12. market potential mobile AR (2009: 1 Mill; 2010: over 700 Mill $ Jupiter Research)

8.13. multimodal interaction

8.14. AR continous what the internet started (Perey Research & Consulting)

9. Enabling Technologies

9.1. Basis structure

9.1.1. Scene Generator (Hard- u. Software zum Rendern)

9.1.2. Display Device ()

9.1.3. Tracking u. Sensing

9.1.4. Interaktionstechnik (IO)

9.1.5. Trackinggerät mit Comp. verbunden, der Umgebungsdaten verarbeitet u. Rückmeldung an das UI liefert, das Informationen einblendet

9.2. Tracking + Registration

9.2.1. sichtbasiert (visual-based)

9.2.1.1. feature-based

9.2.1.1.1. Marker-based

9.2.1.1.2. natural features

9.2.1.1.3. Übereinstimmung von Bildeigenschaften

9.2.1.2. model-based

9.2.1.2.1. Abgleich gespeicherter Objektmodelle (2d/3d CAD)

9.2.1.2.2. erkennen von Kanten (Licht, Farbverlauf)

9.2.1.2.3. keine Kalibrierung, masch. Lernen

9.2.1.2.4. Nachteil bei Beleuchtung, Bewegung

9.2.1.3. Nachteile

9.2.1.3.1. langsamer als sensoren

9.2.1.4. Bildverarbeitung zur Positionsbestimmung

9.2.1.5. Vorteile

9.2.1.5.1. dynamische Fehlerkontrolle

9.2.2. Sensoren (sensor-based)

9.2.2.1. magnetische, akustische, optische, mechanische, infrarot, rfid, geschwindigk., gewicht, ...

9.2.2.2. Nachteile

9.2.2.2.1. Störeinflüsse

9.2.2.2.2. ungenau

9.2.3. hybrid

9.2.3.1. Kombi aus visual+sensor robuster

9.2.3.2. Beispiel: GPS + Bewegungssensoren für Outdoor-Tracking

9.2.3.3. Höhere Genauigkeit

9.2.4. Tracking = Position+Perspektivische Orientierung Nutzer

9.2.5. Registration= Referenzierung/Ausrichugn virtueller an realen Objekten

9.2.6. größte AR Herausforderung

9.3. Visualization

9.3.1. HMDs (head mounted/worn displays)

9.3.1.1. Optical see-through (OST)

9.3.1.1.1. Vorteile

9.3.1.1.2. Nachteile

9.3.1.1.3. teildurchsichtige Spiegel, die Licht des Monitor reflektieren

9.3.1.2. Video see-through (VST)

9.3.1.2.1. Closed-View HMD

9.3.1.2.2. in den meisten aktuellen Systemen

9.3.1.2.3. Vorteile

9.3.1.2.4. Nachteile

9.3.1.2.5. Videobild der Realwelt mit Einblendungen kombinieren (Chroma-Keying oder Tiefeninformation)

9.3.1.3. Retinale HMDs

9.3.1.3.1. Zukunftspotential bei Weiterentwicklung

9.3.1.3.2. Vorteile

9.3.1.3.3. Nachteile

9.3.1.3.4. Bilder mit schwachem Laser über Splitter/Combiner auf Retina des Auges projiziert

9.3.1.4. Head mounted projective displays (HMPDs)

9.3.1.4.1. Vorteil

9.3.1.4.2. paar kleiner Projektoren, das auf Reflexionsobj. der Umgebung projiziert

9.3.1.4.3. Nachteil

9.3.1.5. Nachteile HMDs

9.3.1.5.1. limitiertes Sichtfeld

9.3.1.5.2. wenig Tiefenwahrnehmung

9.3.1.5.3. limitierte Auflösung

9.3.1.5.4. Größe u. Gewicht

9.3.1.5.5. Simulatorübelkeit

9.3.1.5.6. Multi-user Anwendung nur eingeschränkt möglich

9.3.1.5.7. Kalibrierung aufwending

9.3.1.6. meist genutzte AR-Technik (Helme > Brillen)

9.3.1.7. mobile/wearable systems (tragbare Tech.)

9.3.2. Spatial /spatially aligned Displays

9.3.2.1. Projektoren (projecton-based spatial displays)

9.3.2.1.1. Beamer auf die Umgebung

9.3.2.1.2. Nachteil: Schattenwurf, nur auf Objekten darstellbar

9.3.2.2. OST (Spatial)

9.3.2.2.1. fixierte OST Variante

9.3.2.2.2. Kombinierer kann gekrümt sein, Hologramme

9.3.2.3. VST (Screen-Base)

9.3.2.3.1. fester Bildschirm mit HCI-Eingabe

9.3.2.3.2. Window of the World

9.3.2.4. in Umgebung eingebette Anzeigetechn. mit gleichen Komp. wie HMD

9.3.2.5. Nachteile

9.3.2.5.1. nicht mobil

9.3.2.5.2. Beleuchtung

9.3.2.5.3. meist keine direkte Interaktion mit Obj. hinter Optik

9.3.2.6. Vorteile

9.3.2.6.1. günstig

9.3.2.6.2. Sichtfeldgröße (bei Projektor)

9.3.2.6.3. Ergonomie

9.3.2.6.4. Gewöhnung + weniger Übelkeit

9.3.2.6.5. höherer Realismus zu HMDs

9.3.3. Handheld Displays

9.3.3.1. HMDs ersetzen?

9.3.3.2. Displaymedium mit AR-Overlay (alles in einem Gerät)

9.3.3.2.1. PDA, Tablet, Handy

9.3.3.3. meist VST

9.3.3.4. Vorteile

9.3.3.4.1. wenig störend

9.3.3.4.2. sozial akzeptiert

9.3.3.4.3. Massenmarkt

9.3.3.5. Nachteile

9.3.3.5.1. schwache Hardware (Bildberechnung)

9.3.3.5.2. wenig Trackingvarianten

9.3.3.5.3. begrenztes Sichtfeld

9.3.3.5.4. in der Hand gehalten

9.3.3.5.5. weniger immersiv

9.3.4. case specific technology selection

10. Problems

10.1. User Interface

10.1.1. Kollab.Teilnehmer gemeinsames Veständnis des virt. Raums trotz verschied. Sichten

10.1.2. welche Bewegung welche Funktion (tangible)

10.1.2.1. Visuelle Hinweise/Anleitung

10.1.3. Information Overload

10.1.3.1. Filter Solutions

10.1.3.1.1. Frown!

10.1.3.1.2. Personal Filter Layers

10.1.4. usability (sozialem, emotionale, kulturelle Unterschiede)

10.1.5. Evaluation meist traditionelle UX Methoden für GUI

10.1.5.1. AR verändert die Aufgabe > Iteration nötig (Envisioned World Problem)

10.1.6. Objektauswahl fehleranfällig (mensch u. maschine)

10.1.7. GUI-Optionen

10.1.7.1. Glove/Hand-Based (Beispiel: Pinching)

10.1.7.2. Prob-Based/Phyisisch (Beispiel: fiducial marker)

10.1.7.3. Auswahl: schütteln, kippen, Zeigen, Nähe,...

10.2. Natural Usage

10.2.1. Bewegungseinschränkung

10.2.2. schwere Ausrüstung

10.3. Tracking

10.3.1. Kalibrierung (Hardware)

10.3.2. Genauigkeit (Millimeter u. wenige Grad)

10.3.3. Mobilität

10.3.4. Beleuchtungsunterschiede

10.4. Registration

10.4.1. Statische Fehler

10.4.1.1. optische Verzerrung (kompensierbar)

10.4.1.2. Trackingfehler (schwierig)

10.4.1.3. mechanische Fehler (Hardwarekonstruktion)

10.4.1.4. Kalibrierungsfehler (Pupillendistanz, Abstände, Marker..)

10.4.2. Dynamische Fehler

10.4.2.1. Latenzzeiten/Systemverzögerung bei Bewegung (Positionsvorhersage)

10.5. Creating Added Value

10.5.1. keine Spielereien

10.5.2. Bedarfe u. Nutzensanreiz

10.6. Displays

10.6.1. Farbe (monochrom-Farben

10.6.2. Sichtfeld

10.6.3. Auflösung

10.6.4. Okklusion (Verdeckung/Überlagerung)

10.6.5. Kontrast

10.6.5.1. hohes Farbspektrum der Realität schwer zu erreichen

10.6.6. Tiefenschärfe

10.6.6.1. Distanzwahrnehmung virtueller Objekte

10.7. Hardware Costs

10.8. Energy consumption

10.9. Standard data formats

10.9.1. Entwicklung bei AR Browsern (.KML)(ARML=augmented reality markup language)

10.9.2. AR Consortium

10.10. Social + Political Problems

10.10.1. Gesundheitsgefährdung, Arbeitsplatzersatz, Effizienz,..

10.10.2. Ethikfragen (Abhängigkeit, Privatsphäre)

10.11. mobile computing performance

10.11.1. calculation of graphics

11. Software/Frameworks

11.1. Browser based

11.1.1. ARML (Augmented Reality Markup Language)

11.1.2. Wikitude API

11.1.3. Mixare

11.1.3.1. Open Source Augmented Reality Engine

11.2. Image Recognition

11.2.1. kooaba API

11.2.2. meatio Junaio API

11.2.3. Fern

11.3. tracking libraries

11.3.1. AR Toolkit

11.3.1.1. for ActionScript(AS3)

11.3.1.1.1. FLARToolkit (for AS3)

11.3.1.1.2. ARTisan (for AS3)

11.3.2. AR ToolkitPlus

11.3.3. ARTag

11.4. this branch is growing...

11.5. marker-based

11.5.1. metaio Unifeye

11.5.2. CyberCode