Augmented Reality (AR)

Summary on the field of augmented reality (AR). State-of-the-art 2010.

Get Started. It's Free
or sign up with your email address
Augmented Reality (AR) by Mind Map: Augmented Reality (AR)

1. Business Models

1.1. User pays

1.1.1. to see

1.1.2. subscriptions

1.1.3. AR content stores

1.2. Corporate Pays

1.2.1. Advertising free content

1.2.2. to loyal customers

1.3. Education, Sports, cultural venues

1.3.1. Sponsor or Reseller

1.4. Local & Hyper Local

1.4.1. retailers pay for walk-in

2. Trends + Future

2.1. Mobile AR

2.1.1. Prozessoren, Sensoren, Grafikkarten, Linsen, RFID besser u. Massenmarkt

2.2. shift of basic to product research (Interaction technologies, Mobile AR,...)

2.3. Ubiquitous Tracking combined with new sensors

2.3.1. dynamic network of allocated sensors (GPS, RFID, WLAN,..)

2.3.2. miniturization of technology in objects of the daily life

2.3.3. high bandwidth networks (UMTS, LTE)

2.4. HMD improvements

2.4.1. Speed, flexibility, resolution (AMOLED (organic light emitting diodes), weight, egornomics, cost, wireless

2.4.2. form factor sunglasses would be a break-through

2.4.2.1. e.g.: Skishades by Zeal Optics (GPS, Sensoren)

2.4.2.2. different opinions concerning feasibility

2.5. Pico-Projectors

2.5.1. cellphone integration, mini projectors in the size of a matchbox are in production

2.6. Stronger immersion

2.6.1. smell, taste, feeling,..

2.7. react on user behaviour

2.7.1. when is it disturbing?

2.8. usage for cooperative work

2.9. AR at the mass market + embedded in various systems

2.9.1. developers, investors, analysts and consumers notice the possibilities and create solutions

2.10. Higher realism

2.10.1. cf. animations in movies (25 years to reach photo-realism)

2.11. See-through displays can become the sony walkman of the early 21th century (Feiner 96)

2.12. market potential mobile AR (2009: 1 Mill; 2010: over 700 Mill $ Jupiter Research)

2.13. multimodal interaction

2.14. AR continous what the internet started (Perey Research & Consulting)

3. Enabling Technologies

3.1. Basis structure

3.1.1. Scene Generator (Hard- u. Software zum Rendern)

3.1.2. Display Device ()

3.1.3. Tracking u. Sensing

3.1.4. Interaktionstechnik (IO)

3.1.5. Trackinggerät mit Comp. verbunden, der Umgebungsdaten verarbeitet u. Rückmeldung an das UI liefert, das Informationen einblendet

3.2. Tracking + Registration

3.2.1. sichtbasiert (visual-based)

3.2.1.1. feature-based

3.2.1.1.1. Marker-based

3.2.1.1.2. natural features

3.2.1.1.3. Übereinstimmung von Bildeigenschaften

3.2.1.2. model-based

3.2.1.2.1. Abgleich gespeicherter Objektmodelle (2d/3d CAD)

3.2.1.2.2. erkennen von Kanten (Licht, Farbverlauf)

3.2.1.2.3. keine Kalibrierung, masch. Lernen

3.2.1.2.4. Nachteil bei Beleuchtung, Bewegung

3.2.1.3. Nachteile

3.2.1.3.1. langsamer als sensoren

3.2.1.4. Bildverarbeitung zur Positionsbestimmung

3.2.1.5. Vorteile

3.2.1.5.1. dynamische Fehlerkontrolle

3.2.2. Sensoren (sensor-based)

3.2.2.1. magnetische, akustische, optische, mechanische, infrarot, rfid, geschwindigk., gewicht, ...

3.2.2.2. Nachteile

3.2.2.2.1. Störeinflüsse

3.2.2.2.2. ungenau

3.2.3. hybrid

3.2.3.1. Kombi aus visual+sensor robuster

3.2.3.2. Beispiel: GPS + Bewegungssensoren für Outdoor-Tracking

3.2.3.3. Höhere Genauigkeit

3.2.4. Tracking = Position+Perspektivische Orientierung Nutzer

3.2.5. Registration= Referenzierung/Ausrichugn virtueller an realen Objekten

3.2.6. größte AR Herausforderung

3.3. Visualization

3.3.1. HMDs (head mounted/worn displays)

3.3.1.1. Optical see-through (OST)

3.3.1.1.1. Vorteile

3.3.1.1.2. Nachteile

3.3.1.1.3. teildurchsichtige Spiegel, die Licht des Monitor reflektieren

3.3.1.2. Video see-through (VST)

3.3.1.2.1. Closed-View HMD

3.3.1.2.2. in den meisten aktuellen Systemen

3.3.1.2.3. Vorteile

3.3.1.2.4. Nachteile

3.3.1.2.5. Videobild der Realwelt mit Einblendungen kombinieren (Chroma-Keying oder Tiefeninformation)

3.3.1.3. Retinale HMDs

3.3.1.3.1. Zukunftspotential bei Weiterentwicklung

3.3.1.3.2. Vorteile

3.3.1.3.3. Nachteile

3.3.1.3.4. Bilder mit schwachem Laser über Splitter/Combiner auf Retina des Auges projiziert

3.3.1.4. Head mounted projective displays (HMPDs)

3.3.1.4.1. Vorteil

3.3.1.4.2. paar kleiner Projektoren, das auf Reflexionsobj. der Umgebung projiziert

3.3.1.4.3. Nachteil

3.3.1.5. Nachteile HMDs

3.3.1.5.1. limitiertes Sichtfeld

3.3.1.5.2. wenig Tiefenwahrnehmung

3.3.1.5.3. limitierte Auflösung

3.3.1.5.4. Größe u. Gewicht

3.3.1.5.5. Simulatorübelkeit

3.3.1.5.6. Multi-user Anwendung nur eingeschränkt möglich

3.3.1.5.7. Kalibrierung aufwending

3.3.1.6. meist genutzte AR-Technik (Helme > Brillen)

3.3.1.7. mobile/wearable systems (tragbare Tech.)

3.3.2. Spatial /spatially aligned Displays

3.3.2.1. Projektoren (projecton-based spatial displays)

3.3.2.1.1. Beamer auf die Umgebung

3.3.2.1.2. Nachteil: Schattenwurf, nur auf Objekten darstellbar

3.3.2.2. OST (Spatial)

3.3.2.2.1. fixierte OST Variante

3.3.2.2.2. Kombinierer kann gekrümt sein, Hologramme

3.3.2.3. VST (Screen-Base)

3.3.2.3.1. fester Bildschirm mit HCI-Eingabe

3.3.2.3.2. Window of the World

3.3.2.4. in Umgebung eingebette Anzeigetechn. mit gleichen Komp. wie HMD

3.3.2.5. Nachteile

3.3.2.5.1. nicht mobil

3.3.2.5.2. Beleuchtung

3.3.2.5.3. meist keine direkte Interaktion mit Obj. hinter Optik

3.3.2.6. Vorteile

3.3.2.6.1. günstig

3.3.2.6.2. Sichtfeldgröße (bei Projektor)

3.3.2.6.3. Ergonomie

3.3.2.6.4. Gewöhnung + weniger Übelkeit

3.3.2.6.5. höherer Realismus zu HMDs

3.3.3. Handheld Displays

3.3.3.1. HMDs ersetzen?

3.3.3.2. Displaymedium mit AR-Overlay (alles in einem Gerät)

3.3.3.2.1. PDA, Tablet, Handy

3.3.3.3. meist VST

3.3.3.4. Vorteile

3.3.3.4.1. wenig störend

3.3.3.4.2. sozial akzeptiert

3.3.3.4.3. Massenmarkt

3.3.3.5. Nachteile

3.3.3.5.1. schwache Hardware (Bildberechnung)

3.3.3.5.2. wenig Trackingvarianten

3.3.3.5.3. begrenztes Sichtfeld

3.3.3.5.4. in der Hand gehalten

3.3.3.5.5. weniger immersiv

3.3.4. case specific technology selection

4. Problems

4.1. User Interface

4.1.1. Kollab.Teilnehmer gemeinsames Veständnis des virt. Raums trotz verschied. Sichten

4.1.2. welche Bewegung welche Funktion (tangible)

4.1.2.1. Visuelle Hinweise/Anleitung

4.1.3. Information Overload

4.1.3.1. Filter Solutions

4.1.3.1.1. Frown!

4.1.3.1.2. Personal Filter Layers

4.1.4. usability (sozialem, emotionale, kulturelle Unterschiede)

4.1.5. Evaluation meist traditionelle UX Methoden für GUI

4.1.5.1. AR verändert die Aufgabe > Iteration nötig (Envisioned World Problem)

4.1.6. Objektauswahl fehleranfällig (mensch u. maschine)

4.1.7. GUI-Optionen

4.1.7.1. Glove/Hand-Based (Beispiel: Pinching)

4.1.7.2. Prob-Based/Phyisisch (Beispiel: fiducial marker)

4.1.7.3. Auswahl: schütteln, kippen, Zeigen, Nähe,...

4.2. Natural Usage

4.2.1. Bewegungseinschränkung

4.2.2. schwere Ausrüstung

4.3. Tracking

4.3.1. Kalibrierung (Hardware)

4.3.2. Genauigkeit (Millimeter u. wenige Grad)

4.3.3. Mobilität

4.3.4. Beleuchtungsunterschiede

4.4. Registration

4.4.1. Statische Fehler

4.4.1.1. optische Verzerrung (kompensierbar)

4.4.1.2. Trackingfehler (schwierig)

4.4.1.3. mechanische Fehler (Hardwarekonstruktion)

4.4.1.4. Kalibrierungsfehler (Pupillendistanz, Abstände, Marker..)

4.4.2. Dynamische Fehler

4.4.2.1. Latenzzeiten/Systemverzögerung bei Bewegung (Positionsvorhersage)

4.5. Creating Added Value

4.5.1. keine Spielereien

4.5.2. Bedarfe u. Nutzensanreiz

4.6. Displays

4.6.1. Farbe (monochrom-Farben

4.6.2. Sichtfeld

4.6.3. Auflösung

4.6.4. Okklusion (Verdeckung/Überlagerung)

4.6.5. Kontrast

4.6.5.1. hohes Farbspektrum der Realität schwer zu erreichen

4.6.6. Tiefenschärfe

4.6.6.1. Distanzwahrnehmung virtueller Objekte

4.7. Hardware Costs

4.8. Energy consumption

4.9. Standard data formats

4.9.1. Entwicklung bei AR Browsern (.KML)(ARML=augmented reality markup language)

4.9.2. AR Consortium

4.10. Social + Political Problems

4.10.1. Gesundheitsgefährdung, Arbeitsplatzersatz, Effizienz,..

4.10.2. Ethikfragen (Abhängigkeit, Privatsphäre)

4.11. mobile computing performance

4.11.1. calculation of graphics

5. Software/Frameworks

5.1. Browser based

5.1.1. ARML (Augmented Reality Markup Language)

5.1.2. Wikitude API

5.1.3. Mixare

5.1.3.1. Open Source Augmented Reality Engine

5.2. Image Recognition

5.2.1. kooaba API

5.2.2. meatio Junaio API

5.2.3. Fern

5.3. tracking libraries

5.3.1. AR Toolkit

5.3.1.1. for ActionScript(AS3)

5.3.1.1.1. FLARToolkit (for AS3)

5.3.1.1.2. ARTisan (for AS3)

5.3.2. AR ToolkitPlus

5.3.3. ARTag

5.4. this branch is growing...

5.5. marker-based

5.5.1. metaio Unifeye

5.5.2. CyberCode

6. Definitons

6.1. by Milgram

6.1.1. Real environment enhanced with virtual objects (optic, acustic, haptic, olfactoric)

6.1.2. on the RVC between VE (virt. Environm.), AV and Real Environment

6.2. 3 characteristics by Azuma

6.2.1. Combination of reality and virtuality (Reality augmented)

6.2.2. Realt-time interaction with virtual objects

6.2.3. Registration of real and virtual objects (ideal: seamless)

6.3. Technologie that creates superimposing/precisely overlaying computergenerated objects on physical objects to suport functions and tasks in real-time (HCI for case-based support).

7. Related Fields

7.1. Virtual Reality (VR)

7.1.1. comp. generated, interactive 3D-environment, by which a person is surrounded

7.1.2. Environment ist mostly fiction

7.1.3. Real environment invisible

7.1.4. User interaction determines the creation of stimuli

7.2. Mixed Reality (MR)

7.2.1. full spectrum of variations between VR and real Environment

7.2.2. Classification attributes

7.2.2.1. World Knowledge (how much knows the system of the real world)

7.2.2.2. metaphor of presence/Immersion (wie stark ist der Benutzer eingetaucht) > subjective

7.2.2.3. Degree of reality (reproduction fidelity, picture quality)

7.3. Reality-Virtuality Continuum (Milgram 94)

7.3.1. Real Environment > Augmented Reality > Augmented Virtuality > Virtual Environment

7.4. Augmented Virtuality (AV)

7.4.1. augmented virtual environment with multiple sensors/objects of the real world

7.4.1.1. Example: smell/sounds at the right position in the AV-world

8. History

8.1. 1960 - Ivan Sutherland - first HMD (Head Mounted Display)

8.2. usage in HUDs for militray purposes (jets) + research program

8.3. '90 usage for maintenance and repair

8.4. today: consumer market reached, hype

8.5. 1990 - Term coined by Thomas Caudell (Boeing)

9. Added Value + Visions

9.1. Cognitive Advantages

9.1.1. hiding oder overlaying real objects

9.1.2. view information hard to perceive with own senses

9.1.3. get information which is not availabe on other channels (tv, newspapers, ...)

9.1.4. Providing experiences

9.2. Alleviation of taks (support of real challenges)

9.3. Collaboration (CSCW)

9.3.1. closer to Face-to-face with virtual objects and individual views

9.3.2. Präsenzgefühl u. nonverb. Komm. wahrnehmen (vs. Videokonf.) feeling of presence + recognition of nonverbal communication (vs. Videoconference)

9.3.3. Remote Collaboration

9.4. interactive advertising

9.4.1. creating natural, immersive metaphors/easy to understand (vs. e.g. bluetooth advertising)

9.5. Multimodal UI + AR

9.5.1. tactile control (connection of physical and virtual objects)

9.5.1.1. most frequent AR input method

9.5.2. intuitive and direct Interaction (no WIMP UI , small gulf of execution)

9.5.3. based on experiences and world knowledge of the users

9.5.4. encourages learning, explorative, low mental loadlern

9.5.5. multimodel = combination of modalities like language, keyboard, gestures, touch,..

9.6. coexisting perception of real and virtual objects

9.7. cost reduction (training, print, time,...)

9.8. long-term objective: perfect mixture/connection of reality and virtuality

9.9. New source of revenue for publishers?

10. Application

10.1. Industry

10.1.1. Maintenance

10.1.1.1. Tracking Keys/Marker create 3d-animated guides

10.1.2. Development

10.1.2.1. Architectural planing and preview of consequences

10.1.3. Remote control

10.2. Entertainment

10.2.1. Sport broadcasting (Infos+Advertisement)

10.2.2. Acting (Blue Screen)

10.2.3. AR Games

10.2.3.1. AR Quake

10.2.4. Art and installations

10.3. Marketing

10.3.1. 3D-Product-view

10.3.1.1. Terminals/Kiosk

10.3.2. furnishing/testing/fitting with virtual models of real world objects

10.3.3. commercial overlays

10.3.3.1. Banner

10.3.3.2. virtual object models

10.3.3.3. layers for different target groups/viewers

10.3.3.4. combined with coupons

10.3.4. stationary

10.3.5. mobile

10.4. Education

10.4.1. interactive learning

10.4.2. Edutainment + Tourism

10.4.2.1. historical information overlays

10.5. Health

10.5.1. Training (inexperienced doctors)

10.5.2. support for operations

10.5.2.1. 3d-x-ray-modell of the patient

10.5.2.2. minimal-invasive surgery

10.6. Annotation of real world objects

10.6.1. Libraries and museums (Informationen to the exhibits)

10.6.2. Navigational support

10.6.2.1. e.g.: Traffic view (nightvision +infrared)

10.6.3. on Buildings, Machines, ...

10.6.3.1. e.g.: farm performance reporting

10.6.3.2. e.g.: Restaurant info outdoor

10.6.3.3. e.g.: construction maps

10.6.4. PIM (with post-it like information dropping)

10.6.5. Personal/Commercial Data Presention (like websites attached to real world objects)

10.7. Path planing for robots

10.7.1. indirect control and advance planing (lag of reaction, no direkt control possible)

10.8. Military

10.8.1. targeting and navigation

10.8.1.1. HUDs in air traffic

10.8.2. Training

10.8.2.1. with Bots

10.9. Crisis management group

10.9.1. Koordination- u. Einsatzplanung

10.9.1.1. Beispiel: Waldbrand (Missverständnisse Terminologie)

11. Use Cases

11.1. USPS Priority Mail Virtual Box Simulator

11.1.1. find the right size for your packet

11.2. Topps 3D Live Trading Cards

11.2.1. 3D-Animationen of sport stars

11.3. Zugara Webcam-based shopping

11.3.1. virtual fitting of clothes

11.4. mobile AR Browser

11.4.1. Wikitude, Layar, NextTube

11.5. QR Codes for fiducials

11.5.1. Quick Response Code as markers

11.6. Remote control and guide with PDA

11.6.1. Barcodescanner

11.7. Sixth Sense Project

11.7.1. Pico-Projector+Camera+colored markers (visual tracking fiducials)

11.8. SAP BMW Supply Chain

11.8.1. Picker support with HMD

11.9. Make-up Kiosk Fujitsu Tokio

11.9.1. Face Recognition

11.10. Domestic Robocop