Augmented Reality (AR)

Summary on the field of augmented reality (AR). State-of-the-art 2010.

Get Started. It's Free
or sign up with your email address
Rocket clouds
Augmented Reality (AR) by Mind Map: Augmented Reality (AR)

1. Business Models

1.1. User pays

1.1.1. to see

1.1.2. subscriptions

1.1.3. AR content stores

1.2. Corporate Pays

1.2.1. Advertising free content

1.2.2. to loyal customers

1.3. Education, Sports, cultural venues

1.3.1. Sponsor or Reseller

1.4. Local & Hyper Local

1.4.1. retailers pay for walk-in

2. Definitons

2.1. by Milgram

2.1.1. Real environment enhanced with virtual objects (optic, acustic, haptic, olfactoric)

2.1.2. on the RVC between VE (virt. Environm.), AV and Real Environment

2.2. 3 characteristics by Azuma

2.2.1. Combination of reality and virtuality (Reality augmented)

2.2.2. Realt-time interaction with virtual objects

2.2.3. Registration of real and virtual objects (ideal: seamless)

2.3. Technologie that creates superimposing/precisely overlaying computergenerated objects on physical objects to suport functions and tasks in real-time (HCI for case-based support).

3. Related Fields

3.1. Virtual Reality (VR)

3.1.1. comp. generated, interactive 3D-environment, by which a person is surrounded

3.1.2. Environment ist mostly fiction

3.1.3. Real environment invisible

3.1.4. User interaction determines the creation of stimuli

3.2. Mixed Reality (MR)

3.2.1. full spectrum of variations between VR and real Environment

3.2.2. Classification attributes World Knowledge (how much knows the system of the real world) metaphor of presence/Immersion (wie stark ist der Benutzer eingetaucht) > subjective Degree of reality (reproduction fidelity, picture quality)

3.3. Reality-Virtuality Continuum (Milgram 94)

3.3.1. Real Environment > Augmented Reality > Augmented Virtuality > Virtual Environment

3.4. Augmented Virtuality (AV)

3.4.1. augmented virtual environment with multiple sensors/objects of the real world Example: smell/sounds at the right position in the AV-world

4. History

4.1. 1960 - Ivan Sutherland - first HMD (Head Mounted Display)

4.2. usage in HUDs for militray purposes (jets) + research program

4.3. '90 usage for maintenance and repair

4.4. today: consumer market reached, hype

4.5. 1990 - Term coined by Thomas Caudell (Boeing)

5. Added Value + Visions

5.1. Cognitive Advantages

5.1.1. hiding oder overlaying real objects

5.1.2. view information hard to perceive with own senses

5.1.3. get information which is not availabe on other channels (tv, newspapers, ...)

5.1.4. Providing experiences

5.2. Alleviation of taks (support of real challenges)

5.3. Collaboration (CSCW)

5.3.1. closer to Face-to-face with virtual objects and individual views

5.3.2. Präsenzgefühl u. nonverb. Komm. wahrnehmen (vs. Videokonf.) feeling of presence + recognition of nonverbal communication (vs. Videoconference)

5.3.3. Remote Collaboration

5.4. interactive advertising

5.4.1. creating natural, immersive metaphors/easy to understand (vs. e.g. bluetooth advertising)

5.5. Multimodal UI + AR

5.5.1. tactile control (connection of physical and virtual objects) most frequent AR input method

5.5.2. intuitive and direct Interaction (no WIMP UI , small gulf of execution)

5.5.3. based on experiences and world knowledge of the users

5.5.4. encourages learning, explorative, low mental loadlern

5.5.5. multimodel = combination of modalities like language, keyboard, gestures, touch,..

5.6. coexisting perception of real and virtual objects

5.7. cost reduction (training, print, time,...)

5.8. long-term objective: perfect mixture/connection of reality and virtuality

5.9. New source of revenue for publishers?

6. Application

6.1. Industry

6.1.1. Maintenance Tracking Keys/Marker create 3d-animated guides

6.1.2. Development Architectural planing and preview of consequences

6.1.3. Remote control

6.2. Entertainment

6.2.1. Sport broadcasting (Infos+Advertisement)

6.2.2. Acting (Blue Screen)

6.2.3. AR Games AR Quake

6.2.4. Art and installations

6.3. Marketing

6.3.1. 3D-Product-view Terminals/Kiosk

6.3.2. furnishing/testing/fitting with virtual models of real world objects

6.3.3. commercial overlays Banner virtual object models layers for different target groups/viewers combined with coupons

6.3.4. stationary

6.3.5. mobile

6.4. Education

6.4.1. interactive learning

6.4.2. Edutainment + Tourism historical information overlays

6.5. Health

6.5.1. Training (inexperienced doctors)

6.5.2. support for operations 3d-x-ray-modell of the patient minimal-invasive surgery

6.6. Annotation of real world objects

6.6.1. Libraries and museums (Informationen to the exhibits)

6.6.2. Navigational support e.g.: Traffic view (nightvision +infrared)

6.6.3. on Buildings, Machines, ... e.g.: farm performance reporting e.g.: Restaurant info outdoor e.g.: construction maps

6.6.4. PIM (with post-it like information dropping)

6.6.5. Personal/Commercial Data Presention (like websites attached to real world objects)

6.7. Path planing for robots

6.7.1. indirect control and advance planing (lag of reaction, no direkt control possible)

6.8. Military

6.8.1. targeting and navigation HUDs in air traffic

6.8.2. Training with Bots

6.9. Crisis management group

6.9.1. Koordination- u. Einsatzplanung Beispiel: Waldbrand (Missverständnisse Terminologie)

7. Use Cases

7.1. USPS Priority Mail Virtual Box Simulator

7.1.1. find the right size for your packet

7.2. Topps 3D Live Trading Cards

7.2.1. 3D-Animationen of sport stars

7.3. Zugara Webcam-based shopping

7.3.1. virtual fitting of clothes

7.4. mobile AR Browser

7.4.1. Wikitude, Layar, NextTube

7.5. QR Codes for fiducials

7.5.1. Quick Response Code as markers

7.6. Remote control and guide with PDA

7.6.1. Barcodescanner

7.7. Sixth Sense Project

7.7.1. Pico-Projector+Camera+colored markers (visual tracking fiducials)

7.8. SAP BMW Supply Chain

7.8.1. Picker support with HMD

7.9. Make-up Kiosk Fujitsu Tokio

7.9.1. Face Recognition

7.10. Domestic Robocop

8. Trends + Future

8.1. Mobile AR

8.1.1. Prozessoren, Sensoren, Grafikkarten, Linsen, RFID besser u. Massenmarkt

8.2. shift of basic to product research (Interaction technologies, Mobile AR,...)

8.3. Ubiquitous Tracking combined with new sensors

8.3.1. dynamic network of allocated sensors (GPS, RFID, WLAN,..)

8.3.2. miniturization of technology in objects of the daily life

8.3.3. high bandwidth networks (UMTS, LTE)

8.4. HMD improvements

8.4.1. Speed, flexibility, resolution (AMOLED (organic light emitting diodes), weight, egornomics, cost, wireless

8.4.2. form factor sunglasses would be a break-through e.g.: Skishades by Zeal Optics (GPS, Sensoren) different opinions concerning feasibility

8.5. Pico-Projectors

8.5.1. cellphone integration, mini projectors in the size of a matchbox are in production

8.6. Stronger immersion

8.6.1. smell, taste, feeling,..

8.7. react on user behaviour

8.7.1. when is it disturbing?

8.8. usage for cooperative work

8.9. AR at the mass market + embedded in various systems

8.9.1. developers, investors, analysts and consumers notice the possibilities and create solutions

8.10. Higher realism

8.10.1. cf. animations in movies (25 years to reach photo-realism)

8.11. See-through displays can become the sony walkman of the early 21th century (Feiner 96)

8.12. market potential mobile AR (2009: 1 Mill; 2010: over 700 Mill $ Jupiter Research)

8.13. multimodal interaction

8.14. AR continous what the internet started (Perey Research & Consulting)

9. Enabling Technologies

9.1. Basis structure

9.1.1. Scene Generator (Hard- u. Software zum Rendern)

9.1.2. Display Device ()

9.1.3. Tracking u. Sensing

9.1.4. Interaktionstechnik (IO)

9.1.5. Trackinggerät mit Comp. verbunden, der Umgebungsdaten verarbeitet u. Rückmeldung an das UI liefert, das Informationen einblendet

9.2. Tracking + Registration

9.2.1. sichtbasiert (visual-based) feature-based Marker-based natural features Übereinstimmung von Bildeigenschaften model-based Abgleich gespeicherter Objektmodelle (2d/3d CAD) erkennen von Kanten (Licht, Farbverlauf) keine Kalibrierung, masch. Lernen Nachteil bei Beleuchtung, Bewegung Nachteile langsamer als sensoren Bildverarbeitung zur Positionsbestimmung Vorteile dynamische Fehlerkontrolle

9.2.2. Sensoren (sensor-based) magnetische, akustische, optische, mechanische, infrarot, rfid, geschwindigk., gewicht, ... Nachteile Störeinflüsse ungenau

9.2.3. hybrid Kombi aus visual+sensor robuster Beispiel: GPS + Bewegungssensoren für Outdoor-Tracking Höhere Genauigkeit

9.2.4. Tracking = Position+Perspektivische Orientierung Nutzer

9.2.5. Registration= Referenzierung/Ausrichugn virtueller an realen Objekten

9.2.6. größte AR Herausforderung

9.3. Visualization

9.3.1. HMDs (head mounted/worn displays) Optical see-through (OST) Vorteile Nachteile teildurchsichtige Spiegel, die Licht des Monitor reflektieren Video see-through (VST) Closed-View HMD in den meisten aktuellen Systemen Vorteile Nachteile Videobild der Realwelt mit Einblendungen kombinieren (Chroma-Keying oder Tiefeninformation) Retinale HMDs Zukunftspotential bei Weiterentwicklung Vorteile Nachteile Bilder mit schwachem Laser über Splitter/Combiner auf Retina des Auges projiziert Head mounted projective displays (HMPDs) Vorteil paar kleiner Projektoren, das auf Reflexionsobj. der Umgebung projiziert Nachteil Nachteile HMDs limitiertes Sichtfeld wenig Tiefenwahrnehmung limitierte Auflösung Größe u. Gewicht Simulatorübelkeit Multi-user Anwendung nur eingeschränkt möglich Kalibrierung aufwending meist genutzte AR-Technik (Helme > Brillen) mobile/wearable systems (tragbare Tech.)

9.3.2. Spatial /spatially aligned Displays Projektoren (projecton-based spatial displays) Beamer auf die Umgebung Nachteil: Schattenwurf, nur auf Objekten darstellbar OST (Spatial) fixierte OST Variante Kombinierer kann gekrümt sein, Hologramme VST (Screen-Base) fester Bildschirm mit HCI-Eingabe Window of the World in Umgebung eingebette Anzeigetechn. mit gleichen Komp. wie HMD Nachteile nicht mobil Beleuchtung meist keine direkte Interaktion mit Obj. hinter Optik Vorteile günstig Sichtfeldgröße (bei Projektor) Ergonomie Gewöhnung + weniger Übelkeit höherer Realismus zu HMDs

9.3.3. Handheld Displays HMDs ersetzen? Displaymedium mit AR-Overlay (alles in einem Gerät) PDA, Tablet, Handy meist VST Vorteile wenig störend sozial akzeptiert Massenmarkt Nachteile schwache Hardware (Bildberechnung) wenig Trackingvarianten begrenztes Sichtfeld in der Hand gehalten weniger immersiv

9.3.4. case specific technology selection

10. Problems

10.1. User Interface

10.1.1. Kollab.Teilnehmer gemeinsames Veständnis des virt. Raums trotz verschied. Sichten

10.1.2. welche Bewegung welche Funktion (tangible) Visuelle Hinweise/Anleitung

10.1.3. Information Overload Filter Solutions Frown! Personal Filter Layers

10.1.4. usability (sozialem, emotionale, kulturelle Unterschiede)

10.1.5. Evaluation meist traditionelle UX Methoden für GUI AR verändert die Aufgabe > Iteration nötig (Envisioned World Problem)

10.1.6. Objektauswahl fehleranfällig (mensch u. maschine)

10.1.7. GUI-Optionen Glove/Hand-Based (Beispiel: Pinching) Prob-Based/Phyisisch (Beispiel: fiducial marker) Auswahl: schütteln, kippen, Zeigen, Nähe,...

10.2. Natural Usage

10.2.1. Bewegungseinschränkung

10.2.2. schwere Ausrüstung

10.3. Tracking

10.3.1. Kalibrierung (Hardware)

10.3.2. Genauigkeit (Millimeter u. wenige Grad)

10.3.3. Mobilität

10.3.4. Beleuchtungsunterschiede

10.4. Registration

10.4.1. Statische Fehler optische Verzerrung (kompensierbar) Trackingfehler (schwierig) mechanische Fehler (Hardwarekonstruktion) Kalibrierungsfehler (Pupillendistanz, Abstände, Marker..)

10.4.2. Dynamische Fehler Latenzzeiten/Systemverzögerung bei Bewegung (Positionsvorhersage)

10.5. Creating Added Value

10.5.1. keine Spielereien

10.5.2. Bedarfe u. Nutzensanreiz

10.6. Displays

10.6.1. Farbe (monochrom-Farben

10.6.2. Sichtfeld

10.6.3. Auflösung

10.6.4. Okklusion (Verdeckung/Überlagerung)

10.6.5. Kontrast hohes Farbspektrum der Realität schwer zu erreichen

10.6.6. Tiefenschärfe Distanzwahrnehmung virtueller Objekte

10.7. Hardware Costs

10.8. Energy consumption

10.9. Standard data formats

10.9.1. Entwicklung bei AR Browsern (.KML)(ARML=augmented reality markup language)

10.9.2. AR Consortium

10.10. Social + Political Problems

10.10.1. Gesundheitsgefährdung, Arbeitsplatzersatz, Effizienz,..

10.10.2. Ethikfragen (Abhängigkeit, Privatsphäre)

10.11. mobile computing performance

10.11.1. calculation of graphics

11. Software/Frameworks

11.1. Browser based

11.1.1. ARML (Augmented Reality Markup Language)

11.1.2. Wikitude API

11.1.3. Mixare Open Source Augmented Reality Engine

11.2. Image Recognition

11.2.1. kooaba API

11.2.2. meatio Junaio API

11.2.3. Fern

11.3. tracking libraries

11.3.1. AR Toolkit for ActionScript(AS3) FLARToolkit (for AS3) ARTisan (for AS3)

11.3.2. AR ToolkitPlus

11.3.3. ARTag

11.4. this branch is growing...

11.5. marker-based

11.5.1. metaio Unifeye

11.5.2. CyberCode