1. Business Models
1.1. User pays
1.1.1. to see
1.1.2. subscriptions
1.1.3. AR content stores
1.2. Corporate Pays
1.2.1. Advertising free content
1.2.2. to loyal customers
1.3. Education, Sports, cultural venues
1.3.1. Sponsor or Reseller
1.4. Local & Hyper Local
1.4.1. retailers pay for walk-in
2. Trends + Future
2.1. Mobile AR
2.1.1. Prozessoren, Sensoren, Grafikkarten, Linsen, RFID besser u. Massenmarkt
2.2. shift of basic to product research (Interaction technologies, Mobile AR,...)
2.3. Ubiquitous Tracking combined with new sensors
2.3.1. dynamic network of allocated sensors (GPS, RFID, WLAN,..)
2.3.2. miniturization of technology in objects of the daily life
2.3.3. high bandwidth networks (UMTS, LTE)
2.4. HMD improvements
2.4.1. Speed, flexibility, resolution (AMOLED (organic light emitting diodes), weight, egornomics, cost, wireless
2.4.2. form factor sunglasses would be a break-through
2.4.2.1. e.g.: Skishades by Zeal Optics (GPS, Sensoren)
2.4.2.2. different opinions concerning feasibility
2.5. Pico-Projectors
2.5.1. cellphone integration, mini projectors in the size of a matchbox are in production
2.6. Stronger immersion
2.6.1. smell, taste, feeling,..
2.7. react on user behaviour
2.7.1. when is it disturbing?
2.8. usage for cooperative work
2.9. AR at the mass market + embedded in various systems
2.9.1. developers, investors, analysts and consumers notice the possibilities and create solutions
2.10. Higher realism
2.10.1. cf. animations in movies (25 years to reach photo-realism)
2.11. See-through displays can become the sony walkman of the early 21th century (Feiner 96)
2.12. market potential mobile AR (2009: 1 Mill; 2010: over 700 Mill $ Jupiter Research)
2.13. multimodal interaction
2.14. AR continous what the internet started (Perey Research & Consulting)
3. Enabling Technologies
3.1. Basis structure
3.1.1. Scene Generator (Hard- u. Software zum Rendern)
3.1.2. Display Device ()
3.1.3. Tracking u. Sensing
3.1.4. Interaktionstechnik (IO)
3.1.5. Trackinggerät mit Comp. verbunden, der Umgebungsdaten verarbeitet u. Rückmeldung an das UI liefert, das Informationen einblendet
3.2. Tracking + Registration
3.2.1. sichtbasiert (visual-based)
3.2.1.1. feature-based
3.2.1.1.1. Marker-based
3.2.1.1.2. natural features
3.2.1.1.3. Übereinstimmung von Bildeigenschaften
3.2.1.2. model-based
3.2.1.2.1. Abgleich gespeicherter Objektmodelle (2d/3d CAD)
3.2.1.2.2. erkennen von Kanten (Licht, Farbverlauf)
3.2.1.2.3. keine Kalibrierung, masch. Lernen
3.2.1.2.4. Nachteil bei Beleuchtung, Bewegung
3.2.1.3. Nachteile
3.2.1.3.1. langsamer als sensoren
3.2.1.4. Bildverarbeitung zur Positionsbestimmung
3.2.1.5. Vorteile
3.2.1.5.1. dynamische Fehlerkontrolle
3.2.2. Sensoren (sensor-based)
3.2.2.1. magnetische, akustische, optische, mechanische, infrarot, rfid, geschwindigk., gewicht, ...
3.2.2.2. Nachteile
3.2.2.2.1. Störeinflüsse
3.2.2.2.2. ungenau
3.2.3. hybrid
3.2.3.1. Kombi aus visual+sensor robuster
3.2.3.2. Beispiel: GPS + Bewegungssensoren für Outdoor-Tracking
3.2.3.3. Höhere Genauigkeit
3.2.4. Tracking = Position+Perspektivische Orientierung Nutzer
3.2.5. Registration= Referenzierung/Ausrichugn virtueller an realen Objekten
3.2.6. größte AR Herausforderung
3.3. Visualization
3.3.1. HMDs (head mounted/worn displays)
3.3.1.1. Optical see-through (OST)
3.3.1.1.1. Vorteile
3.3.1.1.2. Nachteile
3.3.1.1.3. teildurchsichtige Spiegel, die Licht des Monitor reflektieren
3.3.1.2. Video see-through (VST)
3.3.1.2.1. Closed-View HMD
3.3.1.2.2. in den meisten aktuellen Systemen
3.3.1.2.3. Vorteile
3.3.1.2.4. Nachteile
3.3.1.2.5. Videobild der Realwelt mit Einblendungen kombinieren (Chroma-Keying oder Tiefeninformation)
3.3.1.3. Retinale HMDs
3.3.1.3.1. Zukunftspotential bei Weiterentwicklung
3.3.1.3.2. Vorteile
3.3.1.3.3. Nachteile
3.3.1.3.4. Bilder mit schwachem Laser über Splitter/Combiner auf Retina des Auges projiziert
3.3.1.4. Head mounted projective displays (HMPDs)
3.3.1.4.1. Vorteil
3.3.1.4.2. paar kleiner Projektoren, das auf Reflexionsobj. der Umgebung projiziert
3.3.1.4.3. Nachteil
3.3.1.5. Nachteile HMDs
3.3.1.5.1. limitiertes Sichtfeld
3.3.1.5.2. wenig Tiefenwahrnehmung
3.3.1.5.3. limitierte Auflösung
3.3.1.5.4. Größe u. Gewicht
3.3.1.5.5. Simulatorübelkeit
3.3.1.5.6. Multi-user Anwendung nur eingeschränkt möglich
3.3.1.5.7. Kalibrierung aufwending
3.3.1.6. meist genutzte AR-Technik (Helme > Brillen)
3.3.1.7. mobile/wearable systems (tragbare Tech.)
3.3.2. Spatial /spatially aligned Displays
3.3.2.1. Projektoren (projecton-based spatial displays)
3.3.2.1.1. Beamer auf die Umgebung
3.3.2.1.2. Nachteil: Schattenwurf, nur auf Objekten darstellbar
3.3.2.2. OST (Spatial)
3.3.2.2.1. fixierte OST Variante
3.3.2.2.2. Kombinierer kann gekrümt sein, Hologramme
3.3.2.3. VST (Screen-Base)
3.3.2.3.1. fester Bildschirm mit HCI-Eingabe
3.3.2.3.2. Window of the World
3.3.2.4. in Umgebung eingebette Anzeigetechn. mit gleichen Komp. wie HMD
3.3.2.5. Nachteile
3.3.2.5.1. nicht mobil
3.3.2.5.2. Beleuchtung
3.3.2.5.3. meist keine direkte Interaktion mit Obj. hinter Optik
3.3.2.6. Vorteile
3.3.2.6.1. günstig
3.3.2.6.2. Sichtfeldgröße (bei Projektor)
3.3.2.6.3. Ergonomie
3.3.2.6.4. Gewöhnung + weniger Übelkeit
3.3.2.6.5. höherer Realismus zu HMDs
3.3.3. Handheld Displays
3.3.3.1. HMDs ersetzen?
3.3.3.2. Displaymedium mit AR-Overlay (alles in einem Gerät)
3.3.3.2.1. PDA, Tablet, Handy
3.3.3.3. meist VST
3.3.3.4. Vorteile
3.3.3.4.1. wenig störend
3.3.3.4.2. sozial akzeptiert
3.3.3.4.3. Massenmarkt
3.3.3.5. Nachteile
3.3.3.5.1. schwache Hardware (Bildberechnung)
3.3.3.5.2. wenig Trackingvarianten
3.3.3.5.3. begrenztes Sichtfeld
3.3.3.5.4. in der Hand gehalten
3.3.3.5.5. weniger immersiv
3.3.4. case specific technology selection
4. Problems
4.1. User Interface
4.1.1. Kollab.Teilnehmer gemeinsames Veständnis des virt. Raums trotz verschied. Sichten
4.1.2. welche Bewegung welche Funktion (tangible)
4.1.2.1. Visuelle Hinweise/Anleitung
4.1.3. Information Overload
4.1.3.1. Filter Solutions
4.1.3.1.1. Frown!
4.1.3.1.2. Personal Filter Layers
4.1.4. usability (sozialem, emotionale, kulturelle Unterschiede)
4.1.5. Evaluation meist traditionelle UX Methoden für GUI
4.1.5.1. AR verändert die Aufgabe > Iteration nötig (Envisioned World Problem)
4.1.6. Objektauswahl fehleranfällig (mensch u. maschine)
4.1.7. GUI-Optionen
4.1.7.1. Glove/Hand-Based (Beispiel: Pinching)
4.1.7.2. Prob-Based/Phyisisch (Beispiel: fiducial marker)
4.1.7.3. Auswahl: schütteln, kippen, Zeigen, Nähe,...
4.2. Natural Usage
4.2.1. Bewegungseinschränkung
4.2.2. schwere Ausrüstung
4.3. Tracking
4.3.1. Kalibrierung (Hardware)
4.3.2. Genauigkeit (Millimeter u. wenige Grad)
4.3.3. Mobilität
4.3.4. Beleuchtungsunterschiede
4.4. Registration
4.4.1. Statische Fehler
4.4.1.1. optische Verzerrung (kompensierbar)
4.4.1.2. Trackingfehler (schwierig)
4.4.1.3. mechanische Fehler (Hardwarekonstruktion)
4.4.1.4. Kalibrierungsfehler (Pupillendistanz, Abstände, Marker..)
4.4.2. Dynamische Fehler
4.4.2.1. Latenzzeiten/Systemverzögerung bei Bewegung (Positionsvorhersage)
4.5. Creating Added Value
4.5.1. keine Spielereien
4.5.2. Bedarfe u. Nutzensanreiz
4.6. Displays
4.6.1. Farbe (monochrom-Farben
4.6.2. Sichtfeld
4.6.3. Auflösung
4.6.4. Okklusion (Verdeckung/Überlagerung)
4.6.5. Kontrast
4.6.5.1. hohes Farbspektrum der Realität schwer zu erreichen
4.6.6. Tiefenschärfe
4.6.6.1. Distanzwahrnehmung virtueller Objekte
4.7. Hardware Costs
4.8. Energy consumption
4.9. Standard data formats
4.9.1. Entwicklung bei AR Browsern (.KML)(ARML=augmented reality markup language)
4.9.2. AR Consortium
4.10. Social + Political Problems
4.10.1. Gesundheitsgefährdung, Arbeitsplatzersatz, Effizienz,..
4.10.2. Ethikfragen (Abhängigkeit, Privatsphäre)
4.11. mobile computing performance
4.11.1. calculation of graphics
5. Software/Frameworks
5.1. Browser based
5.1.1. ARML (Augmented Reality Markup Language)
5.1.2. Wikitude API
5.1.3. Mixare
5.1.3.1. Open Source Augmented Reality Engine
5.2. Image Recognition
5.2.1. kooaba API
5.2.2. meatio Junaio API
5.2.3. Fern
5.3. tracking libraries
5.3.1. AR Toolkit
5.3.1.1. for ActionScript(AS3)
5.3.1.1.1. FLARToolkit (for AS3)
5.3.1.1.2. ARTisan (for AS3)
5.3.2. AR ToolkitPlus
5.3.3. ARTag
5.4. this branch is growing...
5.5. marker-based
5.5.1. metaio Unifeye
5.5.2. CyberCode
6. Definitons
6.1. by Milgram
6.1.1. Real environment enhanced with virtual objects (optic, acustic, haptic, olfactoric)
6.1.2. on the RVC between VE (virt. Environm.), AV and Real Environment
6.2. 3 characteristics by Azuma
6.2.1. Combination of reality and virtuality (Reality augmented)
6.2.2. Realt-time interaction with virtual objects
6.2.3. Registration of real and virtual objects (ideal: seamless)
6.3. Technologie that creates superimposing/precisely overlaying computergenerated objects on physical objects to suport functions and tasks in real-time (HCI for case-based support).
7. Related Fields
7.1. Virtual Reality (VR)
7.1.1. comp. generated, interactive 3D-environment, by which a person is surrounded
7.1.2. Environment ist mostly fiction
7.1.3. Real environment invisible
7.1.4. User interaction determines the creation of stimuli
7.2. Mixed Reality (MR)
7.2.1. full spectrum of variations between VR and real Environment
7.2.2. Classification attributes
7.2.2.1. World Knowledge (how much knows the system of the real world)
7.2.2.2. metaphor of presence/Immersion (wie stark ist der Benutzer eingetaucht) > subjective
7.2.2.3. Degree of reality (reproduction fidelity, picture quality)
7.3. Reality-Virtuality Continuum (Milgram 94)
7.3.1. Real Environment > Augmented Reality > Augmented Virtuality > Virtual Environment
7.4. Augmented Virtuality (AV)
7.4.1. augmented virtual environment with multiple sensors/objects of the real world
7.4.1.1. Example: smell/sounds at the right position in the AV-world
8. History
8.1. 1960 - Ivan Sutherland - first HMD (Head Mounted Display)
8.2. usage in HUDs for militray purposes (jets) + research program
8.3. '90 usage for maintenance and repair
8.4. today: consumer market reached, hype
8.5. 1990 - Term coined by Thomas Caudell (Boeing)
9. Added Value + Visions
9.1. Cognitive Advantages
9.1.1. hiding oder overlaying real objects
9.1.2. view information hard to perceive with own senses
9.1.3. get information which is not availabe on other channels (tv, newspapers, ...)
9.1.4. Providing experiences
9.2. Alleviation of taks (support of real challenges)
9.3. Collaboration (CSCW)
9.3.1. closer to Face-to-face with virtual objects and individual views
9.3.2. Präsenzgefühl u. nonverb. Komm. wahrnehmen (vs. Videokonf.) feeling of presence + recognition of nonverbal communication (vs. Videoconference)
9.3.3. Remote Collaboration
9.4. interactive advertising
9.4.1. creating natural, immersive metaphors/easy to understand (vs. e.g. bluetooth advertising)
9.5. Multimodal UI + AR
9.5.1. tactile control (connection of physical and virtual objects)
9.5.1.1. most frequent AR input method
9.5.2. intuitive and direct Interaction (no WIMP UI , small gulf of execution)
9.5.3. based on experiences and world knowledge of the users
9.5.4. encourages learning, explorative, low mental loadlern
9.5.5. multimodel = combination of modalities like language, keyboard, gestures, touch,..
9.6. coexisting perception of real and virtual objects
9.7. cost reduction (training, print, time,...)
9.8. long-term objective: perfect mixture/connection of reality and virtuality
9.9. New source of revenue for publishers?
10. Application
10.1. Industry
10.1.1. Maintenance
10.1.1.1. Tracking Keys/Marker create 3d-animated guides
10.1.2. Development
10.1.2.1. Architectural planing and preview of consequences
10.1.3. Remote control
10.2. Entertainment
10.2.1. Sport broadcasting (Infos+Advertisement)
10.2.2. Acting (Blue Screen)
10.2.3. AR Games
10.2.3.1. AR Quake
10.2.4. Art and installations
10.3. Marketing
10.3.1. 3D-Product-view
10.3.1.1. Terminals/Kiosk
10.3.2. furnishing/testing/fitting with virtual models of real world objects
10.3.3. commercial overlays
10.3.3.1. Banner
10.3.3.2. virtual object models
10.3.3.3. layers for different target groups/viewers
10.3.3.4. combined with coupons
10.3.4. stationary
10.3.5. mobile
10.4. Education
10.4.1. interactive learning
10.4.2. Edutainment + Tourism
10.4.2.1. historical information overlays
10.5. Health
10.5.1. Training (inexperienced doctors)
10.5.2. support for operations
10.5.2.1. 3d-x-ray-modell of the patient
10.5.2.2. minimal-invasive surgery
10.6. Annotation of real world objects
10.6.1. Libraries and museums (Informationen to the exhibits)
10.6.2. Navigational support
10.6.2.1. e.g.: Traffic view (nightvision +infrared)
10.6.3. on Buildings, Machines, ...
10.6.3.1. e.g.: farm performance reporting
10.6.3.2. e.g.: Restaurant info outdoor
10.6.3.3. e.g.: construction maps
10.6.4. PIM (with post-it like information dropping)
10.6.5. Personal/Commercial Data Presention (like websites attached to real world objects)
10.7. Path planing for robots
10.7.1. indirect control and advance planing (lag of reaction, no direkt control possible)
10.8. Military
10.8.1. targeting and navigation
10.8.1.1. HUDs in air traffic
10.8.2. Training
10.8.2.1. with Bots
10.9. Crisis management group
10.9.1. Koordination- u. Einsatzplanung
10.9.1.1. Beispiel: Waldbrand (Missverständnisse Terminologie)
11. Use Cases
11.1. USPS Priority Mail Virtual Box Simulator
11.1.1. find the right size for your packet
11.2. Topps 3D Live Trading Cards
11.2.1. 3D-Animationen of sport stars
11.3. Zugara Webcam-based shopping
11.3.1. virtual fitting of clothes
11.4. mobile AR Browser
11.4.1. Wikitude, Layar, NextTube
11.5. QR Codes for fiducials
11.5.1. Quick Response Code as markers
11.6. Remote control and guide with PDA
11.6.1. Barcodescanner
11.7. Sixth Sense Project
11.7.1. Pico-Projector+Camera+colored markers (visual tracking fiducials)
11.8. SAP BMW Supply Chain
11.8.1. Picker support with HMD
11.9. Make-up Kiosk Fujitsu Tokio
11.9.1. Face Recognition