1. KI-Infrastruktur
1.1. Rechenzentren
1.2. Cloud Computing
1.2.1. Hyperscaler
1.3. Prozessor-Typen
1.3.1. Central Processing Unit (CPU)
1.3.1.1. AMD
1.3.1.2. Intel
1.3.1.3. Apple
1.3.1.4. ARM
1.3.2. Graphics Processing Unit (GPU)
1.3.2.1. NVIDIA
1.3.2.2. AMD
1.3.2.3. INTEL
1.3.3. Inference-Chip
1.3.3.1. Language Processing Unit (LPU)
1.3.3.1.1. Groq
1.3.3.1.2. HyperAccel
1.3.4. Tensor Processing Unit (TPU)
1.3.5. Unified Memory
2. Grundlagen
2.1. Sprachmodelle
2.1.1. Large Language Models (LLM)
2.1.2. Small Language Models (SLM)
2.1.3. Die Technologie hinter Sprachmodellen
2.1.3.1. Neuronale Netze
2.1.3.2. Deep Learning
2.1.3.3. Transformer-Architektur
2.1.3.4. Embedding Layer
2.1.3.5. Vektordatenbank
2.1.3.6. Kontextfenster
2.1.3.6.1. Größe des Kontextfensters
2.1.3.7. Natural Language Processing (NLP)
2.1.3.7.1. Tokenisierung
2.1.3.7.2. Perplexity
2.1.4. Training von Sprachmodellen
2.1.4.1. Trainingsdaten
2.1.4.1.1. Der bekannteste große Satz an Trainingsdaten: "The Pile"
2.1.4.2. Trainingsparameter
2.1.4.2.1. Gewicht
2.1.4.2.2. Bias
2.1.4.3. Pre-Training
2.1.4.4. Fine Tuning
2.1.4.4.1. Overfitting
2.1.4.5. Epochen
2.1.4.6. Reinforced Learning with Human Feedback (RLHF)
2.1.4.7. Proximal Policy Optimization (PPO)
2.1.4.8. Low-Rank Adaptation (LoRA)
2.1.5. Die Interaktion mit Sprachmodellen
2.1.5.1. Prompting - Die Eingabe
2.1.5.2. Inference - Verarbeitung und Ausgabe
2.1.6. Optimierung von Sprachmodellen
2.1.6.1. Prompt Engineering
2.1.6.1.1. System Prompting
2.1.6.1.2. User Prompting
2.1.6.2. Retrieval Augmented Generation (RAG)
2.1.6.2.1. Wissensdatenbank
2.1.6.3. Playground
2.1.6.3.1. Temperatur
2.1.6.3.2. Top-K Parameter
2.2. Large Multimodal Models (LMMs)
2.3. Diffusionsmodelle
3. Probleme und Herausforderungen bei der Nutzung von GenAI-Modellen
3.1. BIAS
3.2. Halluzinationen
3.3. Injections
3.3.1. Direct Prompt Injection
3.3.2. Indirect Prompt Injection
3.4. Model Autophagy Disorder
3.5. Energieverbrauch
4. Anwendungsgebiete
4.1. Eine Fallstudien-Übersicht: https://www.zenml.io/llmops-database
5. Rechtliche Themen
5.1. USA
5.1.1. Urheberrecht und geistiges Eigentum
5.1.1.1. "Fair Use"-Prinzip
5.1.1.2. Klage gegen Anthropic wegen Urheberrechtsverletzung
5.1.2. Der Gesetzesentwurf SB 1047
5.2. Europa
5.2.1. Die Datenschutz-Grundverordnung (DSGVO)
5.2.2. Der EU AI Act
6. Standards und Leitlinien
6.1. Ethische Richtlinien
6.1.1. IEEE Ethically Aligned Design
6.1.2. Partnership on AI’s Fairness, Transparency, and Accountability Standards
6.1.3. UNESCO AI Ethics Guidelines
6.1.4. Ethics Guidelines for Trustworthy AI der Europäischen Kommission
6.1.5. Constitutional AI
6.2. Sicherheitsstandards
6.2.1. NIST AI Risk Management Framework
6.2.2. ISO/IEC Standards für KI-Sicherheit
6.2.3. Secure AI Framework (SAIF)
6.3. Übergreifend
6.3.1. ISO/IEC JTC 1/SC 42 (Artificial Intelligence)
6.3.2. OECD AI Principles
6.4. Content of Authenticity Initative
7. Ausblick/Zukunft der KI
7.1. Extended Long Short-Term Memory (xLSTM)
7.2. Long Term Memory (LTM)
7.2.1. LTM-2-mini
7.3. Artifical General Intelligence (AGI)
7.4. Singularität
7.4.1. Artifical Super Intelligence (ASI)
7.4.2. Intelligence/AI Explosion
8. GenAI Modelle
8.1. Foundation Modelle
8.1.1. Proprietär
8.1.1.1. USA
8.1.1.1.1. GPT
8.1.1.1.2. Gemini
8.1.1.1.3. Claude
8.1.1.2. Europa
8.1.1.2.1. Mistral
8.1.2. Open Source
8.1.2.1. USA
8.1.2.1.1. Llama
8.1.2.2. China
8.1.2.2.1. Qwen2-VL
8.2. Lightweight LLMs
8.2.1. USA
8.2.1.1. Llama
8.2.1.2. Gemma 2
8.2.2. Europa
8.2.2.1. Mistral 7B
8.2.2.2. Teuken-7B
8.3. GroK, ein Sonderfall?
8.4. Text-to-Text
8.4.1. Conversational AI
8.4.1.1. character.ai
8.4.1.2. pi.ai
8.5. Text-to-Media
8.5.1. Text-to-Image
8.5.1.1. DALL-E
8.5.1.2. MidJourney
8.5.1.3. FLUX.1
8.5.1.4. Stable Diffusion
8.5.2. Text-to-Speech
8.5.2.1. ElevenLabs
8.5.3. Text-to-Video
8.6. Multimodale Video Generation
8.6.1. Runway Gen-2
8.6.2. Pika Labs
8.6.3. Veo
8.6.4. Sora
8.6.5. Avatar Generation
8.6.5.1. HeyGen
8.6.5.2. Synthesia
8.7. Video Editing
8.7.1. Opus Clip
8.8. Bild-/Videosegmentierung
8.8.1. Segment Anything
8.9. Meeting Assistenten
8.9.1. Fireflies.ai
8.10. Präsentation und Visualisierung
8.10.1. Gamma
8.10.2. Napkin
8.10.3. Beautiful.ai
8.11. https://theresanaiforthat.com/
9. Tools/Frameworks für KI-Modelle
9.1. HuggingFace
9.2. Ollama
9.3. OpenWebUI (vormals OllamaWebUI)
9.4. AnythingLLM
10. IT-Entwicklungswerkzeuge im Kontext von KI
10.1. LowCode/NoCode
10.1.1. Zapier
10.1.2. Buildship
10.1.3. Voiceflow
10.2. Frameworks/Bibliotheken
10.2.1. Flutter
10.2.2. React
10.3. Programmiersprachen
10.3.1. Python
11. KI-gestützte Assistenten
11.1. Internetsuchen
11.1.1. perplexity.ai
11.1.2. you.com
11.1.3. SearchGPT
11.2. Produktivität
11.2.1. Microsoft-Ökosystem
11.2.1.1. Microsoft Copilot
11.2.2. Coding
11.2.2.1. GitHub Copilot
11.2.2.2. Cursor
11.3. Wissensmanagement
11.3.1. NotebookLM
12. Evaluation, Ranking und Benchmarking von AI Modellen
12.1. https://lmarena.ai/?leaderboard
12.2. https://artificialanalysis.ai/leaderboards/models
12.3. https://balrogai.com
12.4. https://crfm.stanford.edu/helm/
13. Wichtige Veröffentlichungen
13.1. The Age of AI
13.2. Attention Is All You Need
13.3. Standford AI Index Report 2024
14. KI-Initiativen in Europa
14.1. Deutschland
14.1.1. "AI made in Germany"
14.1.2. KI Bundesverband
14.1.3. KI.NRW