1. Grundlagen
1.1. Sprachmodelle
1.1.1. Large Language Models (LLM)
1.1.2. Small Language Models (SLM)
1.2. Die Technologie hinter Sprachmodellen
1.2.1. Fuzzy-Logik
1.2.2. Neuronale Netze
1.2.3. Deep Learning
1.2.4. Transformerarchitektur
1.2.5. Token Logik
1.2.6. Vector Database
1.2.7. Diffusion Modelle
1.2.8. Besonderheiten bei LMMs
1.2.9. Tokenizer
1.2.10. Embedding Layer
1.3. Training von Sprachmodellen
1.3.1. Reinforced Learning with Human Feedback (RLHF)
1.3.2. Proximal Policy Optimization (PPO)
1.3.3. Trainingsdaten
1.3.3.1. "The Pile": https://pile.eleuther.ai/
1.3.4. Trainingsparameter
1.4. Anpassen/Erweitern von Sprachmodellen
1.4.1. Retrieval Augmented Generation (RAG)
1.4.1.1. Knowledge Base
1.4.2. Fine Tuning
1.4.2.1. NEU bei ChatGPT 4o:Fine-Tuning mit benutzerdefinierten Daten
1.4.2.2. Weights/Biases
1.4.2.3. Epochen
1.4.2.4. Overfitting
1.4.3. Customizing
1.4.3.1. Temperatur
1.4.4. Playgrounds
1.4.5. Halluzinationen
1.4.6. LoRa
1.5. Natural Language Processing (NLP)
1.5.1. Prompting
1.5.1.1. System Prompting
1.5.1.2. User Prompting
1.5.1.2.1. Zero Shot Prompt
1.5.1.2.2. Few Shot Prompt
1.5.1.2.3. Chain of Thought
1.5.1.3. Personalisierung
1.5.2. Token
1.5.3. Kontext-Fenster
1.5.4. Perplexity
1.6. Large Multimodal Models (LMMs)
1.7. Inference
2. GenAI Modelle
2.1. Foundation Modelle
2.1.1. GPT
2.1.2. Claude
2.1.3. LLaMa
2.1.4. Gemini
2.2. KI-gestützte Produktivitätsassistenten
2.2.1. Microsoft-Ökosystem
2.2.1.1. Microsoft Copilot
2.2.2. Coding
2.2.2.1. GitHub Copilot