Inference
•
Inference bezeichnet den Prozess, bei dem ein trainiertes Modell auf neuen Eingaben arbeitet.
Inference vs Training
- Training: Modell lernt aus Daten (rechenintensiv)
- Inference: Modell wendet Gelerntes an (schneller)
Optimierung
- Quantisierung
- GPU-Beschleunigung
- Batch-Verarbeitung
Inference Optimization
•
Inference Optimization reduziert Latenz und Kosten bei der Modellausführung.
Techniken
- Quantisierung: Reduzierte Präzision (INT8, FP16)
- Pruning: Entfernen unwichtiger Gewichte
- Distillation: Wissen in kleinere Modelle uebertragen
- Batching: Mehrere Anfragen buendeln
Instruction Tuning
•
Instruction Tuning verbessert die Fähigkeit von Sprachmodellen, natürlichsprachliche Anweisungen zu befolgen.
Prozess
- Sammlung von Anweisung-Antwort-Paaren
- Fine-Tuning des Basismodells
- Evaluation und Iteration
Intelligent Document Processing
•
IDP automatisiert die Verarbeitung von Dokumenten durch KI-Technologien.
Technologien
- OCR (Optical Character Recognition)
- NLP für Textverständnis
- Computer Vision für Layouts
- ML für Klassifikation
Anwendungen
- Rechnungsverarbeitung
- Vertragsanalyse
- Posteingang
- Antragsbearbeitung
Intent Recognition
•
Intent Recognition ist die Grundlage für effektive Chatbots und Sprachassistenten.
Beispiele
- „Ich moechte bestellen“ → Intent: Kaufabsicht
- „Was kostet das?“ → Intent: Preisanfrage
- „Wo ist meine Lieferung?“ → Intent: Tracking
