Inference
Inference
Auch bekannt als:
Inferenz, Modellausfuehrung
Inference bezeichnet den Prozess, bei dem ein trainiertes Modell auf neuen Eingaben arbeitet.
Inference vs Training
- Training: Modell lernt aus Daten (rechenintensiv)
- Inference: Modell wendet Gelerntes an (schneller)
Optimierung
- Quantisierung
- GPU-Beschleunigung
- Batch-Verarbeitung