Mixture of Experts
Mixture of Experts (MoE)
Auch bekannt als:
MoE, Sparse Models
MoE-Modelle wie GPT-4 nutzen spezialisierte Expertennetze für verschiedene Aufgabentypen.
Vorteile
- Höhere Kapazität bei gleicher Rechenleistung
- Spezialisierung auf Teilaufgaben
- Effizientere Inference