Semantic Caching
Semantic Caching
Auch bekannt als:
Semantisches Caching
Semantic Caching spart API-Kosten durch Wiederverwendung ähnlicher Antworten.
Funktionsweise
- Anfrage wird vektorisiert
- Suche nach ähnlichen gecachten Anfragen
- Bei ausreichender ähnlichkeit: Cache-Hit
- Sonst: API-Aufruf und Caching