Token
Token
Auch bekannt als:
Texttoken
Tokens sind die Grundbausteine der Textverarbeitung in LLMs.
Tokenisierung
- Text wird in Tokens zerlegt
- Ein Token entspricht ca. 3-4 Zeichen oder einem Wort
- Kontextfenster = maximale Tokenanzahl
Beispiel
„Künstliche Intelligenz“ = ca. 3-4 Tokens