Attention Mechanism
Attention Mechanism
Auch bekannt als:
Self-Attention, Aufmerksamkeitsmechanismus
Der Attention Mechanism ermöglicht neuronalen Netzen, sich auf relevante Teile der Eingabe zu konzentrieren.
Funktionsweise
Bei der Verarbeitung einer Sequenz berechnet das Modell, welche anderen Teile der Sequenz für jeden Token relevant sind.
Anwendung
- Grundlage aller modernen LLMs
- Ermöglicht Kontextverständnis über lange Texte
- Basis für parallele Verarbeitung