Transformer
Transformer
Auch bekannt als:
Transformer-Architektur
Transformer revolutionierten 2017 das NLP durch den Attention-Mechanismus.
Vorteile
- Parallele Verarbeitung
- Lange Kontexte möglich
- Skalierbar
Architektur
- Encoder (BERT-artig)
- Decoder (GPT-artig)
- Encoder-Decoder (T5)