Transformers - Wie funktionieren Sprachmodelle?

Heute schauen wir uns die revolutionäre Transformer-Architektur und die sogenannte Self-Attention an, auf der die meisten modernen Sprachmodelle basieren. Wir lernen also wie GPT & Co. im Detail funktionieren und warum sie so gute Antworten generieren können.
Das Paper dazu aus dem Jahr 2017 findet ihr hier: doi.org/10.48550/arXiv.1706.03762

Viel Spaß beim Zuhören! :)