STP091: Der Siegeszug der KI-Konnektionisten (Teil 1)

<p>Einige haben sich schon gefragt, wann denn nun die KI-Serie anfängt. Nun ja. Nachdem wir die letzten Male die Grundlagen besprochen haben, geht es nun im Sinne des aktuellen Zeitgeistes wirklich um KI. Zuerst im Bezug auf Text.</p><h2>Shownotes</h2>Damit wir uns nicht komplett verzetteln, beschränken wir uns in diesem Zweiteiler auf alle Entwicklungen, die zu den aktuellen Buzzword-Technologien geführt haben: Transformer und Diffusionsmodelle.</p>
<ul>
<li>
<p><a href="de.wikipedia.org/w/index.php?title=KI-Winter&a…;: Flaute in der KI-Forschung nach dem Scheitern eines bestimmten Ansatzes</p>
<ul>
<li>frühe 1970er: erster KI-Winter nach Problemen mit dem Skalieren von Perzeptronen (Scheitern konnektionistischer Ansätze)</li>
<li>späte 1980er: zweiter KI-Winter nach allgemeiner Ernüchterung über Expertensysteme (Scheitern symbolischer Ansätze)</li>
<li>danach neuer Aufwind für konnektionistische Ansätze durch neue Optimierungen und Moore's Law (<a href="en.wikipedia.org/w/index.php?title=Neural_scal…;)</li>
</ul>
</li>
<li>
<p><a href="de.wikipedia.org/w/index.php?title=Rekurrentes… neurale Netzwerke (Recurrent Neural Network, RNN)</a></p>
<ul>
<li>Grundproblem: Wie geht man mit zeitlich geordneten Daten um, die sich entlang des Zeitstrahls kausal beeinflussen (z.B. Sprache, Aktienkurse)?</li>
<li>Idee: neurales Netzwerk verarbeitet immer die Eingaben aus einem Zeitschritt und gibt zusätzlich zur Ausgabe einen internen Zustand aus, der beim nächsten Zeitschritt zur Eingabe wird</li>
<li>Problem: Wie trainiert man das? Backpropagation funktioniert nicht, wenn Signale zu früheren Layern rückwärts geschickt werden
<ul>
<li>frühe Ansätze hatten Probleme mit hohem Trainingsaufwand, weil Backpropagation in Schleifen laufen muss</li>
<li>hier aus Zeitgründen nur der Ansatz, der heutzutage die größte Bedeutung hat</li>
</ul>
</li>
</ul>
</li>
<li>
<p>2014: <a href="en.wikipedia.org/w/index.php?title=Seq2seq&…; zum Übersetzen natürlicher Sprache</p>
<ul>
<li>zwei separate aufeinanderfolgende Schritte
<ul>
<li>Encoder: Lesen jeweils eines Eingabesymbols (<strong>Token</strong>); hierbei keine Ausgabe, sondern nur Aktualisierung eines internen Zustands</li>
<li>Decoder: Extraktion eines Ausgabetokens aus dem internen Zustand unter Präsentation des zuletzt generierten Tokens, dabei ebenfalls Aktualisierung des internen Zustandes</li>
</ul>
</li>
<li>Abwägung
<ul>
<li>Vorteil: damit keine Probleme mit rückwärts laufenden Signalen, Training mit Backpropagation möglich</li>
<li>Nachteil: interner Zustand muss die gesamte Eingabe darstellen können, bei langen Eingabesequenzen "vergisst" der interne Zustand Teile der Eingabe</li>
<li>im Gespräch erwähnt: <a href="en.wikipedia.org/w/index.php?title=Hutter_Priz… Prize</a></li>
</ul>
</li>
<li>Lösung: <a href="youtube.com/watch?v=eMlx5fFNoYc">Atten…;; im Falle von seq2seq:
<ul>
<li>interner Zustand nach jedem Encoding wird gemerkt</li>
<li>Decoding aus dem aktuellsten internen Zustand (wie zuvor) ergibt ein vorläufiges Ergebnis, das mit einem Satz trainierbarer Gewichte in eine <strong>Query</strong> (Abfrage) überführt wird (anschauliche Interpretation z.B. "Wir generieren jetzt das Adjektiv, das vor 'Garten' steht. Wer weiß was?")</li>
<li>analog dazu werden die gemerkten internen Zustände des Encodings mit einem anderen Satz trainierbarer Gewichte in einen <strong>Key</strong> (Schlüssel) überführt (anschauliche Interpretation z.B. "Ich bin ein Adjektiv.")</li>
<li>...und außerdem mit einem dritten Satz trainierbarer Gewichte in einen <strong>Value</strong> (Wert) (anschauliche Interpretation z.B. "Das zuletzt gesehene Adjektiv ist 'groß'.")</li>
<li>Values, bei denen Query und Key gut aufeinanderpassen, werden mit Gewichtung aufaddiert zu einem <strong>Kontext</strong>: <code>C = softmax(Q * K^T) * V</code> mit <a href="de.wikipedia.org/w/index.php?title=Softmax-Fun…;
<li>tatsächliches Ausgabezeichen aus Kombination des Kontext mit dem ursprünglichen Ergebnis des Decoding</li>
</ul>
</li>
</ul>
</li>
<li>
<p>2017: <a href="de.wikipedia.org/w/index.php?title=Transformer…; verwerfen die rekurrente Struktur und arbeiten nur mit Attention, um die Parallelisierbarkeit zu verbessern (daher der berühmte Paper-Name "Attention is <em>all</em> you need")</p>
<ul>
<li>jedes Eingabesymbol (<strong>Token</strong>) wird in ein <strong>Embedding</strong> überführt, einen hochdimensionalen Vektor (z.B. GPT-3: je nach Modellvariante zwischen 768 und 12288 Dimensionen)
<ul>
<li>Ziel des Embedding: Darstellung von Konzepten in einem Vektorraum (<a href="commons.wikimedia.org/wiki/File:Word_embedding…;)</li>
</ul>
</li>
<li>bei autoregressiver Texterzeugung (autoregressiv = "aus sich selbst heraus"):
<ul>
<li><strong>Self-Attention</strong> auf den Embeddings der bis jetzt vorliegenden Tokenfolge (eventuell begrenzt durch das <strong>Context Window</strong>), Resultat ist ein aktualisierter Embedding-Vektor</li>
<li>aber: Attention ist eine lineare Funktion und kann nicht als universeller Funktionsapproximator fungieren</li>
<li>deswegen dahinter ein klassisches dicht verschaltetes Feed-Forward-Netzwerk, in dem die überwältigende Masse der trainierbaren Gewichte sitzt</li>
<li>Ergebnis: der finale Embedding-Vektor, der in ein Token zurückübersetzt wird</li>
</ul>
</li>
<li>bei Texterzeugung anhand einer separaten Eingabesequenz (z.B. maschinelle Übersetzung, Spracherkennung, <a href="de.wikipedia.org/w/index.php?title=Retrieval-A…;) außerdem <strong>Cross-Attention</strong> zum Transfer von Informationen aus der Eingabesequenz in den Dekoder</li>
</ul>
</li>
</ul>
<p>Abendgedanken aus <a href="youtube.com/watch?v=ShusuVq32hc">"… Language Models, Model Collapse and the Conservation of Information"</a>: Es ist überraschend, wieviele Probleme sich auf "das nächste Wort vorhersagen" reduzieren lassen (vgl. Meldungen der Form "Goldmedaille in der Matheolympiade"). Aber:</p>
<ol>
<li>LLMs wägen nicht ab, sie verarbeiten.
<ul>
<li>statistische Aussagen auf Basis von Embeddings, nicht mehr und nicht weniger</li>
<li>ungeeignet für symbolische Aufgaben wie Arithmetik</li>
</ul>
</li>
<li>LLMs überlegen nicht, sie rationalisieren.
<ul>
<li>die statistische Natur der Sache ist gut für <a href="de.wikipedia.org/w/index.php?title=Induktion_%…;, aber schlecht für Deduktion</li>
</ul>
</li>
<li>LLMs können nicht endlose Informationen erzeugen.</li>
</ol>