Speicher für KI-Modelle - RAM, VRAM, Unified Memory einfach erklärt

Speicher ist nicht gleich Speicher. Wie viel Arbeitsspeicher braucht ein LLM wirklich? Warum reicht es nicht aus, einfach mehr "Speicher zu kaufen"?
In dieser Folge von "KI kurz und informativ" schauen wir uns die drei physischen Speicherebenen im PC oder Server an: VRAM (Grafikkarte), RAM (Arbeitsspeicher) und Massenspeicher (SSD/HDD). Ausserdem erklären wir, was Apple mit seinen M-Chips und dem sog. "Unified Memory" anders macht als klassiche Windows-PCs mit dedizierter Grafikkarte, warum die aktuellen RAM-Preissteigerungen direkt mit dem KI-Boom zusammenhängen, und wieso Kontextlänge (KV-Cache) und Nutzerzahl (Concurrency) den Speicherbedarf in der Praxis zusätzlich in die Höhe treiben.

Diese Folge baut auf unserer letzten Episode zu Quantisierung auf und bereitet den Boden für die nächste Folge: Cloud vs. On-Premise-Hosting von KI-Modellen aus Business-Sicht.

Quellen:
Apple M7 im Tapeout: heise.de/news/M-Chips-M7-mit-bis-zu-1-5-TByte-…