#71: Predictive LLMs: Skalierung, Reproduzierbarkeit & DeepSeek

In dieser Folge geht's um die Frage: Macht Größe von Large Language Models (LLMs) bei Predictive Analytics wirklich einen Unterschied? Wir vergleichen Open-Source-Modelle mit bis zu 70 Milliarden Parametern – und siehe da, das 8B-Modell schlägt das große Schwergewicht. Außerdem berichten wir vom Finetuning auf einer AWS-Maschine mit 8 A100-GPUs und den Herausforderungen in Bezug auf die Reproduzierbarkeit. Auch das viel diskutierte DeepSeek-Modell haben wir im Autopreis-Benchmark antreten lassen. Und wie immer fragen wir uns: Was ist praktisch und was ist overkill?

**Zusammenfassung**

• Modellgröße ≠ bessere Prognosen: Das Llama-3.1-8B übertraf das größere 70B-Modell bei der Fahrzeugpreisprognose

• DeepSeek im Benchmark: Das chinesische Modell zeigt bei größeren Trainingsmengen eine ähnlich gute Performance wie das Llama-3.1-8B, ist bei kleinen Datensätzen aber schwächer

• Finetuning mit Multi-GPU auf AWS: Für das 70B-Modell war ein Setup mit 8 A100-GPUs nötig

• Reproduzierbarkeit bleibt schwierig: Trotz Seed erzeugen wiederholte Finetuning-Runs unterschiedliche Ergebnisse

• Modellselektion empfohlen: Um zuverlässige Prognosen zu erhalten, sollte aus mehreren Finetuning-Durchläufen das beste Modell ausgewählt werden

• CPU-Inferenz möglich, aber langsam: Im Vergleich zur GPU war die Vorhersage auf der CPU ca. 30-mal langsamer, Quantisierung könnte künftig Abhilfe schaffen

• Ausblick auf TabPFN & Quantisierung: Kommende Beiträge widmen sich Erfahrungen mit TabPFN und der praktischen Umsetzung von quantisierten LLMs auf kleineren Maschinen

**Links**

• [Begleitender Blogartikel] Predictive LLMs: Skalierung, Reproduzierbarkeit & DeepSeek inwt-statistics.de/blog/predictive-llms-skalie…

• #50: Predictive Analytics mit LLMs: ist GPT3.5 besser als XGBoost? inwt.podbean.com/e/50-predictive-analytics-mit…

• #64: Predictive LLMs: Übertreffen Open-Source-Modelle jetzt OpenAI und XGBoost bei Preisprognosen inwt.podbean.com/e/64-predictive-llms-ubertref…

• vLLM Framework für schnelle Inferenz: github.com/vllm-project/vllm?tab=readme-ov-file

• torchtune Finetuning-Framework von PyTorch: github.com/pytorch/torchtune

• PyTorch Reproducibility: pytorch.org/docs/stable/notes/randomness.html

• Paper zur Reproduzierbarkeit von QLoRA-Finetuning: S. S. Alahmari, L. O. Hall, P. R. Mouton and D. B. Goldgof, "Repeatability of Fine-Tuning Large Language Models Illustrated Using QLoRA," in IEEE Access, vol. 12, pp. 153221-153231, 2024, doi: 10.1109/ACCESS.2024.3470850 ieeexplore.ieee.org/document/10700744

• heise online: Komprimierte KI: Wie Quantisierung große Sprachmodelle verkleinert von René Peinl heise.de/hintergrund/Komprimierte-KI-Wie-Quant…

• deepseek-ai/DeepSeek-R1-Distill-Llama-8B auf Huggingface huggingface.co/deepseek-ai/DeepSeek-R1-Distill…

• TabPFN: Hollmann, N., Müller, S., Purucker, L. et al. Accurate predictions on small data with a tabular foundation model. Nature 637, 319–326 (2025). doi.org/10.1038/s41586-024-08328-6

• Feedback, Fragen oder Themenwünsche gern an podcast@inwt-statistics.de