Bedeutung von 1.5B, 7B, 14B bis 671B und technische Anforderungen
Große Sprachmodelle (LLMs, Large Language Models) haben in den letzten Jahren enorme Fortschritte gemacht. Doch was bedeuten Zahlen wie 1.5B, 7B oder gar 671B genau? Diese Zahlen stehen für die Anzahl der Parameter eines Modells, also der gewichteten Verbindungen zwischen den Neuronen. Je größer die Anzahl der Parameter, desto leistungsfähiger ist das Modell – aber desto höher sind auch die Hardwareanforderungen. In diesem Artikel beleuchten wir die Skalierung von LLMs und die technischen Voraussetzungen für den Betrieb.
Was bedeutet die Anzahl der Parameter?
Die Größe eines LLMs wird in Milliarden Parametern (B für Billion) angegeben. Hier einige Beispiele:
| Modellgröße | Parameteranzahl | Beispielhafte Modelle |
|---|---|---|
| 1.5B | 1,5 Milliarden | GPT-2 Medium, LLaMA-1 1.3B |
| 7B | 7 Milliarden | LLaMA-2 7B, Mistral-7B |
| 14B | 14 Milliarden | Falcon-14B, LLaMA-1 13B |
| 32B | 32 Milliarden | GPT-3 (teilweise) |
| 70B | 70 Milliarden | LLaMA-2 70B, GPT-3.5 |
| 175B | 175 Milliarden | GPT-3 |
| 540B | 540 Milliarden | PaLM-540B (Google) |
| 671B | 671 Milliarden | Megatron-Turing NLG |
Je mehr Parameter ein Modell hat, desto besser kann es komplexe Muster erkennen und tiefere Zusammenhänge verstehen. Allerdings steigen mit der Modellgröße auch die Anforderungen an Speicher und Rechenleistung.
Technische Voraussetzungen für verschiedene Modellgrößen
1. Speicherbedarf
Ein LLM benötigt sowohl Arbeitsspeicher (RAM/VRAM) als auch Speicherplatz für die Modellgewichte. Die Faustregel: Ein Parameter benötigt etwa 2 Byte (FP16) oder 4 Byte (FP32).
| Modellgröße | RAM-Anforderung (FP16) | RAM-Anforderung (FP32) |
| 1.5B | 3 GB | 6 GB |
| 7B | 14 GB | 28 GB |
| 14B | 28 GB | 56 GB |
| 32B | 64 GB | 128 GB |
| 70B | 140 GB | 280 GB |
| 175B | 350 GB | 700 GB |
| 540B | 1,08 TB | 2,16 TB |
| 671B | 1,34 TB | 2,68 TB |
Da GPUs oft eine begrenzte VRAM-Kapazität haben, wird bei großen Modellen auf quantisierte Formate (z. B. INT8, INT4) gesetzt, um den Speicherbedarf zu reduzieren.
2. Rechenleistung (GPU vs. CPU)
- Kleine Modelle (1.5B – 7B) können auf leistungsfähigen Consumer-GPUs wie einer RTX 3090 (24 GB) oder einer RTX 4090 (24 GB) ausgeführt werden.
- Mittelgroße Modelle (14B – 32B) erfordern High-End-GPUs wie A100 (40 GB) oder H100 (80 GB) oder Multi-GPU-Setups.
- Große Modelle (70B+) benötigen Clusterlösungen mit mehreren H100/A100 GPUs oder TPU-Systeme, da der Speicherbedarf schnell über 100 GB steigt.
3. Skalierbarkeit und Infrastruktur
Für den Betrieb großer Modelle setzen Unternehmen auf:
- GPU-Cluster mit vernetztem Speicher (NVLink, InfiniBand)
- TPUs (Tensor Processing Units) für spezialisierte KI-Beschleunigung
- Cloud-Lösungen von Anbietern wie AWS, Google Cloud, Azure, um die hohen Anforderungen ohne eigene Hardware zu bewältigen
2. Rechenleistung (GPU vs. CPU in Servern)
- Kleine Modelle (1.5B – 7B) können auf leistungsfähigen Consumer-GPUs wie einer RTX 3090 (24 GB) oder einer RTX 4090 (24 GB) ausgeführt werden.
- Mittelgroße Modelle (14B – 32B) erfordern High-End-GPUs wie A100 (40 GB) oder H100 (80 GB) oder Multi-GPU-Setups.
- Große Modelle (70B+) benötigen Clusterlösungen mit mehreren H100/A100 GPUs oder TPU-Systeme, da der Speicherbedarf schnell über 100 GB steigt.
GPU-Anforderungen in einem Server-Setup
In Servern werden spezialisierte GPUs mit hoher Speicherbandbreite und Skalierbarkeit eingesetzt. Diese sind oft über NVLink oder InfiniBand miteinander verbunden, um eine hohe Datenübertragungsgeschwindigkeit zwischen GPUs zu gewährleisten.
| GPU-Modell | VRAM | Speicherbandbreite | Geeignet für Modelle |
| RTX 4090 | 24 GB | 1 TB/s | 1.5B – 7B Modelle |
| A100 40GB | 40 GB | 1.6 TB/s | 7B – 32B Modelle |
| A100 80GB | 80 GB | 2.0 TB/s | 32B – 70B Modelle |
| H100 80GB | 80 GB | 3.35 TB/s | 70B+ Modelle |
| H100 120GB | 120 GB | 3.35 TB/s | 100B+ Modelle |
| TPU v4 | 128 GB | >3 TB/s | 100B+ Modelle |
Multi-GPU-Setups
Bei Modellen mit mehr als 32B Parametern sind einzelne GPUs oft nicht mehr ausreichend. Stattdessen werden Multi-GPU-Setups mit paralleler Verarbeitung verwendet:
- Data Parallelism: Mehrere GPUs verarbeiten Teile der Eingabedaten parallel.
- Model Parallelism: Das Modell selbst wird auf mehrere GPUs verteilt, um große Parameter-Sätze zu bewältigen.
- Pipeline Parallelism: Das Modell wird schichtweise auf mehrere GPUs verteilt, sodass verschiedene Schichten in einer Pipeline abgearbeitet werden können.
3. Skalierbarkeit und Infrastruktur
Für den Betrieb großer Modelle setzen Unternehmen auf:
- GPU-Cluster mit vernetztem Speicher (NVLink, InfiniBand)
- TPUs (Tensor Processing Units) für spezialisierte KI-Beschleunigung
- Cloud-Lösungen von Anbietern wie AWS, Google Cloud, Azure, um die hohen Anforderungen ohne eigene Hardware zu bewältigen
Fazit
Die Größe eines LLMs beeinflusst sowohl seine Leistungsfähigkeit als auch die Hardwareanforderungen erheblich. Während kleinere Modelle auf handelsüblichen GPUs ausgeführt werden können, benötigen große Modelle spezialisierte Hardware oder Cloud-Ressourcen. Entwickler und Unternehmen müssen daher abwägen, welches Modell für ihre Anwendungsfälle geeignet ist – je nach verfügbarem Budget und Infrastruktur. Server-Setups für LLMs erfordern optimierte GPUs mit hoher Speicherbandbreite sowie effektive Parallelisierungsstrategien für effizientes Training und Inferenz.
Antworten