Wir freuen uns immer über Feedback von unseren Kunden. Ein Server stand dabei besonders oft auf der Wunschliste: ein GPU-Server mit mehreren Grafikkarten. Jetzt ist er endlich da: unser erster Multi-GPU-Server GEX430.
Die Hardware im GEX430
In unserem neuen Multi-GPU-Server GEX430 sind insgesamt vier NVIDIA RTX PRO™ 6000 Blackwell Max-Q GPUs verbaut mit jeweils 96 GB GDDR7 Grafikspeicher mit ECC – zusammen also 384 GB VRAM. Damit eignet sich das Modell besonders für KI-Workloads mit großem Speicherbedarf und anspruchsvolles Rendering, Simulationen oder Data-Science-Anwendungen. Damit ergänzt er unsere GPU-Line für professionelle Business-Anwendungen.
Die vier GPUs stecken in PCIe-Slots auf dem Mainboard und sind jeweils mit 16 PCIe-4.0-Lanes direkt an die CPU angebunden. Jede Karte bekommt damit die volle Bandbreite und muss sie mit keiner anderen GPU teilen. Mit passenden Frameworks kannst du die vier GPUs entweder für unterschiedliche Aufgaben einsetzen oder gemeinsam an einem rechenintensiven Workload arbeiten lassen.
Features:
- Vier NVIDIA RTX PRO™ 6000 GPUs mit jeweils 96 GB GDDR7 ECC VRAM, insgesamt 384 GB
- RT Cores der 4. Generation
- 4 x 752 Tensor Cores der 5. Generation
- KI Performance: 4 x 3511 KI-TOPS
- FP4-Unterstützung
- Intel® Xeon® Gold 5412U mit 24 Kernen und 48 Threads
- 2x 1,92 TB NVMe-SSDs DC-Edition (Gen4, Software-RAID 1)
- 128 GB DDR5 ECC reg. RAM
Anwendungsfälle
Großes Sprachmodell betreiben
Du möchtest umfangreiche Dokumente analysieren, anspruchsvolle Programmieraufgaben lösen oder komplexe KI-Agenten bauen? Dann möchtest du womöglich ein besonders großes und leistungsfähiges LLM betreiben.
Passende Modelle befinden sich in der Größenordnung von etwa 70 – 100 Milliarden Parametern bei 16-Bit-Präzision (BF16). Sie brauchen dabei allein für ihre Modellgewichte rund 140 – 200 GB VRAM. Mit 8-Bit-Präzision (FP8) lässt sich der Bedarf ungefähr halbieren.
Ein gutes Beispiel dafür ist Kolibri von Aleph Alpha. Das in Deutschland entwickelte Sprachmodell besitzt 78 Milliarden Parameter und benötigt bei BF16 rund 156 GB Grafikspeicher und passt damit auf keine einzelne GPU des Servers. Mit passenden Frameworks kannst du das Modell auf mehrere Grafikkarten verteilen. Der zusätzliche Speicher schafft außerdem Reserven für längere Kontexte – also alles, was das Modell bei einer Anfrage gleichzeitig berücksichtigt.
Ein weiteres passendes Beispiel ist Qwen3-Next-80B-A3B-Instruct mit 80 Milliarden Parametern und einem rechnerischen Speicherbedarf von rund 160 GB bei BF16-Präzision.
Viele Nutzer bei KI-Inferenz
Auch bei der KI-Inferenz ist der Grafikspeicher entscheidend. Je mehr Anfragen ein Modell gleichzeitig verarbeitet, desto mehr Speicher benötigt es in der Regel. Mit 384 GB bietet der GEX430 genug Spielraum, um eine Vielzahl an Nutzern parallel zu bedienen.
Das hilft dem Support-Chatbot eines Online-Shops, wenn nach einer Rabattaktion plötzlich viele Kunden gleichzeitig schreiben. Genauso profitiert ein interner Wissensassistent, den zu Stoßzeiten große Teile der Belegschaft parallel nutzen.
Mehrere LLMs gleichzeitig betreiben
Nicht jedes KI-Modell kann alles gleich gut. Einige sind auf allgemeine Aufgaben spezialisiert, andere auf Programmierung, Spracherkennung oder die Verarbeitung von Dokumenten. In Unternehmen kann es deshalb sinnvoll sein, mehrere Modelle gleichzeitig zu betreiben.
Ein großes Sprachmodell beantwortet komplexe Kundenfragen, ein Coding-Modell unterstützt das Entwicklerteam und ein kleineres Modell sortiert eingehende Anfragen vor. Mit dem GEX430 kannst du diese Aufgaben auf vier unterschiedliche GPUs verteilen. So lassen sich mehrere Modelle parallel betreiben, ohne sie bei jeder Anfrage neu laden zu müssen – vorausgesetzt, sie passen in den verfügbaren Speicher.
KI-Training, Fine-Tuning und RAG
Mit dem GEX430 kannst du bestehende KI-Modelle an spezielle Aufgaben anpassen. Beim Fine-Tuning lernt ein Modell beispielsweise Fachbegriffe, Schreibweisen oder bestimmte Abläufe deines Unternehmens. Verfahren wie LoRA reduzieren dabei den Trainingsaufwand, weil nur ein kleiner Teil der Modellparameter angepasst wird.
Kombinierst du das Modell mit Retrieval-Augmented Generation (RAG), kann es zusätzlich Fragen auf Basis deiner eigenen Wissensdatenbank beantworten. Dabei greift es während einer Anfrage auf passende Dokumente und Informationen zurück, ohne dafür neu trainiert werden zu müssen.
Auch das Training kleinerer Modelle von Grund auf ist möglich. Je nach Trainingsverfahren verteilst du die Daten oder Berechnungen auf mehrere GPUs, die parallel arbeiten. Praktische Anwendungsfälle reichen von Bilderkennung in der Qualitätskontrolle bis zu Modellen, die eingehende E-Mails automatisch sortieren.
3D-Rendering, Videoverarbeitung und weitere Anwendungsfälle
3D-Rendering profitiert ebenso vom GEX430. Geeignete Rendering-Programme können die vier GPUs parallel nutzen, indem sie beispielsweise unterschiedliche Bilder einer Animation berechnen. Mit insgesamt 384 GB VRAM steht außerdem viel Speicher für komplexe Szenen mit detaillierten Texturen zur Verfügung.
Die RT Cores der 4. Generation berechnen Licht, Schatten und Spiegelungen direkt in der Hardware. Aber auch für Videoverarbeitung, wissenschaftliche Simulationen oder Data Science liefert der Server die nötige Power.
Unsere GPU-Line wächst immer weiter
Dieses Jahr bekam unsere GPU-Line einen komplett neuen Anstrich. Alle Server sind nun mit aktuellen GPUs ausgestattet und auch die Auswahl hat sich auf vier Server verdoppelt. Damit bieten wir dir noch mehr Möglichkeiten, den passenden Server für deine speziellen Workloads zu finden.
Du kannst auch verschiedene Server kombinieren. Nicht jedes Modell braucht insgesamt 384 GB VRAM. Kleinere Embedding-Modelle oder Spracherkennung können beispielsweise auf einem GEX45 mit 24 GB VRAM laufen. Der GEX430 übernimmt währenddessen die rechenintensiveren Aufgaben. So kannst du die Hardware gezielt auf die Anforderungen deiner Anwendungen abstimmen.
Dein KI-Workload, deine Wahl
Ob Multi- oder Single-GPU: Unsere GPU-Line bietet dir den Server, der zu deinem KI-Workload passt.
Digitale Souveränität
Viele Unternehmen wollen LLMs nutzen, ohne sensible Daten an Drittanbieter zu schicken. Bei uns betreibst du einen dedizierten GPU-Server komplett unter deiner Kontrolle – und das auf Hardware in der EU, bei einem deutschen Anbieter. Mit einer entsprechend konfigurierten Umgebung bleiben dabei auch sensible Quellcodes, Kundendaten und interne Dokumente auf deiner Infrastruktur.
Damit schaffst du gute Voraussetzungen, um Datenschutz- und Compliance-Anforderungen umzusetzen. Gleichzeitig behältst du die Kontrolle über Modelle, Daten und Kosten.
