Vor Kurzem haben wir unser Inference Experiment gestartet: Dabei handelt es sich um eine Inference-API, mit der du LLMs nutzen kannst, die wir auf unserer Infrastruktur hosten. Du kannst jeden beliebigen Agenten, jeden Harness oder Coding-Tool damit verbinden und unser LLM kostenlos nutzen. So kannst du LLMs auf leistungsstarker Hardware ausprobieren, während wir Erfahrungen mit dem Betrieb solcher Modelle sammeln.
Nachdem unser Inference Experiment nun seit einer Woche läuft, möchten wir dir einige Einblicke geben, wie das Experiment funktioniert, was wir bisher gelernt haben und wie die Zukunft dafür aussehen könnte. Dazu möchten wir dir zunächst eine Timeline der „Hetzner Experiments Platform“ präsentieren.
T - 4 Monate: Wir stellen Hetzner Experiments Platform und OpenClaw vor
Seit wir unseren Kunden GPU-Server anbieten, haben wir verschiedene Möglichkeiten getestet, LLMs intern zu betreiben und für Inference verfügbar zu machen. Dank unserer langjährigen Erfahrung mit Kubernetes konnten wir eine interne Inference-Plattform aufbauen, mit der wir verschiedene Serverkonfigurationen und Software für die Bereitstellung von LLMs getestet haben.
Schließlich entschieden wir uns für einen Stack aus einigen GEX131-Servern, vLLM und Open WebUI. Mit dieser Kombination konnten wir einige kleinere LLMs betreiben und für bestimmte interne Anwendungen im Produktivbetrieb nutzen. Außerdem konnten wir intern größere Modelle testen und benchmarken.
Anfang 2026 wurde OpenClaw zu einem viel diskutierten Thema im KI-Bereich. Viele Enthusiasten nutzten Hetzner Cloud VMs, um OpenClaw auszuprobieren, hatten jedoch Schwierigkeiten damit, den Server dafür sicher zu konfigurieren.
Wir haben schnell eine neue Plattform aufgebaut, die es uns ermöglicht, neben OpenClaw auch andere Dienste und Produkte anbieten zu können und in Zukunft damit zu experimentieren. Sie würde schnelle Iterationen und Experimente ermöglichen, würde dabei jedoch weniger Garantien bieten als unsere ausgereifteren Produkte. Ein zentrales Merkmal wäre die Preisgestaltung: Wir würden zunächst alle Experimente komplett kostenlos anbieten.
OpenClaw bot uns außerdem die Möglichkeit, Erfahrungen mit selbst gehosteter Inference zu sammeln. Unsere OpenClaw-Instanzen waren mit unserer eigenen Inference-API vorkonfiguriert. Die API war nicht öffentlich zugänglich, sondern ausschließlich über OpenClaw nutzbar. So konnten wir das Anfragevolumen bis zu einem gewissen Grad kontrollieren und kleinere Open-Weight-Modelle in verschiedenen Konfigurationen testen. Gleichzeitig konnten wir unseren Kunden damit ein KI-Angebot bereitstellen, das vollständig in der EU betrieben wurde.
Um zu zeigen, wie einzigartig diese Experiments-Plattform ist, haben wir dafür unter experiments.hetzner.com eine eigene Benutzeroberfläche entwickelt.
Das limitierte OpenClaw Experiment lieferte uns viele Erkenntnisse::
- Kleine Modelle wie Qwen 3.6 erwiesen sich für die meisten OpenClaw-basierten Anwendungsfälle als ausreichend.
- Der GEX131 mit seiner einzelnen RTX PRO™ 6000 Blackwell GPU war für kleine LLMs ausreichend, konnte große Modelle jedoch nicht sinnvoll ausführen.
- Viele Nutzer lobten, dass das Angebot vollständig EU-basiert war.
- Die Codequalität von OpenClaw stellte ein ständiges Problem dar: Jede neue OpenClaw-Version brachte neue Herausforderungen mit sich, da die Zahl der Upstream-Bugs recht hoch war.
T - 1 Monat: Beschaffung spezialisierter Hardware
Bei Hetzner arbeiten unsere Hardware-Teams kontinuierlich an neuen Servermodellen. Eines davon war ein neuer experimenteller Server mit acht RTX PRO™ 6000 Blackwell GPUs in einem einzigen Server statt der einzelnen GPU in einem GEX131. Der Multi-GPU-Server eignet sich deutlich besser dafür, größere Modelle auszuführen.
Mit einigen dieser 8-GPU-Server könnten wir unseren Kunden größere Modelle anbieten. Das OpenClaw-Experiment hatte bereits gezeigt, dass unsere Kunden an KI-Themen und Inference interessiert sind. Die Softwarequalität von OpenClaw blieb jedoch eine Herausforderung.
Um dieses Problem zu lösen, entschieden wir uns, Inference direkt anzubieten: über eine API nach OpenAI-Spezifikation, die jeder nutzen konnte, ohne dafür OpenClaw verwenden zu müssen.
Alles, was dafür nötig war, war ein Auth-Token, das Nutzer unter experiments.hetzner.com im Reiter „Inference“ generieren konnten.
T - 2 Wochen: Benchmarking und Auswahl der richtigen Modelle
Was folgte, waren umfangreiche Benchmarking- und Marktrecherchen. Anschließend haben wir eine Liste mit LLMs erstellt, die wir anbieten wollten:
• GLM-5.2
Qwen sollte aus dem OpenClaw Experiment als kleineres „Baseline“-Modell übernommen werden. Kimi sollte eine auf Coding ausgerichtete Alternative zu den beiden größten Modellen GLM und DeepSeek bieten. Jedes dieser Modelle stellte die neueste Version der jeweiligen LLM-Familie dar.
Die einzige Ausnahme war Kimi: K3 war bereits erschienen und versprach sehr gute Ergebnisse in öffentlichen Benchmarks. Die sehr spezifischen Lizenzanforderungen von K3 erlaubten es uns jedoch nicht, das Modell als kostenloses Experiment anzubieten.
T - 1 Woche: Letzte Vorbereitungen
Als letzte Vorbereitungen für das Experiment wurden einige interne Komponenten überarbeitet, um die erwartete hohe Nachfrage bewältigen zu können.
Das Routing der Inference-Anfragen wurde deutlich verbessert, indem wir llm-d einführten und Änderungen an einigen Routing-Komponenten vornahmen, die wir inhouse entwickelt hatten. Features wie das Offloading des KV-Cache in den RAM des Hosts versprachen ebenfalls erhebliche Performance-Verbesserungen.
Außerdem fügten wir weitere unserer speziell angefertigten 8-GPU-Server hinzu und wiesen jeden davon ausschließlich dem Betrieb von DeepSeek, GLM oder Kimi zu. Die GEX131-Single-GPU-Server wurden für das Serving des kleineren Qwen-3.6-Modells eingesetzt.
T - 0 Stunden: Launch
Die Nachfrage nach dem Inference Experiment ließ sich im Vorfeld nur schwer einschätzen. Um auf Nummer sicher zu gehen, erfolgte der Launch daher gestaffelt über mehrere Tage:
Am 7. August wurden die neuen Modelle und das Inference Experiment zunächst still auf der Experiments-Plattform aktiviert. So hatten die ersten Nutzer über das Wochenende Zeit, mögliche Probleme zu entdecken, die uns entgangen waren. Nach dem Wochenende, am 10. August, begannen wir, das Experiment aktiv an unsere Kunden zu kommunizieren. Wir gingen davon aus, dass Mundpropaganda die Nachfrage mit der Zeit ebenfalls erhöhen würde.
T + 6 Stunden: Erreichen der Kapazitätsgrenzen
Es sprach sich schnell herum: Innerhalb weniger Stunden stellten wir einen starken Anstieg der Anfragen an die Inference-API fest. Die Nachfrage übertraf selbst unsere optimistischsten Erwartungen und wuchs weiterhin schnell. Qwen 3.6, das Standardmodell für OpenClaw, erwies sich am ersten Tag als das beliebteste Modell – sowohl gemessen an der Anzahl der Anfragen als auch an den generierten Token. Auch die anderen Modelle verzeichneten eine hohe Nachfrage, lagen jedoch deutlich hinter Qwen.
Unser Setup konnte einen ausreichend hohen Token-Durchsatz erzielen, um mit den Anfragen Schritt zu halten. Allerdings stellten wir bereits einen Anstieg der Latenz fest:
Beim 99. Perzentil der Time to First Token (TTFT) kam es bei einigen Modellen kurzzeitig zu Spitzen. Insgesamt blieb die Performance jedoch noch auf einem akzeptablen Niveau und lag die meiste Zeit bei etwa 5 bis 10 Sekunden.
Eine weitere Überraschung war der enorme Anstieg der OpenClaw-Instanzen. Mit einer etwas höheren Nachfrage hatten wir zwar gerechnet, doch die Zahl der Instanzen schoss bereits am ersten Tag in die Höhe. Unser kleiner Kubernetes-Cluster für den Betrieb der OpenClaw-Instanzen erreichte schnell seine Kapazitätsgrenze. Daher deaktivierten wir den OpenClaw-Reiter auf experiments.hetzner.com für alle Accounts, die sich bis dahin noch nicht bei Hetzner Experiments Platform eingeloggt hatten.
T + 1 Tag: Bewältigung der Nachfrage
Am zweiten Tag des Experiments stieg die Anzahl der Anfragen für alle Modelle erneut drastisch an.
Dabei zeichneten sich erste Nutzungsmuster ab:
- Qwen blieb weiterhin beliebt und verzeichnete sehr viele kleine Anfragen.
- GLM und Kimi wurden auch stark nachgefragt, aber im Verhältnis viel weniger als die anderen beiden Modelle. GLM wies von allen Modellen die höchste Latenz auf und erforderte weiteres Fine-Tuning.
- Wir protokollieren keine Prompt-Daten, aber unsere Token-Metriken deuteten darauf hin, dass viele Nutzer am ersten Tag Benchmarks ausführten.
Diese Anzahl an Anfragen überstieg jedoch die Kapazität unserer Experiment-Infrastruktur. Time to First Token (TTFT) stieg massiv an und erreichte beim 99. Perzentil Spitzenwerte von fast 10 Minuten, wodurch die API zeitweise praktisch unbrauchbar wurde. Unser Experiment war nicht für eine derart hohe Anzahl an Anfragen ausgelegt – und das machte sich bemerkbar.
Besonders herausfordernd war die hohe Anzahl kleiner, gleichzeitiger Anfragen. Um damit besser umgehen zu können, reduzierten wir die Anzahl der parallelen Anfragen, die wir akzeptierten.
Außerdem erhielten wir viel Feedback zu den Reasoning-Einstellungen der verschiedenen Modelle, die einige Nutzer als wenig intuitiv empfanden.
T + 2 Tage: Weitere Anpassungen, mehr Hardware
Die Nachfrage nach Inference stieg noch weiter und brachte unsere Inference-Infrastruktur an ihre Grenzen. Während die Anzahl der Anfragen an den API-Endpunkt zurückging, stieg die Gesamtzahl der Input-Token weiter an.
Um mehr reine Rechenleistung bereitzustellen, konnten wir einige weitere spezielle 8-GPU-Server bauen und sie dem Pool für das Serving von GLM hinzufügen, da dieses Modell zu diesem Zeitpunkt die größten Schwierigkeiten hatte.
Die Nutzungsmuster stabilisierten sich nun auf dem Niveau, das wir auch für den Rest der Woche beobachteten:
- DeepSeek verzeichnete immer mehr komplexe Anfragen mit sehr großen Mengen an Input- und Output-Token.
- Qwen verzeichnete weiterhin eine sehr hohe Anzahl kleinerer Anfragen.
- GLM und Kimi verzeichneten mittelgroße Anfragen, allerdings auf einem niedrigeren Niveau als die beiden anderen Modelle.
- Die Anfragen waren im Durchschnitt größer als am ersten Tag. Das deutete auf eine stärkere Nutzung für praktische Anwendungsfälle mit großen realen Datensätzen hin.
- Dank unserer Anpassungen erzielten alle Modelle einen höheren Durchsatz.
- Zu Spitzenzeiten mussten viele Anfragen mehrere Minuten in der Warteschlange warten, bevor ein GPU-Server überhaupt mit der Bearbeitung der Inference-Anfrage beginnen konnte.
Im Laufe der Woche probierten wir zahlreiche Verbesserungen aus: Die allgemeinen Rate Limits für Inference wurden gesenkt, damit mehr Nutzer die Möglichkeit hatten, das Experiment auszuprobieren. Einige Nutzungsmuster wirkten böswillig, daher ergriffen wir Maßnahmen, um diese durch Rate Limits einzuschränken und zu filtern.
Die tatsächliche Nutzung unterschied sich außerdem von den Mustern in unseren Benchmarks. Wir stellten fest, dass bei einigen Modellen weniger gleichzeitige Anfragen pro Instanz den höchsten Durchsatz ermöglichten. Durch diese Änderung erhöhte sich der gesamte Token-Durchsatz des Experiments.
Der Hardware-Pool wurde auch für OpenClaw erweitert. Frühe OpenClaw-Nutzer hatten noch mehr OpenClaw-Instanzen erstellt. Allerdings nahm auch die Zahl der Softwareprobleme mit OpenClaw zu: Mehrere OpenClaw-Instanzen hatten sich infolge von Nutzereingaben tatsächlich selbst falsch konfiguriert und waren dadurch in einen fehlerhaften Zustand geraten.
T + 7 Tage: Bilanz ziehen und das Experiment reduzieren
Nach einer Woche können wir bereits einiges aus dem Experiment mitnehmen:
Die Nachfrage ist deutlich höher als erwartet – sowohl hinsichtlich der Nutzerzahl als auch der Anzahl der Anfragen und der Token pro Anfrage.
Die 8-GPU-Server haben gezeigt, dass sie die großen Modelle ausführen können. Für die hohe Nachfrage reichten die wenigen Server in unserem Experiment jedoch schlicht nicht aus.
Unsere Metriken zeigten außerdem einige Flaschenhälse in der Software für das Routing und Serving der Anfragen. Um einige dieser Flaschenhälse zu beheben und Änderungen zu testen, müssen wir Hardware vorübergehend aus dem Pool für die Inference-API nehmen. Außerdem möchten wir unsere Dokumentation verbessern und um weitere Details und Tutorials ergänzen, damit Einsteiger die API leichter nutzen können.
Auch die Auswahl der LLMs werden wir anhand der erhobenen Nutzungsmetriken überprüfen. Darüber hinaus werden wir vielleicht weitere Anwendungsfälle wie Re-Ranking oder Embeddings ansehen, wie sie beispielsweise in RAG-Pipelines zum Einsatz kommen. Zusätzlich werden wir das OpenClaw Experiment und den damit verbundenen Supportaufwand kritisch überprüfen.
Das Inference Experiment wird fortgesetzt, allerdings in reduziertem Umfang: Kleinere Modelle wie Qwen 3.6 und 3.8 werden wir weiterhin anbieten. Bei großen Modellen legen wir vorerst eine Pause ein.
Probiert es unter experiments.hetzner.com gerne selbst aus. Auch in Zukunft werden wir neue Projekte starten und versuchen herauszufinden, was sonst noch alles möglich ist. Seid gespannt, was euch dort noch erwartet.
