Engineering

Container Registry in der Hetzner Cloud im Lasttest

20. November 202610 min Lesedauer
Hero--cr-load-testing-Hetzner-Blog.webp
TL;DR
Wir wollten herausfinden, wie leistungsfähig eine selbst gehostete Container Registry in der Hetzner Cloud ist und wo ihre Leistungsgrenzen liegen. Dafür richteten wir die Open-Source-Software Harbor auf verschiedenen Hetzner Cloud Servern ein und simulierten mehrere Clients, die Container-Images unterschiedlicher Größe und mit unterschiedlich vielen Layern hoch- und herunterluden. Unsere Tests zeigten, dass der größte Engpass von der Servergröße abhängt. Bei kleineren Cloud Servern begrenzte vor allem die CPU-Leistung die Performance. Größere Server erreichten dagegen bei anhaltender Last die maximale Schreibgeschwindigkeit der Hetzner Cloud Volumes von rund 200 MB/s. Kleine Images oder Images mit vielen Layern beanspruchten die CPU zusätzlich, während die RAM-Auslastung vergleichsweise gering blieb. Insgesamt bestätigen unsere Ergebnisse, dass sich Hetzner Cloud Server gut für den Betrieb einer Harbor-basierten Container-Registry eignen, insbesondere für kleine bis mittelgroße Teams und Projekte.

Container sind eine weitverbreitete Methode, um Softwarekomponenten unabhängig von ihrer Umgebung auszuführen und voneinander zu isolieren. Besonders moderne Cloud-Infrastrukturen setzen stark auf Containerisierung, beispielsweise um containerisierte Workloads mit Kubernetes auf verschiedene Systeme zu verteilen. Damit sich Container-Images, die lokal oder in CI/CD-Umgebungen erstellt werden, auf mehreren Systemen bereitstellen lassen, kann eine Container Registry als zentraler Speicherort dienen.

Im Folgenden finden wir heraus, wie leistungsfähig eine selbst gehostete Container Registry auf einem einzelnen Hetzner Cloud Server ist und welche Performance zu erwarten ist.

Content-cr-load-testing-1-Hetzner-Blog.svg

Eine Container Registry aufsetzen

Bevor du eine Registry testen kannst, musst du sie erst einmal aufsetzen. Dafür stehen verschiedene Open-Source-Lösungen zur Verfügung, die Container-Images gemäß der OCI Image Format Specification speichern und über die OCI Distribution Specification verteilen. Eine davon ist die Software Harbor. Harbor lässt sich unkompliziert auf einem Hetzner Cloud Server wie dem CPX42 mit Debian als Betriebssystem installieren. Dazu musst du einfach der offiziellen Installationsanleitung folgen.

Für unsere Tests richteten wir Harbor 2.15.1 auf einem CPX42 (8 vCPUs, 16 GB RAM) mit Debian 13 ein und nutzten ein Hetzner Cloud Volume mit 500 GB zum Speichern der Images. Optionale Harbor-Funktionen wie das Scannen auf Sicherheitslücken deaktivierten wir für die Tests. Weitere Servertypen betrachten wir im späteren Verlauf.

Teststrategie

Da es viele verschiedene Möglichkeiten gibt, Softwarekomponenten zu testen, ist es wichtig, die Testziele vorab festzulegen. Unser Ziel war es, mit einer einfachen und schnellen Methode die Performance beim Hoch- und Herunterladen von Container-Images (Push und Pull) unter verschiedenen Hardware- und Softwarekonfigurationen zu ermitteln.

Dafür wollten wir:

  • Statistiken zur Auslastung der Rechenressourcen (z. B. CPU und RAM) erfassen,
  • Statistiken zur Push- und Pull-Performance (z. B. Dauer und Datendurchsatz) sammeln,
  • die einzelnen Tests innerhalb weniger Minuten durchführen und
  • einen einfachen Testaufbau nutzen, der wenig zusätzliche Infrastruktur erfordert.

Unsere Teststrategie sah vor, dass ein einzelnes Tool zwei zentrale Komponenten steuert: einen Lastgenerator, der die Container Registry über ihre Distribution API belastete, und ein Monitoring-Tool, das die Ressourcenauslastung des Hetzner Cloud Servers erfasste, auf dem die Registry läuft.

Content-cr-load-testing-2-Hetzner-Blog.webp

Der Testaufbau war zwar relativ einfach und lieferte schnell Ergebnisse, allerdings verteilten wir weder die Lasterzeugung noch die Registry selbst auf mehrere Hosts. Daher konnten Leistungsschwankungen durch andere Hetzner Cloud Server auf demselben Host die Testergebnisse leicht beeinflussen.

Außerdem musste der Server, der die Testlast erzeugte, mehr Rechenleistung als der Registry-Server bieten und über die gleiche Netzwerkbandbreite verfügen. So wollten wir verhindern, dass er selbst zum Flaschenhals wird. Für die folgenden Tests nutzten wir einen CPX62 (16 vCPUs, 32 GB RAM) am selben Standort.

Ein Tool für Lasttests entwickeln

Nachdem wir unsere Teststrategie festgelegt hatten, entwickelten wir ein Kommandozeilen-Tool auf Basis von Go, das die Tests durchführte. Die nebenläufigen Goroutinen von Go eigneten sich besonders gut für diesen Anwendungsfall.

Zunächst bereitete das Tool die Registry auf den anstehenden Test vor. Dazu erstellte es alle Ressourcen, die während des Tests unverändert blieben, beispielsweise Benutzer und Projekte (Organisationseinheiten in Harbor).

Anschließend konnte das Tool verschiedene Szenarien ausführen, die das Verhalten von Clients bei der Interaktion mit der Registry simulierten. Jedes Szenario wurde in einer Konfigurationsdatei definiert. Darin legten wir fest, mit welcher Wahrscheinlichkeit Images hoch- oder heruntergeladen werden und welche Größen und wie viele Layer die Images hatten.

Außerdem konnten wir festlegen, wie viele Clients das Tool parallel simulieren sollte und wie lange der Test dauerte. Jeder Client lief in einer eigenen Goroutine und meldete seine Aktionen und Ergebnisse an die zentrale, koordinierende Goroutine zurück.

Eine weitere Goroutine rief regelmäßig per SSH Statistiken zur Ressourcenauslastung des Servers ab, auf dem die Registry läuft.

Content-cr-load-testing-3-Hetzner-Blog.svg

Nach Ablauf der festgelegten Testdauer und Abschluss aller Push- und Pull-Vorgänge erstellte das Tool eine Zusammenfassung und speicherte detaillierte Diagnosedaten in mehreren Dateien. So konnten wir später verschiedene Testdurchläufe und Konfigurationen miteinander vergleichen.

Alle Images wurden zufällig generiert, damit die Deduplizierung von Harbor die Testergebnisse nicht beeinflusste. Die Layer wurden dabei direkt aus dem Arbeitsspeicher über die Netzwerkschnittstelle übertragen.

Testszenarien festlegen

Für unsere Tests haben wir vier verschiedene Szenarien genutzt.

Szenario 1 „Push and Pull“ sollte die typische Nutzung einer Container Registry simulieren. Jeder simulierte Client lud unabhängig von den anderen Clients Images hoch oder herunter. Die Wahrscheinlichkeit lag bei 75 % für Downloads (Pull) und 25 % für Uploads (Push). Die Größe und Anzahl der Layer variierten bei jedem Image, lagen aber im Durchschnitt bei etwa 250 MB und 25 Layern.

Szenario 2 „Push Large“ führte ausschließlich Uploads mit sehr großen Images von etwa 10 GB und 25 Layern durch. Ziel dieses Szenarios war es, eine möglichst hohe und gleichmäßige Last zu erzeugen.

Szenario 3 „Push Many Layers“ (250 MB/90 Layer) und Szenario 4 „Push Small“ (10 MB/25 Layer) simulierten unterschiedliche Arten von Images. Damit wollten wir herausfinden, wie sich die Größe und Anzahl der Layer auf die Performance auswirkten.

Testergebnisse

Bei jedem Testlauf wurden nach fünf Minuten keine weiteren neuen Aktionen gestartet. Bereits laufende Push- und Pull-Vorgänge ließen wir jedoch abschließen.

Vergleich unterschiedlicher Client-Zahlen

Für diesen Vergleich verwendeten wir Szenario 1 („Push and Pull“), da es die tatsächliche Nutzung einer Container Registry möglichst realistisch abbildet.

Content-cr-load-testing-4-Hetzner-Blog.svg

Szenario 1: Push and Pull

Der Vergleich des Szenarios mit 5 bzw. 25 parallelen Clients ergab auf dem CPX42 nur eine geringfügig höhere durchschnittliche CPU- und Speicherauslastung. Ein ähnliches Bild ergab sich bei den durchschnittlichen Netzwerkgeschwindigkeiten für den Datenempfang und -versand sowie den damit zusammenhängenden Lese- und Schreibgeschwindigkeiten des Datenspeichers. Das deutet darauf hin, dass die Registry bereits mit fünf Clients weitgehend ausgelastet war.

Content-cr-load-testing-5-Hetzner-Blog.svg

Szenario 1: Push and Pull

Da wir die Tests auf regulären Hetzner Cloud Servern mit geteilten Ressourcen durchführten, waren Leistungsschwankungen zu erwarten. Diese konnten durch andere Server auf demselben Host oder durch den Netzwerk-Stack verursacht worden sein. Außerdem benötigte Harbor selbst Zeit und Ressourcen, um eingehende Anfragen und Daten zu verarbeiten.

Bei 25 gleichzeitig aktiven Clients dauerte der Upload eines Images durchschnittlich 10 Sekunden, bei 5 Clients dagegen nur 3 Sekunden. Insgesamt konnten mit mehr parallelen Clients jedoch mehr Images in derselben Zeit hochgeladen werden. Beim Herunterladen der Images stieg die Gesamtleistung proportional zur Anzahl der Clients.

Content-cr-load-testing-7-Hetzner-Blog.svg

Szenario 1: Push and Pull

Das gleiche Muster zeigte sich beim Datendurchsatz der einzelnen Clients. Je mehr Clients gleichzeitig aktiv waren, desto geringer fiel die Upload- und Downloadgeschwindigkeit pro Client aus. Insgesamt konnten bei mehr parallelen Clients aber größere Datenmengen in derselben Zeit hochgeladen werden. Das lag vermutlich daran, dass die Rechen- und Netzwerkressourcen gleichmäßiger ausgelastet wurden. Die Last ließ sich besser auf die CPU-Kerne verteilen und ungenutzte Kapazitäten während der Wartezeiten anderer Verbindungen konnten genutzt werden. Mit 25 Clients erreichten wir so einen um bis zu 60 % höheren Gesamtdurchsatz.

Content-cr-load-testing-8-Hetzner-Blog.svg

Szenario 1: Push and Pull

Vergleich der verschiedenen Szenarien

Die gemessenen Spitzenwerte bei der Schreibgeschwindigkeit zeigen, dass wir das volle Potenzial der Hetzner Cloud Volumes in verschiedenen Szenarien mit rund 300 MB/s ausschöpfen konnten (Hetzner Cloud Volume Limits). Lediglich im Szenario „Push Small“, bei dem unsere simulierten Clients Images mit einer Größe von rund 10 MB und jeweils 25 Layers hochluden, war der zusätzliche Verarbeitungsaufwand so hoch, dass wir die maximale Schreibgeschwindigkeit der Cloud Volumes nicht erreichten.

Content-cr-load-testing-6-Hetzner-Blog.svg

Vergleich aller Szenarien

Ein Vergleich der durchschnittlichen CPU-Auslastung in den vier Testszenarien zeigt, dass insbesondere kleine Images oder Images mit vielen Layern die CPU stark beanspruchten. Das lag vermutlich am höheren Verarbeitungsaufwand für die größere Menge an Metadaten bei diesen Image-Typen.

Content-cr-load-testing-9-Hetzner-Blog.svg

Vergleich aller Szenarien

Vergleich verschiedener Hardware

Der Vergleich verschiedener Hetzner Cloud Server im Szenario „Push and Pull“ zeigte, dass die CPU beim CPX12 (1 vCPU, 2 GB RAM) und CPX22 (2 vCPUs, 4 GB RAM) ein Flaschenhals war. Während die CPU-Auslastung beim CPX32 (4 vCPUs, 8 GB RAM) und CPX42 (8 vCPUs, 16 GB RAM) kurzzeitig 100 % erreichte, lag sie im Durchschnitt deutlich darunter. Das deutet darauf hin, dass bei diesen größeren Servern stattdessen die Schreibgeschwindigkeit der Hetzner Cloud Volumes die Leistung begrenzte. Das vorherige Diagramm zur Schreibgeschwindigkeit bestätigt, dass wir dort den erwarteten Maximalwert erreichten.

Der Arbeitsspeicherverbrauch lag bei allen Servertypen zwischen 1 und 2 GB. Der zusätzliche Arbeitsspeicher der größeren Modelle schien keinen nennenswerten Einfluss auf die Performance zu haben.

Content-cr-load-testing-10-Hetzner-Blog.svg

Szenario 1: Push and Pull

Schauen wir uns einen einzelnen Testlauf auf dem CPX42 mit Szenario 2 („Push Large“) genauer an. Damit wollten wir die Registry einer konstant hohen Last aussetzen. Der belegte Speicherplatz nahm gleichmäßig und ohne größere Ausschläge zu. Das deutet darauf hin, dass wir die Image-Daten kontinuierlich empfangen und ohne Unterbrechungen auf den Datenträger schreiben konnten. Nach einiger Zeit sank die Schreibgeschwindigkeit von rund 300 MB/s auf 200 MB/s. Das entsprach den erwarteten Werten für kurzzeitige Spitzenlasten und dauerhafte Schreibvorgänge. Die Registry nutzte damit die volle Leistung des Datenträgers aus. Die Netzwerkgeschwindigkeit schwankte zwar deutlich stärker, folgte insgesamt aber einem ähnlichen Verlauf wie die Schreibgeschwindigkeit. Das deutet darauf hin, dass das Netzwerk bei diesem Testlauf kein Flaschenhals war.

Content-cr-load-testing-disk-usage-Hetzner-Blog.svg

Szenario 2: Push Large

Das gleiche Szenario auf einem CPX12 zeigte ein deutlich anderes Bild. Auch hier verliefen die Schreibgeschwindigkeit des Datenträgers und die Netzwerkgeschwindigkeit ähnlich. Das war zu erwarten, da wir nur Daten auf den Datenträger schreiben konnten, die wir zuvor empfangen hatten. Beide Geschwindigkeiten schwankten während des gesamten Tests stark, während die CPU-Auslastung konstant bei 100 % lag. Das deutet darauf hin, dass die CPU hier der Flaschenhals war.

Content-cr-load-testing-cpu-graph.svg

Szenario 2: Push Large

Fazit

Sowohl die gesammelten Daten aus den verschiedenen Konfigurationen als auch die einzelnen Testdurchläufe zeigen ein einheitliches Bild: Die Schreibgeschwindigkeit der Hetzner Cloud Volumes ist der größte Engpass unseres Registry-Setups. Bei kleineren Servern mit weniger als 4 CPU-Kernen begrenzte zusätzlich die CPU-Leistung die Performance. Auch bei kleineren Images oder Images mit vielen Layern wurde die CPU stärker beansprucht und konnte schneller zum begrenzenden Faktor werden. In unseren Tests stieg die CPU-Auslastung in diesen Szenarien um etwa 20 Prozentpunkte. Der RAM-Verbrauch spielte dagegen kaum eine Rolle und stieg auch bei hoher Last nicht wesentlich an.

Unser Registry-Setup konnte problemlos mehrere parallele Clients bedienen, die Images hoch- und herunterluden. Dabei verteilten sich die verfügbaren Rechenressourcen auf die aktiven Verbindungen. In unseren Tests zeigte sich bei der Ressourcenauslastung kein wesentlicher Unterschied zwischen 5 und 25 parallelen Clients. Allerdings stieg der Gesamtdurchsatz mit zunehmender Anzahl an Clients.

Unsere Testreihe bestätigt, dass sich Hetzner Cloud Server sehr gut für den Betrieb einer Harbor-basierten Container Registry eignen. Bei größeren Servern mit mindestens 4 CPU-Kernen ist die Schreibgeschwindigkeit der Hetzner Cloud Volumes mit dauerhaft rund 200 MB/s voraussichtlich der erste begrenzende Faktor.

Wir gehen davon aus, dass sich das vorgestellte Setup gut für kleine bis mittelgroße Teams und Projekte eignet. Insbesondere durch die große Auswahl an Speichergrößen der Hetzner Cloud Volumes lassen sich Lösungen für viele verschiedene Anwendungsfälle umsetzen.

Größere Hetzner Cloud Server als der CPX42 können sinnvoll sein, wenn zusätzliche Harbor-Funktionen wie das Scannen auf Sicherheitslücken aktiviert werden. Außerdem können Nutzer die Leistungsgrenzen der Hetzner Cloud Volumes umgehen, indem sie die lokalen Datenträger der Hetzner Cloud Server oder die S3-Schnittstelle von Harbor verwenden.

Engineering

Alexander Ebhart

Senior Software Developer, Software Development Networking

Artikel teilen