Allgemein

RTX 3090 vs RTX PRO 4000 (Blackwell): Inference, Training und Stromkosten

Übersetzungen: EN

Ich wollte wissen, wie sich meine lokale RTX 3090 (gebraucht, ~700€) gegen eine oder mehrere RTX PRO 4000 Blackwell (145W, neu ~1400€) schlägt, einmal für LLM-Inference (Single User / Scripts / eigene Agents) und einmal fürs Fine-Tuning von Bildmodellen (AI-toolkit).

Mein Fazit vorweg: bei llama.cpp ist die 3090 oft schneller im Decoding, beim Training ist die RTX PRO 4000 bei mir leicht vorne, und bei den Stromkosten pro Token/Epoch ist die RTX PRO 4000 deutlich besser.

Zwischenstand und Freizeitprojekte

Ich komme viel zu selten dazu, hier zu schreiben. Wahrscheinlich liegt das daran, dass ich lieber an privaten Projekten weiterbastle, als Texte zu verfassen. Vielleicht schaffe ich es, das in Zukunft zu ändern.

Als kleinen Anfang möchte ich hier nach und nach Projekte vorstellen, die ich in meiner Freizeit mache. Damit es etwas greifbarer wird, hier schon mal ein Überblick:

  • Mein eigenes Mainboard für den 3D-Drucker (Voron 2.4), das ich seit Jahren nutze, habe ich Centipede getauft. Es unterstützt bis zu 10 Stepper, nutzt einen STM32H723 und darauf läuft Duet3D. Ich habe zwei Stück, die über CAN kommunizieren; eines nutze ich aktuell für den ERCF (Enraged Rabbit Carrot Feeder) am Drucker.
  • Ein Tool zur Kalibrierung meines Beamers (aktuell JVC X5000), mit dem ich die Kalibrierung prüfen und auch die interne LUT + Matrix im Beamer aktualisieren kann.
  • Ein Tool in Go, das mir eine Plattform bietet, um Bild-Generierungsmodelle zu finetunen, entweder auf meiner Workstation oder über Vast.ai bzw. RunPod. Dafür habe ich mir einen PC gebaut mit einer gebrauchten RTX 3090, 128 GB RAM und einem AMD EPYC 7313P auf einem Supermicro H12SSL Board. Dabei werden Bilder, Prompts und Trainingstools sauber verwaltet.
  • Temperatursensoren auf ESP32-Basis, in der neuesten Version mit 2,66-Zoll-E-Paper-Display.
  • Ein Temperatursensor auf nRF52832-Basis mit LiFePO4-Akku und SHT41-Sensor. Er sendet die Daten per BTHome an Home Assistant. Das war auch mein erster Versuch, eine eigene PCB-Antenne zu designen, spannend, weil ich das Pi-Netzwerk nicht selbst messen kann und mir dafür die Tools fehlen. Trotzdem funktioniert es bisher echt gut. Bis jetzt läuft er überall im Haus zuverlässig. Empfangen werden die Daten von ein paar im Haus verteilten Shellys, die als BLE-Proxy für Home Assistant eingestellt sind.
  • Eine Budgetplanungssoftware für die eigenen Finanzen.
  • Eine Einkaufs-App für iOS.

Nächstes Projekt: Ein E-Paper-Frame mit einem 13,3-Zoll-Spectra-6-E-Paper-Display.