Lokale KI im Unternehmen: Was ein DGX Spark wirklich kostet
Wer lokale KI durchrechnet, beginnt meist beim Gerät. Das reicht nicht: Neben der Hardware gehören Integration, Strom, Wartung und die tatsächliche Auslastung in die Rechnung.
Die Posten, die wirklich zählen
| Posten | Einmalig | Läuft weiter |
|---|---|---|
| Hardware | hoch | — |
| Aufbau und Integration | mittel | — |
| Strom, Betrieb und Updates | — | abhängig von Nutzung und Service-Level |
| Schulung der IT | einmalig | — |
| Cloud-Abonnement | — | pro Nutzer und Monat |
Welche Zeile die Gesamtkosten dominiert, hängt von Nutzerzahl, Auslastung, Strompreis, Supportbedarf und dem verglichenen Cloud-Angebot ab.
Rechenbeispiel, 80 Nutzer
80 angelegte Konten sind nicht dasselbe wie 80 gleichzeitige Anfragen. Ob ein DGX Spark ausreichend ist, hängt vom Modell, der Quantisierung, Kontextlänge, Parallelität und der akzeptierten Antwortzeit ab. Das muss mit einer Lastprobe für den konkreten Anwendungsfall gemessen werden.
- Hardware: NVIDIA listet die DGX Spark Founders Edition zum Zeitpunkt dieser Prüfung für 4.800 €; Händlerpreise und Verfügbarkeit können abweichen
- Aufbau, Zugriffskonzept, Schulung: einmalig, als Festpreis
- Strom, Wartung, Backups und Betrieb: laufend, intern oder als Service
Für einen belastbaren Vergleich setzen Sie auf der Cloud-Seite den tatsächlichen Preis Ihres Angebots ein. Ein rein illustratives Beispiel: 80 Nutzer × 25 € pro Monat × 12 Monate ergeben 24.000 € pro Jahr. Dem stehen lokal Hardware, Implementierung, Strom, Wartung und interner Zeitaufwand gegenüber.
Der Break-even ergibt sich aus lokale Gesamtkosten / vermiedene monatliche Cloud-Kosten. Ohne die tatsächlichen Preise, die erwartete Auslastung und eine angenommene Nutzungsdauer lässt sich weder ein Zeitraum von zwei bis drei Jahren noch ein wirtschaftlicher Vorteil seriös behaupten. Auch nach dem Break-even ist die Nutzung nicht kostenlos: Strom, Wartung und Personal bleiben.
Wovon die Rechnung kippt
Drei Dinge machen lokale KI unwirtschaftlich:
- Sehr geringe Nutzung. Bei wenigen oder selten aktiven Nutzern ist ein Cloud-Angebot häufig wirtschaftlicher.
- Wechselnde Anwendungsfälle. Jedes neue Szenario kostet Anpassung, lokal wie in der Cloud.
- Keine IT im Haus. Wer den Betrieb einkaufen muss, zahlt die Pauschale, die bei mir im Paket Betrieb steht.
Was ich vorher prüfen würde
Zwei Anwendungsfälle mit repräsentativen Dokumenten durchspielen und dabei Qualität, Tokens pro Sekunde, Zeit bis zum ersten Token und Parallelität messen. Ein Erstgespräch kann die Testkriterien klären; eine belastbare Leistungs- und Wirtschaftlichkeitsaussage braucht anschließend einen dokumentierten Test.
Quelle für Spezifikation und Listenpreis: NVIDIA DGX Spark.