DeepSeek veröffentlicht DeepInfer als Open Source, die Inferenz-Engine hinter den eigenen Diensten

DeepSeek hat DeepInfer unter der Apache License 2.0 freigegeben [1][2]. DeepSeek gibt an, dass DeepInfer das Inferenz-Framework ist, das seine groß angelegten Produktionsdienste antreibt. Der Release führt DeepSeek-V4.1-Flash für Offline-Inferenz aus, und der GitHub-Beitrag erreichte am 20. Oktober 2026 die Spitze von Hacker News [2][3].

Was enthält das DeepInfer-Release?

Die README listet optimierte Kernel aus früheren Open-Source-Projekten von DeepSeek auf, darunter FlashMLA, DeepGEMM und DeepEP, sowie Attention Data Parallelism und Mixture-of-Experts Expert Parallelism [2]. Enthalten ist außerdem DSpark, eine speculative-decoding-Methode, die Tokens entwirft und Konfidenzschätzungen zur Planung der Verifikation nutzt [2].

Batch-invariante Inferenz hält Ergebnisse unabhängig von der Batching-Struktur der Anfragen identisch, und deterministisches Sampling liefert auf Nvidia-Hardware identische Ausgaben bei gleichen Eingaben und Einstellungen [2]. Strukturierte Ausgaben können die Generierung auf eine Regex, ein JSON-Schema oder eine EBNF-Grammatik beschränken [2].

Der Standard-Checkpoint ist DeepSeek-V4.1-Flash-1017 und wird beim ersten Start von Hugging Face heruntergeladen [2]. DeepSeek gibt an, dass die Benchmarks auf 4 SM100 GPUs für Prefill und 64 für Decode gemessen wurden [2].

Warum ist die Unterstützung von Huawei Ascend relevant?

DeepInfer unterstützt Nvidia SM100 GPUs und Huawei Ascend 950 NPUs, wie aus der README hervorgeht. Die Build-Anweisungen enthalten ein separates Ascend-Ziel, das Huaweis CANN-9.2-Toolkit erfordert, neben CUDA 13 für Nvidia [2].

Dadurch wird der eigene Serving-Stack von DeepSeek auf einem chinesischen Beschleuniger nutzbar, nicht nur auf Nvidia-Hardware. Die README vergleicht die Leistung der beiden Plattformen nicht [2].

Was fehlt noch?

Dem ersten Release von DeepInfer fehlen ein KV-Cache-System, Disaggregation und Load-Balancing für einen vollständigen Dienst. Die README nennt diese als Voraussetzung für einen kompletten Inferenzdienst und gibt an, dass der Großteil der Engine-Funktionalität für Disaggregation bereits implementiert ist [2].

Am 20. Oktober 2026 sammelte der Hacker-News-Thread zum Release mehr als 2.100 Punkte, die höchste Punktzahl aller Beiträge im Hacker-News-Scan dieses Tages [3]. Bei der Prüfung des Repositories am 21. Oktober zeigte GitHub etwa 12.400 Sterne [1]. Wir berichteten bereits über das V4.1-Flash-Update und die Search-API von DeepSeek (theaipin.com/trends/deepseek-updates-v4-1-flash-and-opens-search-api).

Unsere Einschätzung

Meinung: Die Freigabe der Produktions-Engine und nicht nur einer Spielversion ist ein starker Open-Source-Schritt, und die Ascend-Unterstützung ist der strategische Detailpunkt. Ohne die KV-Cache- und Disaggregation-Schichten werden die meisten Teams sie jedoch eher nutzen, um von den Tricks von DeepSeek zu lernen, als um morgen Traffic zu bedienen.

Was wir nicht verifizieren konnten

• Das genaue Veröffentlichungsdatum und die Uhrzeit des Repositories; wir datieren es nach dem Hacker-News-Beitrag vom 20. Oktober 2026.
• Die Throughput-Angaben von DeepSeek, die nur als Diagramme im Repository dargestellt sind.
• Die Leistung von DeepInfer auf Huawei Ascend 950 im Vergleich zu Nvidia SM100.