Amazons TorchNeuron führt PyTorch-Code mit einer Konfigurationsänderung auf AWS Trainium aus

Amazon gibt an, dass das neue Backend TorchNeuron bestehenden PyTorch-Code auf AWS-Trainium-Chips mit einer einzigen Konfigurationsänderung und ohne Umschreibung ausführt [1]. Amazon wird es unter der Apache-2.0-Lizenz auf der PyTorch Conference North America am 20. Oktober 2026 als Open Source veröffentlichen, wenn Hugging Face eine öffentliche Beta zur Verfügung stellt [1][2].

Was ist TorchNeuron?

Amazon erklärt, dass TorchNeuron bestehenden PyTorch-Code auf Trainium mit einer einzigen Konfigurationsänderung und ohne Umschreibung ausführt. Es nutzt den in PyTorch integrierten Mechanismus zur Registrierung neuer Hardware, sodass Standard-Tools für Tests, Debugging und Skalierung unverändert funktionieren, so Amazon [1].

TorchNeuron unterstützt Trainium2 und Trainium3 [1]. Amazon gibt an, dass es das Backend bei jedem Build gegen Hunderttausende KI-Modelle testet und seine Performance-Kernels als Open Source veröffentlicht hat [1].

Wie verändert es Trainium für Entwickler?

Bislang erreichten Hugging-Face-Nutzer Trainium über Optimum Neuron, das auf einem PyTorch-XLA-basierten Paket mit Lazy Tensors und statischen Shapes beruhte [2]. TorchNeuron stellt Trainium stattdessen als natives Neuron-Gerät mit Eager Execution, torch.compile und PyTorchs eigenen verteilten Tools wie FSDP2 bereit [2].

Hugging Face gibt an, dass 89 % der Top-100-Textgenerierungsmodellarchitekturen mit TorchNeuron ohne Anpassung funktionieren. Das entspricht einem Vergleich mit 46 % unter Optimum Neuron v0.4.5, und Hugging Face empfiehlt nun die direkte Nutzung von Transformers, Diffusers, Accelerate, PEFT und TRL [2].

Amazon erklärt, dass TorchNeuron auch mit TorchTitan, PyTorchs nativem verteilten Trainingsframework, funktioniert [1]. Hugging Face nennt den Installationsbefehl pip install torch-neuronx [2].

Richtet sich das gegen Nvidias CUDA-Vorsprung?

TechCrunch sieht die Veröffentlichung als bisher größten Vorstoß Amazons gegen den Softwarevorteil von Nvidias CUDA [3]. Amazon gibt an, Änderungen upstream zu PyTorch beizutragen, um Code zu entfernen, der das Framework an bestimmte Chips bindet [1][3].

TechCrunch weist darauf hin, dass PyTorch-Nutzer bereits mit einer einfachen Konfigurationsänderung zu AMD-GPUs oder Apple-Chips wechseln können. Amazons Argument ist, dass Trainium mit dem Rest von AWS kommt und sowohl Training als auch Inferenz abdeckt [3].

Wer nutzt es bereits?

Amazon nennt das Voice-AI-Unternehmen Cartesia und das Lieber Institute for Brain Development als frühe Nutzer [1]. Brace sagte TechCrunch, dass Deepgram mit nativer PyTorch-Unterstützung zu Trainium gewechselt sei und 70 % mehr Audio pro Dollar verarbeite [3].

Unsere Einschätzung

Meinung: Trainium zu einem gewöhnlichen PyTorch-Gerät zu machen ist der richtige Schritt, und die Unterstützung von Hugging Face macht ihn für viele Entwickler real. Da Ein-Zeilen-Portabilität jedoch inzwischen Standard ist, wird der entscheidende Faktor die unabhängigen Preis-Leistungs-Zahlen sein, nicht Amazons eigene.

Was wir nicht überprüfen konnten

• Amazons Preis-Leistungs-Angaben und Deepgrams 70%-Zahl; unabhängige Benchmarks haben wir nicht gesehen.
• Die von Amazon beschriebene nebeneinander laufende Trainingsdemo; dazu wurden keine Daten veröffentlicht.
• Ob der Paketname torch-neuronx das neue TorchNeuron-Backend oder das ältere XLA-basierte Paket meint; Hugging Face verwendet den Namen für beides.
• Ob Amazons Upstream-Änderungen in PyTorch übernommen werden.