OpenAI präsentiert Benchmarks des Jalapeño und beansprucht Effizienzvorteil gegenüber Nvidia

OpenAI hat am Dienstag, den 25. August, die ersten Benchmark-Ergebnisse des Jalapeño, eines in Zusammenarbeit mit Broadcom entwickelten Inferenzchips, veröffentlicht. Gemessen im InferenceX, einem öffentlichen Benchmark, der von SemiAnalysis bereitgestellt wird, lieferte der Chip zwischen 1,5 und 1,9-mal mehr Arbeit pro Watt als die Blackwell-Systeme von Nvidia und reduzierte die Latenz von End-to-End um 1,7 bis 3,6-mal. Bei konversationalen Belastungen, wie sie ChatGPT erzeugt, erreichten die Ergebnisse eine Steigerung um bis zu 4,1-mal.

Die Ankündigung wurde von Sam Altman, CEO von OpenAI, und Hock Tan, CEO von Broadcom, gemacht. Charlie Kawwas, Präsident der Halbleiterlösungen von Broadcom, überreichte Altman und Greg Brockman, Präsident von OpenAI, persönlich die erste Einheit. Das System wurde von OpenAI basierend auf den Anforderungen ihrer Modelle, Kernels und Bereitstellungssysteme entworfen; Broadcom und Celestica übernahmen die Industrialisierung, die Rack-Integration, das Hochleistungsnetzwerk und das Produktionsvolumen.

Was sich für die Kosten der Inferenz ändert

Jalapeño ist ein Inferenzchip, kein Trainingschip. Die Unterscheidung ist wichtig. Training ist eine konzentrierte Ausgabe auf kurze Zeiträume, mit Investitionen, die sich über Jahre amortisieren. Inferenz ist eine wiederkehrende Ausgabe, die in Millisekunden abläuft und jedes Mal wächst, wenn ein Nutzer eine Frage an ChatGPT stellt. Wenn jede Anfrage einen kleineren Bruchteil von Watt kostet, ändert sich die operative Marge des Produkts.

Laut Tan deutet die Zusammenarbeit auf "Rechenzentren in Gigawatt-Skalen mit Microsoft und anderen Partnern, die 2026 beginnen". OpenAI plant, Jalapeño noch in diesem Jahr in kleinem Volumen einzuführen, mit größerem Maßstab im Jahr 2027. Das Unternehmen hat keine Stückkosten veröffentlicht. Unabhängige Analysten, die die Tests wiederholt haben, zeigen signifikante Einsparungen bei den Kosten pro Anfrage, obwohl die endgültige Zahl von dem Preis abhängt, den OpenAI intern für den Chip festlegt.

Altmans Kommentar war kurz: "Wir haben den Chip gemacht, und er ist schnell."

Vier Nvidia-Kunden haben jetzt ihre eigenen Chips

Google betreibt seit einem Jahrzehnt TPUs. Microsoft kündigte in diesem Jahr den Maia 200 an. Meta beschleunigt das MTIA für die interne Inferenz. Amazon betreibt Trainium und Inferentia in der AWS. Mit Jalapeño reiht sich OpenAI in diesen Kreis ein und tut dies, während es weiterhin der größte Einzelkäufer von GPUs H200 und Blackwell auf dem Planeten ist.

Die kurze Lesart ist, dass Nvidia unter Druck steht. Die genauere Einschätzung ist anders. Die vier Hyperscaler haben eigene Siliziumprodukte für spezifische Anwendungsfälle entwickelt, nicht um Nvidia vollständig zu ersetzen. Google betreibt die meisten seiner Inferenz-Workloads in TPUs, kauft aber weiterhin H100 in großen Mengen. Microsoft verwendet Maia für ausgewählte Lasten von OpenAI, allocates aber den Großteil seiner Kapazität in Nvidia-GPUs. Der sich abzeichnende Standard ist eine Mischung, nicht ein Ersatz.

Nvidia berichtet heute

Nvidia veröffentlicht die Ergebnisse des zweiten Fiskalquartals 2027 nach Börsenschluss in den USA an diesem Mittwoch. Der Konsens der Analysten beträgt 92 Milliarden US-Dollar Umsatz, ein Anstieg von 97 % im Jahresvergleich, wobei das Segment der Rechenzentren nahe bei 85,7 Milliarden US-Dollar liegt. Microsoft, Alphabet, Amazon und Meta haben im Quartal Juni zusammen 166 Milliarden US-Dollar in Capex ausgegeben, ein Anstieg von 87 % im Jahresvergleich und 27 % gegenüber dem unmittelbar davorliegenden Quartal. Der Teil dieses Geldes, der zu Nvidia-Umsatz wird, ist die Zahl, die Wall Street zuerst lesen wird.

Der Jalapeño kommt unmittelbar vor dieser Lesung. Die Frage, die Analysten während des Calls stellen sollten: Welcher Teil der OpenAI-Inferenz läuft heute auf Nvidia und wechselt bis 2027 zu Jalapeño? Was bleibt im Umsatzdiagramm des Chip-Herstellers? Was geht? Und ob Broadcom, heute als "Networking und Custom Silicon" im P&L eingestuft, direkt mit Santa Clara um Dollar konkurriert, die zuvor vollständig dorthin gingen.

Was die Ökonomie der Inferenz jetzt neu bepreist

Für den CIO, der das Budget für IA-Infrastruktur allociert, reorganisiert Jalapeño die kurzfristige Entscheidung. Nicht weil ein Chip im Jahr 2027 außerhalb von OpenAI zum Kauf bereitsteht. Sondern weil es mit öffentlichen Zahlen in einem offenen Benchmark beweist, dass die Hypothese eines monopolistischen Effizienzvorteils von Nvidia in der Inferenz nicht trägt. Dienstanbieter, besonders in Europa und Japan, diskutieren bereits darüber, wie sie Inferenz in souveränen Cloud-Diensten mit wettbewerbsfähigen Margen verkaufen können. Rechenzentren in Brasilien, die heute für IA-Lasten entworfen werden, müssen diese Option in den kommenden Erneuerungszyklen berücksichtigen.

Der operative Punkt ist, dass die Kosten pro Token als strukturelles Phänomen gesenkt wurden. Nicht als kommerzielle Kampagne.