Fehler in AWS sendete Schätzungen von 4,2 Billionen USD an Kunden mit tatsächlichen Ausgaben von Centbeträgen

Das Ausmaß des Fehlers

In der Nacht von Donnerstag, dem 16. Juli, öffnete ein Nutzer von Amazon Web Services die Kostenmanagement-Konsole und sah eine monatliche Schätzung von 2,5 Milliarden USD. Seine tatsächlichen Ausgaben in den 30 Tagen zuvor betrugen 0,19 USD. Weitere Berichte, die von The Register und TechCrunch gesammelt wurden, enthielten geschätzte Abrechnungen von bis zu 4,2 Billionen USD, ebenfalls für Konten mit einem historischen Verbrauch von nur wenigen Dollar pro Monat.

Amazon bestätigte im Service-Health-Dashboard: Die Ursache war "ein Fehler bei der Einheitspreisberechnung im Schätzsystem des Abrechnungs-Subsystems". Das betroffene System ist der Cost Explorer und die Billing and Cost Management Console, Werkzeuge, die von Unternehmensfinanzteams (FinOps) zur nahezu Echtzeitanalyse von Ausgaben genutzt werden. Die tatsächlichen Abrechnungen, Rechnungen und die Zahlungsabwicklung waren nicht betroffen.

Der Ablauf

Am Freitagmorgen, dem 17. Juli, veröffentlichte Amazon, dass "der Rollback einer kürzlich vorgenommenen Änderung das Problem nicht gelöst hatte". Das Unternehmen identifizierte die Ursache wenige Stunden später und kündigte an, die Daten des Cost Management Consoles für alle Kunden neu zu verarbeiten. Der offizielle Zeitrahmen für die Wiederherstellung der korrekten Werte war Samstag, der 18. Juli, um 12 Uhr mittags pazifischer Zeit.

Der Fehler dauerte weniger als 48 Stunden. Für FinOps-Teams von multinationalen Unternehmen, die Hunderte von AWS-Konten mit automatisierten Alarmierungssystemen betreiben, war die Auswirkung operationell real: Kosten-Trigger, die dazu konfiguriert waren, neue Bereitstellungen zu blockieren oder Alarme an CFOs zu eskalieren, wurden durch Werte aktiviert, die mit keinem tatsächlichen Nutzung zusammenhingen. Amazon veröffentlichte nicht die Anzahl der betroffenen Konten.

Warum dieser Typ von Fehler wichtig ist

AWS erzielte in den letzten vier Quartalen einen Umsatz von 107 Milliarden USD und wird am 30. Juli die Ergebnisse des zweiten Quartals veröffentlichen; Analysten erwarten ein Umsatzwachstum von 28 %, das schnellste in 15 aufeinanderfolgenden Quartalen. Alphabet veröffentlicht die Zahlen der Google Cloud am 27. Juli. Microsoft Azure und Google Cloud verzeichneten im gleichen Zeitraum keine Abrechnungsprobleme.

Die Abhängigkeit der Unternehmen von den Schätzdaten des Cost Explorers ist proportional mit der Einführung von Multi-Region- und Multi-Account-Architekturen gewachsen. Viele Unternehmen konsultieren die Schätzungen der Konsole täglich für die Genehmigungen von IT-Budgets, da die endgültige Monatsrechnung zu spät eintrifft, um Entscheidungen zur Ressourcenzuweisung zu untermauern. Wenn dieser Kostenproxi häufiger konsultiert wird als die tatsächlichen Daten, hat ein Fehler im Proxi eine unverhältnismäßige Auswirkung. Für Architekten in Cloud-Umgebungen wird der Vorfall zu einem greifbaren Risiko, das bisher als hypothetisch behandelt wurde.

Der Kontext nach Ländern

In Brasilien, wo AWS Regionen in São Paulo und Brasília betreibt, machen in Dollar denominierte Verträge mit Währungsvariationsklauseln den Cost Explorer zu einem operativen Wechselkursmaßstab. Ein falsches positives Ergebnis über 48 Stunden könnte Währungsüberprüfungen und Genehmigungsblockaden für Ausgaben ohne jede reale Rechtfertigung auslösen.

Im Vereinigten Königreich erfordern Vorschriften der Financial Conduct Authority (FCA) die Nachverfolgbarkeit von IT-Ausgaben in Finanzinstitutionen. Wenn das geschätzte Datum von den tatsächlichen Daten abweicht, erzeugen Compliance-Teams britischer Banken zusätzlichen Aufwand für die Abstimmung, was von den Regulierungsbehörden nicht als unvermeidlich oder akzeptabel als normale Praxis erachtet wird.

Was noch zu wissen bleibt

Amazon hat nicht die Anzahl der betroffenen Konten veröffentlicht, die spezifische Natur der Änderung, die den Fehler verursacht hat, noch bestätigt, ob Kunden, die automatische Alarme ausgelöst haben, individuell benachrichtigt wurden. Nach den Standardpraktiken des Unternehmens wird innerhalb von 30 Tagen eine Nachuntersuchung (Post-Incident Review) für als hoch eingeschätzte Vorfälle veröffentlicht.

Das Problem wurde als Fehler in der Präsentationsschicht klassifiziert, nicht als Sicherheitsvorfall. Es gibt keine Hinweise auf unbefugten Zugang zu Abrechnungsdaten oder auf die Offenlegung von Nutzungsinformationen.

Für Governance-Teams in der Cloud wird der Vorfall zu einem greifbaren Punkt in der Architektur mit einer direkten Lösung: Echtzeit-Schätzsysteme und endgültige Abrechnungssysteme müssen unterschiedliche SLAs und Alarme haben, die Abweichungen über einem konfigurierbaren Schwellenwert identifizieren. Ohne diesen Mechanismus wird der nächste Fehler im Subsystem die gleichen falschen Alarme auslösen, und die Antwort des FinOps-Teams wird die gleichen Stunden in Anspruch nehmen.