Ваш ранок у п’ятницю розпочався з поганих новин. Надійшов рахунок за хмарні послуги. Не на 500 доларів. Не на 10 тисяч.
На мільярди доларів.
Для клієнтів AWS, які у п’ятницю дивилися на свої дашборди, цифри були нереальними. Деякі бачили оцінки вартості послуг, що вони навіть не включали. Amazon підтвердила, що збій є реальним. Їхній портал білінгу показує фіктивні борги на суми від мільйонів до мільярдів доларів.
Як помилка обчислень викликала помилкові нарахування
Проблеми почалися пізно увечері четверга. Amazon помітила неточності у даних білінгу. Компанія спробувала застосувати виправлення, а саме відкатити нещодавні зміни в підсистемі обчислень білінгу AWS. Це не допомогло.
До ранку п’ятниці паніка охопила користувачів. Скріншоти заполонили Reddit. Один користувач повідомив про нарахування майже 2,5 мільярда доларів. Інші демонстрували вкладки із рахунками на сотні мільйонів.
Чому це важливо? Тому що паніка коштує часу. Команди ІТ-операцій гарячково перевіряли журнали використання, переконуючись, що вони не обслуговують центри обробки даних в інших країнах. Насправді, вони виконували звичайні робочі навантаження.
Цифри на екранах неправильні.
Оцінки білінгу не відображають фактичне використання та нарахування. — Сторінка статусу Amazon
Якщо ви один із таких користувачів, зробіть глибокий вдих. Швидше за все, ви не оплачуватимете цей фіктивний рахунок. Amazon заявляє, що ці цифри є оцінками, що базуються на некоректних даних.
Де перевірити статус AWS прямо зараз
Ваші послуги працюють? Мабуть, так. Amazon не підтвердила TechCrunch, чи були якісь акаунти припинені чи заморожені. Представник компанії Айша Джонсон надіслала журналістів до сторінки статусу та відмовилася давати подальші коментарі.
Це стандартна корпоративна відмовка. Але мовчання говорить про urgency (терміновість) ситуації. Це не дрібне виправлення інтерфейсу. Це фундаментальна помилка у тому, як розраховуються гроші.
Оціночний час усунення проблеми становить кілька годин. То що станеться після вирішення проблеми?
- Скидання даних: Бекенд-числа повинні синхронізуватися з реальним використанням.
- Коригування рахунку: Рахунки-фактури повинні оновитися автоматично.
- Ревізія облікового запису: Перевірте, чи не було обмеження швидкості (throttling) у будь-яких сервісів у цей період.
Повернення коштів не знадобиться, якщо ви ще не були списані. “Борг” існує тільки в зламаному фронтенді або проміжній базі даних. Він ще не надійшов на термінал кредитної картки. Принаймні саме на це вказує офіційна заява.
Чому це сталося? Поки що ми не знаємо. Чи була це помилка розгортання коду? Невдала міграція схеми бази даних? Amazon тримає деталі при собі. Вони згадали, що «недавня зміна» не спрацювала.
Ми всі звикли до того, що програмне забезпечення ламається. Код крихкий. Але змусити його виглядати так, ніби ви повинні ВВП невеликої країни за вихідні, проведені в Lambda-функціях? Це особливий вид страху.
Годинник ремонту все ще цокає. Не нервуйте. Слідкуйте за своєю консоллю.
