Coinbase Розкриває, як одна конфігураційна помилка спричинила збої тривалістю 50 хвилин

Coinbase повідомляє, що планове оновлення інфраструктури вимкнуло критичний мережевий шлюз, порушивши перекази, покупки за допомогою дебетової картки та onchain-сервіси приблизно на 50 хвилин. У своєму новому постмортемі компанія пояснює помилку та те, чому також не спрацювали звичайні інструменти відновлення.

Ключові висновки

• Coinbase простежила 50-хвилинне відключення до непоміченого зіткнення імен ресурсу Kubernetes під час планового оновлення інфраструктури.
• Інцидент порушив перекази, дебетові покупки Coinbase Card, інституційні розрахунки та onchain-сервіси на кількох платформах.
• Відключення також вимкнуло звичайний процес відкату Coinbase, що спонукало впровадити нові запобіжники та зміни в інфраструктурі.

Coinbase пояснює, що пішло не так

Криптобіржа Coinbase (Nasdaq: COIN) визначила програмну помилку, що спричинила відключення минулого тижня, через яке клієнти не могли завершити перекази, робити покупки з Coinbase Card та отримувати доступ до кількох onchain-сервісів приблизно протягом 50 хвилин.

Згідно з постмортемом, опублікованим 21 липня, інженери розгортали те, що виглядало як звичне, низькоризикове оновлення, коли непомічене зіткнення імен ресурсів Kubernetes змусило оновлення змінити неправильний мережевий компонент.

Coinbase повідомила:

“Це сталося через ненавмисну неправильну конфігурацію важливого мережевого компонента внаслідок планового оновлення конфігурації. У будь-який момент кошти клієнтів не були під загрозою.”

Kubernetes — це програмне забезпечення, яке Coinbase використовує, щоб організовувати й запускати застосунки в хмарній інфраструктурі. Зіткнення імен ресурсів спричинило те, що оновлення змінило частину шлюзу Istio ingress компанії замість того, щоб змінити лише призначений компонент. Шлюз діє як контролер трафіку, спрямовуючи запити між внутрішніми сервісами Coinbase.

Коли шлюз перейшов у офлайн, системи, відповідальні за обробку торгів, переказів, розрахунків і авторизацій платежів, більше не могли спілкуватися.

Картки були відхилені, а перекази зависли

Збій вплинув на роздрібні, інституційні та платформні сервіси для розробників Coinbase приблизно з 12:37 p.m. ET до 1:25 p.m. ET.

Деякі роздрібні клієнти не змогли завершити депозити, зняття або транзакції поза платформою. Перекази, які вже були в процесі, виглядали завислими, але були оброблені після відновлення сервісу. Дебетові покупки Coinbase Card були відхилені, тоді як покупки кредитними картками продовжувалися.

Відключення також перервало onchain-обміни через Coinbase DEX на Base та Solana. Клієнти Coinbase Exchange та Prime зіткнулися із затримками або невдалими переказами й розрахунками, тоді як клієнти платформ для розробників не могли підключати користувачів, переміщати кошти або користуватися сервісами onramp.

Вплив підкреслює зростаючу важливість надійності, коли Coinbase розширюється за межі спотової криптоторгівлі. Її заплановані продукти “всеосяжної біржі”, включно з токенізованими акціями та перпетуальними ф’ючерсами, розширюють спектр фінансової активності, що залежить від інфраструктури компанії.

Окремо Coinbase описала плани зробити платформу ширшим фінансовим хабом із новими сервісами торгів, платежів і управління грошима, що охоплюють акції, деривативи, платежі в stablecoin та інструменти для розробників. Це розширення підвищує ставки, коли спільна інфраструктура виходить з ладу.

Чому відновлення тривало довше, ніж очікувалося

Шлюз було відновлено о 1:20 p.m. ET, і Coinbase заявила, що інцидент було усунуто через три хвилини. Залишкові накопичення транзакцій очистилися протягом наступних годин.

Відновлення тривало довше, оскільки інструменти розгортання Coinbase покладалися на відмовивший шлюз. Інженери не могли використати стандартний процес відкату й замість цього вручну запустили аварійне розгортання через хмарного провайдера компанії, використовуючи тимчасовий привілейований доступ.

Зараз Coinbase додає перевірки, щоб блокувати конфлікти імен, відокремлює інструменти відновлення від тієї інфраструктури, яку вони обслуговують, і тестує процедури аварійного доступу частіше.

Coinbase наголосила:

“Наша ціль — завжди нуль простоїв. Ми активно перебудовуємо нашу інфраструктуру, щоб забезпечити, що в вкрай малоймовірному випадку ще однієї такої відмови ми зможемо швидко відкотити зміни та відновитися.”