Yanlış Transceiver, Durdurulmayan Bakım: Google Cloud us-central1 Olayı ve İnsan Faktörü
Google Cloud'un us-central1 bölgesindeki 1 Eylül kesintisinin tam raporu yayımlandı: Rutin bir donanım bakımında uyumsuz transceiver'lar takıldı ve fiberler sırayla söküldü. Veri merkezi operasyonunda insan faktörünün dersleri.
Google Cloud'un us-central1 bölgesinde 1 Eylül'de yaşanan kesintinin tam raporu yayımlandı: Rutin bir donanım bakımında uyumsuz transceiver'lar takıldı, fiberler sırayla söküldü ve durdurma prosedürü uygulanmadı. Sonuç, yaklaşık dört saatlik bir etki.
Ne Oldu?
Google Cloud'un resmi olay kaydına göre, 1 Eylül 2026'da 07:41–11:52 (ABD Pasifik saati) arasında us-central1-b bölgesinde (zone) Compute Engine, GKE, Cloud SQL, BigQuery, Cloud Run, Cloud VPN ve Cloud Interconnect dâhil çok sayıda ürün etkilendi.
3 Eylül'de yayımlanan ön rapor, nedeni rutin bir donanım bakımı sırasında fiber optik kabloların yanlışlıkla fiziksel olarak sökülmesi olarak açıkladı. Bakım sırasında fiber yolları 13 dakika içinde sırayla devre dışı kalmıştı. 10 Eylül'de yayımlanan tam rapor ise ayrıntıları netleştirdi:
Teknisyen, mevcut transceiver'ları uyumsuz, daha yüksek yoğunluklu bir modelle değiştirdi.
Manuel yürütülen yükseltme sürecinde değiştirilecek parçaların tam listesi, sıralama talimatı olmadan verilmişti.
İş akışında doğrulama adımları yoktu ve sökülen bir fiberde ışık tespit edildiğinde işi durdurmayı öngören mevcut prosedür uygulanmadı.
Müdahalede trafik sağlıklı kapasiteye yönlendirildi ve orijinal transceiver'lar yeniden takıldı.
Google'ın Aldığı Önlemler
us-central1'de ve küresel ölçekte personelin, sökülen her fiberde ışık kontrolü dâhil güvenli bakım konusunda yeniden eğitilmesi
Ağ yükseltme iş akışlarının otomatik sıralamalı orkestrasyona taşınmasının tamamlanması
Canlı bir fiberin yanlışlıkla sökülmesi durumunda işi durduran uyarı sistemi
Arızalı bir bölgeden trafiği otomatik çeken sistemle müdahale süresinin yaklaşık 19 dakikadan 5 dakikaya indirilmesi
Transceiver Nedir, Neden Bu Kadar Kritik?
Transceiver, ağ cihazlarındaki portlara takılan ve elektrik sinyalini ışığa (ve tersine) çeviren küçük modüldür. Hız, dalga boyu, konnektör tipi ve üretici uyumluluğu açısından çok sayıda çeşidi vardır. Fiziksel olarak aynı yuvaya uyan iki modül, karşı uçtaki cihazla uyumlu olmayabilir; bu durumda bağlantı hiç kurulmaz.
Ders: En Büyük Risk Rutin İşlerde
Bu olayın asıl dersi, karmaşık bir yazılım hatası değil; rutin bir donanım işinde prosedür ve doğrulama eksikliği. Benzer şekilde planlı bir fiber bakımının kesintiye dönüştüğü us-west1 olayını bu yazımızda ele almıştık. İki olay birlikte okunduğunda mesaj net: Fiziksel bakım, yazılım dağıtımı kadar sıkı bir değişiklik yönetimi gerektirir.
Fiziksel Bakımda İnsan Hatasını Önleyen 6 Kural
Kural | Neyi önler? |
|---|---|
Adım adım yazılı prosedür (MOP) | Sırasız ve doğaçlama müdahaleyi |
Parça uyumluluk kontrolü | Uyumsuz modül veya kablo takılmasını |
Her adımdan sonra doğrulama | Hatanın birikerek büyümesini |
"Dur" kriterleri | Beklenmeyen durumda işe devam edilmesini |
Çift kontrol (dört göz) | Tek kişinin gözden kaçırdığı hataları |
Kademeli uygulama | Tüm yedek yolların aynı anda devre dışı kalmasını |
Sık Sorulan Sorular
Bu olay bir siber saldırı mıydı?
Hayır. Google'ın raporlarına göre neden, rutin bir donanım bakımı sırasında yapılan hatalardı.
Zone ile region arasındaki fark nedir?
Region, bir coğrafi bölgedeki bulut altyapısının tamamıdır; zone ise o bölge içindeki birbirinden yalıtılmış altyapı birimleridir. Uygulamaları birden fazla zone'a dağıtmak, tek bir zone'daki sorunun etkisini azaltır.
Veri merkezinde değişiklik yönetimi neden önemli?
Kesintilerin önemli bir bölümü planlı değişiklikler sırasında ortaya çıkar. Yazılı prosedür, doğrulama ve geri dönüş planı, rutin işlerin kesintiye dönüşmesini engeller.
Olfe'de Operasyon Disiplini
Olfe'nin İzmir Bornova'daki Tier III veri merkezinde bakım çalışmaları, kesintisiz çalışma ilkesiyle planlanır ve 7/24 izleme altında yürütülür. Sözleşmeyle garanti altına alınmış %99.99 uptime taahhüdümüzün arkasında bu operasyon disiplini var. Bizimle iletişime geçin.
Sonuç
Dünyanın en büyük bulut sağlayıcılarından birinde bile bir transceiver değişimi saatlerce süren bir kesintiye yol açabiliyor. Fark yaratan şey; yazılı prosedürler, adım adım doğrulama ve "bir şey ters gidiyorsa dur" kültürü.