Fatale Abhängigkeiten und Angriffe (aus dem Leben eines Chef / OpsWorkers)

Gestern Abend haben wir noch die letzten Anpassungen am X-OpsWorks-Projekt vorgenommen und noch ein paar Kleinigkeiten optimiert.

Gegen 23:45, als wir gerade die Aktualisierungen auf die letzten Instanzen deployen wollte, mussten wir feststellen, dass keine Deployments mehr möglich waren.

Ursache hierfür war die Nichterreichbarkeit von Rubygems.org, welche von OpsWorks benötigt wird um die entsprechenden Abhängigkeiten für Ruby, sowie der Chef-Module herunterzuladen und zu installieren.

Nach ein wenig Recherche konnten wir herausfinden, dass der Dienst DNSimple, welcher von Rubygems.org genutzt wird, unter weltweiten massiven DDoS-Attacken litt.

Auszug aus http://dnsimplestatus.com/

Update – Our network provider is presently working on increasing capacity to deal with the flood of traffic. We will continue to post updates as we have more details.
Dec 1, 20:42 UTC

Update – We are still working with our network provider to mitigate the volume of traffic and will post more details here as we have them.
Dec 1, 20:21 UTC

UpdateThis attack is volumetric in nature. While we have measures in place for DDoS attacks, they have been overwhelmed by the volume of this attack.
Dec 1, 20:03 UTC

Identified – We have identified a DDoS attack and are working with our network provider to mitigate it.
Dec 1, 19:45 UTC

Investigating – We are seeing DNS connection timeouts on all systems. Currently investigatin

 

Die Attacken auf den Dienst dauerten schon einige Stunden an. Rubygems nutzt zum großteil AWS Ressourcen, unter anderem auch EC2 und CloudFront, hat allerdings die DNS-Verwaltung auf den ServiceDNSimple ausgelagert.

Bis heute morgen um 08:15 waren keine Deployments in OpsWorks dadurch möglich, somit konnten keine neuen Instanzen initialisiert werden und in bestimmten Fällen auch keine bestehenden Instanzen aktualisiert werden.

Dies scheint auch wieder ein gutes Beipiel zu sein, dass das Risiko-Management nicht optimal lief. Wir fragen uns eigentlich nur, warum Rubygems nicht Route 53 genutzt hat, wo doch schon alle anderen Ressourcen auch überwiegend in AWS gehostet sind.

 

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.