AWS VPC S3-EndPoint vs. NAT-Instanz Performance

In einem VPC hat man die Möglichkeit private Subnetze einzurichten. EC2-Instanzen in den privaten Subnetzen können nur mit dem Internet kommunizieren (S3 ist aus Sicht des VPC Internet), wenn man eine sogenannte NAT-Instanz in einem Public-Subnet hat, die den Traffic entsprechend aus den privaten Subnetzen entgegen nimmt und in das Internet weiter routet.

Das Problem der NAT-Instanz ist allerdings, das man i.d.R. einen Single-Point of Failure hat und zum anderen die NAT-Instanz auch eine Perfomance-Bremse sein kann.

Seit kurzem bietet nun AWS im VPC neue Endpoints an, die es EC2-Instanzen in einem privaten Subnetz ermöglichen, direkt mit S3 in der Region zu sprechen.

Hier mal ein kurzer Performance-Test, bei dem wir eine Kommunikation mit S3 über NAT vs. des neuen Endpoints getestet haben:

Instanztyp für NAT und WebServer: t2.Micro (Network Low/moderate)

Über NAT Instance
Before | After fine Tuning
Über S3 Endpoint
Before | After fine Tuning
Upload Time (1) & CPU 41 sec (24MB/sec) | 20 sec (51MB/sec) 20 sec (51MB/sec) | 17 sec (60MB/sec)
Upload Time (2) & CPU 43 sec (23MB/sec) | 19 sec (53MB/sec) 19 sec (53MB/sec) | 17 sec (60MB/sec)
Upload Time (3) & CPU 40 sec (25MB/sec) | 20 sec (51MB/sec) 18 sec (56MB/sec) | 17 sec (60MB/sec)

 

Instanztyp für NAT und WebServer: m4.xlarge (Network high)

Über NAT Instance
Before | After fine Tuning
Über S3 Endpoint
Before | After fine Tuning
Upload Time (1) & CPU 17 sec (60MB/sec) | 17 sec (60MB/sec) 16 sec (64MB/sec) | 16 sec (64MB/sec)
Upload Time (2) & CPU 17 sec (60MB/sec) | 17 sec (60MB/sec) 16 sec (64MB/sec) | 16 sec (64MB/sec)
Upload Time (3) & CPU 17 sec (60MB/sec) | 17 sec (60MB/sec) 17 sec (60MB/sec) | 16 sec (64MB/sec)

Der Test wurde mit der AWS CLI durchgeführt. Für das Finetuning haben wir folgende Parameter bei der CLI eingestellt:

Folgenden Commands auf dem WebServer gelaufen und danach die Tests noch mal gemessen:

  • $ aws configure set default.s3.max_concurrent_requests 20 (Default is 10)
  • $ aws configure set default.s3.max_queue_size 10000 (Default is 1000)
  • $ aws configure set default.s3.multipart_threshold 64MB (Default is 8)
  • $ aws configure set default.s3.multipart_chunksize 16MB (Default is 8)

AWSome-Day RoadShow 8.-17. September

Auch dieses Jahr macht AWS wieder eine AWSome-Day Roadshow und auch dieses Jahr ist tecRacer wieder als Sponsor und Speaker (Frankfurt und Stuttgart) dabei.

An diesem Infotag bekommen Sie einen kompletten Überblick über die AWS-CloudServices … es ist kein langweiliger Marketing Vortrag sondern harte technische Infos und Fakten, versprochen!

08. September 2015, München [ Komplett ausgebucht – Leider keine Anmeldung mehr möglich ]
09. September 2015, Stuttgart
10. September 2015, Frankfurt
15. September 2015, Berlin [ Komplett ausgebucht – Leider keine Anmeldung mehr möglich ]
16. September 2015, Köln
17. September 2015, Hamburg

Anmeldung hier auf der AWS-Seite.

 

AWS Certified Solutions Architect – Professional Exam

Hier ein kurzes Feedback zu dem AWS Certified Solutions Architect – Professional Exam, das ich letzte Woche erfolgreich bestanden habe und das einige tecRacer Kollegen schon gemacht haben und andere noch vor sich haben …

Ich hatte mich mit dem 40 Fragen umfassenden Probepaket auf den Test vorbereitet. Von den Fragen sind dann 1 oder 2 in meinem Test aufgetaucht … das Probepaket ist insofern gut, als das man dann weiss, welche Art von Fragen auf einen zukommen … mehr aber nicht.

Die eigentliche Herausforderung bei dem Test besteht eigentlich darin, dass es 80 Fragen mit entsprechenden Antworten sind, die jeweils fast bildschirmfüllend sind. Man hat pro Frage im Schnitt 2,1 Minuten … man muss also schnell lesen und beurteilen und das konstant über 170 Minuten.

Ich bin normalerweise von der schnellen Sorte … und ich war 6 min. vor Ende mit Frage 80 durch und hatte keine Lust mehr einen Review der von mir markierten Fragen zu machen …

Der Test ist somit extrem anstrengend und sehr fordernd. Nur wer umfangreiche AWS Consulting Erfahrung hat, in der Lage ist, englische Texte schnell inhaltlich zu erfassen und sich 170 min. durchgehend hoch konzentrieren kann, hat hier eine Chance.

Folgende Tipps zur Vorbereitung:

  • Besuch des Kurses Advanced Architecting on AWS Kurses … am besten bei tecRacer 😉
  • Lesen der FAQ Seiten von:
    • Route53
    • Direct Connect
    • DynamoDB
    • VPC
  • gut ausschlafen ..

Vortrag Aufbau einer DDoS-Resilient Architektur auf AWS

Wie können wir unsere Web-Systeme for DDoS Attacken bestmöglich schützen? Was sind mögliche Angriffe? Wie kann AWS effizient eingesetzt werden um diese Attacken bestmöglich abzuwehren?

Auf dem AWS Meetup in München (http://www.meetup.com/de/AWS-Munich/events/219210485/) haben wir unseren Ansatz vorgestellt:

https://speakerdeck.com/michaelwittig/ddos-resilient-architecture-on-aws

 

Agile Banking mit Devops und AWS

Innovation in der Finanzbranche ist technologiegetrieben und erfordert eine Time-To-Market von Stunden und nicht – wie bisher üblich – Jahren.

DevOps und Cloud Computing bilden das Fundament, auf dem eine hohe Entwicklungsgeschwindigkeit bei gleichzeitig hoher Qualität und Sicherheit realisiert werden kann. Die Zauberworte dabei heißen automatischer Integrationstest, Infrastructure as Code und agile Testumgebungen.

Dieser Vortrag beschreibt praxisnah die Transformation einer Wertpapierhandelsbank von On-Premise nach AWS (Amazon Web Services) und geht dabei auf technische Herausforderungen und den Wandel zu einer DevOps Kultur ein.

Agile-Banking

https://speakerdeck.com/michaelwittig/agile-banking-mit-devops-und-aws

 

AWS nicht betroffen von Venom-Lücke in Diskettentreiber von KVM und Xen

AWS ist nicht betroffen von der Venom-Lücke in Diskettentreiber von KVM und Xen …

„We are aware of the QEMU security issue assigned CVE-2015-3456, also known as „VENOM,“ which impacts various virtualized platforms. There is no risk to AWS customer data or instances.“

http://aws.amazon.com/de/security/security-bulletins/XSA_Security_Advisory_CVE_2015_3456/