wichtiger als das NSA-Thema ist eigentlich die Zukunftsfähigkeit des Cloud-Anbieters

Wenn man mit Deutschen über das Thema Cloud redet, kommt nach spätestens 2 Minuten das Thema NSA … so unglücklich dieses Thema für uns alle momentan ist, aus Unternehmenssicht ist eigentlich die zukunftssichere Wahl des Cloud Anbieters noch viel wichtiger ….

Zur Zeit gibt es zahlreiche Cloud-Anbieter auf dem Markt … und naturgemäß werden sich viele davon wieder aus dem Markt verabschieden, wenn diverse Businesspläne nicht wie erwartet funktionieren.

Aktuell hat sich gerade die Firma Nirvanix (US-Anbieter für Enterprise Cloud-Storage) aus dem Markt verabschiedet. Alle Kunden bekamen eine Mail, dass Sie ihre Daten innerhalb von 14 Tage herunterladen müssen, ansonsten sind diese danach weg …. Details hier

Mit Amazon Web Services wird man dieses Problem nicht haben, denn Marktführer verschinden nicht so schnell.

 

Json- und CSV-Commandline Tools

Mal wieder neue Tools, die wir bisher auch noch nicht auf dem Schirm hatten … die kann man sehr gut brauchen, wenn man mit der neuen Amazon AWS Commandline arbeitet …

 

Beispiele und weitere Infos dazu auch hier:

http://jeroenjanssens.com/2013/09/19/seven-command-line-tools-for-data-science.html

Amazon AWS RDS Performance Test

Hiermal ein Link zu einem sehr guten und ausführlichen Amazon RDS Performance Test, insbesondere zu dem Unterschied zu provisionierten EBS Laufwerken vs normale EBS Laufwerke:

http://blog.celingest.com/en/2013/08/29/benchmarking-rds-provisioned-iops/

 

Neuer AWS Trainingskurs System Operations on AWS bei tecRacer

tecRacer bietet ab sofort auch den neuen 3-tägigen Amazon AWS Trainingskurs System Operations on AWS an. Zielgruppe für diesen Kurs sind Sysops, die intensiv Amazon AWS kennenlernen möchten. Der Kurs beinhaltet umfangreiche Hands-On-Labs.

Detaillierte Inhalte, Termine und Preise finden Sie hier: http://tecracer-aws-training.eventbrite.de/

 

Alternative AWS-Console mit AutoScaling Unterstützung

Leider unterstützt die AWS Console nach wie vor kein AutoScaling, so dass man entsprechend alles über die Command Line definieren muss. Wenn es aber mal schnell gehen soll … dann kann dieses Tool hier wirklich helfen ..

ElasticWolf ist OpenSource, es gibt entsprechende Versionen für Windows, Mac OS.X, Linux und FireFox.

The Forrester Wave: Enterprise Public Cloud Platforms, Q2 2013

Gute aktuelle Analyse der Public Cloud Plattformen von Forrester, bei der natürlich Amazon Web Services auch sehr gut bewertet wird.

http://www.forrester.com/pimages/rws/reprints/document/86441/oid/1-MNNSJD

tecRacer ist Amazon AWS Authorized Training Partner

Es ist vollbracht. Seit heute sind wir offizieller Amazon AWS Authorized Training Partner … und bieten damit Trainings durch von Amazon AWS autorisierte und qualifizierte Trainer basierend auf den Original-Schulungsunterlagen an.

Infos zu Kursen und Terminen finden Sie hier: http://tecracer-aws-training.eventbrite.de/

Authorized Training Partner Logo

Werner Vogels (CTO Amazon) auf dem tecRacer Stand

Gemeinsam mit Amazon AWS waren wir auf auf der langen Nacht der Startups am 7. September 2013 in Berlin (http://www.startupnight.de). Amazon AWS hatte extra Werner Vogels, CTO Amazon, aus Seattle für eine Diskussionsrunde mit dem Telekom CFO einfliegen lassen. Diese Gelegenheit haben wir gleich genutzt und konnten Werner Vogels zu einem kleinen Erinnerungsfoto auf dem tecRacer Stand überreden.

tecRacer-Werner-Vogels

Amazon AWS Training für ein Adobe Team in Bukarest

Vom 27. – 29. September durften wir ein Amazon AWS Architecture Training für ein Adobe Entwicklungsteam in Bukarest durchführen. Insgesamt wurden 22 Adobe Mitarbeiter geschult. Sehr beeindruckend war für uns, was Adobe schon mit AWS macht und was die noch alles damit vorhaben. Siehe dazu auch hier: http://aws.amazon.com/solutions/case-studies/adobe/

Unsere nächsten offenen Amazon AWS Architecture Trainingstermine sowie eine Kursbeschreibung finden Sie hier: http://tecracer-aws-training.eventbrite.com

Adobe-AWS-klein

Gartner Magic Quadrant for Cloud Infrastructure as a Service

Gartner-aws-2013

Mehr Infos dazu finden Sie hier: http://www.gartner.com/technology/reprints.do?id=1-1IMDMZ5&ct=130819&st=sb

 

ElasticBeanstalk im VPC

ElasticBeanstalk als auch Opsworks können inzwischen in einem VPC betrieben werden. Allerdings muss dabei das VPC zwingend Public und Private-Subnets haben. Wenn man die ElasticBeanstalk EC2-Instanzen auf 2 Verfügbarkeitszonen aufteilen will braucht man somit 4 Subnets.

Beispiel:

  • Subnet 1 in Availability Zone A (Public)
  • Subnet 2 in Availability Zone A (Private)
  • Subnet 3 in Availability Zone B (Public)
  • Subnet 4 in Availability Zone B (Private)

Dazu muss eine NAT-Instanz in Subnet 1 erstellt werden. Die NAT-Instanz ermöglicht den EC2-Instanzen im Private-Subnet eine Kommunikation mit dem Internet (bzw. mit dem ElasticBeanstalk-Dienst!). Die Security-Gruppe dieser NAT-Instanz muss Inbound-Traffic am besten vom ganzen VPC-IP-Kreis erlauben (oder zumindest von der Security-Gruppe, der die ElasticBeanstalk-EC2-Instanzen angehören). Wichtig ist auch die Outbound-Role der Security-Gruppe der Elastic-Beanstalk EC2-Instanzen, die muss Outbounbd Traffic zur NAT-Instanz erlauben. Instanz.

Zusammengefasst:

Wenn man ElasticBeanstalk im VPC betreibt, dann wird der LoadBalancer an die Public-Subnets konnektiert, die ElasticBeanstalk EC2-Instanzen kommen immer in die Private-Subnets. Die ElasticBeanstalk EC2-Instanzen im Private-Subnet kommunizieren dann zwingend über die NAT-Instanz mit dem Beanstalk Service!

Wichtig ist, dass die Security-Gruppen der NAT Instanz und der ElasticBeanstalk-Instanz vorher so eingestellt werden, dass die ElasticBeanstalk-EC2-Instanzen über die NAT Instanz kommunizieren können, da sonst das ElasticBeanstalk Enviremont nicht richtig startet …

Amazon Redshift – schnelles leeren einer Tabelle

Eine  Tabelle kann man ja prinzipiell auf 3 Arten leeren …

  1. mit Drop Table … wobei dann die ganze Tabelle weg ist … Wenn man aber wieder Daten schnell importieren möchte ohne ein Analyse Compression ist es besser, wenn die Tabelle mit den spezifischen Einstellungen noch da ist.
  2. mit delete from table: Beim Leeren über delete wird ein table scan durchgeführt, davon ist bei sehr großen Tabellen abzuraten
  3. mit truncate table: Idealerweise sollte man Tabellen immer über truncate leeren, da hierbei auf einen table scan verzichtet wird und somit die Tabelle schnell geleert wird.

Amazon Redshift – Abbrechen einer SQL-Abfrage

Amazon Redshift SQL-Query’s gehen oft über sehr große Datenmengen … da kann es schon mal vorkommen, dass man einen Join falsch setzt und dadurch ein irre großes Resultset bekommt das dann ewig dauert … glücklicherweise kann man SQL-Abfragen bei Redshift wie folgt abbrechen:

1. Heraus finden der Process-ID der entsprechenden SQL-Query

select pid, trim(user_name), starttime, substring(query,1,20) from stv_recents where status=’Running’;

pid    | btrim      | starttime                  | substring 
-------+------------+----------------------------+---------------------- 
18764  | masteruser | 2013-03-28 18:39:49.355918 | select sellerid, fir 
(1 row)

2. Abbrechen der Abfrage über Cancel

cancel 18764;

Aktuelle Limits von Amazon Redshift

Hier mal die aktuellen Limits von Amazon Redshift im Überblick:

  • max. 64 Datenbanken im Cluster
  • max. Anzahl Zeichen pro Datenbank-Name = 64, mit nur kleinen Buchstaben
  • max. 9900 Tabellen im Cluster
  • max. Anzahl Zeichen pro Tabellen-Name = 127
  • max. 1600 Spalten pro Tabelle
  • max. 400 Sortkey-Spalten pro Tabelle im Rahmen eines Multi-Column Sortkeys
  • max. Anzahl Schema pro Datenbank …? You can create 57 schemas (+ 7 system schemas we already have in there)…. oder mehr? … siehe hier: https://forums.aws.amazon.com/thread.jspa?messageID=466560&#466560
  • By default, you can have a maximum of 16 XL nodes per data warehouse cluster or 16 8XL nodes per data warehouse cluster. You can request a higher limit via this Node Limit Increase form.

Amazon RedShift Zugriff via JDBC mit SQLWorkbench

Amazon Redshift basiert auf einem stark modifizierten PostgreSQL 8.0.2 Kernel so dass man mit dem offiziellem PostgreSQL JDBC oder ODBC Treiber arbeiten kann, allerdings sollten nur die Treiber der 8.x PostgreSQL Versionen und nicht die der 9.x PostgreSQL Versionen verwendet werden.

 

 

Damit können nun alle Tools die mit ODBC oder JDBC arbeiten direkt auf die RedShift-Datenbank konnektieren.

Sehr gut für einen ersten Test und Einstieg eignet sich SQLWorkbench (http://www.sql-workbench.net/).

 

 

 

Amazon Redshift, die besten 3 Videos zum Start

AWS Webinar: Introduction to Amazon Redshift

AWS Webcast – Amazon Redshift Best Practices for Data Loading and Query Performance (Part 1)

AWS Webcast – Amazon Redshift Best Practices Part 2 — Performance

Minubo.com zieht es mit der Cloud BI Lösung in die Amazon AWS Cloud

Das tecRacer AWS Team unterstützt die Firma minubo bei der Realisierung des
Datenaufbereitungsprozesses durch den Einsatz von Hadoop und Amazon Redshift,
um einen schnellen Kenzahlenzugriff der minubo Kunden zu erreichen.
Mehr Informationen können auf dem Blog der Firma minubo entnommen werden.
hier geht’s zum Blog.

AWS Stammtisch in Berlin

AWS Stammtisch in Berlin am 04.07.2013

Wird leider nicht stattfinden.
Bedingt durch die Ferien und Urlaubszeit sowie einigen Absagen, müssen wir den Termin verschieben.
Informationen zum nächsten AWS Stammtisch Berlin werden wir wieder rechtzeitig bekanntgeben.

Bei direktem Interesse senden wir Ihnen auch gern eine Einladung per Email zu.
Hinterlassen Sie einfach Ihre Kontaktdaten hier.

Teil 3: NSA sichere Passwörter für AES-256 Bit Verschlüsselung

Die ganze Verschlüsselung mit AES-256 ist natürlich nur so gut, wie das gewählte Passwort … denn die Tools zum Knacken von Passwörten sind richtig gut und wenn man viel Rechenpower mit GPU’s hat, sind manche Passwörter sehr schnell erraten. Im Wesentlichen kommt es auf die Entropie des Passwortes an und nicht auf das Verwenden von gängigen Sonderzeichen etc.

In der nachfolgend dargestellten Grafik wird das super auf den Punkt gebracht:

xkcd-936-password_strength

In diesem Artikel wird der technische Unterschied anhand der oben dargestellten Grafik ausführlich erklärt:

http://blog.agilebits.com/2011/08/10/better-master-passwords-the-geek-edition/

Mit diesem Online-Tool kann man die aktuelle Entropie seines Passwortes errechnen:

http://rumkin.com/tools/password/passchk.php

In diesem Artikel wird beschrieben, wie schnell man Passwörter mit einem Tool wie John-the-Ripper oder Hash-Suite basierend auf einer entsprechenden Entropie des Passwortes knacken kann … hier in der Tabelle ist aber berücksichtigt, dass der Passwort-Algorithmuss mittels PBKDF2 abgebildet wurde, der dazuführt, dass bei der Prüfung des Passworts stets eine entsprechende Anzahl von Iterationen durchlaufen werden muss, was die Geschwindigkeit von den Passwort-Jnack-Tools dramatisch verringert.

JtR-1P-crack-times-750x305

Teil 2: NSA sichere Amazon AWS Ressourcen

Amazon AWS stellt als Speicher-Ressourcen unter anderem folgende Dienste zur Verfügung:

  • S3 als allgemeinen Multi-Redundanten Speicherdienst für Dateien
  • EBS als Dienst, der virtuelle Laufwerke für Windows oder Linux EC2-Instanzen bereitstellt

Es existieren zur Zeit drei gute Tools um EC2-Instanzen und deren EBS Laufwerke und teilweise auch S3-Dateien komplett zu verschlüsseln:

  • Porticor - stellt eine virtuelle EC2-Appliance zur Verfügung, die zwischen 99,00 und 599,00 US$ pro Monat kostet und EBS-Laufwerke und S3-Dateien komplett verschlüsselt
  • Safenet ProtectV – stellt eine eine virtuelle EC2-Appliance zur Verfügung, die EC2-Instanzen und deren EBS-Laufwerke komplett verschlüsselt
  • Trendmicro SecureCloud – stellt einen Software-Dienst zur Verfügung, der eine EC2-Istanz mit deren EBS-Laufwerken komplett verschlüsselt

Bei Einsatz einer dieser Tools werden die Daten NSA-sicher auf EBS-Laufwerken gespeichert, da Amazon AWS selbst dann nicht der entsprechende Key zur Entschlüsselung zur Verfügung steht … Amazon AWS muss ja notfalls im Zuge des Patriot-Acts entsprechende Daten an die Behörden ausliefern … kann dieses aber nur tun, wenn die Daten vom Kunden nicht entsprechend verschlüsselt wurden.

Selbstverständlich sollte dann auch die Kommunikation mit den Amazon AWS Ressourcen ausschliesslich via HTTPS oder VPN durchgeführt werden, so dass auch ein Abgreifen des Datenstroms auf dem Weg zum Amazon AWS Datacenter nicht den gewünschten Erfolg bringt.