NSA-Skandal “Es gibt keine Hintertüren bei Amazon” sagt Werner Vogels (CTO Amazon)

Amazon und Amazon Web Services sind nicht Teil von Prism und auch sonst hätten Geheimdienstler keinen Zugriff. „Es gibt keine Hintertüren bei Amazon“, sagt Werner Vogels (CTO Amazon).

Mehr Details im Interview bei der Wirtschaftswoche.

wichtiger als das NSA-Thema ist eigentlich die Zukunftsfähigkeit des Cloud-Anbieters

Wenn man mit Deutschen über das Thema Cloud redet, kommt nach spätestens 2 Minuten das Thema NSA … so unglücklich dieses Thema für uns alle momentan ist, aus Unternehmenssicht ist eigentlich die zukunftssichere Wahl des Cloud Anbieters noch viel wichtiger ….

Zur Zeit gibt es zahlreiche Cloud-Anbieter auf dem Markt … und naturgemäß werden sich viele davon wieder aus dem Markt verabschieden, wenn diverse Businesspläne nicht wie erwartet funktionieren.

Aktuell hat sich gerade die Firma Nirvanix (US-Anbieter für Enterprise Cloud-Storage) aus dem Markt verabschiedet. Alle Kunden bekamen eine Mail, dass Sie ihre Daten innerhalb von 14 Tage herunterladen müssen, ansonsten sind diese danach weg …. Details hier

Mit Amazon Web Services wird man dieses Problem nicht haben, denn Marktführer verschinden nicht so schnell.

 

Json- und CSV-Commandline Tools

Mal wieder neue Tools, die wir bisher auch noch nicht auf dem Schirm hatten … die kann man sehr gut brauchen, wenn man mit der neuen Amazon AWS Commandline arbeitet …

 

Beispiele und weitere Infos dazu auch hier:

http://jeroenjanssens.com/2013/09/19/seven-command-line-tools-for-data-science.html

Amazon AWS RDS Performance Test

Hiermal ein Link zu einem sehr guten und ausführlichen Amazon RDS Performance Test, insbesondere zu dem Unterschied zu provisionierten EBS Laufwerken vs normale EBS Laufwerke:

http://blog.celingest.com/en/2013/08/29/benchmarking-rds-provisioned-iops/

 

Neuer AWS Trainingskurs System Operations on AWS bei tecRacer

tecRacer bietet ab sofort auch den neuen 3-tägigen Amazon AWS Trainingskurs System Operations on AWS an. Zielgruppe für diesen Kurs sind Sysops, die intensiv Amazon AWS kennenlernen möchten. Der Kurs beinhaltet umfangreiche Hands-On-Labs.

Detaillierte Inhalte, Termine und Preise finden Sie hier: http://tecracer-aws-training.eventbrite.de/

 

Alternative AWS-Console mit AutoScaling Unterstützung

Leider unterstützt die AWS Console nach wie vor kein AutoScaling, so dass man entsprechend alles über die Command Line definieren muss. Wenn es aber mal schnell gehen soll … dann kann dieses Tool hier wirklich helfen ..

ElasticWolf ist OpenSource, es gibt entsprechende Versionen für Windows, Mac OS.X, Linux und FireFox.

The Forrester Wave: Enterprise Public Cloud Platforms, Q2 2013

Gute aktuelle Analyse der Public Cloud Plattformen von Forrester, bei der natürlich Amazon Web Services auch sehr gut bewertet wird.

http://www.forrester.com/pimages/rws/reprints/document/86441/oid/1-MNNSJD

tecRacer ist Amazon AWS Authorized Training Partner

Es ist vollbracht. Seit heute sind wir offizieller Amazon AWS Authorized Training Partner … und bieten damit Trainings durch von Amazon AWS autorisierte und qualifizierte Trainer basierend auf den Original-Schulungsunterlagen an.

Infos zu Kursen und Terminen finden Sie hier: http://tecracer-aws-training.eventbrite.de/

Authorized Training Partner Logo

Werner Vogels (CTO Amazon) auf dem tecRacer Stand

Gemeinsam mit Amazon AWS waren wir auf auf der langen Nacht der Startups am 7. September 2013 in Berlin (http://www.startupnight.de). Amazon AWS hatte extra Werner Vogels, CTO Amazon, aus Seattle für eine Diskussionsrunde mit dem Telekom CFO einfliegen lassen. Diese Gelegenheit haben wir gleich genutzt und konnten Werner Vogels zu einem kleinen Erinnerungsfoto auf dem tecRacer Stand überreden.

tecRacer-Werner-Vogels

Amazon AWS Training für ein Adobe Team in Bukarest

Vom 27. – 29. September durften wir ein Amazon AWS Architecture Training für ein Adobe Entwicklungsteam in Bukarest durchführen. Insgesamt wurden 22 Adobe Mitarbeiter geschult. Sehr beeindruckend war für uns, was Adobe schon mit AWS macht und was die noch alles damit vorhaben. Siehe dazu auch hier: http://aws.amazon.com/solutions/case-studies/adobe/

Unsere nächsten offenen Amazon AWS Architecture Trainingstermine sowie eine Kursbeschreibung finden Sie hier: http://tecracer-aws-training.eventbrite.com

Adobe-AWS-klein

Gartner Magic Quadrant for Cloud Infrastructure as a Service

Gartner-aws-2013

Mehr Infos dazu finden Sie hier: http://www.gartner.com/technology/reprints.do?id=1-1IMDMZ5&ct=130819&st=sb

 

ElasticBeanstalk im VPC

ElasticBeanstalk als auch Opsworks können inzwischen in einem VPC betrieben werden. Allerdings muss dabei das VPC zwingend Public und Private-Subnets haben. Wenn man die ElasticBeanstalk EC2-Instanzen auf 2 Verfügbarkeitszonen aufteilen will braucht man somit 4 Subnets.

Beispiel:

  • Subnet 1 in Availability Zone A (Public)
  • Subnet 2 in Availability Zone A (Private)
  • Subnet 3 in Availability Zone B (Public)
  • Subnet 4 in Availability Zone B (Private)

Dazu muss eine NAT-Instanz in Subnet 1 erstellt werden. Die NAT-Instanz ermöglicht den EC2-Instanzen im Private-Subnet eine Kommunikation mit dem Internet (bzw. mit dem ElasticBeanstalk-Dienst!). Die Security-Gruppe dieser NAT-Instanz muss Inbound-Traffic am besten vom ganzen VPC-IP-Kreis erlauben (oder zumindest von der Security-Gruppe, der die ElasticBeanstalk-EC2-Instanzen angehören). Wichtig ist auch die Outbound-Role der Security-Gruppe der Elastic-Beanstalk EC2-Instanzen, die muss Outbounbd Traffic zur NAT-Instanz erlauben. Instanz.

Zusammengefasst:

Wenn man ElasticBeanstalk im VPC betreibt, dann wird der LoadBalancer an die Public-Subnets konnektiert, die ElasticBeanstalk EC2-Instanzen kommen immer in die Private-Subnets. Die ElasticBeanstalk EC2-Instanzen im Private-Subnet kommunizieren dann zwingend über die NAT-Instanz mit dem Beanstalk Service!

Wichtig ist, dass die Security-Gruppen der NAT Instanz und der ElasticBeanstalk-Instanz vorher so eingestellt werden, dass die ElasticBeanstalk-EC2-Instanzen über die NAT Instanz kommunizieren können, da sonst das ElasticBeanstalk Enviremont nicht richtig startet …

Amazon Redshift – schnelles leeren einer Tabelle

Eine  Tabelle kann man ja prinzipiell auf 3 Arten leeren …

  1. mit Drop Table … wobei dann die ganze Tabelle weg ist … Wenn man aber wieder Daten schnell importieren möchte ohne ein Analyse Compression ist es besser, wenn die Tabelle mit den spezifischen Einstellungen noch da ist.
  2. mit delete from table: Beim Leeren über delete wird ein table scan durchgeführt, davon ist bei sehr großen Tabellen abzuraten
  3. mit truncate table: Idealerweise sollte man Tabellen immer über truncate leeren, da hierbei auf einen table scan verzichtet wird und somit die Tabelle schnell geleert wird.

Amazon Redshift – Abbrechen einer SQL-Abfrage

Amazon Redshift SQL-Query’s gehen oft über sehr große Datenmengen … da kann es schon mal vorkommen, dass man einen Join falsch setzt und dadurch ein irre großes Resultset bekommt das dann ewig dauert … glücklicherweise kann man SQL-Abfragen bei Redshift wie folgt abbrechen:

1. Heraus finden der Process-ID der entsprechenden SQL-Query

select pid, trim(user_name), starttime, substring(query,1,20) from stv_recents where status=’Running’;

pid    | btrim      | starttime                  | substring 
-------+------------+----------------------------+---------------------- 
18764  | masteruser | 2013-03-28 18:39:49.355918 | select sellerid, fir 
(1 row)

2. Abbrechen der Abfrage über Cancel

cancel 18764;

Aktuelle Limits von Amazon Redshift

Hier mal die aktuellen Limits von Amazon Redshift im Überblick:

  • max. 64 Datenbanken im Cluster
  • max. Anzahl Zeichen pro Datenbank-Name = 64, mit nur kleinen Buchstaben
  • max. 9900 Tabellen im Cluster
  • max. Anzahl Zeichen pro Tabellen-Name = 127
  • max. 1600 Spalten pro Tabelle
  • max. 400 Sortkey-Spalten pro Tabelle im Rahmen eines Multi-Column Sortkeys
  • max. Anzahl Schema pro Datenbank …? You can create 57 schemas (+ 7 system schemas we already have in there)…. oder mehr? … siehe hier: https://forums.aws.amazon.com/thread.jspa?messageID=466560&#466560
  • By default, you can have a maximum of 16 XL nodes per data warehouse cluster or 16 8XL nodes per data warehouse cluster. You can request a higher limit via this Node Limit Increase form.

Amazon RedShift Zugriff via JDBC mit SQLWorkbench

Amazon Redshift basiert auf einem stark modifizierten PostgreSQL 8.0.2 Kernel so dass man mit dem offiziellem PostgreSQL JDBC oder ODBC Treiber arbeiten kann, allerdings sollten nur die Treiber der 8.x PostgreSQL Versionen und nicht die der 9.x PostgreSQL Versionen verwendet werden.

 

 

Damit können nun alle Tools die mit ODBC oder JDBC arbeiten direkt auf die RedShift-Datenbank konnektieren.

Sehr gut für einen ersten Test und Einstieg eignet sich SQLWorkbench (http://www.sql-workbench.net/).

 

 

 

Amazon Redshift, die besten 3 Videos zum Start

AWS Webinar: Introduction to Amazon Redshift

AWS Webcast – Amazon Redshift Best Practices for Data Loading and Query Performance (Part 1)

AWS Webcast – Amazon Redshift Best Practices Part 2 — Performance

Minubo.com zieht es mit der Cloud BI Lösung in die Amazon AWS Cloud

Das tecRacer AWS Team unterstützt die Firma minubo bei der Realisierung des
Datenaufbereitungsprozesses durch den Einsatz von Hadoop und Amazon Redshift,
um einen schnellen Kenzahlenzugriff der minubo Kunden zu erreichen.
Mehr Informationen können auf dem Blog der Firma minubo entnommen werden.
hier geht’s zum Blog.

AWS Stammtisch in Berlin

AWS Stammtisch in Berlin am 04.07.2013

Wird leider nicht stattfinden.
Bedingt durch die Ferien und Urlaubszeit sowie einigen Absagen, müssen wir den Termin verschieben.
Informationen zum nächsten AWS Stammtisch Berlin werden wir wieder rechtzeitig bekanntgeben.

Bei direktem Interesse senden wir Ihnen auch gern eine Einladung per Email zu.
Hinterlassen Sie einfach Ihre Kontaktdaten hier.

Teil 3: NSA sichere Passwörter für AES-256 Bit Verschlüsselung

Die ganze Verschlüsselung mit AES-256 ist natürlich nur so gut, wie das gewählte Passwort … denn die Tools zum Knacken von Passwörten sind richtig gut und wenn man viel Rechenpower mit GPU’s hat, sind manche Passwörter sehr schnell erraten. Im Wesentlichen kommt es auf die Entropie des Passwortes an und nicht auf das Verwenden von gängigen Sonderzeichen etc.

In der nachfolgend dargestellten Grafik wird das super auf den Punkt gebracht:

xkcd-936-password_strength

In diesem Artikel wird der technische Unterschied anhand der oben dargestellten Grafik ausführlich erklärt:

http://blog.agilebits.com/2011/08/10/better-master-passwords-the-geek-edition/

Mit diesem Online-Tool kann man die aktuelle Entropie seines Passwortes errechnen:

http://rumkin.com/tools/password/passchk.php

In diesem Artikel wird beschrieben, wie schnell man Passwörter mit einem Tool wie John-the-Ripper oder Hash-Suite basierend auf einer entsprechenden Entropie des Passwortes knacken kann … hier in der Tabelle ist aber berücksichtigt, dass der Passwort-Algorithmuss mittels PBKDF2 abgebildet wurde, der dazuführt, dass bei der Prüfung des Passworts stets eine entsprechende Anzahl von Iterationen durchlaufen werden muss, was die Geschwindigkeit von den Passwort-Jnack-Tools dramatisch verringert.

JtR-1P-crack-times-750x305