IAM User Rechte einschränken

In vielen Unternehmen müssen Mitarbeiter selbst bei geringsten Beschaffungen sich eine Unterschrift von ihrem Chef holen … in der Amazon Cloud hingegen kann ein Mitarbeiter oft viele tausend Euro auf Knopfdruck ausgeben … sofern man dieses nicht explizit über Rechte in IAM unterbindet.

Viele Unternehmen definieren für Ihre Admins eine IAM-Gruppe “Operators”, die dann mit Rechten aus dem Policy Template “Power User Access” versehen wird. Dadurch haben Mitglieder dieser Gruppe dann Rechte auf alle Module aber nicht auf IAM.

Wenn diese Operators aber in EC2 z.B. keine Reserved Instances kaufen dürfen, dann muss dieses noch durch weitere Policies unterbunden werden. Hier ein Beispiel, wie man den Kauf von EC2 Reserved Instances unterbindet:

1. Für die Gruppe Operators eine weitere Policy hinzufügen:

mehr … »

AWS Usergroup Treffen in Berlin am 24.01.2013

Am 24.1. von 17:30 bis 19:00 findet in Berlin das erste AWS Usergroup Berlin Treffen im neuen Jahr statt.

Themen:

  • Vorstellung Lars Marin, tecRacer, als neuer Organisator AWS Usergroup Berlin
  • Reisebericht re:Invent 2012 Las Vegas
  • offene Diskussion zu gewünschten Themen in 2013

Anmeldung unter Anfahrt findet ihr hier: http://awsstammtischberlin.eventbrite.de

falsche Amazon AWS EC2 Reserved Instances gekauft … was tun?

Auch Profis machen Fehler … ;-)

Heute habe ich für einen Kunden eine Reserved Instance gekauft, leider hatte ich bei der Auswahl nicht darauf geachtet, das ich eine Reserved Instance für Linux/VPC brauche und habe statt dessen eine Reserved Instanz Linux M1.Large für 1 Jahr ohne VPC gekauft … und zack waren 780 US$ gebucht.

Allerdings kann man, wenn man so wie wir, Amazon AWS Enterprise Support hat … sofort dort anrufen und das stornieren lassen. Dann wird die irrtümlich gebuchte Reserved Instance als “retired” gebucht und man bekommt eine entsprechende Abbuchung und sofortige Gutschrift über die 780 US$ auf der Kreditkarte und kann dann die Reserved Instance erneut buchen.

 

 

Amazon AWS RDS Datenbank im VPC aus dem Internet erreichbar machen …

Eigentlich will man das genau nicht. Eine Amazon RDS Datenbank im VPC soll eigentlich ja nur aus dem VPC heraus erreichbar sein … aber gerade beim Import von Daten möchte man gerne die Tools auf seinem Arbeitsplatz Rechner nutzen und am liebsten temporär direkt gegen die Datenbank konnektieren ….

Nun, das geht über einen kleinen Trick. Eine Amazon RDS Datenbank im VPC bekommt ein eigenes Network-Interface mit einer lokalen IP-Adresse aus einem entsprechenden Subnets. Kann man sich in der AWS Consule unter EC2 / Network Interfaces ansehen:

Nun kann man diesem RDSNetwork-Interface auch eine Public IP Adresse zuweisen. Man mmacht diese wie folgt:

  • EC2 / Elastic IPs –> Allocate New Address –> in der ComboBox VPC auswählen
  • EC2 / Elastic IPs –> neue IP anklicken –> Associate Address  –> in der Dialog Box dann unter Network Interface die ID des Network Interfaces der RDS Instanz auswählen.
  • Danach unter EC2 / Network Interfaces schauen, ob die Public IP korrekt unserem RDS Network Interface zugewiesen wurde.

Jetzt muss nur noch in der entsprechenden RDS-Security Group der Port für einen ZUgriff aus dem Internet geöffnet werden:

  • EC2 / Security Groups –> In der ComboBox “VPC Security Groups” auswählen –> und dann in der entsprechenden RDS-Security Group den Datenbank-Port (z.B. 3306 oder 1433) für 0.0.0.0/0 öffnen.  Am besten das Ganze auf eine öffentliche IP beschränken und das Ganze sowieso nur TEMPORÄR für Admin-Zwecke machen!

 

Amazon AWS Datapipe ist da …

Seit heute ist die Amazon AWS Datapipe verfügbar. Zunächst nur in der Region US-EAST1 … aber wie immer wird das nicht lange dauern, bis das hoffentlich auch in der Region EU1 verfügbar ist.

Mit der neuen Amazon AWS Datapipe kann man sehr einfach Daten-Kopierprozesse oder Daten-Transformationen designen und Zeit gesteuert ablaufen lassen.

Die Preisgestaltung sieht auch prima aus:

AWS Elasticache nun auch in VPC

Seit heute ist der auf Memcache basierte Caching-Service von Amazon AWS mit dem Namen Elasticache nun auch endlich in einem VPC Szenario einsetzbar …

http://aws.amazon.com/de/about-aws/whats-new/2012/12/20/amazon-elasticache-announces-support-for-amazon-vpc/

Amazon AWS Services mit BETA Status

Folgende Amazon AWS Services werden von Amazon AWS mit dem Vermerk BETA gelistet …

  • Amazon RDS (Relational Database Service)
  • Amazon DynamoDB
  • Amazon AWS Elasticache
  • Amazon CloudSearch
  • Amazon SWF (Simple WorkFlow Service)
  • Amazon SES (Simple Email Service)
  • Amazon SNS (Simple Notification Services)
  • Amazon Elastic Beanstalk

… der Zusatz Beta ist wirklich unglücklich gewählt, denn viele Kunden assoziieren damit einen unfertigen instabilen Service … Amazon AWS meint mit BETA bei den o.g. Services nicht instabil sondern nur noch nicht Feature Complete aus Sicht von Amazon AWS … somit können und sollen definitiv alle Beta Services in Produktion genutzt werden.

 

Bericht von der Amazon AWS Cloud re:Invent Konferenz in Las Vegas

Dieses Jahr fand zum ersten mal die Amazon AWS Cloud Konferenz unter dem Namen re:Invent vom 28.-29. November in Las Vegas statt. Natürlich waren wir von tecRacer auch dort … der Ort Las Vegas ist gut gewählt, da dort entsprechende Hotelkapazitäten bereitstehen und die Temperaturen mit tagsüber um die 22 Grad sehr angenehm sind. Da Las Vegas einen Zeitunterschied von 9 Stunden hat, sind wir 2 Tage vorher angereist und haben uns mit einem Mietwagen die Wüste angeschaut (Hoover-Damm, Death Valley). Las Vegas selbst lohnt sich tagsüber nicht, da sieht man all die hässlichen Baulücken und Parkdecks, erst am Abend sieht Las Vages mit den Kasinos einigermaßen schön aus …

Während der Konferenz wurden 3 wichtige Sachen angekündigt:

  • die Kosten von Amazon AWS S3 wurden um ca. 24-28% reduziert
  • mit Amazon Redshift wurde ein On-Demand-Datawarehouse angekündigt, Details siehe hier.
  • mit Amazon Datapipe wurde ein Dienst für das prozessgesteuerte Transformieren/Kopieren von Daten angekündigt , Details siehe hier.
Super ist auch, dass alle Folien der Vorträge auf SlideShare bereitgestellt wurden: reInvent Vortragsfolien
Nachfolgend ein paar Bilder mit Impressionen:

mehr … »

Amazon AWS Storage Gateway ideal für Unternehmen mit VMWare ESXi

Das Amazon AWS Storage Gateway ist für Unternehmen gedacht, die bereits VMWare ESXi im Einsatz haben und Daten automatisiert in der Cloud sichern wollen oder Volumes direkt in die Cloud auslagen wollen.

Amazon AWS stellt ein VMWare Image bereit, dies benötigt weitere lokale Festplatten in der VM und stellt eine Verbindung zu Amazon AWS her.

Das Amazon AWS Storage Gateway bietet dann im Zusammenspiel mit der bereitgestellten VM zwei unterschiedlichen Anwendungs-Szenarien:

  • Gateway-Stored Volumes
  • Gateway-Cached Volumes

Szenario 1: Gateway-Stored Volumes:

  • Die lokale Datenspeicherung erfolgt in VMWare-Volumens, dazu kommt ein lokales Upload-Buffer VMWare-Volumens
  • Das Amazon AWS Storage Gateway sort dann für eine automatische Synchronisation der lokalen Volumes mit Amazon AWS und Speicherung unter S3 als EBS-Volume-Snapshot
  • Dadurch liegt stets ein komplettes Backup des lokalen VMWare Volumes auf Amazon AWS S3 vor

Szenario 2: Gateway-Cached Volumes:

  • Die Daten der lokalen VMWare Volumes werden stets direkt in Amazon AWS S3 gespeichert. Das Volume dort kann bis zu 32 TB gross sein.
  • Für den schnellen Zugriff werden ca. 20% des Datenvolumens lokal auf einem VMWare Volume gecached, dazu kommt ein Upload-Buffer VMWare-Volume.
  • Somit werden stets alle Daten auf S3 direkt gespeichert, für einen lokalen schnellen Zugriff sorgt das Cache-Volume.

Amazon AWS Vortrag am 5.12.2012 um 19:30 Uhr in Hamburg

Am Mittwoch, den 5.12. um 19:30 Uhr hält Sven Ramuschkat einen Vortrag über die Amazon AWS Cloud in Hamburg:

 

  • Gesamtübersicht über die Amazon Cloud
  • Vorteile und Nutzen der Amazon Cloud
  • Preismodelle
  • Skalierungsszenarien
  • Beispiele aus der Praxis

Hier zu weiteren Infos und Anmeldung 

Amazon S3 und Amazon Glacier im Zusammenspiel

Seit dem 14.11.2012 ist nun die angekündigte Verbindung zwischen Amazon S3 und Amazon Glacier verfügbar. Beide zusammen sind ein unschlagbares Team …

Amazon S3 ist ein Cloud-Speicher und hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostest 0,125 US$ pro GByte / Monat  und hat einen schnellen Lese- und Schreibzugriff über HTTPS. Kunden nutzen Amazon S3 in der Regel für die Ablage von Videos, Bildern oder Datensicherungen. Allerdings summieren sich die Kosten bei sehr grossen Datenmengen entsprechend und nicht alle Daten müssen stets sofort wieder im Lesezugriff sein.

Aus diesem Grund hat Amazon mit dem Dienst Amazon Glacier einen Cloud-Speicher für langfrist-Archive seit Sommer 2012 im Angebot. Auch Amazon Glacier hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostet aber nur 0,011 US$ pro GByte / Monat, also ungefähr ein 1/10 von Amazon S3. Der wesentliche Unterschied ist, das Daten nach Amazon Glacier über HTTPS schnell eingestellt werden können, der Abruf der Daten von Amazon Glacier aber angefordert werden muss, anschließend wird innerhalb von 3-4 Stunden ein Download-Link zur Verfügung gestellt, das reduziert das Einsatzszenario wirklich nur auf Archiv-Daten.

mehr … »

Amazon AWS Developer Konferenz re:Invent in Las Vegas

Vom 27. bis 29. November findet zum ersten mal eine Amazon AWS Developer Konferenz statt und Sie ist schon ausgebucht … wir von tecRacer fahren da auch hin und freuen uns riesig … und wir werden auf diesem Blog detailliert davon berichten … es wäre schön wenn ich dort auch den einen oder anderen deutschen da Treffen würde …

Webinare in Zusammenarbeit mit Amazon AWS Deutschland

In den kommenden Wochen werden wir zahlreiche deutschsprachige Webinare in Zusammenarbeit mit Amazon AWS Deutschland durchführen. Termine und Inhalte sind nachfolgende beschrieben:

Webinar-Anmeldung: Funktionsweise und Architektur der Amazon Cloud

Datum: Dienstag, den 30.10.2012, 11.00 Uhr bis 11:30 Uhr

Zusammenfassung: Die Amazon Cloud besteht aus mehr als 22 unterschiedlichen Services … von virtuellen Instanzen auf Basis von EC2 bis hin zu dem neuesten Speicherdienst Glacier. Im Rahmen dieses Webinars erhalten Sie einen Gesamtüberblick über die Amazon Cloud, so dass Sie die Vorteile und den Nutzen für Ihr Unternehmen einschätzen können.
- Wie kann mein Unternehmen von der Amazon Cloud profitieren
- Die AWS Plattform im Überblick


Datum: Dienstag, den 30.10.2012, 14.00 Uhr bis 14:30 Uhr

Zusammenfassung: Amazon EC2 ist der wohl bekannteste Service der Amazon Cloud. EC2 stellt ihnen virtuelle Server auf Basis von Windows oder Linux zur Verfügung. In diesem Webinar erhalten Sie einen Überblick über die umfangreichen Einsatz- und Konfigurationsmöglichkeiten von EC2 für Ihr Unternehmen. Virtuelle Server auf Basis von EC2 in der Amazon Cloud

- Erstellen von EC2-Windows/Linux Instanzen
- OnDemand vs Reserved Instances
- EBS-Volumes, Snapshots und Custom AMIs
- Security Group


Datum: Dienstag, den 13.11.2012, 11.00 Uhr bis 11:30 Uhr
Zusammenfassung: Die Amazon Cloud bietet Ihnen ein vollständiges „Infrastucture as a Service an“. Dazu gehört natürlich auch die Definition von privaten und öffentlichen IP-Subnetzen hinter einer Firewall / Load Balancer inkl. der Anbindung an ein VPN. In diesem Webinar erhalten Sie einen Überblick über den Nutzen und die Anwendungsmöglichkeiten von Amazon VPC für Ihr Unternehmen. Amazon VPC – Vorteile und Nutzen einer virtuellen privat Cloud- Vorstellung unterschiedlicher VPC-Szenarien
- Vorteile und Nutzen
- Erstellung und Konfiguration eines VPC-Szenarios
- VPN-Anbindung

Amazon VPC VPN-Verbindungen

Im Rahmen von einigen kürzlich durchgeführten Kunden Projekten haben wir zahlreiche VPN-Anbindungen an Amazon AWS VPCs durchgeführt. Hier ein paar Infos und Erfahrungswerte zu VPNs:

  • Amazon VPC kann zur Zeit nur VPN-Tunnels mit einer Verschlüsselung von 128-Bit durchführen (AES128), AES256 ist auf der Roadmap.
  • eine VPN-Verbindung besteht immer aus 2 Tunnel (Redundanz)
  • eine VPN-Verbindung kostet 0,05 USD pro VPN-Verbindungsstunde, dazu kommen dann noch die normalen Datentransfer-Gebühren
Es werden inzwischen zahlreiche VPN-Devices unterschiedlicher Hersteller unterstützt. Neu ist, dass auch direkt Windows 2008R2 oder normale IPSec-fähige Devices unterstützt werden. Um Details zur Konfiguration der IPSec-Devices herauszufinden, muss man für den Vendor “Generic” einfach nur die Konfigurationsdaten herunterladen und dort dann die entsprechenden Informationen wie Pre-Shared Secret etc. entnehmen.
Amazon AWS hat kürzlich ein sehr gutes übersichtliches Whitepaper zum Thema VPN veröffentlicht:

AWS_Amazon_VPC_Connectivity_Options

Man kann natürlich auch anstelle der normalen Amazon VPC VPN-Möglichkeiten entsprechende Tools von Drittanbietern wie z.B. Checkpoint nutzen. Checkpoint bietet im Amazon AWS Marketplace eine fertige Software-Appliance an, die man in seinem Account als EC2 Instanz startet und dann konfiguriert. Der Preis für die Nutzung beträgt für die CheckPoint-Appliance  zwischen 0,08 bis 0,18 USD pro Stunde zzgl. der entsprechenden Amazon EC2 Instanzgebühr.

Dokumentation der CheckPoint Security Gateway Virtual Appliance R75 for Amazon Web Services VPC

CloudFormation Scripting

Mit CloudFormation können sämtliche Amazon AWS Ressourcen über ein Script erstellt werden, ganz getreu dem Motto “Infrastructure as Code”.

Das erstellte Skript kann man dann über die CommandLine oder über die AWS-Console ausführen lassen. Kommt es bei der Ausführung zu einem Fehler, werden alle bis dahin erstellten Ressourcen im Rahmen eines Rollbacks wieder gelöscht. Die gesamte erstellte Infrastruktur kann auch auf einen Schlag wieder gelöscht werden, in dem man den entsprechend ausgeführten CloudFormation Stack löscht … aber Vorsicht … ;-)

CloudFormation Skripte werden im JSON Format erstellt … und am besten man nimmt dafür einfach Notepad++ in Verbindung mit dem PlugIn JSMin, dann hat man auch eine angenehme Navigation über die Struktur der JSON-Datei.

mehr … »

neue Amazon AWS AutoScaling Policies

Seit kurzem gibt es neue Auto Scaling Termination Policies … das ist ein wenig in den vielen Ankündigungen der letzte Woche untergegangen …

Mit diesen neuen Policies hat man eine genaue Kontrolle darüber, welche Instanzen bei einem automatisierten runterfahren der EC2 Instanzen im Rahmen von Auto Scaling zuerst berücksichtigt werden sollen:

  • die ältesten Instanzen
  • die neuesten Instanzen
  • die Instanzen mit der ältesten Launch Konfiguration
  • ClosestToNextInstanceHour … auch cool, beende die Instanzen, die von der Abrechnung am nächsten am nächsten Abrechnungsintervall dran sind

Gesteuert wird dies über den neuen TerminationPolicies Parameter.

Mehr Informationen darüber gibt es hier: http://docs.amazonwebservices.com/AutoScaling/latest/DeveloperGuide/us-termination-policy.html

10 Tipps für das Verwenden von Amazon AWS CloudFormation

Hier der Link zu einem PDF mit 10 kleinen Tipps im Umgang mit CloudFormation:

10 tips when using CloudFormation

tecRacer und Amazon AWS Enterprise Cloud Computing Roadshow 2012 … Resumee

Puh … das war anstrengend aber auch sehr gut und erfolgreich. Gemeinsam mit Amazon Web Services hatten wir eine RoadShow in KW37 und KW38 quer durch Deutschland gemacht.

Das Feedback der Teilnehmer war durchweg sehr positiv und wir konnten viele interessante Gespräche führen. Die Folien zu unserem Vortrag “Cloud Migrations-Strategien: Mein Weg in die Cloud” finden Sie hier als PDF:

tecRacer Amazon-AWS-RoadShow

Video HTTP Streaming mit Flash Media Server mit CloudFront

Viele Kunden nutzen als kostenlosen Videoplayer den flashbasierten Player “Flash Media Playback” um damit das HTTP Streaming des Flash Media Servers über CloudFront zu nutzen. Leider zeigt die von Adobe veröffentlichte URL auf eine doch sehr alte Version … und diese hat zahlreiche Probleme mit dem HTTP Streaming (HDS Streaming) … es kommt zu zahlreichen Bufferproblemen …

Der offizielle Link http://www.osmf.org/configurator/fmp/# führt zur Version 1.5x ….

Über diesen Link http://osmf.org/dev/2.0gm/setup.html kommt man zur aktuellen Version 2.x

 

Das in den Screenshots dargestellt Overlay mit der Versionsnummer kann man übrigens abrufen, in dem man unten rechts auf das letzte Icon eine Mausklick mit der rechten Maustaste macht …

Amazon Glacier: Archiv Speicher für einen Penny pro GB pro Monat

Mit einem kleinen Paukenschlag hat Amazon AWS einen komplett neuen Service bereitgestellt: Amazon Glacier ist ein sehr kostengünstiger Archiv-Speicher in der Cloud. Hier die zusammengefassten Leistungsmerkmale:

  • Pro Gigabyte gespeicherter Daten verlangt Amazon je nach AWS-Region zwischen 1 und 1,2 US-Cent im Monat
  • Die Daten werden wie bei S3 multiredundant gespeichert, Amazon spricht von einer Verfügbarkeit von 99.999999999%
  • Innerhalb von Glacier sind die Daten mit 256-AES verschlüsselt, wobei Amazon die Schlüssel selbst verwaltet
  • Der Upload von Daten erfolgt über ein eigenes API bzw. über Tools von Drittherstellen wie z.B. http://fastglacier.com/, wie bei Amazon AWS üblich, ist der Traffic für eingehende Daten kostenlos
  • Der Abruf der Daten ist allerdings nicht wie bei S3 sofort möglich, sondern es muss ein Request für den Download erfolgen, innerhalb von 3-4 Stunden wird dann ein Download-Link zu den Daten bereitgestellt. Der Download kostet, sofern er ein definiertes Limit überschreitet extra Geld. Somit reduziert sich das Einsatzszenario von Glacier auf Daten, die langfristig dauerhaft archiviert werden müssen und nur gelegentlich abgerufen werden müssen.

Es existieren bereits einige Tools, die wie hier aufgelistet haben: