Filter mit AWS CLI – effizient und hilfreich

Das die AWS CLI ein mächtiges und sehr hilfreiches Tool für die Kontrolle und das Monitoring einer Infrastruktur in AWS ist, ist allgemein bekannt. Oft hindern die vorhandenen umfangreichen Optionen und deren korrekter Syntax zur Ermittlung des gesuchten Ergebnisses eine häufigerer Nutzung der AWS CLI im täglichen Betrieb.
In diesem Artikel wird gezeigt, wie durch den Einsatz des Parameters ’–filter’  häufig wiederkehrende Fragestellungen in Zusammenhang mit EC2 Instanzen effizient beantwortet werden können.

(mehr …)

Velocity für komplexe CloudFormation-Templates

Cloudformation als Beschreibungssprache

Mit AWS CloudFormation lassen sich (fast) alle AWS Dienst in einer Konfigurationssprache beschreiben. Das ermöglicht Scripten von AWS-Infrastruktur. So sind die AWS Ressourcen gut dokumentiert. Die Templates können auch in Konfigurationssystemen abgelegt und versioniert werden, z.B. CodeCommit. CloudFormation hat also viele Vorteile. Ein Nachteil ist jedoch, dass die CloudFormation Templates schnell sehr groß werden. Was tun?

(mehr …)

6 Tipps und Tricks für AWS Kommandozeilen Ninjas

Das AWS Command Line Interface (CLI) erlaubt es Ihnen AWS Services einfach und bequem zu verwalten. Mit dem CLI können Sie im Terminal interaktiv Aufgaben bewältigen ohne die AWS Management Console benutzen zu müssen, was einen höheren Automatisierungsgrad ermöglicht. Außerdem können Shell-Skripte mit der Hilfe des AWS CLI verwendet werden um Infrastruktur-Setups zu automatisieren. Ein Beispiel: mit einem kleinen Shell-Skript und der AWS CLI kann zum Beispiel am Ende des Boot-Prozesses einer EC2-Instanz ein EBS Volume verbunden oder ein DNS-Eintrag über Route 53 angepasst werden.

Dieser Artikel beschreibt Tipps und Tricks für die Verwendung der AWS CLI im DevOps Alltag.

Kommando-Vervollständigung

Bei der Verwendung der CLI im Terminal ist die Kommando-Vervollständigung ein Killer-Feature. Nach dem Aktivieren lassen sich Kommandos mit der TAB-Taste automatisch vervollständigen. Damit kann die Arbeitsgeschwindigkeit bei der Verwendung der CLI signifikant erhöht werden.

Die folgenden Schritte sind notwendig um die Kommando-Vervollständigung für die bash auf OS X zu aktivieren:

echo "complete -C aws_completer aws" >> ~/.bash_profile
source ~/.bash_profile

(mehr …)

Danke AWS … CloudTrail Analyse stark vereinfacht

CloudTrail sollte in jedem Account in jeder Region aktiviert sein. Nur dann loggt AWS automatisch alle Aktionen, die von Admins interaktiv in der AWS Console, über die AWS Command Line oder über AWS API-Aufrufe durchgeführt wurden.

Das Logging selbst findet statt in Form von Json-Dateien, die im Gzip-Format in Intervallen von ca. 5 Minuten auf S3 abgelegt werden. Wollte man nun auswerten, wer in einer Security-Gruppe was gemacht hat, kam man eigentlich nur mit Tools weiter, die in der Lage sind, diese grosse Anzahl von Dateien sinnvoll zu importieren und entsprechend auszuwerten (z.B. Splunk oder Loggly).

Seit kurzem hat aber nun AWS uns das Leben wieder ein Stückchen einfacher gemacht. Die letzten 7 Tage sind nun stets über eine Suchmaske sehr einfach auswertbar.

2015-03-25 18_02_48-CloudTrail Management Console

Damit lassen sich spontane Fragen (AWS spricht hier von Troubleshooting Operational Issues) wer hat wann was gemacht lösen.

 

AWS Cloudwatch Logs nun auch in Irland verfügbar

AWS Cloudwatch Logs ist nicht Cloudwatch … sondern ist ein neuer Service innerhalb von Cloudwatch. Bei Cloudwatch Logs kann man diverse Log-Dateien direkt nach AWS Cloudwatch Logs streamen (bzw. uploaden). Dabei ist es eigentlich egal, ob dies Log-Dateien auf EC2-Instanzen oder auf anderen OnPremise-Servern sind (z.B. Apache oder IIS-Logdateien).

Die Log-Dateien können dann für lange Zeit bei Cloudwatch Logs archiviert werden, dafür gelten die monatlichen Preise von S3 (0,03 USD / GB pro Monat.).

2014-10-07 16_10_35-CloudWatch Management Console

Für das „ingesting“, sprich das Uploaden/Streamen der Log-Dateien nach Cloudwatch Logs berechnet AWS 0,57 USD / GB in Irland.

In Cloudwatch Logs kann man dann entsprechende Alarme definieren, wenn beispielsweise Security relvante Sachen in den Log-Daten auftauchen.

Weitere Infos gibt es hier:

 

AWS Cloudwatch Logs mit Windows-Instanzen

Ich hatte ja schon in diesem Artikel über den neuen AWS Service Cloudwatch Logs berichtet …

Neben den neuen Agenten für Cloudwatch Logs ist auch im AWS Standard Windows Service EC2Config das neue Cloudwatch Logs standardmässig integriert. Allerdings nur mit der neuesten Version 2.2.5, die man hier herunterladen kann um damit vorhandene Windows EC2-Instanzen upzudaten. Neue EC2-Windows Instanzen bekommen diese Version schon jetzt ausgerollt. (EC2Config-Service: http://aws.amazon.com/developertools/5562082477397515).

CloudwatchLogs-EC2-Config1

Amazon Windows EC2Config Service

(mehr …)

Neuer Service: AWS Cloudwatch Logs

Gestern wurden zahlreiche neue AWS Services zum Thema Mobile vorgestellt … aber irgendwie ist bisher der neue AWS Cloudwatch Log Service dabei ein wenig untergegangen …

AWS Cloudwatch ist bisher als Statistik-Dienst bekannt, der entsprechende Daten von fast allen AWS Ressourcen automatisch sammelt und für 14 Tage speichert und dafür ein Alerting-System als auch grafische Analysetools anbietet.

Cloudwatch Logs wurde gestern vorgestellt und ist bereits für die Virginia Region verfügbar. AWS bietet für Cloudwatch Logs Agenten (Windows, Ubuntu, Amazon Linux) an, die man innerhalb von z.B. EC2-Instanzen installiert. Diese Agenten schicken dann automatisiert definierte Log-Dateien (Apache Logs, etc.) nach AWS Cloudwatch Logs.

In Cloudwatch Logs können diese Log-Dateien nun unlimitiert lange gespeichert werden und es können Alarm-Trigger auf die Inhalte der Log-Dateien definiert werden, so dass man z.B. benachrichtigt wird, wenn in einer Log-Datei eine bestimmte Anzahl von Fehlern überschritten wird.

 

CloudWatch Management Console

Die Preisgestaltung ist wie bei AWS üblich wie immer günstig:

Amazon CloudWatch Logs (Virginia Region)

  • $0.50 per GB ingested
  • $0.03 per GB archived per month

 

Mit AWS Cloudwatch Logs macht nun AWS eigentlich Unternehmen wie Splunk, Loggly direkte Konkurrenz … und ich denke, das aktuelle Featureset von Cloudwatch Logs ist erst der Anfang …

Json- und CSV-Commandline Tools

Mal wieder neue Tools, die wir bisher auch noch nicht auf dem Schirm hatten … die kann man sehr gut brauchen, wenn man mit der neuen Amazon AWS Commandline arbeitet …

 

Beispiele und weitere Infos dazu auch hier:

http://jeroenjanssens.com/2013/09/19/seven-command-line-tools-for-data-science.html

Amazon S3 und Amazon Glacier im Zusammenspiel

Seit dem 14.11.2012 ist nun die angekündigte Verbindung zwischen Amazon S3 und Amazon Glacier verfügbar. Beide zusammen sind ein unschlagbares Team …

Amazon S3 ist ein Cloud-Speicher und hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostest 0,125 US$ pro GByte / Monat  und hat einen schnellen Lese- und Schreibzugriff über HTTPS. Kunden nutzen Amazon S3 in der Regel für die Ablage von Videos, Bildern oder Datensicherungen. Allerdings summieren sich die Kosten bei sehr grossen Datenmengen entsprechend und nicht alle Daten müssen stets sofort wieder im Lesezugriff sein.

Aus diesem Grund hat Amazon mit dem Dienst Amazon Glacier einen Cloud-Speicher für langfrist-Archive seit Sommer 2012 im Angebot. Auch Amazon Glacier hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostet aber nur 0,011 US$ pro GByte / Monat, also ungefähr ein 1/10 von Amazon S3. Der wesentliche Unterschied ist, das Daten nach Amazon Glacier über HTTPS schnell eingestellt werden können, der Abruf der Daten von Amazon Glacier aber angefordert werden muss, anschließend wird innerhalb von 3-4 Stunden ein Download-Link zur Verfügung gestellt, das reduziert das Einsatzszenario wirklich nur auf Archiv-Daten.

(mehr …)