Clouds – einfaches Management von CloudFormation Templates

Infrastruktur als Code ist eine (Heraus)Forderung von DevOps. Die Infrastrukturbeschreibungssprache von AWS heißt CloudFormation. Hat man sich erstmal eingearbeitet, greift man immer häufiger zum Texteditor statt zur Console, um AWS Ressourcen zu erstellen. Und eh man es sich versieht, hat man eine unüberschaubare Anzahl von Cloudformation Templates. Und dann steht man vor der Aufgabe, diese zu verwalten. Hier wollen wir ein paar Möglichkeiten dafür vorstellen.

(mehr …)

Filter mit AWS CLI – effizient und hilfreich

Das die AWS CLI ein mächtiges und sehr hilfreiches Tool für die Kontrolle und das Monitoring einer Infrastruktur in AWS ist, ist allgemein bekannt. Oft hindern die vorhandenen umfangreichen Optionen und deren korrekter Syntax zur Ermittlung des gesuchten Ergebnisses eine häufigerer Nutzung der AWS CLI im täglichen Betrieb.
In diesem Artikel wird gezeigt, wie durch den Einsatz des Parameters ’–filter’  häufig wiederkehrende Fragestellungen in Zusammenhang mit EC2 Instanzen effizient beantwortet werden können.

(mehr …)

Velocity für komplexe CloudFormation-Templates

Cloudformation als Beschreibungssprache

Mit AWS CloudFormation lassen sich (fast) alle AWS Dienst in einer Konfigurationssprache beschreiben. Das ermöglicht Scripten von AWS-Infrastruktur. So sind die AWS Ressourcen gut dokumentiert. Die Templates können auch in Konfigurationssystemen abgelegt und versioniert werden, z.B. CodeCommit. CloudFormation hat also viele Vorteile. Ein Nachteil ist jedoch, dass die CloudFormation Templates schnell sehr groß werden. Was tun?

(mehr …)

6 Tipps und Tricks für AWS Kommandozeilen Ninjas

Das AWS Command Line Interface (CLI) erlaubt es Ihnen AWS Services einfach und bequem zu verwalten. Mit dem CLI können Sie im Terminal interaktiv Aufgaben bewältigen ohne die AWS Management Console benutzen zu müssen, was einen höheren Automatisierungsgrad ermöglicht. Außerdem können Shell-Skripte mit der Hilfe des AWS CLI verwendet werden um Infrastruktur-Setups zu automatisieren. Ein Beispiel: mit einem kleinen Shell-Skript und der AWS CLI kann zum Beispiel am Ende des Boot-Prozesses einer EC2-Instanz ein EBS Volume verbunden oder ein DNS-Eintrag über Route 53 angepasst werden.

Dieser Artikel beschreibt Tipps und Tricks für die Verwendung der AWS CLI im DevOps Alltag.

Kommando-Vervollständigung

Bei der Verwendung der CLI im Terminal ist die Kommando-Vervollständigung ein Killer-Feature. Nach dem Aktivieren lassen sich Kommandos mit der TAB-Taste automatisch vervollständigen. Damit kann die Arbeitsgeschwindigkeit bei der Verwendung der CLI signifikant erhöht werden.

Die folgenden Schritte sind notwendig um die Kommando-Vervollständigung für die bash auf OS X zu aktivieren:

echo "complete -C aws_completer aws" >> ~/.bash_profile
source ~/.bash_profile

(mehr …)

Danke AWS … CloudTrail Analyse stark vereinfacht

CloudTrail sollte in jedem Account in jeder Region aktiviert sein. Nur dann loggt AWS automatisch alle Aktionen, die von Admins interaktiv in der AWS Console, über die AWS Command Line oder über AWS API-Aufrufe durchgeführt wurden.

Das Logging selbst findet statt in Form von Json-Dateien, die im Gzip-Format in Intervallen von ca. 5 Minuten auf S3 abgelegt werden. Wollte man nun auswerten, wer in einer Security-Gruppe was gemacht hat, kam man eigentlich nur mit Tools weiter, die in der Lage sind, diese grosse Anzahl von Dateien sinnvoll zu importieren und entsprechend auszuwerten (z.B. Splunk oder Loggly).

Seit kurzem hat aber nun AWS uns das Leben wieder ein Stückchen einfacher gemacht. Die letzten 7 Tage sind nun stets über eine Suchmaske sehr einfach auswertbar.

2015-03-25 18_02_48-CloudTrail Management Console

Damit lassen sich spontane Fragen (AWS spricht hier von Troubleshooting Operational Issues) wer hat wann was gemacht lösen.

 

AWS Cloudwatch Logs nun auch in Irland verfügbar

AWS Cloudwatch Logs ist nicht Cloudwatch … sondern ist ein neuer Service innerhalb von Cloudwatch. Bei Cloudwatch Logs kann man diverse Log-Dateien direkt nach AWS Cloudwatch Logs streamen (bzw. uploaden). Dabei ist es eigentlich egal, ob dies Log-Dateien auf EC2-Instanzen oder auf anderen OnPremise-Servern sind (z.B. Apache oder IIS-Logdateien).

Die Log-Dateien können dann für lange Zeit bei Cloudwatch Logs archiviert werden, dafür gelten die monatlichen Preise von S3 (0,03 USD / GB pro Monat.).

2014-10-07 16_10_35-CloudWatch Management Console

Für das „ingesting“, sprich das Uploaden/Streamen der Log-Dateien nach Cloudwatch Logs berechnet AWS 0,57 USD / GB in Irland.

In Cloudwatch Logs kann man dann entsprechende Alarme definieren, wenn beispielsweise Security relvante Sachen in den Log-Daten auftauchen.

Weitere Infos gibt es hier:

 

AWS Cloudwatch Logs mit Windows-Instanzen

Ich hatte ja schon in diesem Artikel über den neuen AWS Service Cloudwatch Logs berichtet …

Neben den neuen Agenten für Cloudwatch Logs ist auch im AWS Standard Windows Service EC2Config das neue Cloudwatch Logs standardmässig integriert. Allerdings nur mit der neuesten Version 2.2.5, die man hier herunterladen kann um damit vorhandene Windows EC2-Instanzen upzudaten. Neue EC2-Windows Instanzen bekommen diese Version schon jetzt ausgerollt. (EC2Config-Service: http://aws.amazon.com/developertools/5562082477397515).

CloudwatchLogs-EC2-Config1

Amazon Windows EC2Config Service

(mehr …)

Neuer Service: AWS Cloudwatch Logs

Gestern wurden zahlreiche neue AWS Services zum Thema Mobile vorgestellt … aber irgendwie ist bisher der neue AWS Cloudwatch Log Service dabei ein wenig untergegangen …

AWS Cloudwatch ist bisher als Statistik-Dienst bekannt, der entsprechende Daten von fast allen AWS Ressourcen automatisch sammelt und für 14 Tage speichert und dafür ein Alerting-System als auch grafische Analysetools anbietet.

Cloudwatch Logs wurde gestern vorgestellt und ist bereits für die Virginia Region verfügbar. AWS bietet für Cloudwatch Logs Agenten (Windows, Ubuntu, Amazon Linux) an, die man innerhalb von z.B. EC2-Instanzen installiert. Diese Agenten schicken dann automatisiert definierte Log-Dateien (Apache Logs, etc.) nach AWS Cloudwatch Logs.

In Cloudwatch Logs können diese Log-Dateien nun unlimitiert lange gespeichert werden und es können Alarm-Trigger auf die Inhalte der Log-Dateien definiert werden, so dass man z.B. benachrichtigt wird, wenn in einer Log-Datei eine bestimmte Anzahl von Fehlern überschritten wird.

 

CloudWatch Management Console

Die Preisgestaltung ist wie bei AWS üblich wie immer günstig:

Amazon CloudWatch Logs (Virginia Region)

  • $0.50 per GB ingested
  • $0.03 per GB archived per month

 

Mit AWS Cloudwatch Logs macht nun AWS eigentlich Unternehmen wie Splunk, Loggly direkte Konkurrenz … und ich denke, das aktuelle Featureset von Cloudwatch Logs ist erst der Anfang …

Json- und CSV-Commandline Tools

Mal wieder neue Tools, die wir bisher auch noch nicht auf dem Schirm hatten … die kann man sehr gut brauchen, wenn man mit der neuen Amazon AWS Commandline arbeitet …

 

Beispiele und weitere Infos dazu auch hier:

http://jeroenjanssens.com/2013/09/19/seven-command-line-tools-for-data-science.html