DragonDisk – S3 Manager mit CommandLine für Windows/Linux

Da wir im Rahmen unseres Amazon AWS Managed Hosting Services Kunden mit Windows und Linux Umgebungen betreuen, suchen wir stets nach Tools, die auf beiden Betriebssystem optimal laufen … Für den automatisierten Upload auf S3 hatten wir bisher unter Linux S3cmd und unter Windows S3Sync (http://sprightlysoft.com/S3Sync/) verwendet.

Wir haben uns nun DragonDisk näher angesehen und sind recht begeistert von diesem Tool. Es unterstützt viele Betriebssysteme und hat eine CommandLine (wichtig für den Batch-Betrieb über Scheduler) und über eine Sync-Funktionalität. DragonDisk ist kostenlos und ist OpenSource. http://www.dragondisk.com/

Prima ist auch, das DragonDisk von Haus aus eine clientseitige Verschlüsselung anbietet, damit ist man in heutigen Zeiten auch “NSA”-sicher.

 

 

 

S3-Laufwerksmapping unter Linux mit YAS3F

Amazon S3 hat ein reines HTTP basiertes API. Somit braucht man in der Regel entsprechende Tools oder eine eigene API-Programmierung, um S3 an seine Webapplikation anzubinden.

Da viele Web-Anwendungen noch rein Dateisystem-basiert arbeiten (z.B. Adobe Media Server) ist man versucht, das Problem der Anbindung von S3 an eine EC2-Instanz einfach über einen S3 Laufwerks-Mapper zu lösen. Insbesondere im Linux Umfeld gibt es da seit Jahren das Tool S3FS ( https://code.google.com/p/s3fs/wiki/FuseOverAmazon) was aber folgende Probleme hat:

  • es ist erstes bei einem Einsatz mit vielen kleinen Dateien nicht wirklich stabil
  • es hat keine Cluster-Unterstützung
  • die Order-Adressierung im S3 Bucket ist nicht mehr kompatibel zu Amazon S3 in der AWS Console und anderen Tools wie CloudBerry … mit der Folger das solche Ordner als 0 Bytes Dateien dargestellt werden. (das scheint jetzt wohl aber gerade mit der Version 1.68 behoben zu sein …)

Aus diesem Grunde haben wir bereits vor längerer Zeit entschieden S3FS nicht einzusetzen und eigentlich generell auf S3-Laufwerks-Mapper zu verzichten.

Im Rahmen eines größeren Consulting Projektes für die Berliner Philharmoniker haben wir uns doch noch mal intensiv mit Thema S3 Laufwerks-Mapping beschäftigt, da mit YAS3FS (Yet Another S3-backed File System) eine Alternative zu S3FS existiert. Wir sind gerade dabei YAS3F zu testen und konnten auch bereits einen fiesen Fehler unter hoher Last entdecken, der dann vom Programmierer Danilo Poccia extrem schnell behoben wurde, wow!

YAS3F ist bermerkenswert weil:

  • For maximum speed all data read from S3 is cached locally on the node, in memory or on disk, depending of the file size.
  • Clusterfähigkeit: SNS notifications are used to update other nodes in the cluster that something has changed on S3 and they need to invalidate their cache
  • Unterstützung von IAM Roles
  • und viele andere tolle Sachen: https://github.com/danilop/yas3fs

 

 

Amazon AWS Storage Gateway ideal für Unternehmen mit VMWare ESXi

Das Amazon AWS Storage Gateway ist für Unternehmen gedacht, die bereits VMWare ESXi im Einsatz haben und Daten automatisiert in der Cloud sichern wollen oder Volumes direkt in die Cloud auslagen wollen.

Amazon AWS stellt ein VMWare Image bereit, dies benötigt weitere lokale Festplatten in der VM und stellt eine Verbindung zu Amazon AWS her.

Das Amazon AWS Storage Gateway bietet dann im Zusammenspiel mit der bereitgestellten VM zwei unterschiedlichen Anwendungs-Szenarien:

  • Gateway-Stored Volumes
  • Gateway-Cached Volumes

Szenario 1: Gateway-Stored Volumes:

  • Die lokale Datenspeicherung erfolgt in VMWare-Volumens, dazu kommt ein lokales Upload-Buffer VMWare-Volumens
  • Das Amazon AWS Storage Gateway sort dann für eine automatische Synchronisation der lokalen Volumes mit Amazon AWS und Speicherung unter S3 als EBS-Volume-Snapshot
  • Dadurch liegt stets ein komplettes Backup des lokalen VMWare Volumes auf Amazon AWS S3 vor

Szenario 2: Gateway-Cached Volumes:

  • Die Daten der lokalen VMWare Volumes werden stets direkt in Amazon AWS S3 gespeichert. Das Volume dort kann bis zu 32 TB gross sein.
  • Für den schnellen Zugriff werden ca. 20% des Datenvolumens lokal auf einem VMWare Volume gecached, dazu kommt ein Upload-Buffer VMWare-Volume.
  • Somit werden stets alle Daten auf S3 direkt gespeichert, für einen lokalen schnellen Zugriff sorgt das Cache-Volume.

Amazon S3 und Amazon Glacier im Zusammenspiel

Seit dem 14.11.2012 ist nun die angekündigte Verbindung zwischen Amazon S3 und Amazon Glacier verfügbar. Beide zusammen sind ein unschlagbares Team …

Amazon S3 ist ein Cloud-Speicher und hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostest 0,125 US$ pro GByte / Monat  und hat einen schnellen Lese- und Schreibzugriff über HTTPS. Kunden nutzen Amazon S3 in der Regel für die Ablage von Videos, Bildern oder Datensicherungen. Allerdings summieren sich die Kosten bei sehr grossen Datenmengen entsprechend und nicht alle Daten müssen stets sofort wieder im Lesezugriff sein.

Aus diesem Grund hat Amazon mit dem Dienst Amazon Glacier einen Cloud-Speicher für langfrist-Archive seit Sommer 2012 im Angebot. Auch Amazon Glacier hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostet aber nur 0,011 US$ pro GByte / Monat, also ungefähr ein 1/10 von Amazon S3. Der wesentliche Unterschied ist, das Daten nach Amazon Glacier über HTTPS schnell eingestellt werden können, der Abruf der Daten von Amazon Glacier aber angefordert werden muss, anschließend wird innerhalb von 3-4 Stunden ein Download-Link zur Verfügung gestellt, das reduziert das Einsatzszenario wirklich nur auf Archiv-Daten.

mehr … »

S3 als Laufwerk für EC2-Windows oder Linux mappen

S3 ist der zentrale Speicherdienst von Amazon AWS. S3 hat für den Kunden eine unlimitierte Größe, verfügt über ein Rechtemanagement, kann Objekte versionieren bzw. mit Verfallsdaten versehen und ist über mehrere Availibility-Zonen verteilt, so dass die Daten sehr sicher gespeichert sind.

Über ein eigenes API kann man in S3 Daten speichern und entsprechend abrufen oder über HTTP wieder herunterladen …  manchmal aber braucht man für eine vielleicht existierende Software den Lese- und Schreibzugriff auf S3 über einen Laufwerkszugriff … gücklicherweise gibt es hier sowohl für Windows als auch für Linux entsprechende Software, die dann z.B. direkt auf einer entsprechenden EC2-Instanz installiert werden kann. Hier eine aktuelle Aufstellung: