Amazon S3 und Amazon Glacier im Zusammenspiel

Seit dem 14.11.2012 ist nun die angekündigte Verbindung zwischen Amazon S3 und Amazon Glacier verfügbar. Beide zusammen sind ein unschlagbares Team …

Amazon S3 ist ein Cloud-Speicher und hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostest 0,125 US$ pro GByte / Monat  und hat einen schnellen Lese- und Schreibzugriff über HTTPS. Kunden nutzen Amazon S3 in der Regel für die Ablage von Videos, Bildern oder Datensicherungen. Allerdings summieren sich die Kosten bei sehr grossen Datenmengen entsprechend und nicht alle Daten müssen stets sofort wieder im Lesezugriff sein.

Aus diesem Grund hat Amazon mit dem Dienst Amazon Glacier einen Cloud-Speicher für langfrist-Archive seit Sommer 2012 im Angebot. Auch Amazon Glacier hat aufgrund der Redundanz über mehrere Availability-Zonen eine sehr hohe Verfügbarkeit von 99,999999999%, kostet aber nur 0,011 US$ pro GByte / Monat, also ungefähr ein 1/10 von Amazon S3. Der wesentliche Unterschied ist, das Daten nach Amazon Glacier über HTTPS schnell eingestellt werden können, der Abruf der Daten von Amazon Glacier aber angefordert werden muss, anschließend wird innerhalb von 3-4 Stunden ein Download-Link zur Verfügung gestellt, das reduziert das Einsatzszenario wirklich nur auf Archiv-Daten.

Bisher waren Amazon S3 und Amazon Glacier komplett getrennte Tools. Es gibt innerhalb der Amazon AWS Console getrennte Verwaltungsbereiche, eigene APIs und jede Menge spezifische Tools von Drittherstellern (siehe unsere Tools Seite).

Was leistet die neue Verbindung zwischen Amazon S3 und Amazon Glacier:

In Amazon S3 wird eine auf Bucket-Ebene eine Livecylce Rule definiert. Diese Rule definiert, dass alle Dateien in diesem Bucket, die mit „Back_“ anfangen, nach 30 Tagen automatisch nach Amazon Glacier verschoben werden. Gleichzeitig kann optional die Lebensdauer der Dateien beschränkt werden, so dass Dateien nach Ablauf der Zeit automatisch auf Amazon S3 und Amazon Glacier gelöscht werden.

Wenn die Dateien nach Amazon Glacier verschoben wurden, wird dieses im Storage-Attribut der Datei entsprechend gekennzeichnet. Eine Datei, die nun auf Amazon Glacier liegt, kann über die Amazon S3 Oberfläche oder über das Amazon S3 API nun wieder angefordert werden. Dabei kann definiert werden, wie lange diese Datei dann auf Amazon S3 abgelegt werden soll (zusätzlich zu der Kopie die auf Amazon Glacier liegt). Das Zurückholen der Datei von Amazon Glacier dauert wie bei Amazon Glacier üblich ca. 3-4 Stunden.

Dateien, die über Amazon S3 nach Amazon Glacier verschoben wurden, sind nicht über das normale Amazon Glacier API abrufbar, sondern dazu müssen nun neue API Aufrufe innerhalb des S3 APIs verwendet werden!

Was leistet die neue Verbindung zwischen Amazon S3 und Amazon Glacier stand heute NICHT:

Snapshots von EBS-Volumes oder des AWS Storage Gateways werden technisch auch auf Amazon S3 gespeichert, obwohl sie über das Amazon S3 Interface und API nicht erreichbar sind. Aus diesem Grunde können leider Snapshots nicht auf das nur 1/10 kostende Amazon Glacier verschoben werden … wäre aber eine super Idee …

 

1 Kommentar

Kommentar schreiben