Community - Cloud AWS su Google+
Amazon Web Services
cloud-aws.com Servizio Amazon Storage Gateway
Hangout 10 del 14.04.2014
● Davide Riboldi
● Massimo Della Rovere
Oggi vedremo il servizio di Amazon Storage Gateway per la gestione e la replica di dati tra azienda e cloud.
CLOUD AWS
#cloudaws
Storage Gateway - Descrizione generale
● AWS Storage Gateway è un servizio che mette in connessione diretta il proprio ambiente IT con
l’infrastruttura storage presente negli Amazon Web Services attraverso un’appliance software da
installare all’interno della propria azienda.
● Questo servizio permette la memorizzazione sicura dei propri dati nel cloud di AWS ottenendo uno storage scalabile e conveniente. Amazon Storage Gateway offre due tipi diversi di memorizzazione, una basata sui volumi e l’altra basata sui tape.
Storage Gateway - Modelli di Memorizzazione
● Volume Gateway - fornisce dei volumi di
memorizzazione che possono essere montati come device iSCSI dai server all’interno della propria azienda. Modalità di configurazione dei volumi:
○ Gateway-cached Volumes
○ Gateway-stored Volumes
● Gateway-virtual tape library (VTL) - fornisce una infrastruttura di virtual tape per il backup dei dati in amazon S3 o l’archiviazione a lungo termine in amazon Glacier per l’abbassamento dei costi.
Storage Gateway - Cached volumes
● In questo caso i dati vengono memorizzati nel servizio di Amazon S3 (simple storage service) e solo una copia dei dati con accesso più frequente viene mantenuta nello storage locale. Il funzionamento è esattamente come un sistema di cache.
● Gateway cached volumes sostanzialmente offre un risparmio effettivo sui costi totali dello storage
primario e minimizza la necessità di scalare lo storage all’interno della propria azienda, mantenendo una bassa latenza di accesso ai dati più utilizzati.
Storage Gateway - Cached volumes
datacenter
cache storage
upload buffer Application
Server
AWS
TARGET
iSCSI
INITIATOR
Gateway VM
Storage area network, direct attached storage
Volume Snapshot
Storage Gateway - Cached volumes
● Nel Gateway-Cached i volumi possono andare da un minimo di 1GB ad un massimo di 32TB e devono essere arrotondati al GigaByte. Ogni gateway che viene configurato per funzionare come gateway-cached volume può supportare fino a 20 volumi per una capacità massima di 150TB.
● Quando i dati degli application server vengono inviati ai volumi in AWS il gateway inizialmente immagazzina questi dati in dischi locali denominati Cache Storage prima di caricarli in Amazon S3. Il Cache Storage funziona da storage permanente per i dati che sono in attesa di essere caricati in ambiente Amazon S3 dopo esser passati per l’uploader buffer.
Storage Gateway - Stored volumes
● Quando si necessita di una bassa latenza per l’intero set dei propri dati è possibile configurare il gateway in modo tale che tutti i dati vengano memorizzati
localmente e che in maniera asincrona venga fatto un backup in S3 tramite una serie di snapshot.
● Questo tipo di configurazione fornisce un backup fuori sede affidabile e poco costoso, che può essere ripristinato localmente. Se si necessita sostituire anche la propria infrastruttura nel caso di un disaster recovery si possono avviare delle istanze EC2.
Storage Gateway - Stored volumes
datacenter
volume storage
upload buffer Application
Server
AWS
TARGET
iSCSI
INITIATOR
Gateway VM
Storage area network, direct attached storage
Snapshot
Storage Gateway - Stored volumes
● I dati scritti dal Gateway-Stored volume sono memorizzati sui dischi locali all’interno dell’azienda, mentre in maniera asincrona viene effettuato un backup in Amazon S3 sotto forma di snapshot EBS.
● La dimensione dei volumi va da un minimo 1GB ad un massimo di 1TB.
Ogni gateway configurato come Gateway-Stored Volume supporta fino a 12 volumi, per una capacità massima di 12 TB.
● Per preparare i dati su S3, il gateway memorizza i dati all’interno
dell’upload buffer. Il gateway carica i dati presenti nell ‘upload buffer attraverso una connessione SSL nel servizio AWS Storage Gateway attivo nel AWS cloud. Poi il servizio memorizza i dati crittografati in S3.
Storage Gateway - Virtual tape library
● Con questa funzione è possibile archiviare tutti i file di backup in Amazon Glacier e quindi usufruire di un sistema di backup economico con un’archiviazione dati a lungo termine. Il sistema è compatibile con la
maggior parte dei software di backup esistenti.
● il servizio di Gateway Virtual Tape Library fornisce un sistema di virtual tape che scala senza difficoltà in base alle esigenze della propria azienda, eliminando completamente il problema di gestire, mantenere e scalare un’infrastruttura complessa di tape fisici.
Storage Gateway - Virtual tape library
datacenter
cache storage
upload buffer Application
Server
AWS iSCSI
INITIATOR
Gateway VM
Storage area network, direct attached storage
Tape drive
Media changer
S3
Glacier
Storage Gateway - Virtual tape library
● Il virtual tape è paragonabile ad una cartuccia fisica anche se i dati risiedono nel cloud AWS. Come le cassette fisiche, i virtual tape possono essere vuoti o contenere dei dati. E’ possibile creare dei virtual tape utilizzando la AWS Storage Gateway console o utilizzando le AWS Storage Gateway API.
● Ogni gateway può contenere fino a 1500 tape o fino a 150TB di dati alla volta. La dimensione del virtual tape è configurabile durante la creazione e può essere compresa tra i 100GB e i 2.5TB.
● Un VTL ‘Media Chargher’ è analogo ad un caricatore fisico che muove i nastri all’interno della libreria, negli slot o nei tape drive. Ogni VTL viene fornito con un caricatore utilizzabile dalle applicazioni via iSCSI.
Storage Gateway - Hosting option
● Nelle slide precedenti abbiamo sempre visto che l’appliance virtuale è posizionata nel datacenter aziendale, in realtà è possibile posizionare questa immagine virtuale anche in ambiente EC2.
● I gateway EC2 sono utili anche in caso di disaster recovery. Se il proprio datacenter va offline e non si hanno host a disposizione, è possibile attivare un gateway su EC2. Amazon Storage Gateway fornisce anche un’immagine AMI che contiene il gateway.
Storage Gateway - Requisiti
● Host Requirements - ESXi (4.1 o 5.0), Microsoft Hyper-V 2008 R2. La Gateway virtual machine richiede che gli vengano assegnate le seguenti risorse: 4
virtual processor - 7, 5GB di ram - 75GB di spazio disco per l’installazione e i dati di sistema. Per avviare il gateway in EC2 le istanze supportate vanno dalla Standard XL (m1.xlarge) a salire.
● Storage Requirements - In aggiunta ai 75GB per la virtual machine bisogna prevedere anche dello spazio disco aggiuntivo per il gateway.
○ Spazio Gateway-cached per la local cache e l’upload buffer.
○ Spazio Gateway-stored per l’intero dataset e l’upload buffer.
○ Spazio Gateway-VTL per la local cache e l’upload buffer.
Storage Gateway - Ringraziamenti
Cloud Computing
Amazon Web Service 1
Amazon SNS Amazon
MFA Amazon
CloudFront Amazon Free Trial
Amazon S3
Amazon Glacier Amazon Web
Service 2
