aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

Storage Gateway の working diskの見積もり

たぶんここが肝。

Gatewayは、AWSへアップロードする前に一時的にデータをバッファリングするため、working storageが必要。(少なくともworking storageの1つはローカルディスクであること、アプリ用のStorageと同じ場所にも用意しておくこと)。VMの設定時に、ローカルディスクを working storageとして追加しておく(see Adding Local Disks for AWS Storage Gateway's Working Storage)。 Storage Gatewayごとに最大2TiBのworking storageを割り当てられる。ただし、working storageとして割り当てたボリュームにふくまれる既存データはクリアされる。working storageはManagement Consoleから動的に追加可能。減らす場合は、VMをシャットダウンする必要がある。

この図を参照 (seeHow AWS Storage Gateway Works)

 

Sizing Working Storage Capacity for AWS Storage Gateway

 

このへんの式。

大雑把にworking storageに必要な容量を見積もるためには、アプリ用に用意する総ディスク容量の20%にする。最大2TiBまでworking storageとして設定できる。

より正確に見積もるには、送受信データのrate/baseから見積もる。

  • 受信データレート 一定期間にアプリケーションがgatewayに書きこむデータ量のスループット(bps)。このレートは圧縮でも調整できる。AWSにデータをアップロードする際、圧縮が可能であればgatewayは圧縮する。アプリデータがtextのみであれば、2:1の圧縮効率になるが、videoデータだと圧縮は効果がないのでより大きなworking storageが必要になる。
  • 送信データレート AWSへアップロードするネットワークスループット

 

受信データレートが、送信データレートよりも大きい場合、以下の式で適切なサイズを決定する。

アプリがテキストデータを 40MB/sで1日に12時間書き込み、N/Wが 12MB/sで、圧縮効率が2:1の場合、338GBのworking storage 領域が必要になる。

(40 MB/sec / 2) - (12 MB/sec)) * (12 hours * 3600 seconds/hour) = 345600 megabytes (or 346 GB)

CloudWatchのメトリクス(WorkingStorageUsedWorkingStorageFreeWorkingStoragePercentUsed )にアラームをセットしておくことを推奨する。

参考: Monitoring AWS Storage Gateway's Working Storage.