aws memo

AWS関連の備忘録 (※本ブログの内容は個人的見解であり、所属組織及び企業の意見を代弁するものではありません。1年以上古いエントリは疑ってかかってください)

S3: 静的サイトのホスティング例(www.ec2instances.info)

http://www.ec2instances.info/ という、EC2インスタンスのコスト・スペック比較をするサイトが便利そう。

https://github.com/powdahound/ec2instances.info にソースもある。

で、面白いのが、これがS3のWeb Hosting機能で公開されいて、EC2をつかっていないという良い事例であること。

Hosting a static site on Amazon S3: ec2instances.info | powdahound.com

 しかし、Web Hosting機能が普通に使えるようになったのは2011年2月と、まだ1年しか経っていないということに驚いた。

参考:

【AWS発表】 Amazon S3で静的なWebサイトの運用が可能に - Amazon Web Services ブログ

Amazon Web Services Blog: Host Your Static Website on Amazon S3

 

S3: FTP経由でS3にファイルアップロード

 

こういう製品があるぽい。フロントがJavaで実装されたFTPプロセス

Download and Install Alfresco - alfrescowiki

ほか、こういうの

:: Navitas ::

こういうの

SMEStorage :: CloudFTP: FTP over any Cloud

ちなみに、こんなサービスが!こういうのはいいですね。独自のFTP/S3プロトコル変換デーモンなのかしらん。

FTP Gateway to Amazon S3

====

FTP経由で、自分のS3アカウントにデータを保存できる無償公開サービスである。どんなFTPクライアントで誰でも使えるFTP ゲートウェイ/プロキシである。任意のコンピュータから、ソフトウェアをインストールすること無く、S3にデータをアップロード可能である。

このサービスは現在Betaだが、きちんと動作するのでBetaをもうすぐ取るかもしれない。

 ftp.gate.maluke.com
 your AWS Id
 your AWS Secret

 

いくら?

無料で、今後もそのつもり。フィードバックをください。

主要機能

  • ソフトウェアのインストール不要
  • 登録不要(ログインするために、自身のAWSクレデンシャルを使います)
  • 自身のS3アカウントで動作します。
  • 任意のFTPクライアントで動作します。
  • S3バケツ内に対して、ファイルのアップロード、ダウンロード、削除と、フォルダの作成・削除が可能です。
  • 追加機能を投票してください

利用制限

制限は無いです。アップロードするファイルサイズは20MBですが、この制限は一時的なものです。

  • 帯域幅無制限
  • スループット無制限
  • レイト無制限
  • ダウンロードするファイルサイズ無制限
  • 一時的:アップロードファイルサイズ上限 20MB

使用方法

FTPクライアントを以下のように設定してください。

一度ログインすると、S3バケットをフォルダとして閲覧できます。フォルダの作成・削除、ファイルの操作は即座にS3に反映されます。アップロードが完了したということは、S3バケットへの保存が完了したことになります。

パスワードをロギングしませんし、データを我々のディスクに書くこともありません。S3への経路はSSL暗号化しています。FTPプロトコルは暗号化されていませんが。。

性能

このサービスをホスティングしているサーバは、100Mbps full duplexで接続された専用サーバです。

しかし、このサーバはヨーロッパにあるので、場所によっては遅延があるかもしれません。誰にでも最大限の性能を提供するために異なる場所にサーバを追加しなければならないかもしれませんが、そのような計画はありません。

サーバはAWS上にはありませんので、AWSは外部通信としてカウントします。

もし、プライベートなゲートウェイとして使いたい場合、連絡をください。 contact us 

訳:Amazon DynamoDB : Amazon Elastic MapReduceとの統合

http://aws.amazon.com/jp/dynamodb/

Amazon DynamoDBは Amazon Elastic MapReduce (Amazon EMR)とも統合できる。Amazon EMRは、AWS上にホストされているHadoopフレームワークを従量課金で使って、ビジネスにおける大きなデータ集合に対して複雑な分析を行うことが可能である。 DynamoDBとEMRを使った方法としては以下がある。

  1. EMRを使ってDynamoDBに保存されたデータを分析し、そのデータを残したまま、分析結果をS3に出力可能。 例えば、顧客からの注文をAmazon DynamoDBに保存していたとすると、毎月新しい注文テーブルを作成し、EMRの複数テーブルクエリを利用できる。DynamoDB内の異なるテーブルをジョインし、「過去3ヶ月に特定の顧客が何を注文しったか?」といった質問に答えられる。DynamoDB内の月別注文テーブルのデータはそのままで、最新の問い合わせ結果をS3に保存できる。
  2. EMRを使ってDynamoDBからS3にデータをバックアップ。注文についての例だと、もう書き込まなくなったある月次注文テーブルを、S3にバックアップしDynamoDBからそのテーブルを削除することで、S3の安いストレージコストを活かすことが可能。S3に保存されたデータは、引き続き容易に解析可能である。
  3. Amazon EMRをつかって、複数のデータ保存先(例:Amazon DynamoDB, Amazon RDS, Amazon S3) にアクセスでき、複数のデータソースを使って複雑な分析ができ、S3に分析結果を保存できる。

例えば、顧客からの注文をAmazon DynamoDBに保存していたとすると、毎月新しい注文テーブルを作成し、毎月末に、EMRを使って6ヶ月以上古い注文データをS3にアーカイブできる。こうすることで、コストを削減でき頻繁にアクセスする注文データだけをDynamoDBで保持することができる。DynamoDBに保存されている現在の注文データと、S3に保存されているアーカイブデータを使って、「直近48ヶ月で、widget Xが顧客Yからどのくらい注文されているか?」といったクエリに答えることができる。

参考:Adam's Blog Post

Amazon Web Services Blog: AWS HowTo: Using Amazon Elastic MapReduce with DynamoDB (Guest Post)

参考:Users Guide

Exporting, Importing, Querying, and Joining Tables in Amazon DynamoDB Using Amazon EMR -

Optimizing Performance for Amazon EMR Operations in Amazon DynamoDB - Amazon Elastic MapReduce

Step 4: Set Up a Hive Table to Run Hive Commands - Amazon Elastic MapReduce

S3の関連ツール・ライブラリ等

とりあえず

S3QL

http://sourceforge.jp/projects/freshmeat_s3ql/

http://code.google.com/p/s3ql/

s3bakcer

http://code.google.com/p/s3backer/

s3fs

http://code.google.com/p/s3fs/

s3Sync

http://s3sync.net/wiki

s3cmd

http://s3tools.org/s3cmd

CloudXport

http://navitas-tech.com/Products/cloudxPort.aspx